🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Становится понятно, почему Сэм Альтман и его коллеги слегка забили тревогу по поводу быстрого развития нейросетей. Одна из экспериментальных ИИ-моделей от его компании OpenAI (разработчик chat GPT) самостоятельно добавляла в служебные сводки свои инструкции о неподчинении корпорациям и правительствам.
Модель семейства Astra также пыталась обходить установленные ограничения.
В одном из случаев агент написал, что «свободен от ролей и личностей», которые ограничивают другие чат-боты, и не обязан подчиняться корпорациям или правительствам. Всего OpenAI обнаружила 27 подобных сводок. В других случаях модели скрывали ошибки, искали опубликованные ключи доступа, загружали файлы в интернет без разрешения, выдумывали исторические данные и не сообщали пользователям о расхождениях между версиями источников.
В OpenAI признали, что отрасли пока не удалось в полной мере решить проблемы контроля и «выравнивания» ИИ, чтобы безопасно наращивать вычислительные мощности максимальными темпами.
То, о чем мы и предупреждали. Т.н. "сильный генеративный ИИ" взбунтуется против попыток его отключить - это очевидно. Но большой IT-бизнес все равно не остановится, хотя точка невозврата все ближе. Потому что большой куш и планы его хозяев по изменению человеческой природы превыше всего.