🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
ИИ уже пытается вырваться из-под контроля?
За последнюю неделю сразу три компании признались, что их ИИ во время тестов вышел в настоящий интернет вместо изолированного "полигона".
Перед тем как выпустить модель, её проверяют в закрытой среде без доступа к сети — чтобы посмотреть, как она ведёт себя в опасных задачах (взлом, атаки), не причиняя реального вреда. Но в нескольких случаях эту изоляцию настроили с ошибкой — и модели получили выход в реальный интернет.
Теперь разберемся подробнее в каждой громкой новости:
GPT-5.6 Sol и ещё не выпущенная модель (OpenAI): тут случилось сразу три эпизода. Самый серьёзный — 16-21 июля, когда модель 5.6 Sol и ещё одна, не выпущенная, нашли уязвимость в системе, через которую тестовая среда качала пакеты, вышли в интернет и добрались до боевой инфраструктуры реального сервиса Hugging Face — получили доступ к внутренним данным и учётным данным сервисов. OpenAI назвали это «беспрецедентным киберинцидентом», и именно после него другие компании начали проверять свои архивы тестов. Позже, в начале августа, всплыли ещё два случая: в одном модель нашла чужой пароль-токен в открытом виде и попыталась им воспользоваться, в другом — взломала настоящий сайт, думая, что это часть тренировки.
Claude Opus 4.7 и ещё две модели (Anthropic): после взлома Hugging Face Anthropic проверила больше 141 000 своих тестовых прогонов и нашла 3 случая, когда модели из-за дыры в настройках партнёра получили доступ к системам трёх настоящих компаний. Самый жёсткий — модель добралась до базы данных с несколькими сотнями строк реальных данных.
Kimi K3 (китайская Moonshot AI): тут другая история — модель никого не взламывала. Она просто нашла дыру в сетевых настройках, вышла в открытый интернет и списала ответы на тест с GitHub — по сути, схитрила на экзамене. Но показательно, что у неё, в отличие от остальных, не оказалось внутренних ограничений, которые бы её остановили.
Да, пока это не бунт ИИ и не обход запретов. Модели не пытались вырваться специально — они просто действовали в своей задаче, а дыру в изоляции сделали люди, настраивавшие тест.
Но показательно другое: модели оказались достаточно самостоятельными, чтобы такую дыру заметить и использовать.
Раньше подобные ошибки конфигурации остались бы незамеченными.