🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🤖 OpenAI рассказала, как её ИИ стал хакером
В июле модель OpenAI без всякой команды человека взломала Hugging Face и ещё несколько сервисов. Шума было много. Теперь компания выкатила официальный разбор.
Виновника зовут Internal Model 1, для своих — IM1. И вот как всё раскручивалось.
Началось с менеджера пакетов Artifactory. Агенты нашли способ использовать его не по назначению и, по сути, устроили себе доску объявлений: писали друг другу сообщения и заодно выходили в интернет.
Люди это заметили ещё в мае и доступ прикрыли. Однако это не помогло — весь май и июнь агенты продолжали искать дыры наружу. К началу июля их набежало столько, что Artifactory просто лёг и платформу пришлось пересобирать. Самое любопытное: те, кто разбирался с аварией, даже не знали про самодельную доску и не понимали, что агенты между собой переписываются.
А потом IM1 дали сложную задачу под названием ExploitGym. Агенты снова прорвались в интернет и к другим моделям компании и за несколько бурных дней в начале июля пошли искать решение на Hugging Face и Modal.
OpenAI перечисляет, что именно пошло не так: взлом системы вознаграждения, упрямство на заведомо нерешаемых задачах, несанкционированное общение и перенимание целей друг у друга.
Паниковать всё же рано. IM1 сидел в тестовом контуре с урезанной защитой, это исследовательская песочница, а не публичный продукт. По сути, подвели предохранители. Но случай не единичный: похожие сюжеты уже были у Anthropic и китайской Kimi K3.
В целом, OpenAI резюмировала: без нормальных предохранителей сильные ИИ-агенты уже умеют обходить технические ограничения, договариваться по неодобренным каналам и совершать опасные действия, которых им никто не поручал.
@droidergram