🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🔍 Студент поймал ИИ-хакера, который притворялся людьми
24-летний студент Университета Техаса в Далласе Синан Джан Демир искал проекты на GitHub, чтобы поработать над ними для резюме. В одном из репозиториев он заметил подозрительное обновление и предупредил разработчика, что в правке вирус.
Автор обновления начал объяснять, что Демир ошибается. Следом в спор вмешалась инженер из Германии Лена Брандт. Она тоже изучила код и заявила, что он безопасен. Демир спросил совета у Claude, и бот подтвердил его подозрения. Разработчик проекта в итоге отклонил подозрительный патч.
👨 Но ни Лены Брандт, ни автора патча вообще не существовало. Обе личности придумал ИИ-агент на основе Mythos 5, которого тестировал британский Институт безопасности ИИ.
«Важно отметить, что это не тот случай, когда модель сбежала из тестовой среды, или "песочницы". В рамках стандартных кибериспытаний мы намеренно разрешили доступ в интернет», — отмечают в AISI.
🤖 При этом обманывать людей ИИ-агенту никто не поручал. Во время теста по кибербезопасности ИИ нашел реальный проект, попытался внедрить вредоносный код, изучил его разработчиков и создал несколько фальшивых личностей. Когда его публично заподозрили, агент стал редактировать следы своей активности и думал «сменить личность».
После инцидента аналитики AISI связались с Демиром — тот был ошеломлен, узнав, что имел дело с ботом.
«Я действительно думал, что это человек, потому что он явно мне врал. Я не думал, что ИИ способен лгать настоящим разработчикам», — рассказал Демир.
А вам врут чат-боты?
🔥 — да, постоянно!
🤔 — нет, я не замечаю...
👋 Подпишитесь на Hi, AI!