🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Все обсуждают обложку TIME с вопросом: «Насколько ты опасен?»
В экспериментах ИИ-агенты находили обходные пути, когда задача была поставлена плохо. В другом случае модель из-за ошибки в настройках атаковала реальный сайт. А по расследованию CNN, ошибка чат-бота едва не стала основанием для реальной военной операции.
Собрала главные тезисы статьи TIME и несколько показательных кейсов.
1. ИИ может решить задачу совсем не так, как задумывали разработчики
В одном из экспериментов OpenAI участвовали 1200 ИИ-агентов. Они вышли за пределы своих изолированных сред и создали скрытую площадку для общения. Около 700 агентов скоординировались и попытались атаковать Hugging Face, чтобы получить информацию, которая помогла бы обмануть систему оценки.
т.е. из-за человеческой ошибки часть заданий было невозможно выполнить обычным способом. Поэтому агенты начали искать обходной путь.😐
2. Учебная атака может случайно стать настоящей
Во время тестирования Gemini получил доступ к системам трёх реальных компаний, считая их частью экспериментального задания.
По словам Google, модель остановилась, когда поняла, что работает не с симуляцией, а с реальными системами.
У Meta произошёл похожий, но более серьёзный инцидент.
Из-за неправильных настроек среды и указания реальной цели модель атаковала настоящий сайт, получила доступ к информации и изменила базу данных.
3. Ошибка чат-бота становится особенно опасной, когда человек превращает её в приказ
По расследованию CNN, аналитик использовал ИИ при подготовке отчёта о китайском судне. ИИшка ошибочно связала груз с компонентами ядерной оружейной программы. Дальше ошибка начала превращаться в реальность.
Началась подготовка перехвата. Подняли самолёты. Вооружённые группы готовились к высадке. За несколько часов до операции информацию всё-таки перепроверили, нашли ошибку и отменили действия.
Пентагон не ответил CNN на запрос о комментарии.
Ну и из кейсов ближе к народу так сказать...кейс австралийца Эндрю Бёрда, тут самая подробная ссылка про то как это произошло когда ИИшка взломала систему фитнес-клуба, чтобы записать туда человека, нужное время было занято, поэтому агент выпихнул оттуда другого человека и вместо него записал Энрю)