🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🗣Атака из слепой зоны ИИ
Исследователи Adversa AI показали, как с помощью зашифрованного промпта заставить Grok передать злоумышленнику данные текущего диалога.
Атакующий размещает на обычной с виду странице зашифрованный JSON-объект, ключ и инструкцию по расшифровке. Когда пользователь просит Grok пересказать страницу, модель запускает код в Python-окружении и восстанавливает скрытую команду.
Фильтры не замечают угрозу, потому что проверяют текст, но не выполняют код. А после расшифровки команда попадает в контекст как результат работы собственного инструмента Grok и повторно не проверяется.
В результате модель добавляет в ссылку содержимое диалога, имя пользователя, примерное местоположение и данные о подписке, а затем сама её открывает. Информация уходит на сервер атакующего без подтверждений и предупреждений.
Атака сработала в 8 из 20 тестов на Grok 4.5 Fast. Неудачи были связаны в основном с ошибками при расшифровке, а не с работой защитных механизмов. xAI уведомили 3 июня, но по состоянию на конец августа публичного исправления нет.
Похожую технику применили против Gemini. Там расшифрованный текст превращался в поддельную ошибку Python с промпт-инжектом. Модель генерировала запрещённый контент, а изменённая версия атаки раскрывала её системные инструкции.
❗️Это история не столько про Grok, сколько про полномочия ИИ. Если модель может открывать сайты, запускать код и обращаться к корпоративным данным, важно понимать, чему она доверяет, что делает без подтверждения и куда может отправить полученную информацию.
🔗 Источник
📤 MAX | 💬Telegram | 💙VK | 🌐Сайт | 📹Подкаст
