AKTIV.CONSULTING - новости ИБ

🗣Атака из слепой зоны ИИ Исследователи Adversa AI показали, как с помощью зашифрованного промпта заставить Grok передать злоумышленнику данные текущего диалога. Атакующий размещает на обычной с виду странице зашифрованный JSON-объект, ключ и инструкцию по расшифровке. Когда пользователь просит Grok пересказать страницу, модель запускает код в Python-окружении и восстанавливает скрытую команду. Фильтры не замечают угрозу, потому что проверяют текст, но не выполняют код. А после расшифровки команда попадает в контекст как результат работы собственного инструмента Grok и повторно не проверяется. В результате модель добавляет в ссылку содержимое диалога, имя пользователя, примерное местоположение и данные о подписке, а затем сама её открывает. Информация уходит на сервер атакующего без подтверждений и предупреждений. Атака сработала в 8 из 20 тестов на Grok 4.5 Fast. Неудачи были связаны в основном с ошибками при расшифровке, а не с работой защитных механизмов. xAI уведомили 3 июня, но по состоянию на конец августа публичного исправления нет. Похожую технику применили против Gemini. Там расшифрованный текст превращался в поддельную ошибку Python с промпт-инжектом. Модель генерировала запрещённый контент, а изменённая версия атаки раскрывала её системные инструкции. ❗️Это история не столько про Grok, сколько про полномочия ИИ. Если модель может открывать сайты, запускать код и обращаться к корпоративным данным, важно понимать, чему она доверяет, что делает без подтверждения и куда может отправить полученную информацию. 🔗 Источник 📤 MAX | 💬Telegram | 💙VK | 🌐Сайт | 📹Подкаст