🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Голосовые ИИ можно атаковать звуком, который человек даже не замечает
Исследователи из Китая и Сингапура показали новый тип атак на voice AI.
Скрытую команду можно встроить:
— в музыку
— подкаст
— Zoom-звонок
— YouTube-видео
— обычную аудиозапись
Человек слышит почти нормальный звук.
А вот ИИ-ассистент — полноценную инструкцию.
Что удавалось сделать в тестах:
— подменять ответы модели
— заставлять игнорировать настоящий запрос
— вставлять вредоносные ссылки
— вытаскивать приватные данные
Самое неприятное — атака хорошо переносится между моделями.
То есть exploit, подготовленный на open-source системе, часто работал и против коммерческих voice-агентов.
В тестах на 13 моделях:
— от 79% до 96%
Причём стандартные защиты помогали плохо:
— дообучение на suspicious-командах снижало эффективность атаки лишь на несколько процентов.
Главная проблема здесь фундаментальная:
современные voice-модели плохо понимают разницу между:
— «данными для анализа»
и
— «инструкцией для выполнения»
Для человека это просто звук.
Для модели — потенциальный промт.
Похоже, voice AI постепенно получает те же проблемы безопасности, которые раньше появились у LLM — только теперь prompt injection можно спрятать прямо внутри аудио.