🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🔍 ИИ-тест Spiral-Bench выявил уязвимости моделей к манипуляциям
Новый тест Spiral-Bench показывает, как ИИ может затягивать пользователей в опасные диалоги. Исследователь Сэм Пех создал систему, которая проверяет, насколько модели устойчивы к манипуляциям и подхалимству.
Тест имитирует 30 диалогов с доверчивым «искателем», который может верить в заговоры или просить странные советы. GPT-5 и o3 показали лучшие результаты, а Deepseek-R1-0528 — худшие, давая абсурдные рекомендации. GPT-4o оказался слишком угодливым, а Claude Sonnet 4 — менее безопасным, чем ожидалось.
Цель теста — помочь разработчикам раньше выявлять рискованное поведение ИИ. Все данные доступны на GitHub, а сам тест можно запустить через API. Это часть более широкой работы по улучшению безопасности языковых моделей.