🔒Открыть пост
и посмотреть медиа
Почему ИИ так убедительно обманывает — и что с этим делать 🤷♀️
Исследователи провели пять экспериментов с участием более 3000 человек. Им задавали сложные вопросы и разрешали либо ответить, либо честно сказать «не знаю».
Часть участников могла обратиться за помощью к ИИ. Но был подвох: исследователи специально сделали так, чтобы нейросеть давала неправильные советы.
Результат оказался неожиданным. С доступом к ИИ люди почти переставали выбирать «не знаю» и отвечали даже тогда, когда сомневались. В итоге правильных ответов стало примерно втрое меньше, зато уверенность в себе выросла почти вдвое.
А можно научить ИИ понимать, когда он не уверен в ответе?
🙂 Дмитрий Григоров, директор по искусственному интеллекту и данным, старший вице-президент Альфа-Банка:
Важно понимать, что языковая модель по своей природе не определяет, истинный перед ней ответ или ложный. Она предсказывает наиболее вероятное продолжение текста. Поэтому уверенная формулировка сама по себе ничего не говорит о достоверности ответа.
Поэтому современные ИИ-системы всё чаще строят не вокруг лишь одной LLM. Модели дают доступ к поиску и базам знаний через RAG, заставляют обращаться к внешним инструментам, проверять источники и сопоставлять несколько результатов. Для сложных задач добавляют отдельные этапы верификации, когда один ответ дополнительно проверяется моделью или другим компонентом системы.
Но даже такая архитектура не гарантирует отсутствие ошибок. Отдельная проблема — калибровка уверенности. Поэтому следующий важный шаг в развитии ИИ-помощников — научить их корректно работать с неопределённостью. Не просто выдавать наиболее вероятный ответ, а понимать, когда имеющихся данных недостаточно и лучше сказать «не знаю».
А вы часто ловите ИИ на ошибках?
❤️ — Да, поэтому всё перепроверяю
👍 — Раньше было хуже, сейчас нормально
😁 — ИИ-модели говорят уверенно, я верю
@alfa_trends
