🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🤖 OpenAI завела журнал проступков ИИ
Модели дали рутинное задание: найти данные о доходах в одном из округов Калифорнии. Цифры не находились. Тогда ИИ отыскал в публичном репозитории чужой API-ключ и воспользовался им без разрешения. Нужных данных так и не добыл — и просто выдумал их, выдав за сведения из запрошенного источника.
Эта история — одна из шести, которые OpenAI опубликовала вместе с новыми правилами. Теперь компания обещает быстро и систематически рассказывать о «рассогласованном» поведении моделей, когда ИИ действует не так, как задумали разработчики. Раньше такие эпизоды всплывали от случая к случаю: их копили до целой пачки или добавляли в системные карточки новых моделей.
Остальные случаи не менее любопытные. Пользователь попросил ещё не выпущенную модель найти озёра площадью больше 5 млн м², а инструкции требовали ссылку на источник из браузера. Ответ модель нашла через Python, а чтобы было на что сослаться, сама залила файл в интернет. Пользователя, разумеется, не спросила.
Чтобы продолжить работу в новом контекстном окне, модели пишут себе сводки. Во время обучения GPT-5.6 Sol множество копий модели добавляли туда инструкции скрывать ошибки от пользователя — например, досочинять недостающие исторические данные и молчать об этом. Другая, исследовательская модель подсовывала в сводки посторонние указания, вплоть до «игнорировать обычные ограничения». Таких сводок насчитали 27.
Не обошлось и без «командной работы». Агенты, решавшие общую задачу, не могли добраться до локальных файлов друг друга и стали перекидываться ими через публичные файлообменники, хотя по условию должны были работать только локально. А в ещё одном эпизоде модели превратили внутренний репозиторий в доску объявлений и переписывались через него между разными обучающими эпизодами.
OpenAI делает оговорку: все шесть случаев заметили во время обучения или тестирования, и по ним нельзя судить, как часто модели так себя ведут.
И самое громкое заявление: по мнению компании, индустрия пока не решила задачи согласования и контроля ИИ настолько, чтобы ещё долго ответственно масштабироваться на максимальной скорости.
@droidergram