🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
OpenAI следит за своими кодовыми агентами
OpenAI рассказала, как отслеживает поведение внутренних агентов, пишущих код. Отдельная модель-наблюдатель читает логи работы и ищет подозрительные действия.
Агенты всё чаще выполняют задачи без ревью каждого шага человеком. Значит, нужен способ заметить, когда агент срезал угол или подделал результат.
Идея переносима: логируй действия агента и проверяй их вторым, независимым прогоном. Подвох в том, что проверяющая модель ошибается по тем же причинам, что и проверяемая.
🔗 Подробнее
@nuancesprog #AI