🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Четыре способа сломать себе контекст
Когда агент начинает нести чушь, говорят что "модель слабая". Чаще дело в том, что накопилось у неё в контексте.
Есть разбор Дрю Бройнига (Drew Breunig), где эти вещи разложены по четырём видам. Он вышел 22 июня 2025 года и с тех пор эти четыре названия закрепились, в разборах про агентов я встречаю именно их.
1) Отравление. В контекст попала ошибка или галлюцинация, и агент дальше на неё ссылается как на факт. Пример из разбора: агент на Gemini, игравший в Pokemon, выдумал несуществующее состояние игры и дальше добивался невозможной цели.
2) Отвлечение. Контекст разросся настолько, что модель залипает на истории и перестаёт опираться на то, чему училась. Тот же агент после 100 000 токенов начал повторять свои прошлые действия вместо новых стратегий.
3) Путаница. В контексте лежит лишнее и модель всё равно тащит это в ответ. Бройниг ссылается тут на Berkeley Function-Calling Leaderboard: при большом наборе подключённых инструментов модели иногда вызывают не тот.
4) Столкновение. Новая информация противоречит тому, что уже лежало в промпте. Бройниг ссылается тут на совместную работу Microsoft и Salesforce: качество падает на 39%, когда задачу выдают по частям за несколько шагов вместо сразу целой.
Четвёртый пункт неприятнее остальных, потому что так работает обычный диалог. Вы уточняете задачу по ходу дела, а агент тащит за собой все прежние версии условия и путается между ними.
Если разговор с агентом ушёл в сторону, дописывать в него ещё одно уточнение, это чаще всего проигрышный ход. Надёжнее собрать условие заново и начать с чистого контекста, вы теряете накопленную историю, зато возвращаете себе управляемое окно.
Источник: Drew Breunig, "How Long Contexts Fail"