🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
⚡ Короче не значит дешевле: как снизить цену ИИ-агента
Кажется очевидным: экономить на агентах — укорачивать вывод инструментов. Но если в ответе нет нужных деталей, модель перечитывает исходник или перезапускает команду — ходов больше, задача дороже. GitHub назвал это «сэкономили токены локально, потратили больше глобально».
Оптимизировать надо не отдельный вызов, а задачу целиком. Четыре изменения: сжимать только повторяющийся шум (install, build, test, lint), а вывод cat и git diff отдавать как есть; убрать номера строк при чтении файлов; сократить служебные промпты; отдавать фоновые результаты сразу.
Цифры: сжатие шума и отказ от номеров строк — около 5% экономии в замерах и 3% в стоимости на пользователя; сокращённый промпт — 1300 токенов на ход и 2,9% к цене часа; доставка результатов — 2,3%.
Что делать: измеряйте эффект на всей задаче, а не на одном вызове; убирайте сначала формат, а не информацию; сокращение промпта проверяйте тестом поведения. Модель не стала умнее — исчезла работа, которая ей не была нужна.
🌐 Источник: GitHub Blog
#ИИ #Агенты #Кодинг #Оптимизация #LLM