🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
⚡ 2B-модель вдруг решает многоходовые вопросы: секрет в графе до вызова LLM
Маленькие локальные модели пасуют, когда ответ нужно собрать из трёх документов и отсеять ложные следы. В тесте «кто подпишет возврат £800 в марте» без графа не ответила ни одна модель — а с графом справились все, включая крошечную 2B.
Приём простой: до вызова LLM выполняется детерминированный граф-запрос примерно на 400 токенов — он извлекает связи между сущностями и скармливает результат модели принудительно. Модель не гадает, а рассуждает по готовым связям. Бонус — экономия токенов ~3,5x и рост скорости ~2,9x.
Как применить: превратите свои документы в граф сущностей и связей до того, как отдадите их модели. Автор выложил открытый стартовый код, с которого можно начать. После такой предобработки модель можно менять без переделки пайплайна — «как перчатки».
🌐 Источник: Habr
#ИИ #RAG #локальныемодели #агенты