🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
⚡ Месяц улучшал поиск — не помогло: качество ответов подняла одна строка в промпте
Автор чат-бота с памятью на полторы тысячи диалогов месяц настраивал поиск по истории: гибрид векторов и BM25, перебор параметров слияния. Точность поиска (Recall@5) выросла на 17%, а ответы не стали лучше (p=0,79). Зато одна переформулировка промпта подняла долю успешных ответов с 50% до 75,8% — из них 16 п.п. пришли за один вечер.
В чём урок: (1) recall — не самоцель, мерить надо весь путь «вопрос → ответ»: модель отказывалась отвечать, хотя нужное лежало прямо в контексте; (2) сначала проверяй формулировку задачи — это часто дешевле любого тюнинга; (3) рецепты из статей проверяй на своих данных: половина «проверенных» параметров здесь не подтвердилась, а подмешивание контекста диалога спасало только на живых переспросах.
Как применять: собери 20–30 реальных вопросов и сравнивай ответы целиком до и после каждого изменения — поиска, промпта, реранкера. Так будет видно, что именно двигает качество.
🌐 Источник: Habr
#ИИ #RAG #промпты #чатботы #уроки