🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🧮 Нужен ли вам RAG? Считайте, а не стройте по инерции
RAG привыкли строить по умолчанию: чанкинг, эмбеддинги, векторная база, реранкер. Но это 2–3 месяца разработки плюс вечная поддержка — часто ради документации, которая целиком влезает в контекст. Флагманы держат окно в 1M токенов, а 400 страниц — это ~250K токенов.
Но Long Context не панацея. Внимание модели идёт по U-образной кривой: начало и конец читаются хорошо, середина проваливается. Заявленный контекст — потолок, а не рабочая зона: эффективно модель работает с 50–65% от него. Плюс context rot — в долгом диалоге модель путает устаревшие и свежие инструкции, и после 15–20-го вопроса точность падает.
Правило выбора по трём параметрам — объём корпуса, частота обновлений, число запросов: до 200K токенов и редкие обновления → длинный контекст с кэшированием; больше 200K и много запросов → RAG; свыше 2M токенов → RAG обязателен. И не переусложняйте: часто хватает BM25 или гибрида BM25 + эмбеддинги. Считайте стоимость разработки и поддержки, а не следуйте привычке.
🌐 Источник: Habr (BotHub)
#ИИ #RAG #LLM #Контекст #Промптинг