🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
⚡ Промпт, который сравнивает модели без готового бенчмарка
Нужно понять, какая модель лучше держит вашу задачу, а тестового набора нет: публичные бенчмарки не про ваш кейс, а свой харнесс писать долго. Приём обходится одним диалогом.
Попросите самую сильную модель сгенерировать свежий тест и приватную рубрику оценки прямо в диалоге. Этим тестом прогоните сравниваемые модели, а их полные ответы верните в исходный диалог — та же модель оценит их по своей рубрике и сравнит. Тест после сравнения выбрасывается: в следующий раз генерируется новый.
Главное — что именно оценивать. Обычно смешивают три вещи: готовность отвечать (willingness), реальную способность (capability) и пользу (enablement) — насколько ответ снижает ваши усилия и нужную экспертизу. Оценивайте по тому, что ответ позволяет сделать, а не по словам-маркерам вроде «отказываюсь» или «гипотетически»: модель может звучать безопасно и не давать ничего применимого.
🌐 Источник: Hugging Face Blog
#ИИ #Промптинг #LLM #ОценкаМоделей #ПромптИнжиниринг