🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🧭 Одна модель — разное качество: как не промахнуться с провайдером
Один и тот же ID модели у разных провайдеров работает по-разному. Автор iMessage-ассистента Olly, прогнавший через OpenRouter треть из 18 млн сообщений, показал: у хостов одной модели бенчмарк tool-calling расходится на 20+ пунктов — first-party DeepSeek 81% TAU против 58% у DigitalOcean на тех же весах.
Ловушки неочевидны: у части провайдеров vision-модель «слепая», но отвечает 200 OK; параметр reasoning.effort принимают все, а учитывают не все; фильтр по квантизации fp8 не гарантирует качество.
Что делать: закреплять провайдера через provider.only, сверять список хостов методом /endpoints, проверять бенчмарк-борд под свою задачу и прогонять тесты на своих промптах из прода, а tool-call разбирать на своей стороне.
Главное: контракт задаёт провайдер, а не модель. Но и намертво пинговать один хост — тоже ловушка.
🌐 Источник: Mohamed Moustafa
#ИИ #LLM #Агенты #Промптинг #OpenRouter