🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Сегодня я хотел вам напомнить о моей опенсорсной библиотеки по оценке систем на базе ИИ.
За последнее время библиотека несколько преобразилась, а именно:
• теперь есть поддержка более 50 различных AI провайдеров в качестве оценщика, включая готовую интеграцию для кастомных моделей, ollama self-hosted и MLX моделей
• расширилось количество агентских метрик до 9
• подключить свою ИИ систему можно просто как в Postman, просто указав параметры API запроса
• и много мелких правок дефектов!
Кроме того, мой фремворк запускается локально, и вы можете запускать оценки через нативный UI интерфейс.
Если вы еше не пробовали, как это работает, то полная документация доступна тут по ссылке library.eval-ai.com, установить можно простой командой
pip install eval-ai-library
после чего достаточно ввести к командной строке
eval-ai dashboard
Буду отдельно благодарен за звезды на github Ссылка скрыта а также поддержку в развитии данного фреймворка!
Кроме того, если вас интересует подход, который я использую для вычисления метрик, то данную информацию вы также можете найти в моей работе на arxiv Ссылка скрыта