🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
НОВЫЙ ФРЕЙМВОРК ДЛЯ ОЦЕНКИ ИИ
Всем привет!
Хочу поделиться с вами отличной новостью, что я наконец-то опубликовал мой собственный разработанный evaluation framework для оценки решений на базе генеративного ИИ.
Я работал над этим фреймворком практически 6 месяцев, в том числе изучая и применяя на практики различные другие фреймворки, такие как deepeval и RAGAS, но в итоге не один из них так полностью и не удовлетворил меня в плане оценки ИИ решений в рамках моих проектов.
Поэтому я решил пойти другим путем и написать свою собственную бибилиотеку для оценки ИИ, которая бы решала проблемы, с которыми я сталкивался:
⁃ сделать возможность изменения требовательности оценки в зависимости от проекта, потому что на одном проекте нужно строгая жесткая оценка, а на другом, например, у обычного чат бота не сильно критично, если он добавляет от себя контекста, поэтому требовательность может быть ниже.
⁃ сделать оценку более точную и использовать LLM для косвенной, а не прямой оценки.
⁃ расширить и улучшить систему вердиктов, которая также используется в deepeval в более упрощенном варианте
⁃ сделать процесс оценки прозрачным, то чего мне не хватало в других фреймворках, когда не совсем понимаешь, почему получился тот или иной скор балл.
И все эти проблемы я постарался решить с моем фреймворке eval-ai-library.
Что сейчас там есть:
⁃ Поддержка более 15 метрик для оценки ИИ
⁃ Полноценная имплементация алгоритма оценки G-Eval
⁃ Поддержка разных LLM провайдеров
⁃ Генерация датасета с нуля или из документов
⁃ Регулировка строгости оценки через температуру
⁃ Визуализация результатов оценки в терминале
⁃ Прозрачное логирование, которое показывает полностью из чего получился финальный скор балл.
⁃ Полноценная документации по работе с фреймворком
Я буду благодарен за использование моего фреймворка в вашей работе, а также вы всегда можете что-то конрибъютить сами в данный проект.
Скачивание доступно через официальный установочник python pip.
Ссылка на библиотеку в pypi
Ссылка скрыта
Ссылка на открытый GIT репозиторий проекта
Ссылка скрыта