TestGrow - pruebas de software

НОВЫЙ ФРЕЙМВОРК ДЛЯ ОЦЕНКИ ИИ Всем привет! Хочу поделиться с вами отличной новостью, что я наконец-то опубликовал мой собственный разработанный evaluation framework для оценки решений на базе генеративного ИИ. Я работал над этим фреймворком практически 6 месяцев, в том числе изучая и применяя на практики различные другие фреймворки, такие как deepeval и RAGAS, но в итоге не один из них так полностью и не удовлетворил меня в плане оценки ИИ решений в рамках моих проектов. Поэтому я решил пойти другим путем и написать свою собственную бибилиотеку для оценки ИИ, которая бы решала проблемы, с которыми я сталкивался: ⁃ сделать возможность изменения требовательности оценки в зависимости от проекта, потому что на одном проекте нужно строгая жесткая оценка, а на другом, например, у обычного чат бота не сильно критично, если он добавляет от себя контекста, поэтому требовательность может быть ниже. ⁃ сделать оценку более точную и использовать LLM для косвенной, а не прямой оценки. ⁃ расширить и улучшить систему вердиктов, которая также используется в deepeval в более упрощенном варианте ⁃ сделать процесс оценки прозрачным, то чего мне не хватало в других фреймворках, когда не совсем понимаешь, почему получился тот или иной скор балл. И все эти проблемы я постарался решить с моем фреймворке eval-ai-library. Что сейчас там есть: ⁃ Поддержка более 15 метрик для оценки ИИ ⁃ Полноценная имплементация алгоритма оценки G-Eval ⁃ Поддержка разных LLM провайдеров ⁃ Генерация датасета с нуля или из документов ⁃ Регулировка строгости оценки через температуру ⁃ Визуализация результатов оценки в терминале ⁃ Прозрачное логирование, которое показывает полностью из чего получился финальный скор балл. ⁃ Полноценная документации по работе с фреймворком Я буду благодарен за использование моего фреймворка в вашей работе, а также вы всегда можете что-то конрибъютить сами в данный проект. Скачивание доступно через официальный установочник python pip. Ссылка на библиотеку в pypi Ссылка скрыта Ссылка на открытый GIT репозиторий проекта Ссылка скрыта