🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Занятость: проектная
Вилка: 150-200к (около 3х недель работы)
Компания: Яков и Партнёры
Чем предстоит заниматься:
- Улучшать и создавать llm-as-a-judge пайплайны под разные типы задач
- Аугментировать, существующие данные для получения разнообразного и разделяющего датасета задач
- Анализировать статистику evaluation и выявлять слабые места пайплайна и датасета
Требования:
- Опыт llm-as-a-judge evaluation желателен
- Умение оценить затраты на эксперименты с LLM
- Хорошее понимание статистики
- Понимание, как работают LLM
- Быть в теме существующих русскоязычных и англоязычных бенчмарков
Контакт: @Pfurov_YnP