CodeCamp - Разработка

Вышло новое поколение GigaEmbeddings — линейка эмбеддинг-моделей 480M, 3B и 10B-A1.8B для семантического поиска, RAG, классификации и кластеризации. Команда изменила архитектуру и добавила поддержку vLLM и SGLang. За счёт этого выросла скорость инференса: 3B работает в 1,6 раза быстрее предыдущей версии, а MoE-флагман 10B-A1.8B (1,8 млрд активных параметров) — в 2 раза. Флагман набрал 74,99 в ruMTEB и занял первое место. Модель 3B прокачала обработку кода на 14,5 пункта (с 62,37 до 76,93), а 480M стала лучшей русскоязычной моделью среди решений до 500 млн параметров. Объём обучающих данных вырос в несколько раз за счёт датасетов Nemotron, F2LLM и KALM. Баланс языков сохранили через мержинг экспертов, а 480M обучали дистилляцией от старших моделей. Веса доступны по MIT-лицензии: • Hugging Face — 480M · 3B · 10B-A1.8B • GitVerse — 480M · 3B · 10B-A1.8B Подробности — в посте команды.