🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Вышло новое поколение GigaEmbeddings — линейка эмбеддинг-моделей 480M, 3B и 10B-A1.8B для семантического поиска, RAG, классификации и кластеризации.
Команда изменила архитектуру и добавила поддержку vLLM и SGLang. За счёт этого выросла скорость инференса: 3B работает в 1,6 раза быстрее предыдущей версии, а MoE-флагман 10B-A1.8B (1,8 млрд активных параметров) — в 2 раза.
Флагман набрал 74,99 в ruMTEB и занял первое место. Модель 3B прокачала обработку кода на 14,5 пункта (с 62,37 до 76,93), а 480M стала лучшей русскоязычной моделью среди решений до 500 млн параметров.
Объём обучающих данных вырос в несколько раз за счёт датасетов Nemotron, F2LLM и KALM. Баланс языков сохранили через мержинг экспертов, а 480M обучали дистилляцией от старших моделей.
Веса доступны по MIT-лицензии:
• Hugging Face — 480M · 3B · 10B-A1.8B
• GitVerse — 480M · 3B · 10B-A1.8B
Подробности — в посте команды.