🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Сбер представил новое поколение GigaEmbeddings 🚀
Это модели для семантического поиска — пригодятся в поддержке, корпоративных базах знаний, а также при работе с юридическими и финансовыми документами.
В линейке три версии:
480M — лидер среди русскоязычных моделей до 500 млн параметров;
3B — универсальная модель, качество обработки кода выросло с 62,37 до 76,93;
10B-A1.8B — MoE-флагман с 10 млрд общих и 1,8 млрд активных параметров. Набрал 74,99 в ruMTEB и занял 1-е место 🏆
Все три поддерживают vLLM и SGLang. Объем обучающих данных вырос в несколько раз за счет датасетов Nemotron, F2LLM и KALM. Баланс языков сохранили через мержинг экспертов.
Веса доступны бесплатно под лицензией MIT:
HF: 480M / 3B / 10B-A1.8B
Gitverse: 480M / 3B / 10B-A1.8B
Telegram: @Age_of_it
