🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
⚡️ Сбер открыл в Open source экспериментальную диффузионную языковую модель GFusion
Обычно текстовые нейросети работают последовательно — генерируют ответ слово за словом (слева направо). Если нужно исправить ошибку в начале, классической LLM приходится заново пересчитывать последующую генерацию
Новая модель GFusion, созданная на основе GigaChat, использует другой подход — диффузионный 🚀
В чём особенности разработки?
🔘 Гибкость генерации
Текст создаётся непоследовательно: модель сама решает, какую часть ответа дополнить на каждом шаге
🔘 Скорость
Токены генерируются не по одному, а сразу пачками. По тестам Сбера GFusion пишет текст до 45% быстрее GigaChat 3, на основе которого была обучена
🔘 Эффективность
Диффузионные модели способны извлекать больше информации из ограниченного объёма данных при обучении
⚠️ Проект полностью открытый: Сбер опубликовал в опенсорс не только саму модель, но и инструменты, которые ускоряют обучение диффузионных моделей и позволяют обучать их с меньшим числом видеокарт
Кроме того, команда добавила поддержку GFusion и нового алгоритма генерации в SGLang — один из самых популярных в мире опенсорс-инструментов для запуска языковых моделей
Автор проекта — Даниил Тихонов. Он пришёл в Сбер стажёром, будучи студентом 4-го курса ФКН НИУ ВШЭ, и разработал GFusion в качестве проектной работы. Даниил успешно защитил диплом и теперь работает в команде фундаментальных моделей Сбера 💚
Подробности — в статье и в телеграм-канале GigaDev. Там же доступны версии модели на GitVerse и Hugging Face:
🔘 базовая pretrained-версия
🔘 instruction-tuned версия
🖥 Добавляйтесь в наш MAКС