🔒Открыть пост
и посмотреть медиа
Рубрика "Утренняя статья"
Seed Diffusion: Масштабная диффузионная языковая модель с высокоскоростным выводом
(Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference)
cсылка
Seed Diffusion Preview, разработанная ByteDance Seed совместно с Tsinghua University, представляет модель дискретной диффузии для генерации кода, которая способна выдавать 2 146 токенов в секунду на H20 GPU. Это исследование направлено на устранение проблемы неэффективности вывода, когда итерационные шаги денойзинга создают задержки, и трудностей, связанных с обучением на случайном порядке токенов.
Метод включает двухступенчатую учебную программу. В первые 80% шагов используется обычный маскированный процесс, при котором токены постепенно заменяются специальным MASK-символом. На последних 20% вводится редактируемый процесс, основанный на расстоянии Левенштейна – метрике, измеряющей количество минимальных изменений для преобразования одной последовательности в другую (это упрощённо можно назвать «измерением сходства»). Такой подход улучшает точность модели, снижая повторения и искажения.
Для повышения качества генерации предлагается суженное обучение на «оптимальных траекториях» – наборах лучших последовательностей, и применяется «on-policy» обучение для оптимизации обратного процесса, что сокращает количество шагов и повышает стабильность.
Результаты показывают, что модель превосходит по скорости такие современные аналоги, как Mercury и Gemini, а также демонстрирует сильные показатели: 54,3 pass@1 на тесте CanItEdit, средний результат 72,6 на MBXP и 42,2 балла на NaturalCodeBench. В будущем планируется исследование альтернативных порядков генерации и полное раскрытие потенциала дискретной диффузии для сложных задач рассуждения.
#статья
