🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Как запустить Qwen3.8-Flash-Next 125B на 6 ГБ VRAM
Полный checkpoint Qwen3.8-Flash-Next в bf16 занимает около 360 ГБ на диске. Одна только вспомогательная n-gram таблица внутри модели весит 102 ГБ. По всем прикидкам такое должно требовать серверного железа или облака. А запустили её на обычной RTX 4090 с пиковым расходом VRAM 5,95 ГБ, без квантизации и дистилляции.
Причём это не урезанная версия ради демо. Полный checkpoint, native vision, контекст на 262K токенов, по собственным бенчмаркам Qwen конкурирует с закрытыми frontier-моделями в коде и работе с агентами. Фокус в том, что VRAM перестаёт быть узким местом, а нагрузка уходит совсем в другое место.