🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Qwen3.8-Flash-Next вышла, и утечка, о которой писал днём, подтвердилась: 125 млрд параметров, 6 млрд активных, плюс 51 млрд N-gram-эмбеддингов, которые лежат в памяти хоста и подтягиваются на GPU заранее. Это превью архитектуры Qwen4.
Главное из техотчёта: обучение обошлось примерно в 1/9 от Qwen3.7-Plus при трети токенов, а на 14 претрейн-бенчмарках база обходит её на восьми и отстаёт не больше чем на 2,6 балла на остальных. Внутри три слоя Gated DeltaNet на один слой Qwen Sparse Attention, который отбирает контекст блоками. На миллионе токенов это в 7,6 раза быстрее плотного внимания на префилле, а с 90% попаданий в кэш префилл в 8,6 раза быстрее 3.7-Plus. Остаточный поток расширен до четырёх ветвей с гейтом, оптимизатор Muon.
Замеры самой Qwen: SWE-bench Pro 62,5 против 53,4 у Opus 4.6 Max, GPQA 91,7. Картинки понимает, контекст 262 тысячи, до миллиона с YaRN, лицензия Qwen Community. В API 0,16 $ за млн входных токенов и 0,47 за выходные.
@neuro_channel
