🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Quesma прогнала кванты Qwen3.8 27B от Unsloth через GPQA Diamond, IFBench и Terminal-Bench 2.1 и сожгла на это $3000 на арендованных GPU. Вопрос практический: сколько памяти нужно, чтобы не потерять качество.
Ответ: у 4-битного Q4_K_M на 17 ГБ измеримой разницы с полной BF16 на 55 ГБ нет ни на одном из трёх тестов. На Terminal-Bench результаты совпали, на картинке. Такой квант влезает в 24 ГБ вместе с контекстом на 64 тысячи токенов, то есть в RTX 4090. 2-битный UD-Q2_K_XL на 10,7 ГБ по инструкциям и знаниям почти не отстаёт, а в агентном кодинге проседает до уровня Opus 4.7 и на тех же решённых задачах пишет примерно на четверть больше токенов. 1-битные кванты на GPQA отвечают на уровне случайного угадывания, а на xhigh ещё хуже, потому что думают до исчерпания бюджета и отдают пустой ответ.
Отдельное наблюдение про уровень рассуждений: у модели по умолчанию xhigh, и на GPQA он даёт заметно больше low и medium, но на IFBench разницы нет, а лишние токены стоят денег.
@neuro_channel