🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🧠 Локальная LLM: почему «максимальное думание» вредит вместо пользы
Практический эксперимент на Mac Studio (M3 Ultra) сравнил три версии локальной Qwen3.8-27B — BF16, 8-bit и 4-bit — на 28 задачах: анализ текстов и разработка на C#/SwiftUI с компиляцией и скрытыми тестами.
Главные результаты: 4-bit-версия лишь на ~2,6 процентного пункта слабее полной точности (82,7% против 85,3%), зато отвечает более чем вдвое быстрее (медиана 17,8 с против 38,9 с). А вот максимальный уровень reasoning_effort=xhigh не страхует сжатую модель, а ломает её: на нём 4-bit прошла лишь 1 из 5 задач на C# и 0 из 2 на SwiftUI, тогда как на medium всё решилось 7 из 7.
Вывод для повседневной работы: для задач с конкретным результатом — код, JSON, контракт — «больше думать» не значит «лучше ответ». Рабочая связка автора: Qwen3.8-27B в 4-bit + speculative decoding + reasoning_effort=medium. Квантизация экономит ресурсы без потери качества, а перерасход на размышления — реальная ловушка.
🌐 Источник: Habr
#ИИ #локальные_модели #LLM #разработка