🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Запускаем 284B-модель на обычном железе — FreeToken научился распределять нагрузку между GPU, CPU и оперативкой, превращая домашний ПК в мини-сервер для гигантских MoE.
Как это происходит:
🔤Тулза до максимума оптимизирует вычисления, распределяя их между GPU, CPU и RAM;
🔤Так, Qwen3.6 35B пойдёт на ноуте с RTX 4060 8 GB и будет выдавать 39 т/с;
🔤Или какая DeepSeek-V4-Flash 284B полетит на RTX 5090 и выдаст до 25 т/с.
Тулза полностью БЕСПЛАТНАЯ и лежит тут.
@PushEnter