🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Трюк с ОЗУ позволяет запускать мощные нейромодели даже на картах с небольшим объемом видеопамяти
Ресурс XDA протестировал работу локального ИИ с архитектурой Mixture-of-Experts, которая использует несколько параллельных сетей-экспертов, а маршрутизатор при обработке данных выбирает только необходимые из них. Это позволяет снизить нагрузку на видеопамять, перенеся часть данных в ОЗУ.
Так, удалось на 12-ГБ RTX 3080 Ti запустить модель Qwen3.6-35B-A3B – раньше для 35 млрд параметров требовалось минимум в 2 раза больше памяти. Использовался формат Q4_K_M и llama.cpp, а скорость генерации составила вполне адекватные 25 токенов/с. Более того, при таком подходе для работы со слоями в ОЗУ можно использовать CPU для ускорения.
XDA также запустили Gemma-4-26B-A4B Q4_K_M на GeForce GTX 1080 с 8 ГБ памяти, получив 14 токенов/с. Главный нюанс – чтобы VRAM+ОЗУ хватало на всю модель.
Мой Компьютер