🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Локальный ИИ класса Opus 4.6 «задёшево»: две Tesla P100, 28-поточный Xeon и тесты на реальных задачах
Автор статьи собрал дома открытый стенд под локальные модели. Две Tesla P100, которые сейчас продаются по 4-9 тысяч рублей за штуку, дают вместе 32 ГБ видеопамяти. Плюс Xeon E5-2680 v4 на 28 потоков, 64 ГБ памяти и киловаттный блок. В простое машина ест 135 Вт, под нагрузкой уходит до 600, а отопление в комнате получается почти бесплатным.
Дальше интереснее. Автор не поверил обзорам с цифрами вида «одна модель набрала 86, другая 88» и собрал свой бенчмарк из 14 задач, на которых сам когда-то наступал на грабли: FreeRTOS-задача на ESP32 с watchdog, фильтр Калмана с NaN в double из-за FTZ на Xtensa, гонки ресурсов в алготрейдинге, smali-патчи в DEX-файлах. За эталон взял облачный DeepSeek V4 Flash. Локальная Ornith-1.5-35B закрыла все 14 задач на полный балл, а эталон набрал 97%.