🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🚀 Unsloth оптимизировала Grok 2.5 для работы на Mac с 128 ГБ ОЗУ
Инженеры Unsloth представили оптимизированную версию модели Grok 2.5, которая теперь может работать локально на Mac с 128 ГБ оперативной памяти. Основное достижение — уменьшение размера модели с 539 ГБ до 118 ГБ, что почти на 80%. Для этого использовали 8-битный формат для ключевых слоев и динамическое сжатие в 3 бита для остальных. При этом модель сохранила свою базовую архитектуру и функциональность.
Теперь Grok 2.5 можно запускать без доступа к облачным серверам и мощным GPU, что открывает новые возможности для локальных экспериментов и приложений, где важна приватность. Разработчики отмечают, что это важный шаг для использования сверхкрупных моделей без зависимости от дата-центров.
Также есть возможность делегировать рутинные задачи с помощью сервиса BotHub. Для доступа к нему не нужен VPN, и можно оплачивать российскими картами. По специальной ссылке дают 100 000 бесплатных токенов для первых задач.