🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🚀 xAI выпустила открытые веса Grok 2 с контекстом 131 072 токена
Компания xAI выпустила открытые веса своей модели Grok 2 на платформе Huggingface. Это мощная нейросеть на архитектуре MoE с восемью локальными экспертами и огромным контекстом в 131 072 токена. Запускать её можно на 8 GPU с памятью от 40 ГБ на карту, а веса занимают около 500 ГБ.
Лицензия позволяет бесплатно использовать модель как для некоммерческих, так и для коммерческих проектов при годовой выручке до 1 млн долларов. Запрещено обучать на её основе другие базовые LLM, но можно дорабатывать саму Grok 2. Обязательно нужно указывать атрибуцию «Powered by xAI».
Grok 2 показала себя на уровне GPT-4o и Claude 3.5 Sonnet, но уступает лучшим open-source моделям. Первоначально xAI не планировали открывать веса, но после выпуска GPT-oss от OpenAI передумали, чтобы избежать обвинений в закрытости.
P.S. Подписывайтесь на канал «сбежавшая нейросеть», где рассказывают об ИИ с творческой стороны.