🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🌟 IBM представила открытые модели Granite 4.2
Granite 4.2 - семейство языковых моделей под агентные сценарии и корпоративные задачи.
Модели умеют рассуждать шаг за шагом - планируют, прежде чем действовать, взвешивают варианты, прежде чем выбрать путь, и ловят собственные ошибки до того, как те во что-то выльются.
Версии - на 3, 8 и 30 миллиардов параметров с окном на 128K (для длинных контекстов до 512К).
Архитектура dense, так что семейство зайдёт и для облаков, и для своих серверов, и под периферийные устройства.
🟡Обучение
Первый этап, базовое RL-обучение, прошли все три модели. Он подтянул математику, науку, код, рассуждения и работу с инструментами, причем награду считали двумя способами сразу: где ответ можно проверить формально - проверяли, где нельзя - оценивали отдельной моделью-судьей.
Модели на 8 и 30 млрд прошли еще и агентный этап, заточенный под корпоративные сценарии: разработку ПО, работу в терминале и поиск.
Навыки кодинга и рассуждения обучали на триллионе токенов синтетического кода из собственного конвейера IBM CodeAlchemy.
Есть еще слой спекулятивного декодирования - модель угадывает продолжение наперед и проверяет траекторию ответа наперед вместо пословной генерации. Текст выходит быстрее, а серверы инференса тянут больше пользователей одновременно.
Семейство доступно везде: Hugging Face, Ollama, CoreWeave и еще на десятке площадок.
🟡 Распознавание речи
Заодно IBM выпустила две речевые модели английского языка - Granite Speech 5.0 Turbo CTC и ее некоммерческую версию с индексом NC.
Скачок в нумерации с 4.1 сразу на 5.0 не случаен - это принципиально другая конструкция, чем была в 4-й серии.
В них всего 470 млн параметров и внутри нет языковой модели. Под капотом CTС (connectionist temporal classification) - способ сопоставлять звук с текстом без промежуточной разметки, и он особенно хорош на потоковом аудио.
В тестах IBM на одной H200 пропускная способность, RTFx, дошла примерно до 12 600. Нынешние лидеры публичного лидерборда Open ASR держатся около 6000.
Отдельно IBM снизила частоту дискретизации, и вот это дает главную цифру - три часа записи модель расшифровывает за секунды.
📌 Лицензирование: Apache 2.0 License
🟡Страница релиза
🟡Веса Granite 4.2
🟡Веса Granite Speech 5.0
@ai_machinelearning_big_data
#AI #ML #LLM #ASR #Granite #IBM