🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Помните, недавно один канадский стартап впихнул Llama целиком на чип и показал генерацию со скоростью 16 тысяч токенов в секунду? Его покупает AMD. Технологию планируют встроить в дорожную карту ускорителей AMD и предлагать в связке с GPU Instinct как системные решения. Сумма сделки не раскрывается, закрытие требует одобрения регуляторов.
Кажется, совсем скоро нас ждет интересная битва двух йокодзун инференса.
Ссылка скрыта
