🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Samsung научила DRAM считать: LPDDR5X-PIM на Hot Chips 2026
Samsung показала 16-гигабайтную LPDDR5X с вычислительными блоками прямо у банков памяти. Внутри пакета доступно 614 ГБ/с против 76,8 ГБ/с через внешние выводы.
Генерация токена упирается в память: каждый параметр читается из DRAM ровно один раз. На Llama 3.1 8B Samsung получила 81 токен в секунду вместо 27 на обычной LPDDR5X.
Замер сделан на одном контексте в 320 токенов, где KV-кэш почти не мешает. Цену пакета не назвали, а поддержки в рантаймах инференса пока нет.
🔗 Подробнее
@nuancesprog #AI