🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
✔️ Китайская Ханьсюй показала архитектуру инференса на магнитной памяти
Компания, которую в Китае называют первой отечественной MRAM-компанией магнитных вычислений, представила два архитектурных уровня для инференса - uHBM и uLPU.
Ханьсюй предлагает держать веса целевой модели постоянно в массиве в массиве энергонезависимой MRAM - матрично-векторные операции выполняются на том же кристалле, а наружу идут только векторы активаций, которые заметно меньше.
Магниторезистивная память хранит бит не зарядом, как обычная память, а направлением намагниченности.
В ней ячейка - это магнитный туннельный переход: два ферромагнитных слоя, разделённые тончайшим изолятором.
Когда намагниченность слоёв сонаправлена, сопротивление низкое, когда противоположна - высокое, и по нему считывается ноль или единица.
У MRAM почти нулевой ток утечки, скорость переключения наносекундная, а ресурс перезаписи практически неограниченный в отличие от флеш-памяти.
uHBM - это кристалл вычислительной памяти на MRAM, работающий в паре с GPU или NPU через UCIe, LPDDR5X или GDDR7.
uLPU - инференс-чип, построенный поверх uHBM.
Заявленные расчётные показатели первого поколения uHBM - 24 ТБ/с внутрикристальной полосы на чтение и цель выше 2000 токенов в секунду при декодировании мультимодальной модели на 4 млрд параметров.
Из реальных прототипов есть верификационный чип SpinPU-ED01 со 120 банками MRAM, который прошёл независимую проверку и отработал 24 часа в стабильном режиме.
Сроков, техпроцесса и цен компания не называет, но декларирует планы от кристалла до модуля, 2U-лотка и стойки.
@ai_machinelearning_big_data
#news #ai #ml