大模型推理的成本，从来不只是算力问题。
一颗FP4权重只有4 bit。把它从HBM搬到GPU再送回，单次延迟以纳秒计，功耗以皮焦计，看起来微不足道。
但当几十亿颗权重为每一个生成的Token反复穿越存储接口，这条路径最终变成带宽、功耗、散热，变成一整排服务器、一整座机房，以及一张越来越大的电费账单。
Decode阶段的瓶颈，从来不缺算力，缺的是让权重少搬几次。
今年Hot Chips 2026上，三条截然不同的硬件路线，不约而同指向同一个追问：为什么每生成一个Token，权重都要重新搬一次？
三星把计算单元嵌入LPDDR5X DRAM内部，让DRAM本身具备部分AI计算能力。优势是生态兼容性强，DRAM工艺成熟。代价是DRAM的易失性意味着权重仍需周期性刷新和加载，且PIM的算力密度受限于DRAM工艺本身。
用超大容量SRAM将权重完整驻留在片上，以极高带宽完成矩阵向量运算。SRAM速度最快，但单位面积容量极低，导致单芯片可驻留模型规模受限，系统扩展成本高昂。
将非易失性MRAM与矩阵向量计算集成在同一颗Compute-Memory Die内，权重一次写入、长期驻留，断电不丢失。MRAM的容量密度优于SRAM，非易失性又免除了DRAM的刷新开销，但器件成熟度和工艺兼容性仍是需要跨越的门槛。
三条路线，器件不同，工艺不同，系统形态不同，但底层逻辑高度一致：把高带宽读取的位置，从存储器与计算芯片之间的路上，推进到权重所在的地方。
过去十年，AI芯片的演进主线是带宽竞赛。
从DDR到HBM3E，从PCIe到NVLink，行业一直在做一件事。
把存储与计算之间的路修得更宽。
HBM3E的堆叠层数越来越多，接口越来越宽，数据速率越来越高。
本质上是在用工程手段缓解一个架构层面的矛盾，权重住在存储器里，计算发生在几十毫米甚至几厘米之外。
这不是对HBM的替代，而是对HBM产品逻辑的重新诠释。
HBM的核心价值是以高带宽服务计算。
uHBM继承了这个逻辑，但把高带宽发生的位置从外部接口移到了Die内部。
24 TB/s的设计值，描述的不是存储Stack与GPU之间的外部接口，而是Compute-Memory Die内部、权重旁边的读取能力。
两者测试口径不同，不能直接比较倍数，但架构指向截然不同。
一个发生在路上，一个发生在权重身边。
单颗芯片的架构创新，如果止步于芯片本身，往往难以回答真实部署的问题。
寒序的产品路线从uHBM Die延伸到uLPU Chip，再向上堆叠为Module、2U Tray，直至Rack-Scale Inference System。
这条路径揭示了一个行业共识，推理芯片的竞争，早已从单芯片算力转向系统级效率。
在端侧，uLPU Edge将四颗uHBM与NPU集成，NPU负责Prefill、Attention和KV Cache，高带宽敏感的FFN和GEMV留在uHBM内执行。这不是存内计算替代一切，而是把最需要带宽的部分放回权重身边。
在云端，uLPU Cloud计划通过UCIe完成Scale-Up，面向112G和224G SerDes构建Scale-Out互联，16颗uLPU进入一个2U Tray，多Tray组成整机柜。以上属于架构设计方案，尚未有量产硬件公开实测。
同一条Weight-Resident Compute路线，从机器人端侧一路延伸到云端整座机柜。
这种一致性本身说明，架构团队在设计之初就考虑了跨场景复用，而非先做一颗芯片再想办法塞进不同系统。
为什么推理速度需要从够用推向极致？
对于聊天机器人，100 Tokens/s和1,000 Tokens/s可能只是快一点和再快一点。
但对于一个正在伸手抓杯子、避开障碍物、观察人类动作并实时调整轨迹的机器人，延迟不是体验问题，延迟就是动作本身。
当AI从数字世界进入物理世界，推理芯片的评判标准正在发生微妙但根本性的转移。不再是吞吐量单一维度，而是延迟与确定性的刚性约束。世界不会暂停，机械臂不会暂停，人也不会暂停。机器人不会等下一个Token。
寒序将端侧Decode目标设定为超过2000 Tokens/s，瞄准的正是具身智能这一场景。
这个数值目前仍是工程目标，不等同于完整模型端到端实测，但它指向的需求是真实的。
Physical AI需要推理芯片在毫秒级完成感知、决策、执行闭环，传统先搬权重再计算的架构在这个时间尺度上显得过于笨重。
国产AI芯片过去几年的主流是追赶GPU的算力密度、兼容CUDA生态、堆叠更多HBM。
这条路径必要，但拥挤，且越来越受制于先进制程和HBM供应的外部约束。
寒序选择了一条更窄但也更差异化的路。
不拼通用算力，不拼CUDA兼容，而是围绕Decode阶段最痛的权重搬运问题，用MRAM的器件特性重新定义存储与计算的关系。
这条路的挑战同样清晰。
MRAM工艺成熟度远低于SRAM和DRAM，大规模量产的良率和成本仍需验证。
24 TB/s片内带宽和超过2,000 Tokens/s性能目标目前仍是架构设计值，真实硅片表现有待流片后实测。
软件生态、编译器、多芯片调度、客户负载适配，是架构落地前必须补齐的短板。
从验证芯片SpinPU-ED01的120个MRAM Bank、0.105 TB/(mm²·s)实测带宽密度，到完整产品，中间隔着先进封装、供电、散热、系统集成等大量工程细节。
Hot Chips 2026把权重搬运问题推到了产业前台。
三星、NVIDIA、寒序，用三种器件给出了三种答案。市场教育已经完成，接下来是更漫长的工程验证。
寒序的架构已经亮相，但首代完整工程产品仍处于流片前收敛阶段。未来两年，流片、回片、软件栈、系统研发、客户验证、量产准备，每一步都是真实的门槛。
验证芯片回答了这条路能不能走，下一阶段要回答的是能不能成为真正的产品。
一颗4 bit的权重，不应该重到需要一座数据中心来搬。
这个判断在物理层面是正确的。但让它在工程层面成立，需要的不仅是一颗创新的Die，而是从晶圆、封装、板卡、服务器到软件栈的完整闭环。
权重驻留架构的收益高度取决于负载特征。长序列Prefill、大KV-Cache场景下，依然会面对存储容量、刷新、调度的现实约束，不是万能解法。
架构是起点。硅片才是答案。
本文基于公开技术资料与产品路线图整理，文中图片素材均来源于网络，涉及性能指标均为设计目标或验证芯片实测值，不代表量产产品最终表现，若有侵权请联系作者删除。
今日阅读文章分享：
(1)刚刚，全新国产LPU推理芯片首秀！
（链接：https://mp.weixin.qq.com/s/DXCpCt03r5suE_hC_Juh5Q）
(2)三年磨一剑，寒序亮出 uHBM：从Die到 Rack
（链接：https://mp.weixin.qq.com/s/giePO6N3CMMvz9BkU6A04g）
(3)寒序科技，重新发明“HBM”
（链接：https://m.sohu.com/a/1069944171_121228203?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334）
本文若有歧义欢迎读者分享指正。
·END·
本文来源于DOIT传媒，文章内容仅供参考，不构成投资建议。
评论列表