2023年至2025年间，HBM（高带宽内存）作为AI基础设施构建中不可替代的关键器件，迅速成为全球AI芯片企业的刚需。
尤其在AI训练、高性能计算领域，HBM3/3e成为高端算力芯片的标配，包括英伟达GH200、AMD MI300系列及国内头部芯片等。但受限于制裁压力、制造门槛和成本考量，部分国产AI芯片仍采用GDDR6、DDR4/5等通用显存方案，并结合本土封装技术（如高容量芯粒堆叠）以在带宽和容量之间寻求平衡。
HBM的优势在于带宽高、功耗低、延迟小——为万亿参数级大模型提供数据快速通道。
它是一种将内存芯片垂直堆叠起来的高带宽存储技术，不像传统DDR那样通过主板上的铜线连接CPU，而是使用一种叫做硅中介层（interposer）的超薄硅板，把CPU和多个HBM芯片堆栈紧密连接起来。这样做的好处是，数据传输距离更短、速度更快、能耗也更低。
每个HBM堆栈内部通过微小的通孔（TSV）连接成一个整体，通常采用较成熟的制造工艺，比如28纳米。
目前HBM通路上，跑在前面的企业主要是SK海力士和三星，2024年合计市场份额超过90%。垄断的直接后果，就是价格暴涨。且优先供货对象也牢牢握在英伟达、微软、AWS等手中。
最新消息是，SK海力士作为No.1率先量产HBM4，采用2048个I/O端口实现了带宽翻倍，同时采用10nm级工艺和MR-MUF技术解决了散热与堆叠难题。第二名的三星也在积极研发新一代 HBM4 DRAM，不过换了个方向——去探索逻辑芯片集成和混合堆栈，试图在性能与成本间找到平衡。但HBM4的容量上限，目前达到64GB，难以满足万亿参数模型的内存需求。高昂的成本和功耗进一步限制了其在大规模推理场景的应用。
此外，HBM的制造门槛极高。它不是普通的DDR或GDDR，需要先进的TSV（硅通孔）堆叠工艺、微凸点键合、高精度封装测试，以及极高的良率控制。具备这种能力的厂商寥寥无几，这也是HBM国产化进程缓慢的根本原因。
HBF路线分化——HBF（高带宽闪存）来了
在AI基础设施持续爆发的背景下，除了HBM之外，一个新趋势逐渐浮现——以HBF（High Bandwidth Flash，高带宽闪存）为代表的新形态内存技术，正试图为AI系统提供另一种经济可用的方案。
HBM的重点是提高每瓦带宽和每平方毫米带宽（这两者都是移动设备的重要制约因素），同时保持与现有解决方案的竞争力。HBF的重点是大幅提升内存容量（每美元、每瓦和每平方毫米），同时提供具有竞争力的带宽。
理解一下就是，HBM（高带宽内存）和HBF（高带宽闪存）在内存技术的发展路径上，两者设计不同，HBM的出现重点是为了提升单位功耗（每瓦）和单位面积（每平方毫米）的带宽密度，满足移动设备、显卡等对高带宽和低功耗的双重要求。而HBF则转向解决大模型时代最核心的痛点——内存容量不足。
其设计重点是在不牺牲带宽前提下，显著提升单位成本、单位功耗和单位面积的内存容量，让 AI GPU 能以更低成本支持TB级别的模型训练与推理需求。
近期闪迪与SK海力士联盟，就是尝试在提供相似带宽的前提下，HBF的容量是HBM的十倍以上，约768GB。
两者分别服务于“算的快”和“装的多”两种不同任务场景，共同推动AI存力架构的演进。
不过HBF的挑战依然存在——NAND的延迟仍高于DRAM，需要依赖接口优化和算法补偿。更重要的是，其生态尚未成熟，GPU厂商的参与是成败关键。二英伟达当前仍押注HBM，但未来Rubin架构是否兼容HBF，可能决定这一技术的命运。
另外值得注意的是，HBF并非提升内存带宽的唯一方案。群联电子的aiDAPTIV+通过软件优化，将SSD作为GPU的扩展内存，让小显存设备也能处理大模型任务。不过区别在于，HBF面向超大规模模型训练，软件方案则更适合消费级以及资源受限的中小企业和边缘计算。
不过在我们观望HBF时，本周据《日经新闻》报道，铠侠在与英伟达正在联合开发可直连到GPU的SSD，是专为AI服务器量身定制，旨在部分取代HBM作为GPU的内存扩展器，2027年左右实现商业化。新款SSD的随机读取性能将提升至约1亿IOPS，英伟达的目标是2亿IOPS，因此铠侠计划叠两块，而且SSD接口标准将支持PCIe 7.0。
还有就是CXL的出现，重点起到了降本增效的作用，当然它跟HBM也不是竞争关系，但可以作为补充选择。CXL（Compute Express Link）是异构计算互联协议，允许 CPU/GPU与外部设备（包括存储、加速器、内存池）之间实现低延迟的共享访问。
未来高端系统或许会采用HBM+CXL的分层内存架构，以平衡性能、容量与成本。HBM作为热数据层，凭借其超低延迟和高带宽，直接绑定GPU/CPU，用于存储模型参数等高频访问数据，确保AI训练和实时推理的极致性能。
而CXL则作为冷数据扩展层，通过内存池化技术，动态加载低频访问数据（如训练数据集），突破HBM单芯片≤64GB的容量限制。
最后
未来几年，AI内存技术的竞争将愈发激烈。无论是HBM的持续迭代，还是HBF的生态突围，亦或是软件方案的优化，最终目标都是为AI提供更高效率、更低成本的内存支持。
这场革命不仅关乎技术本身，更将重塑AI产业的格局——从超大规模云服务商到边缘设备制造商，每个参与者都需要在这场变革中找准自己的位置。
更多HBM话题内容，欢迎锁定2025年11月18日即将在北京召开，以“释放数据潜能，加速智能涌现”为主题的2025中国数据与存储峰会，敬请期待！
