AI数据分层下,高带宽硬盘技术在卷什么?

高带宽硬盘技术不是要让HDD去和SSD、HBM比速度,而是为了回应AI数据分层架构中的现实需求。

引言:高带宽硬盘技术不是要让HDD去和SSD、HBM比速度,而是为了回应AI数据分层架构中的现实需求。

2026年5月21日,西部数据首次在深圳举办客户创新日,并组织媒体参观深圳工厂。这座工厂拥有超过20年的制造经验,已融入西部数据全球制造网络,并持续支持包括ePMR在内的先进HDD制造能力。

下午,西部数据邀请了来自云计算和智能驾驶场景的客户代表——阿里云对象存储高级总监罗庆超、比亚迪电子事业部产品总经理崔勇,分享AI时代的存储需求变化。

左一为比亚迪电子事业部产品总经理崔勇,中间为西部数据中国区高级销售总监文芳,右一为阿里巴巴对象存储高级总监 罗庆超

从客户分享来看,AI基础设施的关注点从单纯的算力扩张转向算力与数据系统的匹配。GPU规模越来越大,访问的数据量也越来越多,AI基础设施需要引入多样化的存储介质,存储稳定性更加重要。对万卡、十万卡级GPU集群而言,一旦存储系统出现故障,甚至导致数据丢失,昂贵的算力资源就可能闲置。 

还有性能与成本的平衡。AI集群中的热点数据对性能要求很高,但随着数据规模变大,单盘容量不断增加,单位容量性能没法一直保持,这就需要通过分层存储、数据调度、缓存、软件优化来平衡性能和成本。

在智能驾驶场景中,数据增长更为直接,每天新增数据可能接近PB级。随着千卡、万卡级并行训练普及,存储系统的I/O能力会直接影响模型训练和迭代效率。

但不是所有数据都要长期放在高性能闪存层。很多已经完成高频使用、访问频率下降的数据,仍在占用高性能存储资源,推高整体成本。因此,如何通过自动化分层,把这类数据从最热的存储介质迁移到成本更低、容量更大的HDD层,成为智能驾驶场景中的重要问题。

西部数据首席产品官Ahmed Shihab指出,计算资源可以在训练和推理之间循环复用,但数据规模却在无休止地膨胀,这是驱动存储需求爆发式增长的根本动力。

也就是说,高性能闪存依然重要,但在AI数据分层的架构中,HDD要承担更重要的角色。 

为什么要卷高带宽硬盘技术(HBDT)?

尤其在云规模下,海量数据不是写入硬盘后就静止不动。为了保证数据耐久性,对象存储系统会持续进行后台校验、修复和重分布,确认读出的数据与最初写入的数据一致。一旦数据副本、纠删码片段或硬盘节点出现问题,系统还要进行修复和迁移。

在这个过程中,数据可能会被重新分布到不同的机架,甚至经过更多网络跳转,来提升整体存储效率。但数据放得越分散,访问路径可能越长,延迟也可能增加。而且,系统很难在真正访问前准确判断哪些数据会被调用、什么时候调用、调用频率有多高。

因此,这类数据不能简单放进传统归档层。它们也许不是最热数据,但仍需要保持在线可用,既要控制成本,也不能因为访问延迟过高影响应用响应。这就对HDD提出了新要求——不只要提供更大容量,还要跟上对象存储后台校验、修复、迁移和重分布带来的读写压力。

高带宽硬盘技术解决的就是带宽问题。这对对象存储和文件系统尤为重要。如果单盘容量继续提升,而总带宽不变,平均到每TB上的读写能力就会下降。客户可能需要调整软件、改变数据布局、增加节点数量,甚至重新验证整个系统。这不仅会增加部署成本,也会拖慢新一代硬盘的采用速度。

Ahmed Shihab表示,从技术原理看,高带宽硬盘技术不是简单增加盘片或磁头数量,而是利用HDD内部已有的多盘片、多磁头结构,让多个磁头并行参与读写。以11碟HDD为例,硬盘内部有22个磁头。市面上常见的普通硬盘通常一次只使用一个磁头读写,单磁头带宽约为200MB/s。如果同时利用两个磁头进行读写,带宽就可以翻倍。未来,这一技术还有望将带宽提升至四倍、六倍甚至八倍。

 这个思路听起来简单,实现却很难。硬盘不是把多个磁头同时打开就能工作的,多磁头并行读写还涉及硬盘内部一系列复杂工程问题。西部数据强调,高带宽硬盘技术是对硬盘内部的重新设计,目标是在提升带宽的同时,让客户无需为了使用搭载这一技术的硬盘进行额外适配,部署更为便捷。

西部数据HDD演进路线 


从更大的路线图看,高带宽硬盘技术只是西部数据HDD演进中的一条线。

其一是高容量路线图,包括40TB UltraSMR ePMR HDD进入客户认证,以及HAMR HDD向100TB+容量推进。西部数据让ePMR与HAMR协同向前,客户可以根据自身节奏选择技术切换时间,减少业务中断风险。

其二是高性能路线。HBDT重点解决单盘带宽问题,还有双枢轴技术是从执行器结构入手,提升顺序IO性能,两者共同补足HDD在数据持续流动场景中的性能。

其三是功耗优化路线。以EB级数据为例,背后可能是数千块硬盘。单盘功耗降低20%,放到大规模集群里就是可观的能源节省。更关键的是,功耗优化不能以严重牺牲性能为代价。 

最后

AI时代值得关注的不只最热、最靠近计算的数据层,海量在线存储层同样决定基础设施的长期成本。西部数据的HDD本身正在围绕容量、性能、功耗和部署效率一起演进,其中,高带宽硬盘技术最能体现变化是——HDD不能只拼容量,也要提高带宽。 

另外,我认为RAG也是一个值得观察的HDD应用方向。随着企业知识库、文档检索和多模态数据规模扩大,RAG底层数据量可能达到PB级,所有数据不一定都需要SSD的低延迟。比如大量原始文档、历史语料、低频向量数据和可复用数据集,可以采用更具成本优势的HDD。


本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信