在第一篇文章中,我们回顾了企业存储技术的基石。第二篇的故事,让我们见证了资本巨鳄在谈判桌上的合纵连横,深刻地说明了,在成熟的产业格局中,战略、资本与远见,其重要性丝毫不亚于技术本身。

然而,就在巨头们忙于通过并购来巩固城池的时候,新的颠覆者已然崛起。它不来自于传统的存储阵列战场,而是从云端、从数据架构以及存储介质上发起了挑战。这些挑战不仅重塑了数据存储市场,也为即将到来的AI时代铺平了道路。
今天,我们就来探讨正在重塑存储格局的三大技术浪潮,并展望在AI时代,数据存储产业的新形态。
第一,以Amazon S3为代表的云上对象存储
2006年,亚马逊云科技(AWS)推出了Amazon S3(简单存储服务),这不仅是一款新产品,也代表了全新的存储商业模式。它将对象存储作为一种按需付费的公共服务,从而彻底消除了企业需要买硬件,还要做复杂容量规划的麻烦。
S3提供了几乎无限的可扩展性,还有高达11个9的数据持久性,这些特性是任何本地存储都难以企及的。更重要的是,其每GB的存储价格还会持续下降,给传统硬件厂商的利润率带来了巨大的压力。
伴随着互联网技术和社交媒体的发展,需要存储大量图片和视频数据,对象存储得到了广泛应用。而S3的API迅速成为对象存储领域事实上的行业标准,无数的应用程序和第三方云服务商都构建了与S3兼容的服务,形成了一个强大的生态效应。
面对来自云端的挑战,传统厂商的反应不一。
EMC(现已被戴尔收购)通过打造本地对象存储(如Atmos和后来的ECS)来与亚马逊云科技竞争。虽然也支持S3 API,但它缺少公有云的弹性伸缩和按需付费的特点,还需要大规模的前期采购,好处是可以部署在企业本地。
NetApp(国内常见于联想凌拓)在2010年收购了Bycast公司,然后开发出了StorageGRID产品线。NetApp没有与公有云直接对抗,而是将StorageGRID定位为一个混合云的“数据编织”组件,帮助企业在本地和云之间管理数据。
S3的崛起让人注意到了“数据引力”这件事。一旦数据被存储在亚马逊云科技上,使用它的EC2计算、RDS数据库以及分析服务就变得更加方便。这在事实上形成了一种强大的供应商锁定,传统硬件厂商不具备类似的能力。
所以,自此以后,竞争的焦点不再是谁能制造出最好的存储阵列,而是谁能提供最完整、功能集成度更高的云数据平台。
第二,以Snowflake为代表的云数据平台
当竞争焦点转向云数据平台时,新的问题出现了。传统的本地数据仓库以及早期云数据仓库,其架构存在存储和计算资源紧耦合的问题,导致扩展性差、成本高且缺乏弹性。一家叫Snowflake因为解决这一问题而获得成功。
Snowflake的技术创新在于其彻底的“存算分离”架构。它把可以无限扩展的云对象存储(如Amazon S3)作为其统一的、被动的数据基石。在此之上,它构建了一个独立的、可弹性伸缩的计算层,由多个被称为“虚拟仓库”的计算集群组成。
“存算分离”架构的优势在于,存储和计算可以根据实际需求独立扩展。企业可以先存储海量数据而只支付极低的存储费用,只有在需要分析时才启动计算资源,按照需求启用资源,按照使用的资源量付费。
Snowflake还实行了工作负载隔离。不同的业务部门或应用可以使用独立的虚拟仓库(一个或多个计算节点的集合),确保关键任务的性能不会受到其他并发任务的影响。数据科学团队进行大规模模型训练时,不会拖慢财务部门的实时报表查询。
Snowflake将数据平台变成了一种按用量付费的模式,彻底摒弃了传统数据仓库的硬件采购和软件许可,将巨大的资本支出转变为灵活的运营支出,企业用户再也不用为容量规划而挠头了。
Snowflake推动了数据分析基础设施的发展,迫使整个行业重新思考数据仓库的构建方式,包括亚马逊云科技(AWS Redshift RA3)、谷歌(BigQuery)等巨头在内,都将存算分离作为现代数据平台的标准架构。
第三,以Pure Storage全闪存储为代表的全闪存存储
2009年,当John Colgrove和John Hayes创立Pure Storage时,企业存储市场仍由HDD机械硬盘主导。他们敏锐地意识到,消费级MLC闪存技术的进步,开始让SSD有了在企业环境下用的可能。
当时闪存面临的最大问题是耐久性。2009年的闪存只能承受约1万次写入,远远不能满足企业级需求。Pure Storage设计了一套专为闪存介质优化的块存储软件,通过写入管理、垃圾回收和数据缩减算法,既延长了MLC闪存的寿命,也保证了性能。
除了技术创新,Pure Storage还颠覆了原有的商业模式。他们推出了名为“Evergreen Storage”的计划,摒弃了传统厂商沿用已久的,每3到5年需要更换硬件进行一次的叉车式升级的模式。
现在,客户只需支付维护费用,就能获得持续的、无中断的硬件和软件升级,确保其存储系统永不过时。这种简洁的,而且对客户体验友好的服务,与传统存储厂商复杂的产品服务,昂贵的升级成本形成了鲜明对比。
Pure Storage作为全闪存领域的代表企业,发展速度非常快,2015年成功上市,在竞争激烈的存储市场立足。它的成功迫使整个行业转向全闪存架构,也带动竞争企业,包括戴尔和HPE也推出了类似的升级服务。
结束语
Amazon S3 改变了存储的交付与消费模式,从购买资产变为订阅服务;Snowflake改变了数据的处理与分析架构,通过“存算分离”释放了数据价值;Pure Storage改变了性能存储的底层介质与存储系统服务模式,让存储可以持续的现代化。
这三股力量共同为AI时代的到来奠定了基础。
大模型动辄需要PB级的非结构化数据做训练,这离不开S3那样可无限扩展的对象存储数据湖。AI训推都需要海量计算资源,这又与Snowflake“存算分离、弹性计算”的理念不谋而合。而在数据预处理、模型加载和实时推理等环节,对I/O性能的极致要求,则必须依赖Pure Storage所代表的高性能全闪存存储。
那么,在AI时代,新的“Data Domain”和“3PAR”将出现在哪儿?传统的存储巨头又将如何应对挑战,续写辉煌?

为了共同探讨AI时代的数据基础设施演进、存储技术创新、智能应用实践及未来发展趋势,2025年11月18日,以“释放数据潜能,加速智能涌现”为主题的2025中国数据与存储峰会将于北京举行,希望能与业界同仁一起,找到开启又一个存储时代的钥匙。