HPC走向HPDA，谁将占领C位？

高性能计算中，计算、存储、网络三大部件不可或缺。长久以来，追求更高的算力一直是产业的主要创新方向。如今，多样性算力打破了算力瓶颈，HPC、大数据、AI技术走向融合，数据价值能够被更充分地挖掘，各行业数据量迎来了爆发式增长，高性能计算的重心开始从以计算为核心，向以数据为中心的计算演进。存储作为数据的承载者，逐步成为推动高性能计算产业发展的新动能。

最近，一个大新闻震惊了整个IT界。

SC20（2020年超级计算机大会）期间，新一期的IO500榜单正式发布，鹏程实验室的“鹏程云脑II”拿下了总榜第一以及10节点第一，分数分别达到了7043.99分和1129.75分。

而最振奋的是7043.99分直接领先第二名Intel 1792.98分数倍，不可谓不恐怖。以清华郑纬民院士为首的团队打造了Madfs文件系统，通过一系列的创新，把IO500推到了一个新高度。

这次事件让高性能计算热度再一次攀升，已经出了HPC圈，波及整个IT圈。有人有疑惑了，HPC用的存储很牛吗，和我们常用的存储有什么区别？

如果你是一个ITer，那么你一定知道高端存储，用在金融 、医疗HIS等核心业务系统。如果把高端存储比喻成企业存储产业的珠穆朗玛峰，那么在海量数据存储产业里，HPC存储则是当之无愧皇冠上的明珠。

为什么HPC存储这么牛？让我们带着问题来挖一挖。

什么是HPC？

HPC是High Performance Computing，即高性能计算，它是一种数据分析的应用场景。顾名思义，它通过聚合大量的计算和存储单元对数据进行分析，从而解决复杂的问题。简单点说，它就是最强大脑，可以快速运算找出复杂问题的答案。

为什么HPC如此重要？

HPC貌似很神秘，但它并非一个新东西。HPC已广泛应用的我们的生产生活中，只是我们普通人并未察觉：

天气预报是我们日常生活中接触最多的，当我们通过卫星、传感器搜集大量的气象数据后，就要结合历史数据通过HPC来进行大量的计算，对未来数天的天气变化进行预测。

好莱坞科幻片大家都爱看，我们平常在电影院看的各种科幻大片有着极其复杂特效和视觉冲击，其实每一帧特效画面的背后都是HPC在支撑着渲染过程。

汽车设计中有一个碰撞模拟环节，如果没有HPC，车厂就必须用真车进行真实的碰撞，耗时耗力。而通过HPC我们可以模拟汽车碰撞过程中的各种数据，反向改进汽车的安全性，无需真实的碰撞，大大节省车辆研发成本，也缩短研发周期。

当然，除了这些外，基因测序、油气勘探、芯片制造、宇宙探测等诸多场景都离不开HPC，是不是有一种被HPC包围的感觉？

其实HPC技术的进步与科技进步相互促进、相得益彰。

HPC技术的进步，让计算的效率与日俱增，相同的投资，可以在更短的时间内分析更多的数据，推动相关应用和行业的科技进步；反之，科技的进步，会产生更多的数据给高性能计算，挖掘更多的数据价值。

因此，HPC真的很重要！

HPC的前世今生

HPC如此重要，那它是怎么一步一步走上神坛的呢？

下面我们一起来回顾一下HPC产业的发展历程，看时代更迭、叹沧桑变幻。HPC的发展大致可以分为四个阶段：史前时代、向量机时代、并行计算时代和集群时代。

一、史前时代：算力时代的黎明

1946年，美国宾夕法尼亚大学摩尔电子工程学院打造了第一台真正意义上的电子计算机ENIAC（Electronic Numerical Integrator And Computer），标志着我们进入了算力时代。

1955年，晶体管计算机TRADIC（TRAnisitor DIital Computer）在贝尔实验室悄然诞生。而后，IBM、CDC等一批的公司先后入局，新世界的大门即将开启。

1957年，CDC控制数据公司（Control Data Corporation）进入超级计算机领域，并于1963年发布了CDC6600，成为世界上公认的第一台商业超级计算机。

超级计算机的诞生，为高性能计算的诞生奠定了基础，但这个时代的超级计算机主要还是用于国防与科研，让人高不可攀。

二、向量机时代：群雄逐鹿

还是CDC公司，1974年推出了CDC STAR-100，它在CDC6600结构的基础上添加了向量处理指令，以提高对于数学计算任务的处理能力，成为了业界首个使用向量处理器的计算机，并推出后续改进版本Cyber-205，一时成为耀眼明星。

1972年，CDC公司创始人离开公司，并创建了Cray Research公司，研究超级计算机，并于1975年发布了Cray-1超级计算机。它采用了集成电路，可提供100MFLOPS的浮点运算能力，成为业界公认最成功的向量流水计算机。之后，Cray X-MP并行向量机问世，向量机进入并行计算新阶段。

80年代，日立、富士通和NEC等公司先后入局，高性能计算进入群雄逐鹿的时代。向量机在世界范围内影响越来越大，也吸引了更多用户的目光，加快了商业化的进程。不过，向量机时代超级计算机主要依赖政府的支持，性能是第一优先级。随着超级计算机进行商业领域，成本诉求愈加强烈，而这也敲响了向量机时代的丧钟。

三、并行计算时代：短暂又绚烂的春天

向量机发展的鼎盛时期，大规模集成电路已开始广泛应用，微处理器出现并按照摩尔定律快速发展，让中小企业、甚至个人都能享受到计算的红利。这时，基于商业化为微处理器来构建高性能计算机成为了可能，MPP架构开始风靡。

思维机器、nCube、KSR、Intel、IBM等一系列公司加入了战局，单个超级计算机的浮点运算能力达到数十GFLOPS。并行计算一定时间内满足了大量商业计算的需求，迎来了春天。

四、集群时代：独领风骚二十年

八九十年代，旺盛的商业计算需求推着高性能计算产业往前走，人们却发现基于Scale Up的架构设计的并行计算机在面对以更高速度增长的算力需求时变得捉襟见肘。

正在这时，IT产业也步入了百花齐放的时代：以太网迅速发展，基于网络将计算节点连接起来的技术开始出现；Linux获得成千上万开发者的青睐，迅速发展。

1994年，名为Wiglaf的第一台Beowulf集群在美国NASA Goddard航天中心诞生了，它把16台微机通过10M网络互连。在后续两三年的改进型中，总性能达到了2GFLOPS。同一时间，加州大学伯克利分校的NOW问世，算力超过10GFLOPS。

基于集群计算的高性能计算机在Top500中的比例越来越高，高性能计算进入集群时代。从榜单来看，x86芯片在2000年左右的份额还不到1%，几乎所有的系统都是基于RISC架构的POWER、SPARC或是Alpha处理器。但是，到2011年， x86架构的份额已经达到了80%以上，弹指十年间，以英特尔为代表的X86芯片从当初的名不见经传变成了影响市场格局的霸主，一步步地将PA-RISC、Alpha、MIPS等挤出了这个计算机领域的高端俱乐部。

集群计算时代进入x86的垄断阶段。x86平台本身的开放性和标准性，让高性能计算系统的软件开发变得更加容易，开发成本也更低。集群系统因为X86平台而更容易搭建，其建设时间和复杂程度都是原有的MPP系统所不能比拟的。

多样性算力新时代，存储走向前台

进入联接和数字化的时代，数据量呈指数级增长，越来越多的企业和机构开始逐步认识到，割裂的数据分析机制，将会成为未来制约数据价值变现的主要瓶颈，将AI、大数据等数据分析手段和成熟的HPC能力结合，让数据价值更高效得以实现才是未来。作为HPC、AI、大数据融合的HPDA（High Performance Data Analytics）技术成为了新兴趋势，也是HPC产业增长的全新动力。

　　图 Hyperion Research关于HPC存储市场增长驱动力的调研

第三方报告显示，2017到2023年HPDA类应用的年化增速将达到15.4%，HPC-based AI类应用的年化增速更将达到29.5%，远高于传统HPC的7.8%。这些都将对存储带来新的挑战，驱动HPC产业升级换代。HPDA需求主要来自HPC数据密集型应用的高速增长，这部分业务除了应用于传统的HPC模拟和空间算法外，越来越多地渗透商业智能、金融、个性化医疗、科研等涉及数据挖掘的场景，如金融的反欺诈、气候建模、基因组分析等。

HPDA大行其道的同时，也伴随着ARM、GPU、FPGA等算力逐步崛起，x86垄断地位变得岌岌可危，集群计算进入多样性算力的阶段。

高性能计算中，计算、存储、网络三大部件不可或缺。长久以来，追求更高的算力一直是产业的主要创新方向，因此在过去的三十年，算力在各方的推动下高速提升。如今，多样性算力给高性能计算提供了更多更丰富的计算资源选项，打破了算力瓶颈。而存力的演进已经赶不上算力的高速增长的步伐，成了高性能计算的短板，也影响着算力更好的发挥。高性能计算的重心开始从以计算为核心，向以数据为中心的计算演进，集群计算进入海量数据的新阶段。

早期的HPC对于存储的需求主要集中在匹配算力的大吞吐量上，随着大数据、AI等复杂负载的出现，存储的重要性进一步凸显。首先是数据量从PB级向EB级演进，存储的成本占比越来越高，如何利用分级、纠删码、重删压缩等技术降低存储成本，对于HPC整体成本的优化至关重要；另外，随着计算量的增大，对计算过程稳定性的要求进一步凸显，一旦在大规模运算的过程中存储出现问题，除了过程数据丢失需要重启计算任务，甚至可能带来宝贵的原始数据丢失，而HPC存储处理的是企业的核心业务数据，如油藏数据、气象数据、车辆设计数据，这些海量的数据往往来之不易，非常宝贵。因此存储将引领HPC产业下一波的创新方向。

可以说，HPC对于存储的扩展性、性能和稳定性需求，是所有非结构化数据领域最为苛刻的，所以是海量存储产业当之无愧皇冠上的明珠。

写在最后

根据IDC统计，全球67%的高性能计算中心已经在使用大数据相关技术，30%的HPC计算机时资源用在了数据分析上，传统HPC走向HPDA的趋势已非常明朗，产业的各方是否已经做好了充足的准备迎接新的时代？当下数据密集型HPC的应用，已经让我们隐约看到了带给存储产业的挑战，如支持混合负载并行访问、多协议融合访问、EB级超高扩展性、极致TCO等，未来存储产业如何肩负起起HPC下一跳演进的使命，我们不妨拭目以待。

未经允许不得转载：DOIT » HPC走向HPDA，谁将占领C位？