李斌：曙光面向“E级计算”的技术突破

10月27日，在西安举行的“2016年全国高性能计算学术年会”（HPC China 2016）上，曙光公司高性能产品事业部副总经理李斌以“面向‘E级计算’的技术突破”为题发表演讲，介绍了曙光“E级计算”的相关进展及发展方向。

在不久关于“中国HPC年度热词”相关的一个网络调研评选活动中，“太湖之光”成为当之无愧的人气之王，名列第二的是“E级计算”。看得出来，业界对“E级计算”的关注度。。

曙光公司高性能产品事业部副总经理李斌演讲。

实际上，“E级计算”已经成为各国在超算和科技领域争夺的制高点，欧美、日本都确立了自己的“E级计算”发展计划；E级高性能计算机以及E级高性能计算应用和计算环境也作为“十三五”期间工作重点进行了部署。

曙光面向“E级计算”的技术突破

“E级计算”也是曙光未来高性能计算重点发展的框架。

曙光面向“E级计算”的技术突破情况如何？曙光公司高性能产品事业部副总经理李斌总结了三大技术。

一是致力于突破高性能计算的新技术。经过了20多年的发展，曙光致力于突破高性能计算的新技术，包括计算、存储、网络等各个方面，逐渐形成了一套独特的思路。

二是深化应用融合。曙光注重高性能计算机与各行业、领域应用的协同设计，定制推出一些专用高性能计算机。例如，曙光公司跟中科院大气所共同申请了国家的“地球数值模拟装置”原型系统，在该项目中曙光承担了针对地球科学的专用高性能计算机研制的任务。

三是推动中国高性能计算机的产业化。这也是曙光作为商业化运作的公司使命。作为中国科学院先进计算创新与产业化联盟的理事长单位，曙光和中科院大气所成立了中科三清公司，致力于从事生态环境的实时监测和空气质量的实时预报等业务；跟中科院电子所成立了航天星图公司，后者主要从事卫星遥感、空天大数据的深度加工和行业应用。

这都是依托于曙光高性能计算机对相关行业做推动和带动的例子。

面向E级高性能计算机研发的六大关注点

“太湖之光”用自主的处理器以100P的规模成为全中国的骄傲；“太湖之光”离“E级计算”还有10倍的差距，还有很多的技术难点需要突破。国际公认的实现“E级计算”的时间将在2020年。

李斌认为，曙光E级高性能计算机的研发目标在以下六个方面。

一是降低系统功耗。要不断提高系统的能效比，即每瓦的计算性能，通过高效的制冷散热技术提高整个系统的节能性。

二是在提高单点性能同时不断提高整个系统的可扩展性。这对高性能计算机的高速度互联网络有很高的要求。

三是要通过硬件和软件的方式提高整个系统的可靠性以及对应用的容错性。

四是要对应用提供高效的支撑。高性能计算机要对应用有很好的普适性，能支撑传统的高性能计算，支持新兴的大数据和深度学习等新兴的计算应用。

五是如何针对一个超大规模的系统实现高效的管理和运维。

六是实现产业化。不能为了E级而E级，而是要通过E级高性能计算机的研发打造一个良好的生态环境，推动相关产业的产业化。

计算网络及制冷散热领域新发展

曙光承担了“十三五”期间E级高性能计算的重点专项。李斌认为，就算是没有该项目，曙光的高性能计算研发工作也会沿着原有的思路和方向发展。

硅立方：2015年，曙光依托于地球数值模拟装置原型系统，发布了采用硅立方系列的高性能计算机，这可以看作曙光通用高性能计算机向E级过渡的体系结构。

硅立方系统采用模块化的立体扩展建设方式，这种物理排布方式与Torus网络的拓扑结构对应，可大幅度节省系统占地面积，提高空间计算密度，解决大规模系统长距离网络布线的问题。依托这样的技术，曙光今年正式推出了硅立方数据中心的概念和解决方案。

M-Pro就是这样一个全新的架构和产品。这个系统和产品本来不是为E级计算设计的，但在未来的E级系统中将得到应用。M-Pro是利用Multi-Host这样的网络技术实现网络芯片到多个处理器支持到多个节点这样的共享，实现更加均衡的I/O性能。从技术的角度来看，Multi-Host支持Infiniband和Intel，提供多处理器的选择。这样的架构既适用于高性能计算，也适用于大数据运算这样的应用场景。

Multi-Host技术不仅可以保证每个核的带宽性能，还实现了不同处理器在跨节点通信的时候实现性能的均衡，对并行程序的扩展性和并行效率提供直接的帮助。节点共享这样的网络技术，可以大幅度降低高性能计算系统的网络成本。

这也意味着M-Pro HPC在单核的计算性能、保存性能和网络带宽性能方面比现在主流的计算平台有明显的优势。

针对材料模拟、气侯、海洋工程等应用，曙光做了实际应用测试，在相同的运行规模下(不做额外的优化)，相对主流的计算平台可以得到1.5-2倍实际应用的性能提升。也就是说，在相同投资的情况下，采用M-Pro HPC平台，可以实现更好的应用性能。

Torus网络技术：目前超大规模高性能计算系统，Torus网络架构是国际上较主流的计算方向。

3D-Torus网络结构的优势，一是有非常好的扩展性和性价比，系统网络建设成本和系统规模呈线性关系；二是有非常好的邻近通信性能。不过，在网络拓扑里距离较远的时候，网络跳数可能会比较多。三是因为采用了动态路由算法，Torus网络有很好的系统容错性，尽管频道之间都有极多的路径，电路断掉后对整个系统的网络通信不会产生全局影响，这也是E级超大规模系统非常重要的要求。

液冷技术：对于超大规模系统，有效地控制能耗提高节能十分迫切。目前液体冷有浸没式的直接接触方式和间接接触的方式，也可以根据液体冷媒发生相变分成单相的方式。从散热效率和节能性来说，浸没式直接蒸发相变的方式是效率最高的方式，在系统的可维护性和成本方面还需进一步优化。而冷板式液冷的方式技术相对比较成熟，成本优化比较好。

曙光致力于发展液冷技术。在液体冷却技术分两步，在主流的计算刀片平台TC4600E-LP上已经实现了冷板式液冷的产品化，正在做全浸式的蒸发相变冷却的研发和产品化。

曙光E级高性能计算机系统项目的设计思路

曙光E级高性能计算机系统项目是国家“十三五”期间高性能计算的重点专项，其最显著特点是突破了制约E级计算发展的各个关键技术，通过这样原型机的研制去验证E级的技术路线，为未来真正实现国产E级系统做技术铺垫。

除了沿用和发展诸如硅立方一类已有技术，还将基于现有存储、高性能计算机的管理和运维，针对更大规模、更复杂的环境进行优化。

在体系结构方面，未来E级系统的仍将采用层次化的设计，从基础的节点对到超节点到硅元组成硅立方体系结构，其最低性能指标将达到每节点在5P FLOPS以上，能效比到10P FLOPS每瓦这样的指标。

在计算部件方面，曙光仍将采用基于自主的处理器加众核加速器这样节点内的异构架构。这种方式可以更加灵活地支撑传统的高性能计算以及深度学习、大数据、云计算等不同的应用场景。
网络部分，将基于现有3D-Torus网络结构扩充到6D（采用两层3D-Torus的结构），6D-Torus的路由算法已经实现；内层的3D-Torus采用硅元。为了大幅度降低系统线缆的使用数量，内层的3D-Torus将做成一个模块化的交换机，或采用光交换快速通路技术去优化Torus网络比较远距离网络通信的跳数，提升网络全局性能。

在制冷方面，将采用全浸式的蒸发相变冷却，把整个计算单元浸泡在沸点比较低的特殊液体里，液体吸收热量发生相变气化，在室外冷却后再循环；室外部分仍采用全年自然冷却技术，预计其PUE值将接近1。

这样的建设方式可以用于高性能计算机系统和传统的数据中心。李斌表示，曙光正通过这些技术带动相关的产业发展，并扩展到商业应用领域。

未经允许不得转载：DOIT » 李斌：曙光面向“E级计算”的技术突破