浪潮AI服务器获全球权威评测MLPerf2.1推理超半数冠军

9月9日，全球权威AI基准评测MLPerf™ V2.1推理最新评测成绩公布。浪潮AI服务器大幅提升刷新性能纪录，在最受关注的固定赛道全部30项任务中，获得19项最高成绩，其中在数据中心16项任务中斩获12项冠军，边缘14项任务中获得7项冠军，同时刷新了11项性能记录，并将BERT、3D-UNet等重要任务的性能提升约100%。

本次MLPerf™ 评测吸引了包括NVIDIA、浪潮信息、Intel、高通、阿里巴巴、戴尔、壁仞等全球21家厂商和研究机构参与，共提交超10000项评测成绩。

在本次倍受瞩目的数据中心BERT评测任务中，浪潮AI服务器突破性地全球首次实现单机搭载24颗国际通用GPU，通过深入优化GPU轮询调度策略，充分发挥每块GPU性能，大幅提升了BERT推理性能，最终实现每秒钟回答7.5万个问答任务，相较于上次评测最佳成绩提升达93.81%，这也是浪潮AI服务器第4次获得MLPerf™推理BERT任务性能冠军。

同时引人注目的是，在本次MLPerf评测中，浪潮AI服务器成功搭载国产GPU芯片厂商壁仞科技自研的高端通用GPU，在BERT和ResNet50两项重要任务中取得了8卡和4卡整机的全球最佳性能，实现了国产芯片在国际AI赛场上的精彩亮相，并取得历史性突破。

自MLPerf™发起至今，浪潮信息持续积极推动AI基准评测发展创新，先后10次参与评测，多次获得冠军总数第一。浪潮信息在AI服务器的整机系统优化、软硬件协同优化等多方面持续创新，不断打破性能记录，并将领先技术分享到MLCommons社区，被大量参赛厂商采用并广泛应用于后续评测中。

▶ 在算法优化层面，浪潮首先在MLPerf训练中应用超参优化方案，大幅提高训练性能。浪潮开创性提出ResNet 收敛性优化方案，在ImageNet数据集上，仅使用85%的原迭代步数就达到了目标精度，将MLPerf训练性能记录提升了15%；率先在MLPerf推理中使用自研卷积合并算法的plugin算子方案，优化后算法性能从原算法123TOPS提升到141TOPS，性能提升达14.6%。

▶ 在架构优化方面，浪潮率先采用JBOG方案，极大提升了AI服务器搭载超多数量GPU设备的能力。本次评测中，浪潮NF5468M6J产品突破性地实现了单机搭载24颗GPU。同时，浪潮针对高负载多GPU协同任务调度以及NUMA节点与GPU之间的数据传输性能进行了深度优化，实现了CPU和GPU的利用率线性扩展、多个任务并发场景同步运行，大幅提升性能。

浪潮信息是全球领先的AI计算厂商，AI服务器市场份额全球第一，连续五年中国市场份额超过50%。浪潮信息致力于AI计算平台、资源平台和算法平台的全栈创新，并通过元脑生态携手领先伙伴共同加速AI产业化和产业AI化进程。

MLPerf™ 

MLPerf™ 是影响力最广的国际AI性能基准评测，由图灵奖得主大卫•帕特森（David Patterson）联合顶尖学术机构发起成立。2020年，非盈利性机器学习开放组织MLCommons基于MLPerf™ 基准测试成立，其成员包括Google、Facebook、NVIDIA、英特尔、浪潮信息、哈佛大学、斯坦福大学、加州大学伯克利分校等50余家全球AI领军企业及顶尖学术机构，致力于推进机器学习和人工智能标准及衡量指标。目前，MLCommons每年组织2次MLPerf™ AI训练性能测试和2次MLPerf™ AI推理性能测试，以便快速跟进迅速变化的计算需求和计算性能提升，为用户衡量设备性能提供权威有效的数据指导。

未经允许不得转载：DOIT » 浪潮AI服务器获全球权威评测MLPerf2.1推理超半数冠军