全新评测方法论,让我重新认识智能体CPU

Arm从 “幕后 IP 提供商” 转向 “台前算力玩家”

近日,Arm联合富士通、Meta、OpenAI等正式发布了白皮书与全新评测方法论,共同定义了智能体应用场景下CPU的性能标准,同时公布了Signal65独立第三方的验证测试。

10月22日,针对智能体AI 全新CPU测试方法论,Arm 云 AI 解决方案架构总监 Ravi Malhotra举行线上发布会进行了说明,透过Ravi Malhotra的讲解,我突然意识到,原来CPU的设计也需要与时俱进,这也是为什么今年的3月25日,Arm从 “幕后 IP 提供商” 转向 “台前算力玩家”,提供AGI CPU算力芯片的原因。可惜的是,当时的关注力只在于Arm从幕后走向前台引发的冲突,反而冷落了真正的主角Arm AGI CPU。

这次线上发布,也算是对我的一种拨乱反正,指点迷津。

Ravi Malhotra指出,从现有的5种类型的智能体AI应用来看,它们对于CPU的需求不尽相同,有的要求性能,就软件工程为例,编译和测试代码等动作耗时较长,会消耗大量 CPU 周期,因此CPU 单核的性能就显得非常重要。相比,个人助理或企业自动化智能体,其单次操作所持续时间往往较短,例如访问网页或数据库,或执行少量操作,因此对单个智能体的性能要求没有那么高,但是这些应用需要执行的操作数量庞大,因此对于CPU的吞吐量以及功耗为代表的运行效率就提出了更高的要求。

这是智能体AI对于CPU的需求,当然也成为智能体AI CPU评测的指导原则。

“从组件角度出发的基准测试,如Web 服务器、工具调用类、数据库或模型服务的开销,重点测试的是 CPU单线程性能的能力,包括分支预测、缓存、内存延迟和内存带宽。但是与此同时,也要重视端到端智能体的基准测试,这部分更关注CPU的可扩展性和并发性,二者相辅相成。性能评估不能只看单颗 CPU 能够承载多少智能体,也不能单纯追求最高吞吐量,还需要在吞吐量与 SLA(服务等级协议)要求之间取得平衡。” Ravi Malhotra说。

这同样也体现在智能体专用Arm AGI CPU的设计上。

从数据上看,Arm AGI CPU 集成了最多 136 个 Arm Neoverse V3 核心,3.7GHz 睿频,强化单核 IPC、分支预测、缓存体系;同时,配备了12 通道 DDR5-8800,每核配套 6GB/s 带宽与低于 100ns 延迟;96 条 PCIe Gen6 + CXL3.0 + AMBA CHI,天生就是用来挂大量 GPU、向量库卡、CXL 内存池;其中,CHI 是一套标准化的互联接口规范,其缓存一致性采用目录式(Directory-based)为主,辅以选择性 snoop,透过一个“目录”,专门记录某块内存地址,现在哪些缓存持有副本;要写数据时,先查目录;只给持有副本的少数节点发消息,而不是广播给全部节点;只有目录信息不确定的时候,才会触发局部 snoop,不是全网广播。

新的设计意味着节点(核、CCIX/CXL 设备、NPU)数量上去后,一致性流量不会像纯广播那样雪崩,天然支持异构设备加入一致性域:CPU、NPU、CXL 内存、加速器都可以挂在同一个 CHI 一致性域;适合大 SoC、多芯片、异构 AI 机头这种复杂系统,也就是 Arm AGI CPU 面向的场景。

软件栈方面,Arm AGI CPU出厂对齐 vLLM、Milvus、沙箱 Agent、SWE-bench/Terminal-Bench 这类开发 Agent 负载,如此,客户自己就不用自己慢慢进行适配了。

需要说明的是,Arm AGI CPU设计不是采用一套全新指令集架构,但整套芯片的系统、内存、互联、功耗策略,都是专门针对 “Agent 规划、工具调用、调度 GPU/NPU” 这个场景调优。此前的Arm CPU授权,如 AWS、微软、谷歌自己拿 IP 做成 Graviton、Cobalt、Axion等,主要强调云的应用场景。相比,AGI CPU 是 Arm 第一次自己下场流片、对外卖成品 CPU 芯片,这是一个重大变化。

正式因为有了这样的变化,在全新评测评估表现上,在相同功耗预算下,Arm AGI CPU 的每机架性能约为 AMD EPYC(霄龙)9755 的 1.99 倍,也是意料之中的事情。实际上,在去年的发布中,就有Arm AGI CPU 可实现单机架性能达到最新 x86 系统两倍以上的表述,如今,不过是透过第三方的评估测试进行了验证。

实际上如何一种、测试都会有一定的局限性,都不能够准确反映实际的情况。但是有一点非常重要,Arm针对智能体AI设计了专门的AGI CPU,这有别于SKU,一个独立型号的CPU芯片版本。

这就是术业有专攻!既然如此,不妨试试看。

本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信