一个智能体要2GB内存,英特尔拿IAA硬刚智能体时代的内存焦虑

针对内存容量瓶颈,英特尔介绍了两条技术路线。第一条是通过CXL扩展服务器内存容量。这种方式对现有应用软件相对透明,但需要额外的硬件投入。第二条是通过软硬件协同,提高现有物理内存的使用效率。

随着AI智能体加速落地,CPU在AI基础设施中的角色正在发生变化。过去,CPU主要负责为GPU提供数据处理、任务调度等支持。如今,随着智能体开始独立执行复杂任务,CPU不仅要负责调度,还需要承担大量实际计算和执行工作。

在2026云栖大会上,英特尔专家介绍了至强处理器如何应对智能体带来的新挑战,以及这些实践如何影响下一代CPU的设计。 

首先要明确的是,英特尔可没说现在的至强是为智能体而设计的。英特尔认为,当前市场上的CPU还不能算是真正面向智能体原生设计的处理器,但通过现有产品和软硬件优化,已经能够解决部分关键问题。

智能体为什么需要更多CPU?

传统AI应用主要围绕大模型推理展开,而智能体的工作流程更加复杂。

一个用户请求可能触发数十次甚至上百次智能体循环。每次循环中,大模型负责理解任务、制定计划,而具体执行则可能涉及网页访问、代码运行、文件处理、API调用等操作,这些操作背后往往需要CPU资源。

与此同时,智能体的使用方式也在发生变化。过去主要是人向AI发起请求,现在越来越多的任务可以由智能体自主执行,甚至由多个智能体相互协作。这意味着,CPU不仅需要应对更多并发任务,还要支持长时间运行的复杂工作流。 

英特尔认为,智能体对CPU提出了四方面的新要求:更强的计算和执行能力、更高的数据与内存使用效率、更好的资源经济性,以及安全可靠的运行环境。其中,智能体的并发执行能力和内存容量,已经成为影响部署密度的两个关键因素。

英特尔至强6+:平台可以支撑约350路并发沙箱创建

智能体通常需要独立的运行环境,例如沙箱或微型虚拟机(Micro-VM),以便安全地执行代码、访问工具和处理文件。当大量智能体同时运行时,如何快速创建这些运行环境,并保持较低延迟,就成为CPU面临的重要挑战。 

英特尔专家分享了一组至强6+处理器(今年6月份发布的,最高288个能效核的那个)与竞品的对比测试。测试要求是在持续增加沙箱创建压力的情况下,将单个沙箱的创建延迟控制在200毫秒以内。

根据英特尔披露的数据,在沙箱创建平均延迟低于200毫秒的SLA要求下,在相同软件版本和操作系统环境下,至强6+平台可以支撑约350路并发沙箱创建,而竞品约为240路,英特尔称其并发能力高出约46%。

英特尔还发现,智能体的工作负载对CPU前端架构非常敏感。原因在于,智能体运行过程中存在大量任务切换、状态切换和不同类型的指令执行,对CPU的指令获取、分支预测、指令调度以及缓存效率提出了较高要求。

这意味着,智能体工作负载的性能表现,并不完全取决于CPU核心数量,还与微架构设计密切相关。英特尔表示,相关测试和分析结果已经反馈给CPU架构设计团队,这些反馈将作用于后续的CPU设计。

一个智能体需要约2GB内存,内存容量成为部署密度的瓶颈

除了计算性能,内存也是影响智能体部署规模的重要因素,都知道内存现在很贵,但这不是专家要说的重点。

根据英特尔在相关场景中的统计,一个智能体运行实例通常需要约2GB内存。随着智能体数量增加,内存需求也会快速增长。所以,如果一台服务器需要同时运行多个智能体,即使CPU还有余力,也可能因为内存不足而无法继续提高部署密度。

英特尔指出,当前服务器通常采用每个CPU核心配置4GB或8GB内存的方案。当客户希望通过CPU资源超配,提高单台服务器运行的智能体数量时,内存容量往往会成为限制因素。

以至强6+为例,其最高配置达到288个能效核,支持12个DDR5内存通道。如此高的核心密度,也对服务器的内存配置提出了更高要求。所以,未来想提高智能体部署密度,不能只堆CPU核心,还需要同时解决内存容量和使用效率问题。

利用IAA硬件加速,内存压缩速度是软件方案的11倍

针对内存容量瓶颈,英特尔介绍了两条技术路线。第一条是通过CXL扩展服务器内存容量。这种方式对现有应用软件相对透明,但需要额外的硬件投入。第二条是通过软硬件协同,提高现有物理内存的使用效率。

在后一种方案中,英特尔利用至强处理器内置的IAA,结合Linux的zswap内存压缩机制,实现更加灵活的内存管理。其基本思路是,根据内存页面的使用情况,将暂时不活跃的数据压缩存放,在需要使用时再进行解压。

谈到压缩,大致有纯软的方式和靠硬件加速实现的方式。英特尔表示,在真是的测试环境中,虽然软件压缩和IAA硬件压缩都能实现约2.1的压缩比。但在处理速度方面,IAA具有明显优势。

数据显示,IAA的压缩速度约为软件方案的11倍,解压速度约为12倍。更重要的是,IAA采用独立的硬件加速单元执行相关操作,可以减少内存压缩任务对通用CPU核心计算资源的占用。

这意味着,在相同的物理内存条件下,采用了至强的服务器有机会通过提高内存利用率来支持更多智能体,同时尽量降低压缩操作对业务性能的影响。缺内存,怕内存贵的用户可以注意一下这个IAA。

尽量利用CPU本地AI能力,减少大模型Token消耗

除了提高智能体部署密度,英特尔还在探索如何降低智能体的运行成本。上面也说了,智能体执行复杂任务时,可能需要反复调用大模型。任务越复杂、执行轮次越多、上下文越长,消耗的Token通常也越多。

英特尔认为,并非所有任务都需要调用远端大模型。借助至强处理器的AI计算能力,特别是支持Intel AMX矩阵计算加速技术的产品,可以将部分AI工作负载放在CPU本地执行。 

比如,在语音识别场景中,可以使用运行在CPU上的小模型完成语音转文字,减少对远端模型API的依赖。此外,一些相对简单的智能体技能(Skill),也可以由本地小模型完成,而不必每次都调用大型模型。

复杂的推理任务仍然由大模型处理,而相对简单、重复性较高的工作,可以交给CPU本地执行。通过这种分工,有机会减少远端模型调用次数、降低Token成本,并改善部分任务的响应速度。

英特尔开始重新思考下一代CPU设计 

英特尔表示,目前的至强处理器并不是从一开始就专门针对智能体工作负载设计的。不过,通过与阿里云等客户的合作,英特尔正在积累大量真实应用场景中的性能数据,并将这些数据反馈给CPU架构团队。

这些研究主要集中在两个方向。一方面,通过优化CPU前端架构、指令调度和缓存效率,提高智能体执行复杂任务时的性能表现。另一方面,通过IAA、AMX等硬件加速能力,让CPU能够更加高效地处理内存压缩、本地AI推理等特定任务。

英特尔希望进一步建立真实业务性能与CPU微架构指标之间的联系,让下一代处理器的设计更加贴近智能体工作负载的实际需求。

本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信