英特尔专家:智能体场景的CPU还有余力,内存不够了怎么办?

随着AI Agent开始执行实际任务,一个用户请求可能触发多个Agent协同工作,进而产生大量工具调用、代码执行和数据处理任务。这些任务不仅需要CPU提供算力,还需要内存维持运行环境和任务状态。

随着AI Agent开始执行实际任务,一个用户请求可能触发多个Agent协同工作,进而产生大量工具调用、代码执行和数据处理任务。这些任务不仅需要CPU提供算力,还需要内存维持运行环境和任务状态。

10月30日,在2026腾讯全球数字生态大会期间,英特尔数据中心技术专家胡勇分享了英特尔与腾讯云在Agent执行环境方面的技术探索。

通过对Agent工作负载进行分析会发现,Agent的CPU使用率具有明显的突发性,但内存占用却是持续性的。这意味着,CPU可以通过超分配提高利用率,但内存容量可能提前成为限制Agent部署密度的瓶颈。

围绕这一问题,英特尔提出了基于英特尔至强的内存压缩、硬件加速以及内存容量扩展等解决方案,正好可以解决CPU还有余力、内存不够了怎么办的问题。

CPU可以超卖,但内存是多少就是多少

刚才也说了,Agent的一个用户请求可能被拆分成多个Agent任务,每个Agent又会经历多轮推理、工具调用和任务执行。除了模型推理之外,大量控制、调度和工具执行工作都需要CPU参与。

不过,Agent对CPU资源的使用并不均匀。性能分析发现,当Agent处理任务时,CPU负载会在短时间内迅速升高。但当Agent等待模型响应、工具返回结果或者进入其他等待状态时,CPU利用率又会明显下降。

CPU负载的突发特征,为CPU资源超分配提供了空间。例如,通过合理的资源调度,可以让多个Agent共享同一个vCPU。当部分Agent处于等待状态时,其他Agent可以使用空闲的计算资源,从而提高服务器的整体CPU利用率。

但内存的情况不同。即使Agent没有持续使用CPU,其运行环境和相关状态仍然需要保存在内存中。测试样本显示,单个Agent的内存占用维持在约1GB或以上。Agent不一定持续消耗CPU算力,但却会持续占用内存容量。

随着Agent数量增加,内存容量可能比CPU算力更早达到上限。假设每个Agent需要分配2GB内存,由于CPU负载具有突发性,每个vCPU可以超分配给4个Agent使用。这样一来,每个vCPU就需要对应8GB内存。

但在一台采用12通道内存、每通道配置一条128GB内存的服务器上,整机总内存只有1536GB。如果服务器提供256个vCPU,平均每个vCPU只能分配6GB内存,与前面计算的8GB需求相比,存在2GB的容量缺口。

按照这一假设,即使CPU还有能力承载更多Agent,内存也不答应。单纯增加CPU核心数,并不一定能够提高服务器的实际承载能力。对于希望在一台服务器上运行更多Agent的云厂商而言,如何提高内存效率,就成了一个重要的优化方向。

内存压缩结合IAA硬件加速,提高现有内存利用率

针对Agent持续占用内存的问题,英特尔首先探索了通过软硬件协同提高内存利用效率的方案。其基本思路是利用操作系统的Swap机制,对Agent运行过程中暂时不活跃的内存页面进行压缩。

由于Agent的CPU使用具有突发性,部分内存页面可能在一段时间内不会被访问,但这些页面仍然占用物理内存空间。通过识别不活跃的内存页面,并将其压缩存储,可以减少物理内存占用。当Agent再次需要访问相关数据时,再进行解压和恢复。

胡勇介绍,英特尔提供了两种实现方式。第一种是传统的软件压缩方案,利用CPU执行压缩和解压算法(LZ4)。第二种是利用英特尔集成的IAA(In-Memory Analytics Accelerator)硬件加速器执行相关任务,减少对通用CPU计算资源的占用。

根据胡勇展示的测试结果,在软件和硬件方案实现一样的2.1的压缩比前提下,采用英特尔硬件加速方案,压缩和解压性能分别达到软件方案的约11倍和12倍。这意味着,硬件方案可以显著降低压缩操作对Agent运行效率的影响。

2DPC与CXL扩展内存容量,提高Agent部署密度

除了通过压缩提高现有内存的利用效率,英特尔还提出了两种硬件扩展方案来直接给内存进行扩容。

第一种方案是2DPC内存配置。2DPC指每个内存通道配置两条内存条。相比每通道只配置一条内存的1DPC方案,2DPC可以在内存模组容量相同的情况下,将服务器的内存容量提高一倍。

例如,对于一台12通道内存的服务器,如果每个通道配置两条128GB内存,整机理论内存容量就可以从1.5TB提高到3TB。在CPU核心数量不变的情况下,更大的内存容量意味着服务器可以启动更多Agent。

第二种方案是通过CXL技术扩展内存。CXL是一种高速互连技术,可以让服务器通过兼容的内存扩展设备增加可用内存容量。CXL破除了内存通道限制,提供了额外的内存扩展路径,可以帮助服务器根据需求配置更大内存。

对于Agent而言,这种方式具有一定的吸引力。由于Agent的CPU使用具有突发性,服务器可以通过超分配提高CPU利用率。如果能够同步增加内存容量,就有机会进一步提高单台服务器能够承载的Agent数量。

不过,这么干也都是有代价的。2DPC配置可能需要降低一些运行频率,而CXL扩展内存的访问延迟和带宽也会略高于本地DDR内存。因此,实际部署仍需要根据业务需求进行权衡。

Agent正在改变服务器设计

从英特尔与腾讯云的技术探索可以看出,Agent正在改变传统服务器的资源配置方式。

过去,服务器性能优化通常关注CPU计算性能、核心数量和内存带宽等指标。而在Agent场景下,除了这些传统指标,还需要考虑CPU负载的突发性、内存状态的持续占用,以及大量执行环境同时运行时的资源利用效率。

胡勇表示,高密度、弹性的Agent执行还需要沙箱技术的支持。沙箱可以为Agent提供独立的执行环境,在满足任务隔离和安全要求的同时,支持大量Agent实例的创建和管理。英特尔也正在与腾讯云围绕Cube Sandbox等技术开展合作。

胡勇还提到,英特尔希望将实际应用中发现的问题和需求反馈到未来的CPU产品设计中,使处理器能够更好地适应Agent工作负载,尽可能地降低单个Agent的运行成本,这也将是英特尔与腾讯云持续优化AI基础设施的重要方向。

撰文:朱朋博

本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信