HPE押注智能体AI:企业AI推理正在从云端回归本地数据中心

随着AI智能体快速发展,企业正在重新思考AI基础设施架构。HPE认为,未来大量AI推理任务不会长期运行在公有云中,而会回到企业自己的数据中心,形成“本地+边缘+云”的混合AI架构。

随着AI智能体快速发展,企业正在重新思考AI基础设施架构。HPE认为,未来大量AI推理任务不会长期运行在公有云中,而会回到企业自己的数据中心,形成“本地+边缘+云”的混合AI架构。


HPE表示,推动这一变化的核心原因之一,是AI智能体带来的“Token经济”压力说白就是Token太贵

AI智能体让Token消耗暴增,企业开始关注成本

过去,企业使用生成式AI,通常是用户输入问题,模型生成一次回答。但AI智能体不同,它需要持续读取数据、分析环境、调用工具、验证结果,并与其他系统交互。

这意味着一次简单任务背后,可能包含数千甚至数百万次模型调用,每一次调用都会消耗Token,并产生计算成本。

HPE首席技术官兼混合云业务负责人Fidelma Russo表示,随着AI系统越来越自主化,企业每天处理的大量运营信号正在转化为越来越高的Token消耗成本。

为了降低成本,HPE内部建设了一套基于自身基础设施运行的AI支持平台,包括GreenLake Intelligence AI智能体框架,以及与英伟达合作打造的Private Cloud AI私有AI基础设施。

HPE表示,将AI工作负载迁移到自有基础设施后,不仅增强了数据控制能力,也显著降低了Token成本。

据HPE介绍,这套方案帮助公司将相关成本降低超过30倍,每月节省近10万美元。

AI推理正在回归本地,云端并非唯一答案

HPE认为,AI时代正在出现一个重要趋势:企业不再单纯依赖大型公有云运行所有AI任务,而是开始建设自己的AI数据中心。原因包括数据安全、合规要求、响应延迟,以及越来越高的AI推理成本。

尤其是在智能体AI时代,推理已经不再是一次性的请求,而变成持续运行的生产任务。

Russo表示,AI智能体会不断进行推理、验证、执行操作,每一个环节都会消耗Token,因此AI成本最终会越来越接近传统基础设施成本,需要考虑资源利用率、效率和规模化运营。

研究机构Signal65数据显示,AI智能体消耗的Token数量可能是普通聊天式AI的4到15倍,而未来高度自主化的智能体系统,可能推动推理需求增长1000倍。

这也推动企业重新布局AI基础设施。目前包括HPE、戴尔、思科等传统IT厂商,都正在推出面向企业的AI工厂(AI Factory)方案,与英伟达合作提供本地AI计算、网络和软件管理能力。

存储成为AI系统“长期记忆”,KV Cache改变数据角色

除了计算资源,HPE认为存储将在AI时代扮演更加重要的角色。

传统AI系统每次运行任务时,都需要重新构建上下文信息,这会消耗大量Token并降低效率。而KV Cache(Key-Value Cache)技术可以保存模型已经处理过的上下文信息,让AI无需重复计算。

HPE认为,这意味着存储正在从过去的数据保存设备,转变为AI系统的“主动记忆”。

为此,HPE正在推动Alletra Storage X10000存储系统与Private Cloud AI结合,用于保存AI上下文数据。

HPE表示,在测试中,该系统可以实现20倍更快的首次Token生成时间(Time-to-First-Token),并提升17倍吞吐能力。

这背后反映出一个趋势:未来AI基础设施竞争,不只是GPU数量竞争,也包括如何更高效地管理数据、上下文和AI记忆。

HPE完善AI基础设施布局

除了存储,HPE还在服务器、软件和AI管理平台方面扩展布局。

HPE Private Cloud AI未来将集成英伟达Agent Toolkit,包括OpenShell安全运行环境、NemoClaw蓝图以及Nemotron模型,帮助企业构建和管理大规模多智能体环境。

此外,HPE计划推出的新一代ProLiant DL394 Gen12服务器,也将采用英伟达Vera CPU,用于支持AI智能体中的快速工具调用、任务编排和实时数据处理。

在软件方面,HPE推出GreenLake Intelligence,用于管理企业内部的AI智能体,包括智能体注册、权限管理、运行状态监控以及Token消耗分析。

同时,Morpheus 9平台进一步增强多站点基础设施自动化管理能力。

AI基础设施进入“云+本地”新阶段

HPE认为,未来公有云仍然适合AI模型训练和早期实验,但企业生产环境中的AI推理任务,将越来越多部署在自己的数据中心。

HPE私有云和灵活解决方案业务负责人Cheri Williams表示,企业仍会使用公有云进行实验和模型训练,但生产环境中的AI应用正在转向本地部署,因为公有云模式在大规模运行AI时经济性越来越难以满足需求。

这意味着,AI基础设施正在进入一个新的阶段:训练走向云端,推理回归企业;GPU决定算力上限,存储决定AI效率。

随着AI智能体从实验阶段进入企业生产环境,未来的数据中心竞争将不再只是计算能力竞争,而是计算、存储、网络和软件协同优化的综合竞争。


本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信