从模型部署到智能体管理,红帽如何帮助企业真正用好AI?

如今,企业部署AI的门槛确实越来越低了。因为开源大模型越来越多,GPU的选择也越来越多,基于大模型开发智能体也变得越来越简单。

如今,企业部署AI的门槛确实越来越低了。因为开源大模型越来越多,GPU的选择也越来越多,基于大模型开发智能体也变得越来越简单。

但对于企业来说,把AI应用开发出来,只是第一步。如何让不同模型和GPU协同工作,如何提高推理效率、控制运行成本,以及如何保障AI系统的安全和稳定,都是AI进入生产环境后必须解决的问题。

这也是红帽正在发力的方向。在11月上旬的媒体沟通会上,红帽介绍了其在企业AI领域的新进展,希望发挥自己在Linux、容器和混合云领域的优势,为企业提供一套能够持续运行和管理AI应用的软件基础设施。

企业AI落地,难点正在从开发转向管理

企业对AI的应用正在快速增加,但相应的管理能力还没有完全跟上。

红帽与CIO时代联合调研:企业正式AI治理框架建立情况

在红帽与CIO时代联合开展的一项调研中,有402家企业参与了调查。结果显示,超过60%的受访企业已经私有化部署开源大模型;接近70%的企业正在探索或应用AI智能体,但建立AI正式治理框架的企业不足15%。

当企业只是引入AI,但没有建立统一管理体系时,意味着,一家大型企业可能同时使用多个大模型,不同业务部门各自开发智能体,有些应用运行在公有云,有些部署在企业内部,看起来没什么问题。

可随着应用数量增加,企业需要管理的模型、算力资源和软件环境也越来越复杂。如果每套AI应用的部署和管理方式都不一样,不仅会增加IT团队的工作量,还会造成资源浪费,并带来安全和合规风险。

因此,红帽认为,企业需要将AI纳入现有的IT管理体系,通过统一平台管理不同的AI工作负载,这也是Red Hat AI主要想解决的问题。

统一管理模型和算力,降低AI部署复杂度

红帽在AI领域强调Any Accelerator、Any Cloud、Any Model、Any Agent这4个A,即支持不同的AI加速器、多种云环境、不同的AI模型和智能体,从而让企业根据需求做选择,同时尽可能保持部署和运维方式的一致性。

红帽全球副总裁兼大中华区总裁曹衡康将其总结为4个A,有了这4个A也就有了3个C,这3个C指的是更好的选择权(Choice)、一致性(Consistency)以及掌控性(Control),这些都是为了把选择权交到客户手中。

红帽全球副总裁兼大中华区总裁 曹衡康

企业可能使用英伟达GPU运行一些大模型,也可能因为成本、供应链或国产化需求,选择其他厂商的芯片。但由于不同硬件需要的软件环境也各不相同,企业还需要投入更多资源进行适配和维护。而红帽通过统一平台破除复杂度,把选择权还给客户。

红帽AI合作伙伴生态图

为什么红帽能做这件事呢?因为红帽有企业用户都非常熟悉的Red Hat Enterprise Linux操作系统和OpenShift容器平台。基于这些熟悉的平台,Red Hat AI提供模型部署、推理服务、应用管理等能力,让AI融入企业现有的IT体系。

今年2月,红帽发布Red Hat AI Enterprise,进一步将AI模型、智能体及其运行管理能力整合到统一平台中。按照红帽的产品定位,企业可以利用现有的Kubernetes基础设施,管理从底层计算资源到上层AI应用的全栈。

深耕中国市场,对国产GPU的适配就尤其重要。除了支持英伟达、AMD和英特尔的芯片以外,据曹衡康介绍,国产GPU厂商沐曦已经成为其认证合作伙伴,其他国产GPU的适配认证也在推进当中,后续还会有更多。

红帽正在将全球统一平台的能力与中国本地硬件生态结合起来。对于需要长期建设AI基础设施的企业来说,能够在统一平台上管理和使用多种硬件,对于供应链管理和成本管理都非常有价值。

提高推理效率,让AI运行成本更可控

随着企业大规模使用智能体技术,模型调用次数和并发请求数量不断增加,推理成本也成了企业不敢忽视的问题,因为很多企业都低估了Token的消耗量和成本。

在智能体应用中,一项任务可能需要多次调用大模型,甚至同时调用不同模型。如何充分利用GPU资源,提高单位时间内处理请求的能力,直接影响AI应用的使用成本。

谈到如何提高效率、降低成本时,红帽大中华区方案架构部总经理王慧慧重点提到了vLLM和llm-d这两项开源技术。

红帽大中华区方案架构部总经理 王慧慧

Red Hat AI 推理服务架构

vLLM是一款高性能大模型推理引擎,主要用于提高推理吞吐量和GPU利用率,降低单位Token的处理成本。

llm-d则进一步面向分布式推理场景,利用Kubernetes的资源调度能力,将推理请求分配到不同计算资源上,帮助企业扩展大规模AI服务。

简单来说,vLLM重点解决如何让模型在GPU上运行得更高效,llm-d则进一步解决如何把多台服务器组织起来,提供更大规模的推理服务。

红帽还与中国AI企业趋境科技成立AI推理技术联合创新实验室,双方围绕大模型推理,特别是KV Cache等影响推理性能的关键环节展开了合作,把趋境科技的推理优化技术,和红帽的企业级部署、调度与运维能力结合起来,改善推理的响应速度和资源消耗。

从模型部署到智能体治理,帮助企业管好AI

由于AI智能体能执行实际业务任务,需要调用工具、访问企业系统,甚至自动执行部分业务流程。这意味着,企业还需要管理智能体到底能够访问哪些数据、调用哪些工具,还有执行哪些操作。

例如,一个企业内部的AI助手可以帮助员工查询资料,但如果它进一步具备修改数据库、审批订单或操作生产系统的能力,企业就必须建立相应的权限控制和审计机制。

红帽的优势在于,其成熟的企业IT平台已经积累了容器管理、身份权限、应用部署、安全策略和运维自动化等能力,而这些能力正延伸到AI模型和智能体管理中。

我们看到,Red Hat AI Enterprise提供模型与智能体管理、可观测性、安全治理等功能,帮助企业在统一环境中部署和维护AI应用。

这对于已经使用OpenShift的企业尤其具有吸引力。企业可以在熟悉的平台上扩展AI工作负载,尽可能复用已有的基础设施、运维工具和管理经验,减少重新建设独立AI平台的复杂度。

从企业场景到工业机器人场景,红帽拓展AI应用场景

国内已有很多企业将红帽AI平台用于实际场景。在此次沟通会上,曹衡康介绍了很多客户案例,其中,泰康保险使用了不同AI模型和GPU资源,红帽AI平台负责部署与管理,是“任意模型、任意加速器”的典型案例。

与此同时,红帽也在探索面向工业场景的具身智能联合方案,联合英特尔、西湖机器人、施耐德电气、紫金星宇四家合作伙伴发布了一套面向工厂的具身智能方案,机器人负责现场感知和执行任务,红帽则主要提供底层软件平台,以及云端和边缘计算的管理能力。

王慧慧认为,人形机器人可以看作一座移动的数据中心。一台具备AI能力的工业机器人,需要运行操作系统、模型和应用程序,也需要进行软件更新、安全维护和远程管理。

如果企业未来部署大量机器人,如何统一管理这些设备,就会成为新的基础设施问题,而红帽希望将其管理服务器和容器的经验,延伸到机器人等边缘计算设备。

红帽在AI时代的底气,来自长期积累的企业IT能力

从此次沟通会我看到了红帽帮助企业落地AI的思路,大体可以分为三个方面。

首先是开放性。通过支持不同模型、硬件和云环境,帮助企业保留技术选择空间,降低对单一技术供应商的依赖。

其次是运行效率。通过vLLM、llm-d等开源技术,提高推理服务的资源利用率,帮助企业控制AI运行成本。

最后是企业级管理能力。依托Linux、OpenShift等成熟产品,将AI模型和智能体纳入企业现有的IT基础设施管理体系,提高应用部署、运维和治理的一致性。

与单纯提供大模型或GPU的厂商都不一样,红帽的核心价值,更多体现在如何让企业把不同的AI技术组合起来,并长期、稳定地运行。一如当年在Linux系统和Kubernetes容器时代所做的事情。

从红帽的视角看,随着AI应用走向智能体时代,再逐步进入工业机器人等物理世界场景,企业还是需要管理计算资源和应用能力。

对于红帽而言,AI带来的机会,正是将其在企业IT基础设施领域积累的平台能力,延伸到新的计算和应用场景,而这也正是企业所需要的能力。

本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信