​8160亿参数大模型,英特尔只用4张GPU就跑起来了

Meta近日发布了Muse Spark Open开放权重模型,参数规模高达8160亿(816B),这是目前美国发布的能力最强的开放权重模型之一(国内的Kimi K3,Qwen3.8都是万亿以上的了)。

Meta近日发布了Muse Spark Open开放权重模型,参数规模高达8160亿(816B),这是目前美国发布的能力最强的开放权重模型之一(国内的Kimi K3,Qwen3.8都是万亿以上的了)。

如此庞大的模型,需要多少GPU才能运行?英特尔给出的答案是:4张。

英特尔宣布,其至强处理器和新一代数据中心GPU D系列已经实现对Muse Spark Open的首日支持。其中,英特尔使用4张GPU D系列显卡,成功运行了这款8160亿参数的大模型。

一张GPU配备160GB内存,4张就是640GB

英特尔GPU D系列采用Xe3P架构,拥有32个Xe3P核心、256个XMX矩阵计算引擎,支持MXFP4等低精度数据格式。

这款GPU的一大特色是超大内存容量,单卡标配160GB LPDDR5x内存,最高支持480GB的容量选项,容量大的吓人。

同时,GPU D系列采用350W功耗设计,使用PCIe接口和风冷散热。对安装环境的宽容度很大。

这意味着企业可以在传统风冷数据中心机架中,通过4张GPU运行8160亿参数级别的大模型,无须部署复杂的液冷基础设施。

英特尔是怎么做到的?关键在于低比特量化

Muse Spark Open原始模型采用BF16权重,8160亿参数仅权重就需要约1.63TB内存。

技术实现上,英特尔使用vLLM原生量化工具 LLM-compressor从Muse Spark Open 的原始BF16权重量化出了MXFP4和INT4变体。

英特尔的 AutoRound算法逐层优化四舍五入和削波范围参数,帮助即使在超低比特宽下保持 Muse Spark Open的细粒度推理能力。

英特尔还为至强CPU提供了INT4权重量化版本,结合AMX矩阵计算加速技术,让企业可以利用服务器的大容量系统内存运行这一模型,尤其适合离线推理任务。

在软件生态方面,英特尔通过vLLM、SGLang等开源推理框架提供支持,让开发者能够利用现有工具部署模型。

Muse Spark Open是智能体场景的模型

Muse Spark Open是一款非常有特点的大模型。它主要针对智能体编程任务进行优化,能够理解复杂代码库、生成代码、调试程序,还支持高达100万Token的上下文窗口,可以一次处理包含大量文件和复杂依赖关系的软件项目。

此外,它还具备图像、音频、视频和文档理解能力,能够调用工具、浏览网页、操作计算机,并协调多个子智能体完成复杂任务。

数据中心大模型推理方案的新选择

随着AI从简单问答走向复杂的智能体工作流,大模型对内存容量、推理效率和部署成本提出了更高要求。

英特尔这次展示的一个重要方向,就是通过大容量显存和低精度计算,让超大规模模型能够在更紧凑、更容易部署的硬件平台上运行。

尤其值得关注的是,GPU D系列采用LPDDR5x内存和350W风冷PCIe设计,走出了一条与高功耗、高带宽HBM GPU不同的技术路线。

对于希望在现有数据中心部署超大模型的企业来说,这提供了一个值得关注的新选择。


本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信