DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

英特尔面向中国市场发布Gaudi2,可作为H100的替代方案

2023年7月11日,英特尔正式面向中国市场发布AI加速器Gaudi2,作为市场上为数不多的英伟达H100加速器的替代品,Gaudi2有着更高的性价比。

Gaudi2可用于AI训练及推理,此次发布,将为中国用户带来更高的深度学习性能和效率,进而成为大规模部署AI的新选择。

英特尔执行副总裁兼数据中心与人智能事业部总经理Sandra Rivera表示,凭借包括至强可扩展处理器和Gaudi2深度学习加速器在内的产品组合,英特尔正在降低人工智能的准入门槛。

Gaudi2具备:

● 24个可编程Tensor处理器核心(TPCs)

● 21个100Gbps(RoCEv2)以太网接口

● 96GB HBM2E内存容量

● 2.4TB/秒的总内存带宽

● 48MB片上SRAM

● 集成多媒体处理引擎

Gaudi2在6月公布的MLCommons MLPerf基准测试1中有优异表现,其在GPT-3模型、计算机视觉模型ResNet-50(使用8个加速器)、Unet3D(使用8个加速器),以及自然语言处理模型BERT(使用8个和64个加速器)上均取得了优异的训练结果。

与市场上其他面向大规模生成式AI和大语言模型的产品相比,Gaudi2在性能与性价比上都有优势,能够帮助用户提升运营效率的同时,降低运营成本。

此外,Gaudi2可为大规模的多模态和语言模型提供出色的推理性能。在最近的Hugging Face评估中,其在大规模推理方面的表现,包括在运行Stable Diffusion、70亿以及1760亿参数BLOOMz3模型时,在行业内保持领先。

Gaudi2深度学习加速器的架构旨在高效扩展,以满足大规模语言模型及生成式AI模型的需求。其每张芯片集成了21个专用于内部互联的100Gbps(RoCEv2 RDMA)以太网接口,从而实现低延迟服务器内扩展。

在Stable Diffusion训练上,Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。此外,MLCommons刚刚公布的MLPerf训练3.0结果4,亦验证了Gaudi2处理器在1750亿参数的GPT-3模型上,从256个加速器到384个加速器可实现令人印象深刻的接近线性的95%扩展效果。

Gaudi2具备成熟的软硬件支持

为支持用户轻松构建模型,或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器,SynapseAI软件套件针对Gaudi平台深度学习业务进行了优化,SynapseAI集成了对TensorFlow和PyTorch框架的支持。

目前,英特尔正与浪潮信息合作,打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B,还包含双路第四代英特尔至强可扩展处理器。

在中国的产业生态

本次发布会上,美团、百度与浪潮信息等生态伙伴分别分享了其基于英特尔软硬件产品组合的多样化智能业务进展。

百度智能云服务器高级经理何永占表示,集成英特尔AMX加速引擎的第四代英特尔至强可扩展处理器为ERNIE-Tiny模型带来了多倍的性能优化,百度将持续构建领先的AI全栈能力和全面的开放生态,并期待与英特尔在未来的AI领域展开更为广泛、深入的合作。

浪潮信息高级产品经理王磊强调,NF5698G7是专为面向生成式AI市场创新开发的新一代AI服务器,支持8颗OAM高速互联的Gaudi2加速器,具备高性能、高扩展、高能效和开放生态等优点,将为AI客户提供强大的大模型训练和推理能力。未来,浪潮信息将继续携手英特尔,为行业打造创新、领先的产品方案。

新华三集团计算存储产品线副总裁刘宏程指出,新华三智慧计算秉持内生智能的技术理念,基于硬件使能、前瞻技术、绿色低碳等全方位能力,助力AI产业的高速发展。基于英特尔Gaudi2 AI加速器,新华三正与英特尔紧密合作,开发适合大模型训练和推理的高性能AI服务器,推动智能算力的普惠创新。

超聚变数字技术有限公司算力基础设施领域总裁唐启明表示,非常荣幸见证英特尔Gaudi2的发布。作为英特尔的长期战略合作伙伴,超聚变将一如既往地携手英特尔,共同推出基于Gaudi2的全新产品与解决方案,助力企业的AI场景成熟商用和规模落地。

未经允许不得转载:DOIT » 英特尔面向中国市场发布Gaudi2,可作为H100的替代方案