今天，MLCommons公布针对 60 亿参数GPT-J的 MLPerf推理v3.1 性能基准测试结果，测试结果中，有的是Habana Gaudi 2 加速器的，有的是第四代英特尔至强可扩展处理器的。
根据6月披露的MLCommons验证了Gaudi2 在先进的视觉语言模型上表现，性能可以超越英伟达的H100处理器，而今天的结果进一步证明了英特尔能够提供满足AI计算需求的、英伟达H100和A100的唯一可行的替代方案。
Habana Gaudi2 在GPT-J模型上的推理结果强有力地验证了其具有竞争力的性能：
Gaudi2 在GPT-J-99 和GPT-J-99.9 上的服务器查询和离线样本的推理性能分别为78.58 次/秒和84.08 次/秒。
与英伟达H100相比，Gaudi2表现出 1.09 倍（服务器）和 1.28 倍（离线）的轻微性能优势。
Gaudi2 拥有高于英伟达A100 2.4 倍（服务器）、 2 倍（离线）的性能。
Gaudi2 提交的结果采用 FP8数据类型，并在这种新数据类型上达到了 99.9% 的准确率。
英特尔每6-8周就会对Gaudi2 进行一次软件更新，后续，英特尔将继续在 MLPerf 基准测试中展现其产品的性能提升，以及持续扩大的模型覆盖范围。
未经允许不得转载：DOIT » MLCommons推理测试：英特尔Gaudi 2险胜英伟达H100
