《产业》NVIDIA MLPerf训练结果 展现惊人效能

10家NVIDIA合作伙伴提交了结果，反映了NVIDIA AI生态系的深度和广度，包括华硕(2357)、戴尔科技集团、富士通、技嘉(2376)、慧与企业、联想、甲骨文、广达(2382)旗下云达科技、美超微和Sustainable Metal Cloud。此广泛的参与以及各伙伴杰出的基准测试结果，突显了NVIDIA AI平台在整个产业的广泛採用和信任。

由于NVIDIA AI平台的可扩展性，Eos现在可以更快地训练GPT-3 175B等大规模AI模型，这种出色的AI效能可以转化为巨大的商机。例如，在NVIDIA最近的财报电话会议中，我们描述了大型语言模型服务供应商如何在 NVIDIA HGX H200伺服器上运行Llama 3 70B模型，在短短四年内将一美元投资转化为七美元。这个投资回报是假设一家大型语言服务供应商使用吞吐量为每秒24,000词元的HGX H200伺服器，以每百万词元0.6美元的价格/提供 Llama 3 70B服务。

NVIDIA H200 Tensor GPU基于Hopper架构的优势而构建，拥有141GB HBM3记忆体，与H100 GPU相比，记忆体频宽增加了40%以上。 NVIDIA H200 Tensor Core GPU突破了AI训练的极限，在其首次亮相的MLPerf Training中延伸H100的效能并提高了47%。

此外，由于对NVIDIA软体堆迭进行了大量最佳化，使用512个H100 GPU的配置所提交的结果现在比一年前快了27%。这项改进凸显了即使使用相同的硬体，持续的软体增强也可以显着提高效能。这项工作也实现了近乎完美的扩充。随着GPU数量从去年的3584个H100 GPU增加到此次提交的11,616个H100 GPU，增加3.2倍，提交的效能也随之等比增加。

随着NVIDIA Blackwell平台推出，用于训练和推论的兆参数生成式AI模型的新一等级AI效能即将实现。