《科技》NVIDIA H100 GPU助攻 Amazon EC2 P5缩减AI训练成本

与上一代基于GPU的执行个体相比，Amazon EC2 P5执行个体可以将训练时间缩减6倍（从几天缩短到几小时），帮助客户节省高达40%的训练成本。

Amazon EC2 P5执行个体提供8个NVIDIA H100 Tensor Core GPU，具有640 GB高带宽GPU记忆体，同时提供第三代AMD EPYC处理器、2TB系统记忆体和30 TB本地NVMe储存。Amazon EC2 P5执行个体还提供3200 Gbps的聚合网路频宽并支援GPUDirect RDMA，进而能够绕过CPU进行节点间通讯，实现更低的延迟和高效的横向扩展效能。

AWS和NVIDIA合作十多年来成果丰硕，推出了包括支援视觉运算、人工智慧和高效能运算集群的各种GPU执行个体，如CG1执行个体（2010年）、G2（2013年）、P2（2016年）、P3（2017年）、G3（2017年）、P3dn（2018年）、G4（2019年）、P4（2020年）、G5（2021年）和P4de（2022年）执行个体。

Amazon EC2 P5执行个体非常适合训练和执行越来越复杂的大语言模型和电脑视觉模型，以满足最苛刻的运算密集型生成式AI应用的需求，包括问答、程式码生成、影片和图像生成、语音识别等。与上一代基于GPU的执行个体相比，Amazon EC2 P5执行个体在这些应用中的训练时间缩短了6倍。那些可以在工作负载中使用较低精度FP8资料类型的客户，例如使用Transformer模型架构的语言模型，将透过NVIDIA Transformer Engine的支援获得高达6倍的效能提升。