2023年7月31日 亚马逊云科技近日在纽约峰会上宣布Amazon Elastic Compute Cloud（EC2）P5实例正式可用。这是一款下一代GPU实例，由最新的英伟达H100 Tensor Core GPU提供支持，可以满足客户在运行人工智能、机器学习和高性能计算工作负载时对高性能和高扩展性的需求。与上一代基于GPU的实例相比，Amazon EC2 P5实例可以将训练时间缩减6倍（从几天缩短到几小时），从而帮助客户节省高达40%的训练成本。
Amazon EC2 P5实例提供8个英伟达H100 Tensor Core GPU，具有640 GB高带宽GPU内存，同时提供第三代AMD EPYC处理器、2TB系统内存和30 TB本地NVMe存储。Amazon EC2 P5实例还提供3200 Gbps的聚合网络带宽并支持GPUDirect RDMA，从而能够绕过CPU进行节点间通信，实现更低的延迟和高效的横向扩展性能。
亚马逊云科技与英伟达携手开发下一代基础设施
亚马逊云科技和英伟达（NVIDIA）在今年3月宣布了一项多方合作，构建全球最具可扩展性且按需付费的人工智能基础设施，以便训练日益复杂的大语言模型和开发生成式AI应用程序。
当时，亚马逊云科技预发布了由英伟达H100 Tensor Core GPU支持的Amazon EC2 P5实例，可为构建和训练更大规模的机器学习模型提供高达20 exaFLOPS的算力。亚马逊云科技和英伟达合作十多年来成果颇丰，推出了包括支持视觉计算、人工智能和高性能计算集群的各种GPU实例，如CG1实例（2010年）、G2（2013年）、P2（2016年）、P3（2017年）、G3（2017年）、P3dn（2018年）、G4（2019年）、P4（2020年）、G5（2021年）和P4de（2022年）实例。
现在，机器学习模型的规模已经达到数万亿参数，这种复杂性大大增加了客户训练模型所需的时间，例如，最新的大语言模型训练时间长达数月之久。类似的趋势也出现在高性能计算领域。随着高性能计算客户数据收集准确度的提高以及数据集达到EB级规模，客户已经在寻找解决日益复杂应用程序的更快方法。
关于Amazon EC2 P5实例
Amazon EC2 P5实例非常适合训练和运行越来越复杂的大语言模型和计算机视觉模型，以满足最苛刻的计算密集型生成式AI应用的需求，包括问答、代码生成、视频和图像生成、语音识别等。与上一代基于GPU的实例相比，Amazon EC2 P5实例在这些应用中的训练时间缩短了6倍。那些可以在工作负载中使用较低精度FP8数据类型的客户，例如使用Transformer框架的语言模型，将通过英伟达Transformer Engine的支持获得高达6倍的性能提升。
高性能计算客户通过使用Amazon EC2 P5实例可以在药物发现、地震分析、天气预报和金融建模等领域更大规模地部署高要求的应用程序。此外，对于使用基于动态规划（Dynamic Programming）算法进行基因组测序或加速数据分析等应用的客户，Amazon EC2 P5将通过新的DPX指令集提供支持。
Amazon EC2 P5实例使客户能够探索以前看似无法解决的问题，更快地迭代解决方案，并加速进入市场。
第二代Amazon EC2 UltraClusters和Elastic Fabric Adapter
Amazon EC2 P5实例为多节点分布式训练和紧密耦合的高性能计算工作负载提供先进的横向扩展功能，其使用的第二代Elastic Fabric Adapter（EFA）网络设备提供高达3200 Gbps的网络速度，是Amazon EC2 P4d实例的8倍。
为了满足客户对大规模和低延迟的需求，Amazon EC2 P5实例部署在第二代Amazon EC2 UltraClusters中，该集群目前可在超过2万个英伟达H100 Tensor Core GPU上为客户提供更低的延迟。作为云中最大规模的机器学习基础设施之一，Amazon EC2 UltraClusters中的Amazon EC2 P5实例可提供高达20 exaFLOPS的聚合计算能力。
Amazon EC2 UltraClusters使用了Amazon FSx for Lustre，这是一种完全托管的共享存储，构建在常用的高性能并行文件系统上。客户通过Amazon FSx for Lustre，可以按需大规模快速处理海量数据集，并实现亚毫秒级延迟。Amazon FSx for Lustre的低延迟和高吞吐量特性经过优化，可在Amazon EC2 UltraCluster上为深度学习、生成式AI和高性能计算工作负载提供支持。
Amazon FSx for Lustre可以为Amazon EC2 UltraCluster中的GPU和机器学习加速器持续提供数据，从而加速最苛刻的工作负载，包括大语言模型训练、生成式AI推理，以及基因组学和金融风险建模等高性能计算负载。
Amazon EC2 P5实例现已正式可用
Amazon EC2 P5实例现已在以下区域正式可用：美国东部（北弗吉尼亚）和美国西部（俄勒冈）。更多信息可访问：Amazon EC2定价和Amazon EC2 P5实例。
客户也可以选择亚马逊云科技提供的各种内置生成式AI的云服务，它们都运行在具有成本效益的生成式AI云基础设施上，助力客户加快创新和重塑应用。更多信息请访问亚马逊云科技生成式AI页面。
