NVIDIA 发布800Gb/s交换机,为万亿参数级 GPU 计算和 AI 基础设施而生

美国加利福尼亚州圣何塞 —— GTC —— 太平洋时间 2024 年 3 月 18 日 —— NVIDIA 发布专为大规模 AI 量身订制的全新网络交换机 – X800 系列。

NVIDIA Quantum-X800 InfiniBand 网络NVIDIA Spectrum™-X800 以太网络是全球首批高达 800Gb/s 端到端吞吐量的网络平台,将计算和 AI 工作负载的网络性能提升到了一个新的水平,与其配套软件强强联手可进一步加速各种数据中心中的 AI、云、数据处理和高性能计算(HPC)应用,包括基于最新的 NVIDIA Blackwell 架构产品的数据中心。

NVIDIA 网络高级副总裁 Gilad Shainer 表示:“NVIDIA 网络平台是 AI 超级计算基础设施实现大规模可扩展的核心。基于 NVIDIA X800 交换机的端到端网络平台,使新型 AI 基础设施轻松运行万亿参数级生成式 AI 业务。”

Quantum InfiniBand 和 Spectrum-X 以太网的早期用户包括微软 Azure 、Oracle Cloud Infrastructure 和 Coreweave 等。

微软 Azure AI 基础设施副总裁 Nidhi Chappell 表示:“AI 是一个将数据转化为知识的强大工具,支撑这种转化的基础就是数据中心演进成为了高性能的 AI 引擎,这个演进又对网络基础设施提出了更大的需求。通过与 NVIDIA 网络解决方案的全新整合,微软 Azure云将持续构建我们的基础设施,推动 AI 云走向新的台阶。”

树立极致性能的新标杆

Quantum-X800 平台树立了 AI 专用基础设施极致性能的新标杆,该平台包含了 NVIDIA Quantum Q3400 交换机和 NVIDIA ConnectX-8 SuperNIC,二者互连达到了业界领先的端到端 800Gb/s 吞吐量,交换带宽容量较上一代产品提高了 5 倍,网络计算能力更是凭借 NVIDIA 的 SHARP™ 技术(SHARPv4)提高了 9 倍,达到了 14.4Tflops。

Spectrum-X800 平台为 AI 云和企业级基础设施带来优化的网络性能。借助 800Gb/s 的 Spectrum SN5600 交换机和 NVIDIA BlueField-3 SuperNIC,Spectrum-X800 平台为多租户生成式 AI 云和大型企业级用户提供各种至关重要的先进功能。

Spectrum-X800 通过优化网络性能,加快 AI 工作负载的处理、分析和执行速度,进而缩短 AI 解决方案的开发、部署和上市时间。Spectrum-X800 专为多租户环境打造,实现了每个租户的 AI 工作负载的性能隔离,使业务性能能够持续保持在最佳状态,提升客户满意度和服务质量。

NVIDIA 软件助一臂之力

NVIDIA 提供面向万亿参数级 AI 模型性能优化的网络加速通信库、软件开发套件和管理软件等全套软件方案。

其中的 NVIDIA 集合通信库(NCCL)可将 GPU 的并行计算任务扩展到 Quantum-X800 网络,利用其基于 SHARPv4 的强大网络计算能力和对 FP8 的支持,为大模型训练和生成式 AI 提供超强的性能。

NVIDIA 的全栈软件方案带来了先进的可编程性,使数据中心网络变得更加灵活、可靠和灵敏,既提高了整体运营效率,又满足了现代应用和服务的需求。

生态里程碑

全球多家头部基础设施供应商和系统厂商将在明年开始提供基于 Quantum-X800 和Spectrum-X800 的网络平台,包括 Aivres、DDN、戴尔科技、Eviden、Hitachi Vantara、慧与、联想、超微和 VAST Data 等。