英伟达发布新一代Grace Hopper超级芯片平台的改进版本,该平台配备了用于人工智能和高性能计算的HBM3e内存。
新版本GH200 Grace Hopper具有相同的Grace CPU和GH100 Hopper计算GPU,但配备了具有更高容量和带宽的HBM3e内存。
新GH200 Grace Hopper超级芯片基于72核Grace CPU,配备480 GB的ECC LPDDR5X内存,以及GH100计算GPU,与141 GB的HBM3e内存配对,HBM3e内存分为6个24 GB堆栈,使用6144位内存接口。虽然英伟达实际安装了144 GB内存,但为获得更好的产量,只有141 GB可用。
英伟达目前的GH200 Grace Hopper超级芯片配备96 GB的HBM3内存,提供不到4tb /s的带宽。相比之下,新型号的内存容量增加了约50%,带宽增加了25%以上。如此巨大的改进使新平台能够运行比原始版本更大的人工智能模型,并提供切实的性能改进, 模型训练能力大大提升。
据悉,搭载HBM3的英伟达GH200 Grace Hopper平台目前正在生产中,并将于下个月开始商业化。相比之下,搭载HBM3e的GH200 Grace Hopper平台目前正在进行采样,预计将于2024年第二季度投入使用。英伟达强调,新GH200 Grace Hopper使用与原始版本相同的Grace CPU和GH100 GPU芯片,因此不需要进行任何新的修订或升级。
搭载HBM3的原始GH200和搭载HBM3e的改进版GH200将在市场上共存,这意味着后者拥有更先进的内存,性能更高,故将以更高的价格出售。
英伟达CEO黄仁勋表示,为了满足对生成式人工智能不断增长的需求,数据中心需要具有特殊需求的加速计算平台。GH200 Grace Hopper超级芯片平台提供了卓越的内存技术和带宽,以提高吞吐量,将GPU连接到聚合性能而不妥协的能力,以及可以轻松部署在整个数据中心的服务器设计。
英伟达下一代Grace Hopper超级芯片平台与HBM3e完全兼容MGX服务器规范,因此与现有服务器设计兼容。