CES上,英伟达宣布将打造桌面级的个人超级计算机,让AI研发者,数据科学家,学生和开发者都可以在桌子上摆放一台超级计算机。一台这样的个人超级计算机可以推理2000亿参数的大语言模型。
英伟达宣布启动名为DIGITS(Deep learning gpu intelligence training system)的项目,打造桌面级超级计算机,它将基于全新的GB10超级芯片打造,可提供1 Petaflop的AI 计算性能,可用于AI 模型的原型设计、微调和推理场景。
开发者在本地完成模型原型开发后,可以把模型放到云或者其他数据中心进行训练,模型训练完成后可以放到本地进行微调或者推理。由于本地和云上都采用了Grace Blackwell 架构和 NVIDIA AI Enterprise 软件平台,做到了软硬件的无缝衔接。
英伟达首次提到GB10 超级芯片,它是基于Grace Blackwell 架构打造的SoC,在 FP4 精度下可提供高达 1 Petaflop 的 AI 计算性能。
除了Blackwell GPU核心以外,GB10还集成了20核的Arm处理器,两者通过 NVLink-C2C 芯片互连技术相互连接。
每台设备可提供128GB的共享内存,最高4TB的存储空间。作为一款桌面级设备,它支持在标准供电下运行,功耗并不高,但性能非常强大。
凭借128GB的共享内存,它可以运行最高2000 亿参数的大型语言模型。配合英伟达的ConnectX网络技术,能把两台设备连在一起,这样就可以推理4050亿参数的AI模型。