著名计算机科学家Bill Dally讲述他的团队如何助力AI性能实现逐年翻倍。
今天，NVIDIA 首席科学家 Bill Dally 在 GTC 中国线上大会主题演讲中说道，NVIDIA 的研究人员致力于打造速度更快的 AI 芯片，并将其用于具有更高带宽的系统，从而简化编程。
他以三个项目为例，讲述了自己带领的 200 人的研究团队如何成功实现「黄氏定律 (Huang』s Law)」。这则以 NVIDIA 首席执行官黄仁勋（Jensen Huang）名字命名的定律，预测 GPU 将推动 AI 性能实现逐年翻倍。
Dally 讲述：「如果我们真想提高计算机性能，黄氏定律就是一项重要指标，且在可预见的未来都将一直适用。此前，Dally 曾负责 NVIDIA 在 AI、光线追踪和高速互连领域的相关研究。」
NVIDIA 助力 AI 推理性能每年提升一倍以上
超高能效加速器
为实现这一突破，NVIDIA 研究人员专门开发了一种名为 MAGNet 的工具，其生成的 AI 推理加速器在模拟测试中，能够达到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一个数量级。
MAGNet 采用了一系列新技术来协调并控制通过设备的信息流，最大限度地减少数据传输，而数据传输正是当今芯片中最耗能的环节。这一研究原型以模组化实现，因此能够灵活扩展。
另外，研究团队还开展了一项研究，旨在以更快速的光链路取代现有系统内的电气链路。
发挥所有光子的潜能
Bill Dally 拥有 120 多项专利，在 2009 年加入 NVIDIA 之前，曾任斯坦福大学计算机科学系主任。Dally 表示：「我们可以将连接 GPU 的 NVLink 速度提高一倍，也许还会再翻番，但电信号最终会消耗殆尽。」
该团队正在与哥伦比亚大学的研究人员密切合作，探讨如何利用电信供应商在其核心网络中所采用的技术，通过一条光纤来传输数十路信号。
这种名为「密集波分复用」的技术, 有望在仅一毫米大小的芯片上实现 Tb/s 级数据的传输，是如今互连密度的十倍以上。
除了更大的吞吐量，光链路也有助于打造更为密集型的系统。Dally 举例展示了一个未来将搭载 160 多个 GPU 的 NVIDIA DGX 系统模型。
工程师借助光链路，在单一系统中可搭载 160 多个 GPU
软件方面，NVIDIA 的研究人员开发了全新编程系统原型 Legate。开发者借助 Legate，即可在任何规模的系统上，运行针对单一 GPU 编写的程序——甚至适用于诸如 Selene 等搭载数千个 GPU 的巨型超级计算机。
Legate 将一种新的编程速记融入了加速软件库和高级运行时环境 Legion，目前它正在美国国家实验室接受测试。
描绘美好未来
除上述三项研究，Dally 还在主题演讲中谈到了 NVIDIA 特别针对医疗健康、无人驾驶汽车和机器人等众多行业打造的平台。同时，他还致力于钻研数据科学、AI 和图形处理。
Dally 表示：「经过几代人的努力，NVIDIA 的产品将通过基于物理渲染的路径追踪技术，实时生成令人惊艳的图像，并能够借助 AI 构建整个场景。」
此外，他还首次公开展示了 NVIDIA 的对话式 AI 框架 Jarvis 与 GauGAN 的完美组合。GauGAN 利用生成式对抗网络，只需简略构图，就能创建美丽的风景图。在演示中，用户可通过语音指令，即时生成像照片一样栩栩如生的画作。欲查看 Jarvis/GauGAN 演示，请前往 NVIDIA 官网，观看主题演讲直播/回放。
在主题演讲视频录制的间隙，Dally 接受了采访，表示对研究团队在多个领域取得的开创性进展深感自豪。
他说：「当前，NVIDIA 在光线追踪领域所取得进展，都始于 NVIDIA 研究院打造的原型，我们的产品团队都很兴奋。2011 年，我委派 NVIDIA 研究员 Bryan Catanzaro 与斯坦福大学教授 Andrew Ng 共同合作一个项目，后来打造出 CuDNN 软件，让深度学习领域大量的研究工作成为可能。」
立足网络领域
此外，Dally 还牵头开展了一项合作，构建了 NVLink 和 NVSwitch 最初的原型。NVLink 和 NVSwitch 如今用于全球最大型的超级计算机中，实现了其内部 GPU 的互连。
他说：「产品团队总能迅速将研究工作转化为实际成果，这也是 NVIDIA 如今能够成为全球公认最领先的网络公司之一的原因。」
谈及对科技的热情，Dally 说自己就像个沉浸在糖果故事里的孩子。也许某一天，原本还在帮助一组团队研究 AI 加速器的他，就会突然转而帮助另一团队解决机器人领域的复杂问题。
他说：「我现在所做的，是一份全世界，或者起码是全公司里最有趣的工作，让我有机会能够助力塑造未来。」
除大会主题演讲外，GTC 中国线上大会还将提供 220 多场主题演讲和分论坛，均可免费参加，且绝大多数将使用中文。
GTC 中国线上大会高峰论坛及初创企业展示
主题演讲之后，NVIDIA 的资深专家将齐聚高峰论坛，介绍公司在 AI、数据科学和医疗健康领域的多项突破性技术在中国的落地应用。
此外，面向 AI 和数据科学领域初创企业的孵化项目 NVIDIA 初创加速计划（NVIDIA Inception）将邀请 12 家领军中国初创企业出席此次大会。
大会吸引了众多行业领军企业与机构参与其中，包括阿里巴巴、AWS、百度、字节跳动、中国电信、戴尔科技、滴滴、新华三、浪潮、快手、联想、微软、平安、腾讯、清华大学和小米。
