前言:
老黄在今天早上的SIGGRAPH2024上毫无意外再度成为万众瞩目的明星主角:一场主持人完全不存在的主旨访谈(演讲),以及老黄与他力邀前来的Meta马克·扎克伯格现场炉边对话。
上下两场一共2小时全文三万字书面全文完整版:
=黄仁勋主旨访谈=:
主持人:欢迎来到 SIGGRAPH。这是我第一次参加这个会议,我非常高兴能来到这里,与大家交流,特别是与 NVIDIA 的创始人兼首席执行官 Jensen Huang 进行对话。谢谢大家,很高兴见到你们。
老黄:欢迎来到 SIGGRAPH,Lauren。谢谢,欢迎来到我的社区。
主持人:你是这里的常客。
老黄:大家好,很高兴见到你们。我穿了一件全新的皮夹克。
主持人:哦,全新的?你有多少件?
老黄:我不知道,但 Lori 给我买了一件 SIGGRAPH 的新夹克。她说,你对 SIGGRAPH 很兴奋。这是一件新夹克。加油,好好干。我看起来很敏锐。谢谢。
主持人:
好的,你与 SIGGRAPH 合作了很长时间。当你回想这个会议的历史,自 1974 年以来一直在举办,再回顾 NVIDIA 从 1990 年代以来的历史,你的 DNA 真的融入了计算机图形学,帮助制作精美的图形。NVIDIA 今天参加像 SIGGRAPH 这样的会议有什么意义?
老黄:
SIGGRAPH 曾经是关于计算机图形学的,现在它涵盖了计算机图形学和生成式人工智能。它涉及模拟和生成式人工智能。我们都知道,NVIDIA 的旅程从计算机图形学开始,真正把我们带到了今天。所以我为你做了一个动画片,关于我们旅程的动画片。
是你做的还是生成式人工智能做的?我做了它。这就是 CEO 们所做的,我们什么也不做,只是让它完成。嘿,伙计们,如果我们有一幅动画片,描绘了计算机行业一些最重要的里程碑,以及它如何引领 NVIDIA 以及我们今天所处的位置,那不是很棒吗?所以我们描绘了……而且是在三个小时内完成的。非常感谢。而且是在三个小时内完成的,对吧。
这幅动画片真的很棒。这些是计算机行业一些最重要的时刻:IBM System 360,当然,现代计算的发明;茶壶,1975 年;犹他茶壶,1979 年;光线追踪。Turner Whitted 是一位伟大的研究人员,长期担任 NVIDIA 的研究员。1986 年,他提出了可编程着色的概念。如果没有可编程着色,我们今天看到的大多数动画电影都不可能实现。最初,这项技术是在 Cray 超级计算机上完成的。
1993 年,NVIDIA 成立,Chris和我共同创立了这家公司。1995 年,Windows PC 的出现彻底改变了个人电脑行业,每个家庭和办公桌上都有了一台个人电脑,多媒体 PC 也随之被发明。2001 年,我们发明了第一款可编程着色 GPU,这在很大程度上推动了 NVIDIA 的发展。
我们所做的一切都是以加速计算为背景。我们相信可以创建一种增强通用计算的计算模型,从而解决普通计算机无法解决的问题。我们首先选择的应用程序是计算机图形学,这可能是我们做过的最好的决定之一,因为计算机图形学的计算密集程度极高。从计算机图形学诞生之日起,它就需要一台 Cray 超级计算机来渲染一些原始场景,这在某种程度上说明了其计算密集程度和容量的巨大。
我们将计算机图形学应用于当时还不是主流的应用程序——3D 图形视频游戏。庞大的规模和复杂的计算问题导致我们需要投入巨大的研发预算,这推动了我们公司的飞轮。我们在 1993 年做出的观察是正确的,这让我们能够在加速计算领域开创先河。
我们尝试了很多次,CUDA 当然是革命性的版本。但在此之前,我们有一个称为 CG 的计算模型,C 代表图形,C 位于 GPU 之上。所以我们一直在加速计算方面工作,推广和宣传 CUDA,让 CUDA 无处不在,并将其放在我们每一个 GPU 上。这样,这个计算模型就可以与为其编写的任何应用程序兼容,无论我们的哪一代处理器。这是一个伟大的决定。
2012 年的一天,我们进行了第一次接触——星际迷航与人工智能的第一次接触。第一次接触是 AlexNet,那是在 2012 年。那是一个非常重要的时刻。我们观察到 AlexNet 是计算机视觉领域的一个令人难以置信的突破,但从本质上讲,深度学习意义深远。这是一种编写软件的新方法,工程师不再提供输入并想象输出结果,而是编写算法。我们现在有了一台计算机,给定输入和示例输出,它就会找出中间的程序是什么。这一观察,以及我们可以用这种技术解决一大堆以前无法解决的问题,是一个伟大的发现。我们改变了公司的一切以追求它。从处理器到系统,再到软件堆栈,所有的算法,NVIDIA 基础研究转向深度学习。顺便说一句,这是一个很棒的研究场所。
如您所知,NVIDIA 对 SIGGRAPH 充满热情。今年我们有 20 篇论文处于生成式 AI 和模拟的交叉点。2016 年,我们推出了第一台为深度学习打造的计算机,我们称之为 DGX-1。我在公司外交付了第一台 DGX-1。我为 NVIDIA 构建了它,用于为自动驾驶汽车和机器人等构建模型,以及用于图形的生成式 AI。有人看到了 DGX-1 的示例。Elon 联系我说,他很想为他们正在创办的一家初创公司拥有其中之一。所以我将第一个交付给了当时没人知道的一家名为 OpenAI 的公司。那是 2016 年。
2017 年是彻底改变现代机器学习、现代深度学习的一年。2018 年,就在 SIGGRAPH 上,我们宣布了 RTX,这是世界上第一个实时交互式光线追踪器、光线追踪平台。我们称之为 RTX。这是一个大事件,我们将 GTX(每个人都称我们的图形车为 GTX)的名称更改为 RTX。再次向一位伟大的研究人员致敬。他的名字是 Steven Parker。你们很多人都知道他已经参加 SIGGRAPH 很久了。他今年去世了。他是实时光线追踪背后的核心先驱研究人员之一。我们非常想念他。
去年您在 SIGGRAPH 主题演讲中提到,RTX(Ray Tracing Extreme)是计算机图形与 AI 相遇的重要时刻之一。但实际上,这种情况已经发生了一段时间。那么 2018 年的 RTX 有什么重要意义呢?
2018 年的 RTX,我们加速了光线遍历和边界框检测,并且我们可以使用并行处理器来加速光线追踪。但即便如此,我们的光线追踪速度大约是每秒一帧,比如说,每秒 10 帧。可能每秒五帧,这取决于我们谈论的追踪光线数量。我们以 1080 分辨率进行追踪。显然,视频游戏需要的远不止这些。显然,实时图形需要的远不止这些。
这群人肯定知道这意味着什么。但对于那些在线观看、不从事该领域的人来说,这基本上是一种在计算机图形中真正操纵光线的方法,模拟光线如何与环境互动,栩栩如生。在制作动画时,渲染过程通常需要很长时间。
过去,Cray超级计算机只能渲染几个像素。现在,我们有了RTX来加速光线追踪,但它是交互式的、实时的,速度还不足以用于视频游戏。因此,我们意识到需要一个大的提升,可能提升20倍左右,甚至50倍左右。
为此,团队发明了DLSS,它基本上是渲染一个像素,同时使用AI推断出其他大量像素。我们教了一个AI,根据它所看到的内容,为其他所有部分填充像素。现在,我们能够以4K分辨率和每秒300帧的速度渲染完全光线追踪、完全路径追踪的模拟,这要归功于AI。
2018年到来了,2022年,ChatGPT问世了。ChatGPT是OpenAI推出的一项革命性的新功能,是AI和历史上增长最快的服务。自ChatGPT以来,业界和研究人员已经弄清楚了如何使用AI来学习一切,不仅仅是单词,还包括图像、视频、3D、化学物质、蛋白质、物理学、热力学、流体力学和粒子物理学的含义。AI已经理解了所有这些不同模态的含义。
从那时起,我们不仅学会了它,现在还可以生成它。这就是为什么你可以从文本生成图像、3D模型、视频,甚至蛋白质和化学物质。生成式AI已经成为可能,这确实是我们所处的革命性时代。几乎每个行业都会受到影响,无论是科学计算、天气预测、图像生成,还是工业数字化生成虚拟场景。机器人和自动驾驶汽车也将通过生成式人工智能进行变革。
我们现在处于一种全新的做事方式中。劳伦,让我快速介绍一下我们从哪里开始。1964年,软件的编程方式是由人类工程师编写软件。现在,我们的机器正在学习如何编写软件,编写人类无法编写的软件,解决我们以前几乎无法想象的问题。因为有了生成式人工智能,我们有了一种开发软件的新方法。
你知道Andrej Karpathy吗?他是一位非常出色的研究员。我在斯坦福大学时认识了他,他创造了开发软件的原始方式,软件1.0,而机器学习是软件2.0。我们现在正走向软件3.0时代,这一切都得益于生成式人工智能。在未来,研究人员不再需要为每个新项目从头开始学习机器学习,而是可以从预先训练的基础模型开始。这些模型已经经过大量训练,具备了广泛的知识和能力。
开发软件的方式也在发生变化,越来越像是组建一支由各种人工智能专家组成的团队。这些专家有的使用工具,有的能够生成特定内容,还有一个通用人工智能,擅长推理和连接整个人工智能网络,解决团队面临的问题。因此,软件3.0已经到来。
最近与你交谈时,我感受到你对生成式人工智能工具的未来持乐观态度。你认为这些工具将变得更可控、更准确。我们都知道,目前存在幻觉、低质量输出等问题,用户可能无法得到他们期望的结果。同时,这些工具消耗大量能源,我们也需要讨论这一点。你为什么如此乐观?你认为是什么推动生成式人工智能变得更加有用和可控?
ChatGPT的重大突破在于强化学习人类反馈,即利用人类来产生正确或最佳答案,使人工智能与我们的核心价值观保持一致,或与我们希望它执行的技能保持一致。这可能是他们能够向所有人开放ChatGPT的非凡突破。从那时起,其他突破也随之而来。
首先是护栏技术,它使人工智能将精力或反应集中在特定领域,避免走神或对各种问题发表长篇大论。它只会专注于被训练过的内容、适合执行的任务以及它拥有深厚知识的领域。
第二个突破是检索增强生成技术,它基本上是将数据矢量化或嵌入,以便我们理解这些数据的含义。
这是一个更权威的数据集。
超越了训练数据集,实际上从其他来源提取数据。例如,它可能是你写过的所有文章和论文。这样,它就变成了一个对你有权威的人工智能,可能是你的聊天机器人。
因此,我写过或说过的所有内容都可以矢量化,然后创建到语义数据库中。在AI做出响应之前,它会查看你的提示,并从该矢量数据库中搜索适当的内容,然后在生成过程中对其进行扩充。这三种技术的结合确实使我们能够对文本进行这种操作。
现在,真正酷的是,我们开始弄清楚如何用视觉效果做到这一点。SIGGRAPH大会确实与图像和生成有很大关系。如果你查看当今的生成AI,你可以给它一个提示,然后它会生成相应的内容。在这个特定情况下,这是NVIDIA创建的Edify AI模型,这是一个2D、文本到2D的基础模型,它是多模式的。我们与 Getty 合作,使用他们的数据库来训练 AI 模型。这是一个从文本到二维图像的过程。这张幻灯片是我亲自制作的。想象一下,如果我是提示,然后有一个团队类似于生成式人工智能,神奇地生成了这张幻灯片。这是一个提示,可能是给某个品牌所有者的提示。在本例中,它可能是可口可乐的品牌,也可能是一辆汽车、奢侈品或其他任何东西。你使用提示生成图像,但如你所知,很难控制这个提示,它可能会产生幻觉,或者以某种你不想要的方式创建图像。
使用文字来微调图像非常困难,因为文字的维度非常低,内容极其压缩且不精确。因此,我们很难控制生成的图像。为了解决这个问题,我们创建了一种方法,使我们能够控制和调整更多条件。我们的方法是创建另一个模型,例如,一个允许我们将文本转换为三维的模型。最底层的模型叫做 Edify 3D,是我们的基础模型之一。
我们创建了一个 AI 工厂,合作伙伴可以与我们合作,我们用他们的数据为他们创建模型。我们发明模型,他们带来数据,我们创建一个他们可以随身携带的模型。例如,Shutterstock 只使用他们的数据,这些数据用于训练模型。现在,我们使用提示生成 3D 图像,并将其放在 Omniverse 中。正如你所知,Omniverse 是一个可以从许多不同模态组合数据和内容的地方,包括 3D、AI、动画和材料。
通过 Omniverse,我们可以组合所有这些多模态数据,并且可以控制它。你可以改变姿势、位置和其他任何你喜欢的东西。然后你使用 Omniverse 中的图像来调节提示,从 Omniverse 中获取结果,并用提示来增强它。这有点像检索增强生成,即 3D 增强生成。经过训练的模型是多模态的,理解图像和提示,并将其组合起来创建新图像。这样,我们就可以使用生成式人工智能作为合作者,按照我们喜欢的方式生成图像。
这如何转化为物理世界?它如何转化为机器人之类的东西?
我们将谈谈机器人技术。但有一件事我很想向你展示,这不是我自己做的。好吧。这是一个令人难以置信的视频,是 WPP、Shutterstock 与一些世界知名品牌合作完成的作品。让我们播放视频。
视频画外音:“在空房间里为我建一张桌子,周围放置椅子。在一家繁忙的餐厅里,为我建一张有玉米饼和一碗莎莎酱的桌子。在晨曦中,在一条空旷的道路上为我建一辆汽车,周围被树木包围。在一座现代化的房子旁边,为我建一座远处有山丘和一捆捆干草的房子。在傍晚的阳光下,在空旷的田野里为我建一棵树,并在四面八方建数百棵树,灌木丛和藤蔓悬挂在树间。这难道不令人难以置信吗?”
事情就是这样的。我们教会了人工智能如何使用OpenUSD。于是,女孩开始与Omniverse对话。Omniverse生成USD,然后使用USD搜索其3D对象目录,利用文字构建场景。生成式人工智能利用这种增强来生成和调节生成过程。因此,你的工作可以得到更好的控制。你甚至可以与他人合作,因为你可以在Omniverse中合作,在3D中合作。在2D中很难合作,所以我们可以在3D中合作,增强生成过程。
我想这个房间里的很多人不仅是技术人员,而且还是讲故事的人。这是一个技术含量很高的房间。讲故事的人看到了类似的东西。这里有90%的人是博士。想想……我甚至不会要求你们举手,但我相信那会很有趣。所以他们看到了类似的东西,我也看到了类似的东西。我想,好吧,这真是太神奇了。你正在加快渲染时间,你正在凭空创造图像。
可能还有许多人在想,这对我的工作意味着什么?你如何区分这是增强还是帮助人们?您认为界限在哪里?
这正在取代人类所做的某些事情。这就是工具的作用。我们在这里发明工具。这次会议是关于发明最终成为工具的技术。这种工具要么加速我们的工作,要么与我们合作,以便我们可以做得更好甚至更大,完成以前不可能完成的工作。
所以我认为你可能会看到,生成式人工智能现在将比以前更易于控制。我们已经能够通过使用regs、检索增强生成来更好地控制文本生成,减少幻觉。现在我们正在使用Omniverse和生成式人工智能来更好地控制生成图像并减少幻觉。这两种工具都帮助我们提高工作效率,做我们原本无法做的事情。
因此,我想对世界上所有的艺术家们说的是,利用这个工具,尝试一下,想象一下你将能够用这些工具讲述的故事。至于工作,我想说,我们所有人的工作都很有可能发生变化。
以什么方式?我的工作将会改变。
未来,我将推动一大批人工智能的发展。每个人都会拥有一个人工智能助手。因此,每家公司、公司内的每个工作岗位都会拥有人工智能助手。正如你所知,我们的软件程序员现在拥有帮助他们编程的人工智能。我们所有的软件工程师都有帮助他们调试软件的人工智能。我们有人工智能帮助我们的芯片设计师设计芯片。没有人工智能,Hopper 和 Blackwell 就不可能实现。
今天,本周,我们正在向世界各地发送 Blackwell 的工程样品。它们现在就在人们的椅子下面。我想如果你看看,你会发现你得到了一个 GPU。是的,你得到了一个 GPU。供应链方面,我们都希望如此。
因此,如果没有生成式 AI,我们所做的任何工作都不可能再实现。我们的 IT 部门正在越来越多地帮助员工提高工作效率。我们的供应链团队正在越来越多地优化供应,以尽可能提高效率。我们的数据中心团队也在使用 AI 来管理数据中心,以尽可能节省能源。
你之前提到过 Omniverse。这不是什么新鲜事。但 Omniverse 中将有更多生成性 AI,帮助人们创建这些模拟或数字孪生。
是的,顺便说一下,这就是我们本周宣布的内容。Omniverse 现在可以将文本理解为 USD。它可以理解文本并拥有语义数据库,因此它可以搜索所有 3D 对象。这就是那位年轻女士能够用一大堆树填满场景的原因。她描述了希望如何组织树木,并以某种方式用所有这些 3D 树填充它。完成后,该 3D 场景将进入生成式 AI 模型,并将其转变为逼真的模型。如果你希望福特卡车不进行增强,而是使用实际的品牌基础事实,那么它会尊重这一点,并将其保留在最终场景中。
我们讨论的一件事是公司中的每个团队都将如何获得人工智能的帮助。最近有很多问题,关于我们正在构建的所有这些基础设施是否会促进公司的工作效率。我刚刚给你举了一个例子,说明如果没有生成式人工智能,NVIDIA 的设计就不可能实现。所以我们用它来改变我们的工作方式。
在我刚刚向你展示的许多例子中,我们也用它来创造新产品和新技术,这些产品和新技术要么使实时光线追踪成为可能,要么使我们现在可以想象的 Omniverse 帮助我们创造更大的场景,要么使我们的自动驾驶汽车工作,要么使我们的机器人工作。如果没有它,所有这些新功能都不可能实现。
因此,我们本周在此宣布的一件事是数字代理、数字 AI 的概念,它将增强公司中的每一项工作。人们发现的最重要的用例之一就是客户服务。每个团体、每个公司都有客户服务,每个行业也都有客户服务。在今天,客户服务主要由人类完成,但在未来,我猜测仍然会是人类主导,但会有AI的参与。
这样做的好处是,您将能够保留所有客户服务代理的经验,并获取机构知识,然后将其用于分析,从而为客户创建更好的服务。
刚才我向您展示了Omniverse增强图像生成。这是一种RAG(检索增强生成AI)。我们正在创建的客户服务,基本上是位于云端的微服务。我认为它今天或明天就可以使用了,您可以来尝试一下。
我们将一个数字人前端连接到它,基本上是一个IO(输入输出),一个能够说话、与你眼神交流、以共情的方式进行动画处理的人工智能IO。您可以决定将您的ChatGPT或人工智能连接到数字人,或者将您的数字人连接到我们的检索增强生成客户服务人工智能。
无论您喜欢怎么做,我们都是一家平台公司,所以无论您想使用哪个部分,它们都是完全开源的,您可以选择使用您喜欢的部分。如果您想要我们为渲染美丽的面孔而创建的令人难以置信的数字人渲染技术,这需要使用路径跟踪的次表面散射,那么这一突破真的相当不可思议。
这让我们能够实现出色的图形研究。欢迎来到SIGGRAPH 2024。因此,使用AI制作动画成为可能。您可以与AI聊天,它会生成文本,然后将文本转换为声音,再将文本转换为语音,再将语音转换为声音,然后为面部添加动画,最后通过RTX路径跟踪渲染数字人。
所有这些都可供开发人员使用,您可以决定要使用哪些部分。
您如何看待这样的道德问题?您正在向开发人员、图形艺术家发布这项技术,但这些技术正在被推向世界。您认为像这样的聊天机器人,一个非常像人类的视觉聊天机器人,应该明确说明它是一个聊天机器人吗?它是否太像人类以至于人们开始误以为它是人类?他们在情感上容易受到聊天机器人的影响。
它仍然非常像机器人,我认为这并不是一件可怕的事情。我们将在一段时间内成为机器人。我认为我们已经让这项数字人技术变得非常逼真,但你我都知道它仍然是一个机器人。所以我认为这并不是一个糟糕的方法。
事实上,在很多不同的应用中,人类的参与更有吸引力。拥有一个人类代表或接近人类的代表,而不是一个文本框,可能更有吸引力。也许有人需要陪伴,或者医疗保健需要为刚回家的门诊病人提供建议,帮助老人。这些都有很多应用场景。教育孩子的导师也是一个很好的例子。
所有这些不同的应用程序最好有一个更人性化的人,能够与观众建立联系。
这很有趣。我听到您今天经常谈论的是软件开发。他们依赖于你的GPU,但最终这是软件。这是NVIDIA进一步向上发展的方向。与此同时,有些公司在生成AI领域从事软件和云服务,但他们希望进一步向下发展,可能正在开发自己的芯片或TPU,与NVIDIA竞争。这种软件战略对于NVIDIA保持领先地位并实现人们对NVIDIA的增长预期有多重要?
我们一直是一家软件公司,甚至是第一家。原因在于加速计算不是通用计算。通用计算可以采用任何C程序、C++程序、Python并运行它,几乎每个人的程序都可以编译并有效运行。不幸的是,当您想要加速流体动力学时,您必须了解流体动力学的算法,以便重构它以实现加速。您必须设计一个加速器,设计CUDA GPU,使其了解算法,以便能够很好地加速它。
这样做的好处是,通过重新设计整个堆栈,我们可以将应用程序加速20、40、50倍,甚至100倍。例如,我们刚刚将NVIDIA GPU放入GCP中,运行Pandas,这是世界领先的数据科学平台。我们的速度比通用计算快了50到100倍。就深度学习而言,在过去10到12年里,我们将深度学习的速度提高了一百万倍。这就是我们现在能够创建这些大型语言模型的原因。速度提高了一百万倍,成本和能源降低了一百万倍,这使我们能够实现生成式人工智能。
但这是通过设计一种新的处理器、一种新的系统、Tensor Core GPU、NVLink交换结构来实现的,这对于人工智能来说是完全开创性的。当然,系统本身、算法、我们称之为Megatron的分布式计算库(每个人都在使用)、Tensor RT、LLM,这些都是算法。如果你不了解算法和上面的应用程序,就很难弄清楚如何设计整个堆栈。
NVIDIA软件生态系统中对NVIDIA未来最重要的部分是什么?
每一个领域都需要一个新的库,我们称之为DSL,即领域特定库。在生成式AI中,该DSL称为CUDNN。对于SQL处理数据帧,它被称为CUDF。因此,如果您使用SQL、Pandas,CUDF使我们能够加速这一过程。对于量子模拟,它被称为QQuantum。QFFT,我们有很多Q。计算光刻,这使我们能够帮助行业推进下一代工艺技术QLitho。Q的数量还在不断增加。每次我们引入领域特定库时,它都会将加速计算推向新市场。因此,需要这种协作、完整的库堆栈、架构、上市、开发人员和周围的生态系统来开辟一个新领域。这不仅仅是构建加速器,还必须构建整个堆栈。
NVIDIA 依赖于许多事情的顺利进行。你的未来探索和创新也依赖于许多事情的顺利进行。你必须继续推动物理定律,因为你的竞争对手总是紧随其后。我们已经讨论过这个问题,是什么让你夜不能寐。你也在一定程度上依赖地缘政治的稳定。
昨晚,我因为海拔问题感到不适,喝了点水,但为时已晚。当我今天早上得知这件事时,我醒来时头痛欲裂。海拔问题确实影响了我(观众笑)
但实际上,你必须继续推动物理定律。你的竞争对手总是紧随其后,无论是在软件方面还是硬件方面。你在一定程度上依赖南海的地缘政治稳定。地缘政治现在发生了很多事情。
你提醒了我,建立一家公司非常困难。你让我很紧张,我以前还好。我们还有很多事情要做。我正在给你看幻灯片。
说实话,你经历了很多顺风。你对事情会继续朝着你的方向发展有多乐观?
事情从未朝着我们的方向发展。你必须将未来变为现实。
加速计算,世界需要通用计算。原因是它很容易。你只需要软件,它每年的运行速度就会翻倍。甚至不要考虑它。每五年就快十倍,每十年就快一百倍。有什么不喜欢的?但是,当然,你可以缩小晶体管,但不能缩小原子。最终,CPU架构走到了尽头。因此,通用仪器可以擅长一切,这已经不再明智了,因为技术并没有给我们带来这些飞跃。它可以擅长从深度学习到量子模拟到分子动力学到流体动力学到计算机图形学的这些令人难以置信的事情。因此,我们创建了这个加速计算架构来实现这一点。
但那场战斗,那是逆风。你明白我的意思吗?因为通用计算是实现这一目标的简单方法。我们已经做了60年,为什么不继续做下去呢?因此,加速计算之所以成为可能,是因为我们提供了如此非凡的加速。在能源越来越稀缺的时代,在我们不再能仅仅依靠CPU曲线的时代,Dennard缩放定律已经真正终结了。因此,我们需要另一种方法,这就是我们在这里的原因。
但请注意,每次我们想要开拓一个新市场,比如QDF,为了进行数据处理,数据处理可能占世界计算的三分之一,每家公司都进行数据处理,大多数公司的数据都是数据框中的表格格式。为了创建表格格式的加速库非常困难,因为这些表格中的内容可能是浮点数、64位整数,可能是数字和字母以及各种各样的东西,所以我们必须想出一种方法来计算所有这些。几乎每次我们想要发展成某种东西,都必须去学习它。这就是我们研究机器人的原因,也是我们研究自动驾驶汽车的原因。我们需要了解开拓该市场所必需的算法,了解其下的计算层,以便能够提供非凡的结果。
每次我们开拓一个新市场,无论是医疗保健还是数字生物学,我们都需要重新发明计算的一切。例如,我们在基因测序方面使用了 BioNemo 和 Parabricks,取得了惊人的成果。因此,这并不容易。
你的工作非常辛苦。但人工智能助手会让事情变得更容易。现在,让我们谈谈能源问题。生成式人工智能非常耗能。根据一些研究,ChatGPT 处理一个查询所消耗的电力几乎是处理单个谷歌搜索的 10 倍。数据中心消耗全球总能源的 1% 到 2%,但有人说可能会高达 3% 到 4%,甚至到本世纪末可能会高达 6%。从 2015 年到 2019 年,数据中心的工作量增加了两倍,而人工智能,特别是生成式人工智能,占据了其中很大一部分。
是否有足够的能源来满足我们想要构建和实现的目标?
是的。首先,几年前只有两三个或三四个模型制造商在推动前沿发展。今年,这个数字可能增加了三倍,但仍然是个位数,大约有十个模型制造商在推动模型的发展。模型的规模每年都会扩大一倍,甚至更快。为了训练一个两倍大的模型,需要两倍以上的数据。因此,计算负荷每年可能增长四倍。
我们使用相同的能量加速了应用程序,这是一个以恒定的能量和成本加速应用程序的例子,使其越来越便宜。现在,重要的是,我只强调了 10 家公司。世界上有大量的公司和数据中心,NVIDIA 正在向许多公司出售 GPU。这标志着 CPU 扩展的结束,加速计算、数据处理、文本完成、语音识别等基本人工智能任务在全球数据中心的开始。每个人都在从 CPU 转向加速计算,因为他们想节省能源。加速计算可以帮助节省大量能源,能够以 20 倍、50 倍的效率完成同样的处理。因此,作为一个社会,我们要做的第一件事就是加速我们能用到的每一个应用程序。如果你在进行 Spark 数据处理,那么就使用加速的 Spark 来运行,这样可以将所需的能量减少 20 倍。如果你在进行 SQL 处理,那么就使用加速的 SQL,这样可以将功耗减少 20 倍。因此,如果你在进行天气模拟,就加速它。无论你在进行什么科学模拟,都要加速它。图像处理也要加速。许多应用程序过去都在 CPU 和通用计算机上运行,所有这些在未来都应该加速发展。这是正在发生的第一件事。
那么,这是否会减少全世界使用的能源量?当然。我们的 GPU 密度和加速计算密度更高,能量密度更高,这是正在发生的第一件事。接下来是生成式人工智能。生成式人工智能可能正在消耗大约世界能源的 1%。但请记住,即使数据中心消耗了全球的 4%,生成式人工智能的目标也不是训练,而是推理。通过推理,我们可以创建新的模型来预测天气、预测新材料,优化供应链,减少交付产品时消耗的能源和浪费的汽油。因此,我们的目标实际上是减少 96% 的能源消耗。
因此,非常重要的是,你必须从纵向的角度来思考人工智能,不仅仅是上学,还要考虑上学后会发生什么。你和我都上过斯坦福大学。斯坦福并不便宜。不过,我认为你学的东西略有不同。是的,当然。这是一所大学校。这对你来说很好,对我们俩来说也很好。所以,目标当然是上学很重要,但真正重要的是毕业后,以及我们能够为社会做出的所有贡献。生成式人工智能将提高生产力,使我们能够发现新科学,使事物更节能。
关于生成式人工智能我接下来要说的是,记住,传统的计算方式称为基于检索的计算。一切都是预先录制好的。所有故事、图像和视频都是预先录制的,并存储在某个数据中心。生成式人工智能减少了能源消耗。需要检索某些内容并将其通过网络传输。别忘了,数据中心并不是唯一消耗能源的地方。世界上的数据中心只占总计算量的 40%。60%的能源消耗在互联网上,主要用于移动电子设备、比特和字节的传输。因此,生成式人工智能将减少互联网上的能源消耗,因为我们不必去检索信息,而是可以当场生成信息。我们的设备上可能已经有了一些内容,我们可以生成响应,这样就不必去其他地方检索它了。
此外,这其中的一部分也涉及到移动原子。最后我要告诉你一件事,记住,人工智能不在乎它在哪里上学。今天的数据中心建在社会所在的电网附近,因为那是我们需要它的地方。在未来,你会看到有多余的能源。将这些能源带给社会需要花费很多钱。也许这些能源在沙漠里,也许在拥有大量可持续能源的地方,但这并不是很有吸引力,因为它们已经消耗了大量的水,而这些水很多是不能饮用的。
因此,我们可以使用这些水,将数据中心设在人口较少、能源较多的地方。我们已经说过,大量的能量来自太阳,世界上有很多能量。我们需要做的是将数据中心迁移到更靠近能源过剩的地方,而不是将所有数据中心都建在人口稠密的地方。人工智能并不关心它在哪里接受训练。我以前从未听过这句话,AI不在乎它在哪里上学,这很有趣。是的,这是真的,我会考虑一下。
不过,计算碳排放量的一部分是计算能源。不要将能源转移到数据中心,而是在数据中心所在的地方使用能源。然后,当你完成后,你会有一个高度压缩的模型,它本质上是所有使用过的能量的压缩。我们可以采用该模型并将其带回来。
接下来,我们可以谈谈下一波。
第一波,当然,第一波是加速计算。我知道她是采访者,我们按照她的条件进行,但是,劳伦,我们需要告诉这个小组我们正在做的工作,这真的非常重要。
我有很多好问题要问你。我想问你关于开源的问题,我想你会和马克谈论这个话题。
顺便说一句,开源真的很重要。这太不可思议了。是的,如果没有开源,所有这些行业和公司如何能够参与人工智能?
看看所有的公司和不同的行业,他们今天都在使用Llama 2。Llama 3.1刚刚问世,人们对此非常兴奋。我们已经让人工智能民主化,让每个行业都参与到人工智能中来。但我想说的是,第一波是加速人工智能,它使我们能够满足持续的计算需求,而无需所有计算能力随之增长。所以,第一,加速一切。它让我们拥有生成式人工智能。生成式人工智能,第一波,当然是所有先驱者。我们知道,许多先驱者如OpenAI、Anthropic、谷歌和微软等一大批了不起的公司都在致力于这项工作。X公司也在进行这项工作,X.AI公司同样在进行这项工作。这些了不起的公司正在推动这一进程。
我们即将实现的下一波人工智能将应用于客户服务领域,我们希望每个组织都能创建自己的人工智能系统。这样,每个人都会得到增强,拥有一个可以赋予他们权力、帮助他们更好地工作的协作式人工智能。
接下来的下一波人工智能被称为物理人工智能,这确实非常了不起。这就是我们需要三台计算机的原因。一台计算机用于创建,另一台计算机用于模拟AI,两者都使用合成数据生成,以及AI机器人、人形机器人或操控机器人可以学习如何改进其AI的地方。第三台计算机则是实际运行AI的计算机。因此,这是一个三台计算机的问题,也可以称为三体问题。它非常复杂,我们创建了三台计算机来解决这个问题。
我们制作了一个视频,帮助您理解这一点。在每一台计算机中,无论是使用软件堆栈、顶层算法,还是计算基础设施、机器人的处理器,或者在其上运行的功能安全操作系统,或者在其上运行的人工智能和计算机视觉模型,甚至仅仅是计算机本身的任何部分、任何层次,我们都会制作一个简短的视频。让我们来看看。
视频画外音:物理人工智能时代已经到来。物理人工智能,即能够理解并与物理世界互动的模型,将体现在机器人身上。许多将是人形机器人。开发这些先进的机器人非常复杂,需要跨各种计算基础设施的大量数据和工作负载协调。
NVIDIA致力于通过三个计算平台(NVIDIA AI、Omniverse和Jetson Thor)以及支持AI的生成式开发者工具来简化和加速开发者工作流程。为了加速通用人形机器人基础模型Project Root,NVIDIA研究人员捕捉人类演示,看到机器人的手在物理世界的空间叠加。然后,他们使用集成到NVIDIA iZakLab中的计算机模拟框架RoboCasa来生成大量环境和布局。他们使用MimicGenMim增加数据大小,这有助于他们根据少量原始捕获生成大规模合成运动数据集。他们使用结合的真实和合成数据集在NVIDIA DGX Claude上训练Groot模型。接下来,他们在Jetson Thor上执行软件在环分析和硬件在环验证,然后将改进的模型部署到真实机器人上。NVIDIA Osmo Robotics云计算编排服务在整个工作流程中管理跨分布式资源的作业分配和扩展。这些计算平台共同赋能全球开发者,将我们带入物理、人工智能驱动的时代。
在这次会议上,SIGGRAPH 是所有这些技术汇集的地方。无论是计算机图形学、模拟、人工智能还是机器人技术,所有这些都在 SIGGRAPH 汇聚。这就是我认为你应该来 SIGGRAPH 的原因。
我很高兴,也很激动。环顾四周,世界上 100% 的科技媒体都应该来 SIGGRAPH。我们可以支持这一点。昨晚我去展览楼上看了一些艺术展品,真的很棒,特别是那个字面上的垃圾邮件机器人,不管是谁创建的。
在此之前,我听过 SIGGRAPH Spotlight 播客,如果大家还没有听过,我真的推荐它。特别项目主席正在采访几位图形设计传奇人物,其中包括 David M.。David M. 讨论了一件事:档案。这对这群人来说是一个存在主义问题,但人们正在创造这种真正令人惊叹的数字媒体,所有这些计算机图形。你正在用你的技术加速它。它改变了人们构建一切的方式,面向未来。文件格式、档案、访问所有这些工作都面向未来。
机器人将继续存在,我并不担心他们会接管一切。人们正在创作的艺术呢?
这是一个存在的问题,也是一个非常好的问题。我们深信不疑的格式之一就是 OpenUSD。OpenUSD 是第一种将几乎所有工具的多模态性整合在一起的格式,允许它们交互、组合在一起、进出这些虚拟世界。因此,理想情况下,随着时间的推移,您可以将几乎任何格式引入其中。
在这次会议上,我们宣布通用机器人数据格式 URDF 现在与 OpenUSD 兼容,或者可以将其引入 OpenUSD。因此,我们将把一种又一种格式都纳入这种通用语言。使用标准是允许内容和数据共享、允许每个人协作并永久存在的最佳方式之一。例如,HTML。如果没有 HTML,那么来自世界各地的所有这些不同内容都很难被所有人访问。因此,在很多方面,OpenUSD 就是虚拟世界的 HTML。
我们也是这项计划的早期推动者。有很多出色的公司加入了,还有许多其他公司正在加入。我的期望是世界上每一个设计工具都能够连接到 OpenUSD。一旦连接到这个虚拟世界,您就可以在任何地方使用任何其他工具与任何人联系,就像我们对 HTML 所做的那样。
你说这个内容可以永远存在。你要打造一个永远存在的 Jensen AI 吗?
当然,有一个 Jensen AI。事实上,我说过的一切,写过的一切以及做过的一切,都可能被吸收到这些生成性工具中。我认为聪明的说法是正确的。
因此,Jensen AI 将来会负责召开您的财报电话会议。
但愿如此。这是必须要做的第一件事,也是机器人需要做的第一件事。
詹森,非常感谢你。我想我们可能很快就会被赶下舞台了。但您很快就会和马克·扎克伯格一起回来。谢谢大家,我们马上回来。
——————————-
=老黄和小扎炉边对话书面完整版=
老黄:
女士们,先生们,我有一位非常特别的嘉宾。请大家坐下,我们即将开始。
我的下一位嘉宾给我留下了深刻的印象,原因有三。首先,只有少数企业家和创始人能够创办一家真正影响全球数十亿人生活的公司,发明服务,并成为一家最先进的计算公司。其次,很少有企业家和创始人能够创立一家市值超过一万亿美元的公司。第三,他是一位大学辍学生。这三件事同时成立。
女士们,先生们,请欢迎马克·扎克伯格。
马克,欢迎你第一次参加 SIGGRAPH。你能相信吗?作为计算的先驱之一,现代计算的推动者,我不得不邀请他参加 SIGGRAPH。马克,请坐。很高兴你能来,感谢你飞过来。
小扎:
是的,这会很有趣。我听说你已经走了五个小时了?
老黄:
是的,当然。这就是 SIGGRAPH,90% 的参与者都是博士。SIGGRAPH 的伟大之处在于,它是计算机图形学、图像处理、人工智能和机器人技术的结合。多年来,一些公司在这里展示了令人惊叹的成果,包括迪士尼、皮克斯、Adobe、Epic Games,当然还有 NVIDIA,我们在这里做了很多工作。今年,我们在人工智能和模拟的交叉点上发表了 20 篇论文。我们正在使用人工智能来帮助模拟变得更大规模、更快,例如可微分物理。我们还在使用模拟来创建用于人工智能合成数据生成的模拟环境。这两个领域真的走到了一起,我们为我们在这里所做的工作感到自豪。
在 Meta,你们做了令人惊叹的人工智能工作。我觉得有趣的是,当媒体报道 Meta 近年来如何进军人工智能领域时,提到了 FAIR 所做的工作。记住,我们都使用来自 Meta 的 PyTorch。你们在计算机视觉、语言模型、实时翻译方面所做的工作都是开创性的。我想问的第一个问题是,您如何看待 Meta 当今生成式人工智能的进步?您如何应用它来增强运营或引入新功能?
小扎:
是的,有很多内容需要解答。首先,很高兴来到这里。Meta 在 SIGGRAPH 工作了八年,所以与大家相比,我们是菜鸟。我记得那是在 2018 年,我们展示了一些早期的 VR 和混合现实头戴设备的手势追踪工作。我们在编解码器头像方面取得了显著进展,希望通过消费者头戴设备实现照片级逼真的头像,这一目标越来越近了。对此我感到非常兴奋。
此外,我们还在显示系统方面完成了许多工作。一些未来的原型和研究旨在使混合现实头显变得非常薄,但需要相当先进的光学堆栈和显示系统,即集成系统。这些通常是我们首先展示的内容。因此,今年我很高兴能来到这里,不仅仅是谈论 Metaverse 的内容,还有所有的人工智能部分。
在创办 Reality Labs 之前,我们创办了 FAIR,即人工智能研究中心,当时是 Facebook,现在是 Meta。我们在这个领域已经工作了一段时间。围绕生成式人工智能(Gen AI)的所有内容,都是一场有趣的革命。我认为它最终会以有趣的方式改变我们所有不同产品的运作方式。
我们已经拥有一系列大型产品,如 feed 和推荐系统,以及 Instagram 和 Facebook 等。我们不再仅仅是为了与朋友联系。排名一直很重要,因为即使你只是关注朋友,如果有人做了一些非常重要的事情,比如你的表弟生了孩子,你希望它出现在最上面。如果它被埋在信息流的某个地方,你会很生气。因此,排名很重要。
在过去几年里,情况已经发展到更多的内容是公开的。推荐系统变得非常重要,因为现在不仅仅是几百或几千个来自朋友的潜在候选帖子,而是数百万条内容。这变成了一个非常有趣的推荐问题。
有了生成式人工智能,我认为我们将很快进入一个新领域:你今天在 Instagram 上看到的大部分内容不仅是从世界上符合你兴趣的内容中推荐给你的,不管你是否关注这些人。我认为在未来,很多这样的内容也将使用这些工具来创建。一些将是创作者使用工具来创建新内容,另一些将是为你即时创建的内容,或者通过现有的不同事物汇集和合成的内容。
这是我们正在做的事情的核心部分将如何发展的一个例子。它已经发展了 20 年,但我认为这将继续发展。
老黄:
很少有人意识到世界上有史以来最大的计算系统之一是推荐系统。
小扎:
这是一条完全不同的道路,并不完全是人们谈论的那种生成式人工智能热点,但它与建立越来越多的通用模型类似。
推动质量改进的一大因素是过去对每种类型的内容都有不同的模型。最近的一个例子是,我们有一个模型用于对卷轴进行排名和推荐,另一个模型用于对更长视频进行排名和推荐。为了使系统能够在线显示任何内容,还需要进行一些产品工作。然而,你创建的通用推荐模型越多,它就会变得越好。这部分原因在于内容的经济学和流动性。你可以从中获取的内容池越广,就不会遇到从不同池中获取内容的低效率问题。随着模型变得越来越大、越来越通用,情况会变得越来越好。
我梦想有一天,整个 Facebook 或 Instagram 都像一个单一的 AI 模型,将所有不同的内容类型和系统统一在一起。这些内容类型和系统在不同的时间范围内有不同的目标,有些只是向你展示你今天想要看到的有趣内容,而有些则帮助你长期建立你的网络,比如你可能认识的人或你可能想要关注的账户。
老黄:
这些多模态模型往往更擅长识别模式和弱信号。
AI 在你的公司中如此深入,真是太有趣了。你一直在构建 GPU 基础设施,运行这些大型推荐系统。现在,我有点慢,实际上是在 GPU 方面。是的,我试图表现得友善。你知道吗?你是我的客人。
小扎:
在我来这里之前,你在后台谈论承认自己的错误或诸如此类的事情,所以你不必突然主动这么做。就好像被这篇帖子批评了一段时间一样。但是一旦你进入这个状态,你就会变得坚强。
老黄:
生成式人工智能最酷的地方在于,当我使用 WhatsApp 时,我感觉自己正在与 WhatsApp 合作。我喜欢 Imagine。我坐在这里打字,它会在我打字时生成图像。我回去改一下措辞,它会生成其他图像。比如,日落时分,一位中国老人和三只狗(金毛猎犬、金毛贵宾犬和伯尔尼山犬)一起享用一杯威士忌,它生成了一张非常漂亮的图片。是的,每个月都在进步。这是上周的情况。对此非常兴奋。
小扎:
现在,想象一下我。过去一周我花了很多时间和我的女儿们在一起,想象她们是美人鱼之类的。这很有趣。很多新一代人工智能的东西将会是对我们长期以来拥有的所有工作流程和产品的重大升级。同时,现在将会有所有这些全新的东西可以被创造出来。因此,META AI,即在我们的世界中拥有一个能够帮助你完成不同任务的人工智能助手的想法将非常具有创造性,就像你说的。但它们非常通用,所以你不需要仅仅将其限制在那里。它将能够回答任何问题。
我认为,随着时间的推移,当我们从 Llama 3 类模型转向 Llama 4 及更高版本时,它将不再像聊天机器人那样,你给它一个提示,它就会做出反应。然后你给它一个提示,它就会做出反应,就像来回一样。我认为它会很快进化,你给它一个意图,它实际上可以在多个时间范围内消失。它可能应该承认你事先给了它一个意图。但我认为有些东西最终会启动,计算需要数周或数月的时间,然后当世界上发生某些事情时才返回给你。我认为这会非常强大。
老黄:
今天的人工智能,如你所知,是回合制的。你说些什么,它会回应你些什么。但显然,当我们思考时,当我们被赋予任务或问题时,我们会考虑多种选择,或者我们会想出一个选项树,一个决策树,然后我们沿着决策树走下去,在脑海中模拟我们可能做出的每个决定的不同结果。所以我们在做规划。在未来,人工智能也会做同样的事情。
当你谈到你对创造者人工智能的愿景时,我非常兴奋的一件事,坦率地说,我认为这是一个本垒打的想法。告诉大家关于创造者人工智能和人工智能工作室的信息,它们将使你能够做到这一点。
小扎:
是的,所以我们实际上……这是我们讨论过的事情,我们今天要把它推广得更广泛。我们的很多愿景是……我不认为会只有一个人工智能模型,业内其他一些公司也这么做,他们正在构建一个中央代理。是的,我们将提供 MetAI 助手供您使用。但我们的愿景是,我们希望让所有使用我们产品的人都能为自己创建代理。因此,无论是平台上的数百万创作者,还是数亿小企业,我们最终都希望能够整合您的所有内容,并快速建立业务代理,以便与您的客户互动,做销售和客户支持等等。
所以我们现在开始推出的更多产品是我们称之为 AI Studio 的产品。它基本上是一套工具,最终将使每个创作者都可以构建自己的 AI 版本,作为他们的社区可以与之互动的代理或助手。这里有一个根本问题,就是一天中的时间不够用,如果你是一个创作者,你想更多地与你的社区互动,但你的时间有限。同样,你的社区也想与你互动,但这很难,这样做的时间有限。所以下一个最好的事情是允许人们基本上创造这些工件,它有点像一个代理,但你需要训练它在你的材料上以你想要的方式代表你。我认为这是一种非常有创造性的努力,几乎就像你在那里展示的一件艺术品或内容。很明显,这种技术不会与创作者本身直接互动,但我认为这会是一种有趣的方式,就像创作者在社交平台上发布内容一样,代理也可以这样做。
我认为,人们会为各种不同的用途创建自己的代理。有些代理将是某种定制的实用程序,用户希望通过微调和训练来完成特定任务。另一些代理则会用于娱乐,人们创造的一些东西可能很有趣,虽然有点傻,但以不同的方式展现了有趣的态度。我们可能不会将这些构建为META AI的助手,但我认为人们非常有兴趣看到和互动。
一个有趣的用例是人们使用这些代理来提供支持。让我有点惊讶的是,META AI的主要用例之一是人们用它来模拟他们将要遇到的困难社交场合。无论是在专业场合,比如询问经理如何获得晋升或加薪,还是在个人生活中,比如与朋友吵架或与女朋友遇到困难情况,这些代理提供了一个完全没有判断力的区域,用户可以在其中扮演角色,看看谈话会如何进行,并获得反馈。
然而,很多人不想只与同一种代理互动,无论是META AI还是聊天GPT,还是其他人都在使用的代理。他们希望创造自己的代理。这就是我们对AI Studio的目标之一,但这也是我们更大观点的一部分,即我们不应该只有一个与人们交互的大型AI。我们认为,如果这些不同的代理多样化,世界将会变得更好、更有趣。
老黄:
如果你是一名艺术家,你可以将你的风格和所有作品拿出来,对其中一个模型进行微调,使其成为一个人工智能模型。然后,你可以提示它按照你的艺术风格创作一些东西,甚至可以给它一幅画或素描作为灵感,它可以为你创作一些东西。未来,每家餐馆、每个网站都可能拥有这些人工智能。
小扎:
我认为,在未来,就像每个企业都有一个电子邮件地址、一个网站和一个社交媒体账户一样,每个企业都会有一个与客户互动的人工智能代理。从历史上看,有些事情很难做到。比如,客户支持部门通常是与销售部门分开的组织,而这并不是CEO希望的运作方式。虽然它们是不同的技能,但你正在建立这些大型系统。
我想,当你是 CEO 时,你必须做所有的事情。但当你将抽象概念融入组织时,很多时候组织是分开的,因为它们针对不同事物进行了优化。
我认为,柏拉图式的理想是,它是一回事。作为客户,你其实并不关心。当你试图购买某样东西时,你不希望有一条不同的路线,而当你购买的东西有问题时,你又不希望有一条不同的路线。你只是希望有一个地方可以回答你的问题,并能够以不同的方式与企业互动。我认为这也适用于创作者。个人消费者方面将是与客户的所有互动,尤其是他们的投诉,将使你的公司变得更好。
老黄:
事实上,这一切都与人工智能有关,这将捕捉机构知识和方法,所有这些都可以用于分析,从而改进人工智能等等。
小扎:
所以我认为这个商业版本有更多的集成,我们仍然处于相当早期的 alpha 阶段。但是 AI 工作室让人们可以创建他们的 UGC 代理和不同的东西,并开始让创作者创建它们的飞轮。我对此非常兴奋。
老黄:
那么我可以使用 AI 工作室来微调我的图像集合吗?
小扎:是的,我们会到达那里。
老黄:然后我可以把我写的所有东西都加载进去,这样你就可以把它当作我的抹布吗?
小扎:
是的,基本上。然后每次我回到它时,它都会再次加载它的内存。所以它会记得上次停在哪里,我们继续我们的对话,好像什么都没发生过一样。
就像任何产品一样,它会随着时间的推移变得更好。训练它的工具会变得更好。这不仅仅是你想让它说什么。我认为一般来说,创作者和企业也有一些他们想避开的话题,所以只是在所有这些方面做得更好。我认为这的柏拉图式版本不仅仅是文本,您几乎只希望能够做到这一点,然后这与我们长期以来所做的某些编解码器化身工作有所交集。您希望能够与经纪人进行视频聊天。我认为随着时间的推移,我们会实现这一目标。我认为这些事情并不遥远,但飞轮旋转得非常快。所以这很令人兴奋。有很多新东西需要构建。
即使基础模型的进展现在停止了(但我认为不会停止),我们也会有五年的时间让行业进行产品创新,基本上弄清楚如何最有效地利用迄今为止已经建成的所有东西。但实际上我认为基础模型和基础研究的进展正在加速。所以,这是一段相当疯狂的时光。
您的愿景……正是您让这一切成为了现实。
老黄:
在上次谈话中,我……谢谢。我们是首席执行官,也是娇嫩的花朵。是的,我们需要很多后卫。我们现在相当灰白了。我想我们是这个行业中最资深的两位创始人,这是真的。
小扎:这是真的。你的头发变白了,我的头发却变长了。
老黄:我的头发变灰了,你的头发变卷了。这是怎么回事?
小扎:它一直是卷曲的,这就是我把它剪短的原因。
老黄:是的,如果我知道要花这么长时间才能成功,我根本就不会开始。不,我会像你一样辍学,抢占先机。
小扎:这就是我们性格之间的很大差异。我认为这些事情……
老黄:
你已经领先了12年。那非常好。你做得很好。
我喜欢你的愿景,即每个人都可以拥有人工智能,每个企业都可以拥有人工智能。在我们公司,我希望每个工程师和每个软件开发人员都拥有一个人工智能,或者许多人工智能。我喜欢你的愿景,因为你也相信每个人、每家公司都应该能够创造自己的人工智能。所以你们实际上已经开源了。当你开源Llama时,我认为这很棒。
顺便说一下,Llama 2.1,我认为Llama 2可能是去年人工智能领域最大的事件。
小扎:原因是,我以为是H100,但它是……
老黄:这是一个先有鸡还是先有蛋的问题。是啊,哪个先出现?
小扎:H100。Llama 2实际上并不是H100,是A100。
老黄:
是的,谢谢。
但我之所以说它是最大的事件,是因为当它出现时,它激活了每个公司、每个企业和每个行业。突然之间,每家医疗保健公司都在开发人工智能,每家公司都在开发人工智能,每家大公司、小公司、初创公司都在开发人工智能。这使得每个研究人员都能够再次参与人工智能,因为他们有一个可以做某事的起点。
现在3.1已经发布,令人兴奋的是,我们共同努力部署3.1。我们正在将其推广至全球企业,兴奋程度简直无以言表。我认为它将支持各种应用。
但请告诉我您的开源理念。这是从哪里来的?而且你开源了PyTorch。现在它已经成为了人工智能实现的框架。现在您已经开源了Llama 3.1或Lama。围绕它建立了整个生态系统。所以我认为这太可怕了,但这一切是从哪里来的呢?
小扎:
是的,这方面有很多历史。我们长期以来已经做了很多开源工作。我认为部分原因在于,坦白地说,我们是在其他一些科技公司之后起步的,构建分布式计算基础设施和数据中心之类的东西。正因为如此,当我们制造出这些东西的时候,它已经不具备竞争优势了。我们想,好吧,我们不妨把它公开,然后我们将受益于周围的生态系统。因此我们有很多这样的项目。
我认为最大的一个可能是开放计算,我们将服务器设计、网络设计以及最终的数据中心设计都发布在这里。通过将其打造成为某种行业标准,所有供应链基本上都围绕它进行组织,这样做的好处是每个人都能省钱。因此,通过将其公开,我们基本上已经节省了数十亿美元的资金。Open Compute 也使得我们为一个数据中心设计的 NVIDIA HGX 突然可以在每个数据中心运行。
老黄:这是一次非常棒的经历。
小扎:
我们已经使用一系列基础设施工具完成了这项工作,比如 React、PyTorch。因此我想说,当 Llama 出现时,我们已经积极地倾向于这样做了。具体来说,对于人工智能模型,我想我可以从几个方面来看待这个问题。
一是,过去 20 年在公司里创造东西真的很有趣。最困难的事情之一就是我们必须通过竞争对手的移动平台发布我们的应用程序。一方面,移动平台给该行业带来了巨大的福音,这真是太棒了。另一方面,必须通过竞争对手来交付产品,这很有挑战性。在我成长的那个时代,Facebook 的第一个版本是在网络上的,它是开放的。随着向移动设备的过渡,好处是现在每个人的口袋里都有一台电脑,这太棒了。缺点是,我们能做的事情受到了很大限制。
当你观察这几代计算技术时,就会发现存在着巨大的近因偏差,每个人都只关注移动设备,并认为,因为封闭的生态系统,因为苹果基本上赢了,并设定了其条款。是的,我知道从技术上来说 Android 手机的数量更多,但苹果基本上占据了整个市场并获得了所有的利润。基本上,Android 在开发方面是在追随苹果的。所以我认为苹果显然赢得了这一代产品。
但情况并不总是这样。如果你回顾上一代,苹果当时在做他们那种封闭的事情,但微软,它显然不是一个完全开放的公司,但与苹果相比,Windows 在所有不同的 OEM 和不同的软件上运行,不同的硬件,是一个更加开放的生态系统。Windows 是领先的生态系统。基本上,在 PC 时代,开放的生态系统赢得了胜利。我希望在下一代计算中,我们能够回到开放生态系统获胜并再次占据领先地位的区域。总是会有一个封闭的和一个开放的。我认为同时做这两件事都是有理由的,两者各有各的好处。在这一点上,我并不像一个狂热分子。我们做的是闭源的东西,我们所发表的并不是所有的东西都是开放的。但我认为,总体而言,对于整个行业所构建的计算平台而言,如果软件是开放的,那么将具有很大的价值。这确实塑造了我的哲学观念。
对于 Llama 的人工智能以及我们在 AR 和 VR 领域所做的工作,我们基本上是在开发用于混合现实的 Horizon OS,它是一种开放的操作系统,类似于 Android 或 Windows,基本上就是为了让我们能够与许多不同的硬件公司合作来制造各种不同的设备。我们基本上只是想让生态系统恢复到开放的水平。我非常乐观地认为,在下一代中,开放的将会获胜。
对于我们来说,我只是想确保我们能够获得,这有点自私,但在建立了这家公司一段时间之后,我未来 10 年或 15 年的计划之一就是确保我们能够建立基础技术,我们将在此基础上构建社交体验。因为我尝试构建的东西太多了,然后被告知,不,你不能真正由平台提供商在某种程度上构建这一点,我只是想,不,去他的。对于下一代,我们要一路走下去…
老黄:确保我们拥有广播机会。哔… (笑指小扎前面粗言)
小扎:抱歉。对不起。我们大概 20 分钟内一切都还好,但是当我谈论封闭的平台时我就会生气。
老黄:
嘿,看,很棒。我认为这是一个美好的世界,有人致力于构建最好的人工智能,不管他们如何构建它,并将其作为服务提供给世界。但是如果你想构建自己的人工智能,你仍然可以构建自己的人工智能。
所以能力——是的,完全是。要使用人工智能,有很多事情要做。我不想自己做这件夹克。我更希望有人为我量身定做这件夹克。你知道我在说什么?是的。是的。但皮革可以开源这一事实对我来说不是一个有用的概念。但我认为,如果你能拥有优质的服务、令人难以置信的服务以及开放的能力,那么我们基本上就拥有了整个范围。
但是 3.1 的真正伟大之处在于您有 405B、70B、8B。您可以用它来生成合成数据,使用较大的模型来实质上教导较小的模型。尽管较大的模型会更加通用,更不易碎,但您仍然可以构建一个较小的模型,以适应您想要的任何操作领域或运营成本。
我想,你遇见了一名警卫。是的,Llamaguard。Llamaguard 用于护栏,太棒了。所以现在,您构建模型的方式是透明的。它有,你奉献,你有一个世界一流的安全团队,世界一流的道德团队。您可以以这样一种方式构建它,让每个人都知道它已正确构建。所以我真的很喜欢它的这个部分。
小扎:
在我被 岔开话题之前,我确实认为存在这种一致性。我们构建它是因为我们希望这个东西存在,并将它从某个封闭的模型中剔除出去。但这不仅仅是一个可以构建的软件,还需要一个围绕它的生态系统。因此,如果我们不开源它,它几乎就无法很好地运行。
我们这样做并不是因为我们是利他主义者,尽管我认为这对生态系统是有帮助的。我们这样做是因为我们认为通过在其周围建立一个强大的生态系统,这将使我们正在构建的东西变得最好。看看有多少人为 PyTorch 生态系统做出了贡献。
老黄:
是的,完全正确。大量的工程。仅 NVIDIA 一家,我们可能就有几百人致力于让 PyTorch 变得更好、更具可扩展性、性能更强等等。
小扎:
当某种东西成为行业标准时,其他人就会去解决它,因此,系统中的所有硅片最终都将得到优化,以便很好地运行这个系统,这将使每个人受益,但它也将与我们正在构建的系统配合良好。我认为,这只是其中一个例子,说明这种方法最终确实非常有效。所以,我认为开源策略将是一个很好的商业策略。我认为人们仍然不太明白这一点。
老黄:
我们非常喜欢它,并围绕它建立了一个生态系统。我们建造了这个叫做 AI Foundry 的东西。
小扎:
你们在这方面做得非常棒。每次我们发布新产品时,你们总是第一个发布、优化并使其正常运行。所以,我很感激,但是我能说什么呢?我们有优秀的工程师。而且你们总是能很快地开始做这些事情。
老黄:
我是一名老年人,但我很敏捷。这就是首席执行官必须要做的事。
我认识到一件重要的事情。我认为 Llama 确实很重要。我们构建了这个概念,称之为 AI Foundry,以便我们可以帮助每个人构建、采取行动。很多人都有构建人工智能的愿望。对他们来说,拥有人工智能非常重要,因为一旦他们将其放入飞轮、数据飞轮中,他们公司的机构知识就会被编码并嵌入到人工智能中。所以,他们无法承受将人工智能飞轮、数据飞轮和经验飞轮放在其他地方。因此,开源允许他们这样做,但他们并不真正知道如何将整个东西变成人工智能。
因此,我们创建了所谓的“AI Foundry”。我们提供工具、提供专业知识、Llama 技术,我们有能力帮助他们将整个事情转变为 AI 服务。然后,当我们完成这些之后,他们就拿走它,拥有它,它的输出就是我们所说的 NIM。用户只需下载 Neural Micro NVIDIA 推理微服务(NIM),并在任何他们喜欢的地方运行,包括本地环境。我们拥有一个完整的合作伙伴生态系统,从可以运行 NIM 的 OEM 到像埃森哲这样的全球系统集成商(GSI)。我们对这些 GSI 进行了培训并与其合作,以创建基于 Llama 的 NIM 和管道。现在,我们正在帮助世界各地的企业实现这一目标,这确实是一件令人兴奋的事情。
这一切都是由 Llama 开源引发的。
小扎:
我认为,帮助人们从大模型中提取自己的模型的能力将成为真正有价值的新事物。就像我们在产品方面讨论的那样,我不认为会有一个主要的人工智能代理与每个人交谈。它们处于同一水平,我认为不一定存在一个所有人都使用的模型。
老黄:
我们有芯片设计AI、软件编码AI。我们的软件编码AI能够理解USD,因为我们使用USD来编码全宇宙的东西。我们有一个可以理解Verilog的AI,即我们的Verilog。我们拥有能够了解错误数据库并知道如何帮助我们分类错误并将其发送给合适工程师的软件AI。每一个AI都是根据Llama进行微调的,因此我们对它们进行微调和保护。如果我们有一个用于芯片设计的AI,我们就不会对询问政治、宗教等问题感兴趣,因此我们对其进行了防护。
我认为每家公司基本上都会为其每一项功能配备专门构建的AI,他们需要帮助才能做到这一点。
小扎:
未来的一个大问题是人们在多大程度上会使用更大、更复杂的模型,而不是仅仅为了他们的用途而训练自己的模型。我敢打赌,它们将会是大量不同模型的混合体。
老黄:
我们使用最大的模型,因为我们的工程师的时间非常宝贵。我们现在获得了针对性能进行了优化的405B。正如您所知,405B不适合任何GPU,无论多大。这就是为什么NVLink性能如此重要。我们的每个GPU都通过一个称为NVLink交换机的非阻塞交换机连接。例如,在HVAC中有两个这样的交换机。我们让所有这些GPU都能工作并运行405B,真正发挥作用。我们这样做的原因是因为工程师的时间对我们来说非常宝贵。我们想使用最好的模型。事实上,它只节省了几分钱,谁在乎呢?因此我们只是想确保向他们呈现最优质的结果。
小扎:
我认为405的推理成本大约是GPT-4o模型的一半。在那个水平上,它已经相当好了。但是,我认为人们正在设备上做一些事情,或者想要更小的模型。他们只是需要进一步提炼。
老黄:
这就像是一整套不同的服务。
假设我们正在雇用人工智能,用于芯片设计的人工智能每小时的费用大概是10美元。如果你在不断使用它,并且与一群工程师共享该AI,那么每个工程师可能都有一个伴随他们的AI,而且成本并不高。我们给工程师付了很多钱,所以,每小时几美元可以放大某人的真正有价值的能力。
如果您还没有雇用人工智能,请立即雇用。这就是我们要说的全部内容。那么,让我们来讨论下一波。
我非常喜欢你们所做的工作之一,计算机视觉。我们内部经常使用的模型之一就是对所有事物进行细分。我们现在正在视频上训练人工智能模型,以便能够理解世界模型。我们的用例是用于机器人和工业数字化,并将这些AI模型连接到Omniverse,以便更好地建模和表示物理世界,让机器人更好地在这些Omniverse世界中运行。
您的应用程序Ray-Ban Metaglass,以及将AI引入虚拟世界的愿景确实很有趣。请告诉我们更多。
小扎:
是的,里面有很多内容需要解开。您所谈论的任意分段模型(Segment Anything2),我们实际上正在SIGGRAPH上展示它的下一个版本,任意分段二。现在它可以工作得更快,并且可以在视频中发挥作用。我认为这些实际上是来自我考艾岛牧场的牛,顺便说一下,这些被称为三月美味牛。
老黄:
下次我们再一起做,马克会来我家,我们一起做费城奶酪牛排。下次你要带着牛来。然后到了晚上结束时,你会想,嘿,你吃够了,我当时想,我不知道,我还能再吃一个。通常当你说类似的话时,是为了保持礼貌。我当时就想,是的,我们会生产更多的奶酪。你吃饱了吗?通常你的客人会说,哦是的,我很好。再给我做一份奶酪牛排,詹森。
只是为了让你知道他有多么强迫症,所以我转过身,准备奶酪牛排。我说:“马克,切西红柿。”于是马克,我递给他一把刀。他把西红柿切好,每一个都精确到毫米。真正有趣的是,我原本以为所有的西红柿都会被切成片并堆放起来,有点像一副纸牌。但当我转身时,他说他需要另一个盘子。原因在于他切开的所有西红柿都没有互相接触。一旦他将一片西红柿与另一片西红柿分开,它们就不能再接触。
他说,如果你想让它们接触,你就得告诉我。
这就是为什么我只是一名副厨师。这就是为什么他需要一个不会评判的人工智能。是的,这太酷了。它可以识别牛的踪迹,正在识别并追踪奶牛。
小扎:
用它可以实现很多有趣的效果,并且它还将为整个行业带来许多更为严肃的应用。科学家利用这些技术来研究珊瑚礁、自然栖息地以及景观的演变等。
能够在视频中做到这一点,并将其作为零镜头,并能够与它进行交互并告诉它你想要跟踪什么,这是非常酷的研究。
老黄:
举个例子,我们使用它的原因是,你有一个仓库,里面有一大堆摄像头,仓库人工智能正在监视正在发生的一切。假设一堆箱子掉了,或者有人把水洒在了地上,或者无论发生什么事故,人工智能都会识别出来,生成文本,发送给某人,然后就会有人提供帮助。这是一种使用方法。
如果发生事故,它不会记录所有内容,也不会记录视频的每一纳秒,然后回过头来检索那个时刻,它只会记录重要的东西,因为它知道自己在看什么。因此,拥有一个视频理解模型、一个视频语言模型对于所有这些有趣的应用来说都非常强大。
现在,你们还准备做什么呢?雷朋眼镜,跟我谈谈。
小扎:
是的,有很多智能眼镜,所以我认为,当我们考虑下一个计算平台时,我们会将其分解为混合现实、头显和智能眼镜。而智能眼镜,我认为人们更容易接受并佩戴它,因为几乎每个今天戴眼镜的人最终都会升级为智能眼镜。这相当于世界上有十多亿人。这将是一件大事。
VRM是头显。我认为有些人会发现它对于游戏或其他用途很有趣,有些还没有。我的观点是,它们将会同时存在于这个世界上。我认为智能眼镜将会成为一种手机,一种下一代计算平台的永远在线版本。混合现实头显将更像你的工作站或游戏机,当你坐下来进行更身临其境的体验时,你会希望获得更多的计算能力。眼镜的外形非常小,这方面将会面临很多限制,就像你不能在手机上进行相同级别的计算一样。
老黄:
它恰好出现在生成式人工智能领域取得所有这些突破的时候。
小扎:
是的,所以基本上,对于智能眼镜,我们从两个不同的方向来解决这个问题。一方面,我们一直在开发我们认为理想的全息AR眼镜所需的技术。我们正在进行所有定制硅片的工作、所有定制显示堆栈的工作,以及使这些工作得以完成所需要做的所有事情。它们是眼镜,但这不是头显。它不像 VR 或 MR 头显。它们看起来像眼镜,但与您现在佩戴的眼镜相比还有很大差距。它们非常薄,但即使是我们生产的雷朋眼镜,也无法将全息 AR 所需的所有技术都融入其中。我们越来越接近了。在接下来的几年里,我认为我们将会更加接近彼此。虽然它仍然会相当昂贵,但我认为它会开始成为一种产品。
我们从另一个角度来讨论这个问题,先从好看的眼镜开始。通过与世界上最好的眼镜制造商 Essler Luxottica 合作,他们基本上拥有您使用的所有大品牌。无论是雷朋 (Ray-Ban)、奥克利 (Oakley) 还是奥利弗·皮帕斯 (Oliver Peoples),或者只是少数其他品牌,这有点像 Essler Luxottica 是眼镜界的 NVIDIA。
老黄:我认为他们可能会喜欢这个比喻。
小扎:
谁不愿意呢?
我们一直在与他们合作研发雷朋 (Ray-Bans) 眼镜。我们已进入第二代。我们的目标是将外形尺寸限制为看起来很棒的尺寸。在此范围内,我们尽可能多地投入技术,同时明白我们无法从技术上达到理想效果,但最终,它会像很漂亮的眼镜一样。目前,我们已经有了摄像传感器,所以你可以拍摄照片和视频。您实际上可以将直播流传输到 Instagram。您可以在 WhatsApp 上进行视频通话,并向对方直播您所看到的内容。它有麦克风和扬声器,这个扬声器确实非常好,是开放的耳朵设计,因此很多人觉得它比耳塞更舒适。您可以听音乐,就像一种私人体验一样,这真是太棒了。人们喜欢这个,您可以用它接听电话。
后来事实证明,这个传感器包正是与人工智能对话所需要的东西,这算是一次意外。如果五年前你问我,我们是否会在人工智能之前获得全息增强现实 (AR)?我会说,是的,可能吧。它看起来就像是所有虚拟和混合现实方面的图形进展和显示进展,并建立了新的显示堆栈。我们正朝着这个目标不断前进,这是正确的。随后,这一突破在LLM学位课程上得以实现。事实证明,我们现在拥有非常高质量的人工智能,并且在全息增强现实出现之前,它的改进速度非常快。这是我真没有想到的这种逆转。
我们很幸运,因为我们致力于研发所有这些不同的产品。但我认为,最终你会得到一系列不同潜在眼镜,不同价位的产品,以及不同技术水平的产品。因此,我认为,根据我们现在看到的雷朋 Metas 的情况,我猜售价 300 美元左右的无显示屏 AI 眼镜将成为一个真正受欢迎的产品,最终将有数千万人或数亿人拥有它。你将会拥有一个可以与你对话的超级互动人工智能。
老黄:
你刚刚展示了视觉语言理解,并且具备实时翻译功能。你用一种语言和我说话,我听到的却是另一种语言。
小扎:
显示屏显然也会很棒,但它会增加眼镜的重量,并且会使眼镜变得更加昂贵。所以我认为会有很多人想要那种全息显示屏,但也会有很多人希望最终能有像非常薄的眼镜一样的设备。
老黄:
对于工业应用和一些工作应用,我们需要它。我也认为对于消费品而言也是如此。你这么认为吗?
小扎:
是的,我想,在 COVID 期间,当每个人都远程办公一段时间时,我就经常考虑这个问题。就好像你把所有的时间都花在了 Zoom 上。拥有这样的技术真是太好了,但是在未来,我们大概要不了几年就能举行虚拟会议,就好像我并不是亲自到场,这只是我的全息图而已。感觉我们就在那里,亲临现场。我们可以一起做某事,一起合作做某事。
但我认为这对于人工智能来说尤其重要。对于该应用程序,我可以忍受不经常佩戴的设备。噢,是的,但我认为我们将会达到事实上的程度。是的,我可以。眼镜有各种各样的款式,有细镜框的,也有粗镜框的。但我认为我们距离拥有与你的眼镜形状相同的全息眼镜还有一段时间。不过,我认为将它安装在一副时尚的厚框眼镜上也并不遥远。如今,这些太阳镜都适合小脸型。我看得出来。
老黄:
是的,这是一种非常有用的风格。无论是谁,就像我在努力成为一名时尚影响者,这样我就能在这副眼镜进入市场之前对其产生影响。
小扎:但我不知道。
老黄:
好吧,我看到你正在尝试。你的风格对你的锻炼有什么影响?
小扎:
现在还早,还早。
但我觉得如果未来业务的很大一部分是制造人们佩戴的时尚眼镜,那么我应该开始更多地关注这一点。好的。是的,我们将不得不淘汰每天穿同样衣服的我。但眼镜也有同样的问题。我认为它与手表或手机不同,人们真的不希望它们看起来都一样。正确的。
所以我确实认为,这是一个适合的平台,回到我们之前谈到的主题,走向一个开放的生态系统,因为我认为人们对形式因素和风格要求的多样性将是巨大的。并不是每个人都不想戴这种眼镜,无论其他人设计什么,那都是不行的,我认为那样不会成功。是的,我认为是对的。
老黄:
马克,我们正处于一个整个计算堆栈被重新发明的时代,这真是令人难以置信。我们如何看待软件,安德烈称之为软件一和软件二,现在我们基本上处于软件三。我们从通用计算方式到这些生成神经网络处理的计算方式,我们现在可以开发的功能和应用程序在过去是不可想象的。生成式人工智能是一项能够迅速影响消费者、企业、行业和科学的技术。我不记得还有哪项技术能如此快速地在各个领域产生如此深远的影响。它不仅跨越了气候技术、生物技术、物理科学等所有不同的科学领域,而且在我们所遇到的每一个领域中,生成式人工智能都处于根本性转变的中心。
除此之外,正如您所谈论的,生成式人工智能将对社会产生深远的影响。我们正在生产的产品中,有一件让我非常兴奋的事情。之前有人问我,是否会有 Jensen AI?这正是您所说的创造性人工智能,我们可以构建自己的人工智能。我把我写的所有内容都放到里面,并根据我回答问题的方式对其进行微调。希望随着时间的推移和使用次数的积累,它会成为许多想要提问或交流想法的人的真正助手和伙伴。
正如您之前所说,这将是 Jensen 的版本,不会带有任何评判性。你不怕受到评判,这样你就可以随时与它互动。我认为这些真是令人难以置信的事情。而且您知道,我们一直在写很多东西。仅仅给出三到四个主题,这真是不可思议的事情。这些是我想要写的基本主题,我用我的声音来写,只是以此作为起点。所以现在我们可以做的事情太多了。
和你一起工作真是太棒了。我知道创立一家公司并不容易。你们将业务从桌面转向移动、VR、AI等所有这些设备。这真的、真的、真的很非凡。NVIDIA 自身也经历了多次转型。我非常清楚做到这一点有多么困难。而且这么多年来,我们俩都遭受过很多次打击。但这正是成为先驱和创新的必需条件。看到你真是太好了。
(全场掌声)
小扎:
同样,如果你继续做以前做的事情,不确定它是否是一个支点,但你也可以在其基础上添加内容。这一切还有更多章节。我认为同样的事情是,观看你们所经历的旅程很有趣。我们经历了这样一个时期,每个人都说,一切都将转移到这些设备上,它将获得超级便宜的计算。你们一直为此努力着。
老黄:
实际上,你会想要这些能够瘫痪的大型系统。我们走了另一条路。我们不再制造越来越小的设备,而是制造仓库大小的计算机。一时不时髦,有点不时髦,超级不时髦。但现在很酷。相反,我们开始构建图形芯片,即 GPU。现在,当您部署 GPU 时,您仍将其称为 Hopper H100。当扎克伯格称其为 H100 时,他的 H100 数据中心数量会达到 600,000。而且他们是好顾客。
小扎:这就是您在 SIGGRAPH 上获得 Jensen 问答的方式。
老黄:
哇。请稍等,我正在查看马克·扎克伯格的问答。你是我的客人,我想确保马克……
小扎:
有一天你打电话给我,说再过几周我们将在 SIGGRAPH 上做这件事。那天我什么都没做,我离开了丹佛,这听起来很有趣。确切地说,那天下午我什么事也没有做,你刚刚出现。
老黄:
这件事实在令人难以置信。你们构建的这些系统都是巨型系统,极难协调和运行。你说过你进入 GPU 领域比大多数人都晚,但你的运营规模却比任何人都大,真是令人难以置信。祝贺你所做的一切。现在你已经成为时尚偶像了。看看这个家伙。
女士们、先生们,马克·扎克伯格~ 谢谢。