Transcription
我很高兴与投资界分享这次独家采访。大多数人认为英伟达是一家制造芯片来训练大型人工智能模型的硬件公司，但你即将深入了解这个故事中一个截然不同的方面。我将与英伟达人工智能基础设施产品负责人 Joe Delair 一起进行。Joe 在过去四年里一直致力于部署地球上一些最强大的人工智能模型背后的硬件和软件，他分享了一些关于人工智能未来发展方向的令人惊讶的见解。但这只是我将在几周后在 GTC 上进行现场报道的众多技术之一。GTC 是英伟达的大型人工智能会议，展示了机器人和自动驾驶汽车、人工智能代理及其驱动芯片在机器人和自动驾驶汽车领域的最大突破，以及更多内容。任何通过我的链接注册 GTC 免费在线会议的人都有机会赢得一张英伟达 RTX 5090 显卡。只需参加任何会议，截屏作为证明，并在会议结束后通过下面的链接发送给我。GTC 应该引起每一位投资者的关注，英伟达的人工智能推理生态系统也应该如此。你的时间很宝贵，所以让我们直奔主题。我很高兴能和你在一起。顺便说一句，感谢你抽出时间。黄仁勋在主题演讲中谈了很多很棒的事情，其中他详细谈到的一件事是，英伟达实际上为 Vera Rubin 代共同设计了六款不同的芯片。这有很多需要了解的。所以我想和你一起深入了解这一切，从 GPU 本身开始，一直到机架规模的系统级别，如果你觉得可以的话。那么，让我们从 Reuben 本身开始。Blackwell 和 Reuben 之间有什么区别？哦，Reuben 有几个方面与 Blackwell 不同。所以我们有你提到的六款芯片，它们都是一起设计的。我们研究了数据中心的需求，然后反向工作，说我们需要这六款不同的芯片来确保我们获得最佳性能、最佳能效、最低成本。所以 Reuben 的根本之处在于这种极致的协同设计。所有这些芯片一起制造，一起设计，协同工作以获得最佳性能。当你提到研究数据中心需求时，是当前的人工智能模型在驱动这些需求，还是什么在驱动这些需求？绝对是。模型无疑是驱动这种计算需求的因素，特别是专家混合模型，由于其推理能力，它们会生成多得多的 token。模型的大小也在增长。所以它们通过模型大小和推理获得了更多的智能。因此，这正在产生巨大的计算需求，而 Reuben 就是为了解决这个问题而设计的。明白了。那么，就功耗和性能而言，请谈谈 Blackwell 和 Reuben GPU 之间的区别。在推理工作负载的功耗和性能方面，与 Blackwell 相比，Reuben 的性能提高了 10 倍。哇。每瓦性能提高 10 倍。这意味着，在给定的延迟下，你可以看到我们在黄仁勋主题演讲中展示的那些性能图表，在特定的延迟下，这对模型用户来说非常好。所以 10 倍的性能提升是跨越整个机架规模的。是在机架规模上吗？机架规模架构。所以这里我们有 Blackwell Ultra 代计算托盘，我可以向你展示我们这里有什么以及它们的组成部分。所以我们有两个超级芯片。两个超级芯片。好的。每个超级芯片有两个 Blackwell Ultra GPU，然后一个 Grace CPU，然后是两个超级芯片。所以是四个 GPU，两个 CPU。然后我们还有 ConnectX8 超级网卡，它们也是这个超级芯片的一部分，当我们稍后谈论 Vera Rubin 以及它们如何被移动时，这将是一个重要的区别。但你看，这是混合冷却的。好的。所以这些是用于超级芯片及其所有组件的冷板进行液体冷却。然后托盘的下半部分，或者说前半部分，是风冷。所以这些都是我actually 看到的风扇顶部，对吧？这里有八个风扇。明白了。所以有八个风扇，然后我们还有一个 BlueField DPU，它也是这个托盘的一部分。那是用于南北流量的，连接到存储，将数据输入计算机架，以便为 GPU 提供动力。明白了。所以 DPU 负责进出数据，然后所有的处理，所有的魔法都发生在超级芯片本身。明白了。所以有两种网络流量。南北流量是指同一机架内的流量。东西流量是指连接多个机架的流量。我们应该这样理解吗？是的，这是正确的理解方式。是的。我以为英伟达只是一个 GPU 设计公司，但 Grace 是一个 CPU，对吧？那么 CPU 是做什么的？CPU 负责很多管理工作。例如，当你进行推理并希望你的模型为你生成一些代码时，你希望它可能生成一个小的应用程序，一个 Python 应用程序，它需要在 CPU 上运行。GPU 不会运行模型生成的应用程序。好的。但它也负责其他类型的任务，如数据库分析等更适合 CPU 的功能。它能够加速这些类型的努力。哦，所以整个想法就是让你让 GPU 做它们最擅长的事情。然后你让 CPU 做 CPU 明显比 GPU 更擅长的事情，这样你就可以将工作分配给适合这项工作的芯片。对。没错。你还提到了 DPU。你能解释一下 DPU 是什么吗？DPU BlueField DPU 数据处理单元，它将负责一些南北流量。南北流量。是的。当你连接到存储时，那是在另一个机架上。将会有压缩、加密。所有这些都将由我们 BlueField、BlueField 3 中的 DPU 管理。这样做的目的是确保 CPU 和 GPU 不会做这些事情，对吗？没错。卸载，将所有这些功能从 CPU 和 GPU 卸载，并在硬件中加速这些功能，以便你获得最快的数据访问速度来为 GPU 提供动力。这很有道理。好的。所以到目前为止，这是六个芯片中的三个，对吗？CPU、GPU 和 DPU。还有 ConnectX。是的。多谈谈那个。ConnectX8。这是你的东西向连接。这是你的超级网卡，用于连接东西向。它还具有内联加密等功能，用于连接 GPU 机架之间的东西向流量。明白了。所以我们在主板上有 GPU、CPU、DPU 和 ConnectX。没错。另外两个芯片在哪里？MVLink 开关是另一个芯片。这里有两个开关。这是 MVLink 5，或者说是第五代 MVLink。它们以每秒 1800 千兆字节的速度与 NVLink 网络通信。1800G？每秒 1.8 太字节。所以，速度非常快。这确实是 Blackwell GB300 MBL72 的中枢神经系统。明白了。所以，这是两个完全不同的托盘，对吗？这是计算托盘。那是数字处理发生的地方。然后这是交换托盘，我记得你之前提到过，它只是连接所有 GPU。它连接所有 GPU。一个机架中有几个这样的托盘。是的。一个机架中有 72 个 GPU。它们是 72 个 GPU。在机架中，并且是全连接的。所以每个 GPU 都必须能够以全带宽与所有其他 GPU 通信。这就是交换机所实现的。所以每秒 1.8 太字节。任何 GPU 都可以与任何其他 GPU 通信。这就是为什么它被称为计算 fabric？就像当我绘制网络图时，好吧，明白了。所以他们称之为计算 fabric。不仅仅是因为它连接了所有 GPU。我们的 MVLink 开关芯片中也有一些计算功能。我们称之为 all-reduce 或集体操作，在训练中，当某些操作需要在网络上共享时，它不会将它们发送到所有 GPU，而是在交换机内执行其中一些操作。哦，哇。好的。所以交换机不仅仅是连接东西，它还在进行一些计算。一些计算。太棒了。好的。所以，我认为我们已经涵盖了五个芯片，对吗？是这样吗？没错。第六个芯片是什么？是 Spectrum X。我们可以看看那些机架吗？是的，我们去看看。上面有 10 个托盘。那是计算托盘。九个网络托盘，九个 NVLink 开关托盘，我应该这么说。它们的工作是连接上面 10 个计算托盘和下面 8 个计算托盘中的所有 GPU。对。那么上面有什么呢？那是机架顶部的 1 千兆交换机，用于遥测。那是遥测。那是系统管理功能。它是低速以太网。它只是一个机架本身的管理系统。它不处理人工智能的计算数据。它管理着 GPU 是否出现故障。请帮助我理解遥测是什么意思，以及那个遥测意味着我只是在查看机架本身的功能。我正在查看它的正常运行时间。我正在查看健康和状态。我猜健康和状态检查。是的。诊断也会。你还提到还有另一种机架会放在旁边。所以，你会有你的计算机架，GB300 计算机架，然后你也会有专门用于 Spectrum X 的东西向网络交换机的机架。我们这里没有，但它的功能是这样的，它就像一个我们称之为 pod。你可能有八个 GB300 机架，然后你会有一些带有 Spectrum X 的交换机机架。是的。是的。所以这是 Blackwell 系统的绝佳概述。现在我想了解 Blackwell 到 Reuben 的变化。好的。我们可以过去看看吗？我们去看看托盘。所以这是墙上组件的视图。我们在计算托盘中谈到了 BlueField DPU BlueField 4。是的。所以你可以在墙上看到它，那个主板是模块化系统的一部分，可以从计算托盘中滑出滑入进行维修。同样，ConnectX9 也在中间。并且主板上有两个 ConnectX9，每个计算托盘总共有八个。所以每个 GPU 通过 ConnectX9 获得每秒 1.6 太字节的连接。然后我们有 SpectrumX Photonics 共封装光学器件。这真的很酷。是的。那是什么？所以，而不是使用 SFP 可插拔模块进行光学器件，它们实际上是内置在芯片上的。与它共封装。所以这在能效和可靠性方面有巨大的提升，而且在这两个方面都提高了几个数量级。所以以前我们会使用光纤收发器，光纤光学收发器。是的。所以两端都有光纤电缆，这些收发器里面有激光器。没错。需要电力，对吗？就像你正在摆脱的。我们将包装放在芯片上。这在性能或功耗方面有什么实际意义？在性能方面，性能是相同的。是的。但它将是功耗的降低和可靠性的提高，因为那些可插拔激光器有时可能非常不可靠。它们必须非常频繁地更换。但如果它在这里与芯片共封装，可靠性就会提高，我认为可靠性提高了 10 倍。哇。所以这是一个巨大的区别。它在机架的哪个位置？它会在自己的交换机托盘或交换机服务器中，那是一个单独的机架。那是侧面。那是与 MBL72 分开的单独机架。那是东西向流量交换机机架。太棒了。所以 QuantumX 也有用于 Infiniband 的，它是以太网的替代品，也有用于 Quantum Infiniband 的共封装光学器件。所以这两个芯片是等效的。一个是用于 Spectrum X 以太网，一个是用于 Quantum Infiniband。没错。然后你还有一个 Spectrum X 以太网光子交换机。所以共封装光学器件芯片就在以太网光子交换机中。所以光子部分就是共封装光学器件。明白了。但这些都装在侧边柜里。它们装在交换机机架里。是的。明白了。同样，对吧？如果你使用 Quantum Infiniband 作为你的东西向流量协议，那么你就会使用 Infiniband 作为侧机架。所以这些是等效的，一个是 Infiniband，一个是 Ethernet。对。没错。是的，没错。所以我们刚才谈论的可以说是数据中心的现状。Blackwell Ultra 是目前数据中心最好的。然后黄仁勋宣布了 Vera Rubin。我们刚才谈到的六个芯片。我们谈到了 Blackwell 版本。这是一个与我们刚才看到的计算托盘截然不同的计算托盘。你能给我们介绍一下所有的区别吗？哦，是的，有很多。所以，总的来说，我们采用的是模块化设计。好的。这意味着这里有插槽，它们可以滑出滑入并锁定。所以没有大量的电线和电缆来连接托盘上的所有组件。软管也得到了简化。所以中间有一个集管，它管理着大量的液体分配。总的来说，GB300 有 43 根软管。这里有一个风扇区域，因为它采用混合冷却。GB300 的下半部分是风扇冷却的。我们已经消除了这一点。因为我们现在是 100% 液体冷却。所以八个风扇变成零个风扇。零根软管。还移除了很多电缆。所以它是无线的。所以这个，我甚至在努力拼凑我看到的东西。所以这些将是两个超级芯片所在的地方。所以这些是超级芯片。它们滑入滑出。它们被锁定。所以你有两个 Reuben，一个 Vera 在上面。所以，另一个重要的点是，因为它现在是模块化的，而且我们有所有这些可以滑入滑出的插槽，而且所有的连接都是通过连接器而不是电缆实现的，所以组装起来要快 20 倍。当然。所以，组装 GB300 机架需要两个小时，现在可以在 5 分钟内完成。在这个特定的机架上。而且这只是组装，对吗？就像如果我需要维护。它也用于维护，对吧？你可以进行服务操作的速度也增加了这么多倍。不，这很有道理，对吧？如果没有所有这些电线和软管，我就可以轻松地拆卸、修复任何问题，然后重新安装。而且它是模块化的，所以我们稍后会谈到下面的一些部件。两个超级芯片，Reuben Vera。我们还有 CX9，下一代超级网卡，在这些板上作为模块。以前它们连接在 GB300 的超级芯片底部，但现在它们是独立的模块，卡可以滑入滑出。所以你现在可以单独维修不同的组件。是的。还有新一代 DPU 的 BlueField 4，它也是一个模块，可以滑入滑出。明白了。所以这不仅仅是为了性能，也是为了更多的正常运行时间，对吗？所以这是人工智能工厂整体产出的另一个倍增器，就是正常运行时间。我们称之为 goodput。就像你想要你想要实际产生 token 的时间。你想最大化它。是的。这说得通。好的。这是等效的计算托盘，还有一个等效的交换托盘，对吗？没错。这个看起来也更简洁了。所以，请介绍一下这里的变化。在变化方面，你知道，我们有顶部的交换机，100% 液体冷却。有四个交换芯片。这是 NVLink 6，第六代 NVLink，速度是我们 Blackwell 的两倍。速度是两倍。所以现在是每秒 3.6 太字节。这将有助于我们实现我所说的每兆瓦或每千兆瓦每瓦 10 倍的性能。NVLink 速度的提升是其中一部分原因，还有一些其他 GPU 功能我们可以稍后讨论。那么，Blackwell 机架和 Reuben 机架的总 GPU 数量是否相同？是的。所以是 NBL72。72 表示 GPU 数量。所以 GB300，MVL72，现在我们有 Vera Rubin，MVL72，GPU 数量相同。这也使得我们的客户在两者之间迁移非常兼容。这也是拥有相同 GPU 数量、相同 MGX 机架架构的目标之一。所以这让我们的客户更容易。生态系统已经与这些机架合作了两代。现在我们有了第三代。他们将能够与我们的最终客户一起非常快速地工作并以非常高的速度进行部署。不，这完全说得通。好的。我们可以看看 Vera Rubin 机架吗？所以这是 Vera Rubin。这是 Vera Rubin MBL72 机架。你可以看到它在形式和外观上与 GB300 非常相似。最大的区别在于计算托盘。你会看到没有通风口。GV300 上有通风口，因为计算托盘的下半部分仍然有风扇。好的。是的。我们已经取消了那些风扇。现在计算托盘是 100% 液体冷却的。这就是为什么你在面板上看不到那些通风口了。明白了。但总的来说，仍然是九个交换托盘，上面仍然是 10 个计算托盘，下面是八个。设计基本相同。顶部仍然是遥测。仍然是机架顶部的遥测，顶部有一个千兆交换机。现在，大问题来了。从 Blackwell 到 Reuben，在机架层面。谈谈机架级别的性能提升。机架级别的性能提升是 10 倍，10 倍。每兆瓦或每瓦的 token 处理速度提高了 10 倍。这将是机架级别的性能指标，并且是针对专家混合模型，例如 Kimmy K2 Thinking，这是一个超过万亿参数的大型模型，它将适合并优化在一个机架中，得益于 NVLink 开关，专家混合模型中的专家分布在 72 个 GPU 上，这可以使每秒 token 的性能提高几个数量级。所以这里是 Kyber 机架。这将是 Reuben Ultra 代的产品。在 Reuben 之后，也就是 2026 年的产品，2027 年我们将有 Reuben Ultra。好的。所以这将是一个与我们前三代不同的机架架构。我们正在增加更多的计算能力。是的，我注意到这个机架的托盘更多。所以我们每个容器有 18 个计算托盘。所以有四个容器，每个容器最多有 72 个 GPU。所以你将有 288 个。28 个。所以从 144 个增加到 288 个，还是 72 个？72 到 28。好的。所以 GPU 数量增加了 4 倍。所以这些容器中的每一个，我提到的四个，都相当于这里的整个机架。所以这里有四个机架的 GPU NVL72 的计算能力。所以计算密度非常高。是的。这就是为什么架构不同。它是一种刀片式架构，而不是托盘式架构。所以我们在每个容器中有 18 个计算刀片。抱歉，这些都是计算的。这是前面的所有计算。后面是用于 NVLink 连接的交换刀片。明白了。那么，从 Reuben 到 Reuben Ultra，在 Kyber 机架上的性能提升是什么？我们还没有公布 Reuben Ultra 的任何性能数据，但它将比以往有几个数量级的性能提升。是的。因为你将在芯片级别、超级芯片级别、机架级别获得性能提升，并且你将有四倍的。这是极致的协同设计，对吗？极致的协同设计，所有芯片都为了更大的性能而设计，协同工作，从头开始一起设计。我们是否预计从现在开始的每一代产品都将采用极致的协同设计这六个芯片？我们应该会看到六个新芯片。所以每一代产品，每年都会有一个新的 GPU 代。现在，是否所有六个芯片每年都会协同设计，这可能不会发生。但你会看到在每一代的旗舰产品开始时，比如 Reuben，六个新芯片。一些与 Reuben Ultra 一起推出的新芯片，但不是全部六个。例如，我们可能会看到 Vera CPU，但 Reuben Ultra GPU。没错。明白了。没错。明白了。是的。我对此非常兴奋。我迫不及待地想看看它是什么样子。我们什么时候能了解到更多信息？今年还是明年？所以，是的，黄仁勋将在未来一年谈论这个问题。我没有具体日期，但是的。我对此非常兴奋，伙计。你最期待的是什么？当你看到这种代与代之间、一代与一代之间的快速发展时，什么最让你兴奋？创新，以极致的协同设计，这是最令人印象深刻的。是的。所以，正如黄仁勋所说，你从一个 GPU 代到下一个工艺技术只能改进这么多。你知道，从一代到下一代晶体管数量的改进不是几个数量级。所以，例如，Vera Rubin 和 Blackwell 之间大约有 70% 的晶体管。是的。就我们共同设计的各种芯片而言，但我们每瓦特获得了 10 倍的性能。所以，如果只是摩尔定律，那只会是 70% 的增长，而不是 1000% 的增长。不是 10 倍。所以，所有这些不同的芯片被设计在一起，协同工作以最大化性能。这是这一代和未来几代最令人惊叹的事情。这真的很令人兴奋。非常感谢你的时间。非常感谢 Joe Delair 详细介绍了英伟达的 Blackwell 生态系统，让我们深入了解了 Reuben，并解释了它将如何使人工智能模型更快、更智能、更高效。不仅仅是语言模型，而是从图像和视频模型到医学、机器人等等一切。如果你想真正理解这只股票背后的科学，请加入我在 NVIDIA GTC 的活动。你可以通过下面的链接免费注册，并参加任意数量的在线会议。我将在会议结束后几天公布 RTX5090 赠品的中奖者，所以请务必参加。再次感谢英伟达赞助我的差旅和媒体访问以报道 GTC 直播，也感谢你对频道的支持。感谢观看，下次再见，我是 TickerolU。我叫 Alex，提醒你，你能做的最好的投资就是投资你自己。