Transcription
我将从您看到的正在进行实验的公司与那些实际上已开始在生产中成功部署的公司之间最大的差距开始。您看到了什么大的特征差异？ >> 是的。对于人工智能和部署 >> 特别是对于人工智能？是的。 >> 嗯 >> 是的，我想说嗯，你看，我认为许多公司面临的挑战之一是，当他们开始进行大量人工智能概念验证时，他们实际上并没有在开始时定义好的成功标准。这只是一段学习之旅。所以，我敢肯定你们中的许多人都经历过这种情况，你们让你们的团队进行了数百次不同的实验并推出了它们。嗯，你们并没有真正有一个要完成的目标，我认为了解目标是什么，并帮助定义目标是真正理解哪些事情可以投入生产的第一步之一。我有一个有趣的例子。几周前，我在旧金山的摩根大通健康会议上，人们对“环境监听”感到非常兴奋，我们可以让大量人工智能监听医生，它会自动将医生笔记输入 Epic，并自动将信息发送给保险公司，人们对此非常兴奋。我遇到了一位医院行政领导，他说：“是的，我做了所有这些事情，这很棒。医生晚上有更多时间与家人共进晚餐。我一分钱都没省下。所以，我从中得到了什么？我真的没有解雇任何医生。我什么都没省下。”大约两个小时后，我遇到了另一位医院行政人员，他说的情况完全一样。他说所有这些事情都在发生。这很棒。他说，我真的很担心人员流失。我的医生，我的护士和医生有 30% 的人可能在接下来的 12 个月内流失。现在他们有更多与家人共处的时间，人员流失的数量已经下降了。所以我非常兴奋。我正在医院推广它。因此，拥有那个指标，比如你真正想要的东西和价值，我认为这是阻碍许多公司的巨大因素，因为他们最初说我没有省下任何钱，这可能是真的，但也可能不是目标。>> 您认为有多少公司拥有良好的扎实指标，您觉得在这个阶段处于正确水平？>> 是的，我认为，而且我认为这通常取决于他们推广的领域。但我想当人们推广到客户服务时，很好。人们通常在那里有相当不错的指标。嗯，我认为当人们开始推广到代码时，例如，我们之前听到你们在谈论。嗯，那里有很多指标，对吧？提交的行数等等。对于那些生产力模糊的普通员工来说，我认为人们并没有真正很好地理解。>> 是的。>> 嗯，所以，你知道，我认为它嗯，顺便说一句，我们会到达那里的，但我确实认为这是其中的一部分。我必须说，另一个阻碍人们推广的事情，这是一个更基本的部分，特别是涉及到代理，那就是当你进入代理工作流程时，人们非常担心安全。他们担心代理会失控并做他们不应该做的事情，嗯，他们担心代理的蔓延。他们担心代理身份和许多这些事情。嗯，坦率地说，他们担心如何扩展，对吧？他们担心我做了一个概念验证，所以我去买了一个带有 GPU 的 EC2 实例并进行了测试，现在我想在全球范围内推广它，那个 GPU 的利用率相对较低。它，你知道，我该如何扩展？我该如何考虑？所以我认为这种普遍的将概念验证产品化的想法，人们还没有真正掌握如何从安全角度、运营角度、扩展角度来做。而你们一直在谈论“人工智能优先云”的概念。>> 嗯，你知道那是什么意思吗？和我们谈谈 AWS 是如何看待它的。>> 当然。嗯，你看，我将退后半步。我们认为人工智能，特别是推理，将成为世界上每个应用程序的关键部分。所以不会有 AI 应用程序和非 AI 应用程序。会有应用程序，它们都将集成推理功能，这将改变每个业务，改变每个行业，嗯，从我们的角度来看，这意味着它必须集成到 AWS 基础设施的每一个部分，你必须原生思考人工智能和你的代理如何与你的存储通信，它如何在你的 VPC 中工作，你的安全设置，你将如何考虑权限，你将如何考虑嗯，嗯，权衡以及在实际投入生产后测试一个模型与另一个模型。所以我们正在构建一个名为 Bedrock 的平台。但其理念是，我们想要一个真正的平台，它将拥有大量的模型选择，大量的能力，以及我们客户在 VPC 中期望的所有安全性，以便能够推出它。嗯，然后我们通过一个观察来补充它，那就是世界上所有其他最大的合作伙伴都在 AWS 内部和之上运营。所以我们开放它，并确保 AWS 生态系统的每个合作伙伴和每个部分都能成为客户构建的重要组成部分，因为我们不认为我们会构建其中的每一个部分。而且我们知道客户需要整个生态系统才能在他们构建的东西上取得成功。但您正在构建该堆栈中一个利润非常高的产品，那就是 Tranium 芯片，它实际上取得了巨大的成功。恭喜您。>> 谢谢。>> 您是否认为 AWS 的经济学正在发生变化，利润结构变得更好，因为如果每个应用程序都有推理功能，并且您将在您构建的堆栈中拥有推理能力，这是否会随着时间的推移提高您的利润？>> 嗯，我不知道。这是个好问题。那是银行家要猜测的。但我会说，嗯，它肯定，我认为它提高了我们的利润，与仅使用英伟达 GPU 相比，而且它们将始终是其中的重要组成部分，但不可避免地，大部分利润会流向 Jensen 和团队。我们喜欢他们的产品，他们执行得非常出色。>> 但是当你有 70% 到 80% 的毛利率时，里面就有空间让别人赚取更少的利润，拥有性能更高的部件，嗯，并为客户提供选择。所以我们认为我们可以为客户提供更好的价格性能，为客户提供选择，这样他们就可以在各种选项之间进行选择，嗯，并拥有 AWS 独有的最丰富的功能集，他们无法在其他地方获得。嗯，这就是为什么我们投资了十多年的硅。这是我们交付产品的重要组成部分，即从硅层一直到差异化的性能，我们与合作伙伴一起提供了一套非常丰富的功能，人们可以在此基础上进行构建。我认为 Tranium 对我们来说是其中一个重要组成部分。无论它最终是否能提高我们的利润，还是将利润保持在原样并降低客户价格。坦率地说，我可能更倾向于后者，因为 AWS 就是这样运作的。所以我的猜测是，这可能更多的是我们试图更快地增长，因为我们发现每次我们降低价格时，我们通常都会将其转嫁给客户，这为客户提供了更多的预算来构建新的工作负载，而这对我们来说通常会导致一个很好的飞轮。>> 那个贾冯斯悖论正在全面展开。>> 好吧，那么让我们来谈谈基础设施建设的限制。我和你谈过这个，你和很多超大规模用户谈过。他们面临的挑战之一是，你知道，这不仅仅是资本分配的问题。它实际上非常耗时地构建外壳。>> 是的。>> 获取许可证，获得电力，确保整个堆栈都已构建。>> 是的，嗯，太空数据中心是否改变了方程式，您是否认为太空数据中心实际上会消除其中一些限制，因为你知道太阳能将在太空中效率提高 30%？您是否看到这种情况发生，还是您觉得我们离那还很远？>> 嗯，这取决于你的时间表。对我来说。嗯，你是对的。你看，这很大一部分就是它很难。就像去建造其中一些东西实际上非常困难。而且事实证明，就像人们非常兴奋他们可以在一小部分时间内构建软件，但混凝土浇筑需要相同的时间，建造建筑物也需要相同的时间。我们还没有构建能够做到这一点的 AI 代理。也许机器人最终会，但对于太空数据中心，就像你看，我认为有一个太空数据中心有很多引人注目的想法，对吧？无限的电力始终可用。很好。易于冷却。这很棒。嗯，我不知道你最近是否见过服务器机架。它们很重。[笑声]>> 而且你知道，嗯，据我所知，人类还没有在月球或任何地方建造永久性建筑。>> 所以，也许，但你知道，我知道埃隆说他要发射一百万颗卫星什么的。嗯，还没有足够的火箭来发射一百万颗卫星。所以，我们离那还很远，我认为可能需要一些效率和成本的提高。就像，如果你考虑今天的太空载荷成本，那是巨大的。它远远超过了。它根本不经济。>> 蓝色起源可能派上用场。>> 那会很棒，但他们必须大幅降低成本。就像，它今天根本不经济。所以，我认为有一个有趣的，取决于成本曲线如何发展，他们可能会找到一些更便宜的火箭燃料。就像有很多东西，嗯，嗯，有很多人在投资使太空运输更具经济性，但这还需要一段时间。>> 然后太空中的巨大瓶颈就是运输。>> 只是运输。我的意思是，今天绝对是瓶颈，就是将东西送入太空的成本和可用性。>> 将东西送入太空。所以，让我们>> 一些延迟问题。>> 是的，稍微远一点。所以让我们先谈谈地球数据中心。您认为超大规模用户的全栈定义是否发生了变化？您是否开始更多地涉足电力业务，您是否开始更多地涉足建筑业务，因为感觉如果您控制了全栈，您就能更快地加速这一点？嗯，你看，我不是问这个的最佳人选，因为，你知道，如果你 20 年前问我 AWS 是否会制造芯片，我肯定会告诉你不会。但我们现在在这里。而且，嗯，而且我认为其中一部分是，答案将是肯定的，实际上几乎肯定。这是因为如果你看看许多不同行业的经济学，它们不会以我们需要的规模进行扩展，对吧？例如，公用事业在几乎有史以来都是固定价格，而且价格受到监管，这是一个限制，它们获得固定的投资回报。所以它们整个行业都是为了每年增长 3% 到 5% 而构建的，而且很难打破这一点，因为为什么他们会冒着低回报的风险呢？等等，所以要么我们拥有电力，要么我们资助电力，我真的不想运营数据，比如发电站之类的，这绝对是我不想做的事情，而且整个系统如果能连接到电网会更有效率，而且可能有一些步骤在这里和那里，你将不得不做“表后”电力和其他事情，因为我们必须为这个增长提供资金，而世界正在赶上。>> 所以，就这个话题再停留一秒钟。>> 或者我们也会依赖像 Turk 这样的人来做。>> 是的，当然。嗯，所以，假设你继续确保你正在构建芯片。现在芯片的平均周期时间是多少？你每 18 个月就会推出一个新版本的芯片。>> 嗯，18 到 24 个月。这取决于。而且>> 但那正在压缩>> 是的，有时会压缩，嗯，但总的来说，是的，称之为 18 到 24 个月之间。嗯，是的。>> 但有时你也受限于你的工艺代。是的。等等。所以你也受限于台积电工艺代改进的速度。你也受限于你实际将这些系统投入生产的速度。就像从你打印第一块芯片到你真正大规模生产这些大型人工智能系统一样，从第一块芯片出来到真正>> 制造实际上相当困难，需要 9 到 12 个月。>> 但总的来说，您是否同意周期时间已经大大缩短？>> 嗯，您如何进行容量规划？>> 在 AWS 的规模上 [清嗓子]>> 而且这是否会改变？它是否会改变一点点？例如，>> 你不想拥有大量你购买的芯片，这些芯片在 18 个月后就会过时，但你必须确保有很长的尾部，不同的工作负载如何开始使用它们。容量规划是如何进行的？>> 是的，有几个因素在起作用，否则那就是挑战，也是我们承担的挑战的一部分。所以客户不必承担。>> 嗯，有几个因素对我们有利。一是，因为需求远大于供应，所以通常仍然有对旧芯片的需求。而且今天，我们实际上已经完全售罄，并且从未退役过 A100 服务器的例子。>> 所以完全售罄。现在，顺便说一句，也有结构性原因。如果你看>> 我从未退役过 A100 服务器。>> 嗯，我的意思是，除了它坏了或者别的什么。是的。但除此之外，没有，因为仍然有需求。而且你知道，有一些结构性原因，为什么每一代下一代，对吧？今天行业在人工智能方面获得如此多收益的一部分是，嗯，嗯，是降低浮点精度。对吧？所以我最近和一些客户交谈过，他们说实际上我无法迁移到 Blackwell。我必须使用 Wells，因为我正在做类似 HPC 的计算，精度对我来说不够。所以实际上他们处于一个困境，即实际上 AMD 的新处理器仍然可以启用，但世界上许多地方以及一些旧应用程序都依赖于这种级别的精度。嗯，所以无论如何，嗯，嗯，而且有使用案例。较小的模型仍然可以在 A100 等设备上运行。所以，嗯，我认为还有很长的路要走。对于一些大型实验室，他们也愿意做出 5 年的容量承诺，这也会减轻我们的一些风险，并可能将其转嫁给客户。但是，嗯，但是有那个。但是，嗯，但是你看，我们在这里做了很多规划。我们必须考虑，我们必须考虑许多时间跨度。所以，例如，在去年，我们增加了略低于 4 吉瓦的新容量，嗯，在 AWS 的数据中心。你知道数据中心是 20 到 30 年的摊销时间表，电力你必须长期承诺等等，所以你必须同时考虑你如何考虑>> 数据中心规划很长时间，因为我将拥有这个资产 20 年或 30 年>> 嗯，你考虑服务器，你拥有五到六年。你有网络设备，可能是六到十年。就像不同的组件。你必须考虑所有这些。所以我们花了很多时间考虑供应链，考虑我们如何考虑所有这些投资水平的风险。>> 好的，让我们转向 AI 编码。你和我上次谈话时，我还在你办公室，你说你看到了一些非常棒的内部结果。和我们谈谈你看到什么有效，什么无效。>> 是的，我们看到，我想特别是我们看到的是，它正在提供巨大的加速，我想说有时是 10 倍甚至 100 倍的改进，那就是当团队从一开始就考虑人工智能驱动的编码时。事实上，我们现在有一些团队，他们几乎有一个任务，就是不写一行代码。他们所做的就是提示模型，或者提示系统。嗯，这样做有几个好处。一是 AI 系统围绕它们正在构建的内容构建了大量的上下文，然后它们也知道所有这些内容是如何协同工作的。它们还记录了它编写的所有代码。所以你开始获得一个真正的飞轮，它可以测试所有代码，因为它知道它。它知道文档。而且它知道它需要测试的东西等等，并且它拥有所有这些覆盖范围。嗯，我必须说，我们还没有做到这一点，而且是“还没有”，因为这可能是在接下来的六到九个月内我们将解决这个问题，那就是我们还没有看到这种加速对于真正复杂的集成遗留系统，我想说，它们不一定是遗留的，就像大型分布式系统，它有一个大型代码库，比如 S3，它已经存在了一段时间，我们已经重新构想了它很多次，但它不是零，我们不是从零开始的。所以，将所有这些上下文提供给模型，嗯，这样你就可以获得相同的加速。我们仍然看到一些加速，但还没有像 10 到 50 倍的加速。但我认为我们正在构建和思考一些新颖的方法，我们可以让编码系统理解遗留代码。我认为这是可以帮助人们开始获得巨大加速的领域之一，而事实证明，大多数代码都是遗留代码。>> 我们实际上看到，你向下走到堆栈越深，就越难。>> 是的。而且可能也是，S3 是另一个很好的例子，在那里你真的在考虑，比如>> 内存管理更难做。>> 内存管理和对象持久性的正确性等等，与最终用户应用程序有点不同，后者是“为我构建一个网站”，而代理现在非常擅长做这些。>> 嘿，所以当你开始考虑主权人工智能基础设施以及国家如何变得民族主义，他们都想要自己的基础设施。你认为像 Outpost 这样的架构会变得更有趣吗？>> 它们是。我认为，嗯，你看，这是一个非常有趣的话题，嗯，我两周前刚去过达沃斯，几乎我与欧洲公司进行的每一次谈话都以“你看，我们信任你。我不知道我是否能信任你的国家。”开头，你知道，我们试图向他们解释为什么他们不应该这样想。而且他们也意识到他们不能束缚自己的双手而不与世界上最好的技术竞争。所以这些公司是现实的，但他们正在经历挣扎，而且我不知道我说了多少次，我真的问过“我该如何，你知道，如果美国政府决定关闭我怎么办？”这是一个许多人都有的问题，而且我们向他们保证，这不太可能发生，这是他们关心的问题，所以>> 韧性几乎胜过原始智能。>> 是的。在某些方面，对吧？如果你考虑银行系统或其他类似领域，从国家角度来看，国家觉得他们现在需要这个杠杆，或者他们，你知道，他们有风险被我们作为杠杆。所以，我们正在考虑许多不同的机制来解决世界各地的问题。嗯，就在两周前，我们推出了欧盟主权云，我认为这对欧盟来说将是一个了不起的，嗯，嗯，你的合作伙伴，他们是启动合作伙伴，所以谢谢你。嗯，但是欧盟主权云的理念是，它是一个完全独立的子公司，在欧盟注册，受欧盟法律约束，拥有独立的管理委员会，嗯，而且我们确保所有数据，包括元数据，包括账户登录，所有这些都生活在欧盟地区，我们甚至测试过将整个区域与 AWS 主干断开连接，以确保它们显示出来，而且我们实际上是与德国 BSI 共同设计的。>> 嗯，以及其他欧盟国家，以确保他们喜欢这种模式。嗯，我认为，你知道，这对欧盟来说是可行的，因为它是如此大的经济体。嗯，但我认为我们正在与许多不同的事物进行探索，以帮助世界各地的许多公司应对这个问题，其中存在明显的权衡，但这是困难的问题，嗯，但我们希望这就是我们可以提供帮助的地方。数学，30 秒或更少。你能给 CIO [清嗓子] 和 CISO 受众提供一些关于他们需要做什么来加速内部人工智能采用的建议吗？是的，我认为你看，我喜欢用一个类比，那就是如果你有一个巨大的峡谷，峡谷上有一块木板，你走得很慢，对吧？就像非常慢。你可能爬过去。现在突然如果你放上扶手，放上墙壁和护栏，你就可以跑过去。而且这很奇怪，因为它是同一块木板，但你可以跑过去，你可以做到。而且这并没有什么不同。就像你需要有，一部分让人们放慢速度的原因是他们担心，对吧？我们有内部例子，有人在写代码，他们让代理去做某事，代理即将删除一些基础设施，因为他们认为这是最快的方法，然后说不不不不，那会造成生产问题，如果你那样做的话。而且你知道我们有其他控制措施，但情况并非如此，但它突出了，我认为许多公司担心的是，如果他们只是在企业中释放代理，就会发生坏事，生产会下降，安全问题会发生。所以我想说的是，我们正在为客户构建构建块，以便他们能够快速前进，对吧？像 Agent Core 这样的东西，或者对我们来说，允许你拥有一些护栏，让你能够快速前进。而且你越能找到给你的团队提供安全的地方，让他们在生产环境中快速前进，我认为你就会受益。>> 马特，再来一次。太棒了。再次感谢您。好的。非常感谢。>> [掌声]