Transcription
今天，能与 DeepMind 的首席执行官 Demis Hassabis 先生对话，我感到非常荣幸。Demis，欢迎来到播客。
谢谢邀请我。
第一个问题，鉴于您在神经科学领域的背景，您是如何看待智能的？具体来说，您认为它是单一的高级通用推理回路，还是数千个独立的子技能和启发式方法？
这是一个有趣的问题，因为智能的范畴非常广泛，而且我们使用它的方式也具有普遍的适用性。我认为这表明，在处理我们周围世界的过程中，大脑一定存在着一些高级的通用算法主题。当然，大脑中有专门执行特定功能的区域，但我认为所有这些功能背后可能存在一些根本性的原则。
您如何理解大型语言模型（LLMs）在给定特定领域的大量数据后，在该领域会获得不对称提升的现象？我们难道不应该期望在所有不同领域都能得到普遍的改进吗？
首先，我认为当您在一个特定领域取得进步时，有时确实会在其他领域看到令人惊讶的改进。例如，当这些大型模型在编程方面有所提升时，这实际上可以改善它们的通用推理能力。所以，确实存在一些迁移的证据，尽管我们希望有更多的证据。但这就像人类大脑的学习方式一样。如果我们大量地体验和练习下棋、创意写作或其他任何事情，我们也会倾向于专注于特定领域并变得更好，即使我们使用的是通用的学习技术和通用的学习系统来掌握该领域。
对您而言，这种迁移最令人惊讶的例子是什么？您是否看到了语言与代码，或者图像与文本之间的迁移？
我希望我们能看到更多这种类型的迁移，但我认为，例如在编程和数学方面变得更好，然后普遍提升您的推理能力，这就是我们人类学习者的运作方式。但我认为在这些人工智能系统中看到这一点很有趣。
您能否看到一种机制性的方式，在语言和代码的例子中，您是否找到了神经网络中在语言和代码方面都得到提升的部分？或者这是否过于深入了？
我认为我们的分析技术还不够成熟，无法做到这一点。我认为这实际上是需要做更多研究的领域之一，即对这些系统构建的表征进行机制性分析。我有时喜欢称之为“虚拟大脑分析”。在某种程度上，这就像对真实大脑进行功能性磁共振成像（fMRI）或单细胞记录。对于这些人工智能大脑，有哪些类似的分析技术？
这方面有很多出色的工作正在进行。像 Chris Olah 这样的人，我非常喜欢他的工作。我认为许多计算神经科学技术都可以用来分析我们目前正在构建的系统。事实上，我鼓励我的许多计算神经科学朋友开始朝这个方向思考，并将他们的专业知识应用于大型模型。
鉴于您在神经科学领域的背景，您认为其他人工智能研究人员对人类智能有什么误解，而您却有一些见解？
我认为，如果您看看过去 10-20 年我们在人工智能领域取得的进展，神经科学已经做出了很多贡献。我一直在思考这个问题超过 30 年了。在新一轮人工智能浪潮的早期，神经科学提供了许多有趣的指导性线索，例如强化学习以及将其与深度学习相结合。我们早期的一些开创性工作包括经验回放，甚至是我们现在非常重要的“注意力”概念。许多最初的灵感都来自于对大脑工作原理的一些理解，当然不是完全精确的细节。一个是工程系统，另一个是自然系统。它更多的是关于灵感方向，而不是一对一的特定算法映射。也许是一些架构、算法或表征方面的想法。大脑的存在证明了通用智能是完全可能的。我认为人类努力的历史表明，一旦你知道某事是可能的，就更容易朝着那个方向努力，因为你知道这只是一个时间和努力的问题，而不是是否可能的问题。这可以让你进步得更快。所以我认为，至少在某种程度上，神经科学启发了我们今天的许多思考。
至于未来，我认为在规划方面仍有许多有趣的问题需要解决。大脑是如何构建正确的世界模型的？我研究了大脑如何进行想象，或者你可以将其视为心智模拟。我们如何创造出非常丰富的视觉空间模拟世界，以便我们更好地规划？
实际上，我很好奇您认为这会如何与大型语言模型（LLMs）相结合。显然，DeepMind 在这个领域一直处于前沿地位多年，拥有 AlphaZero 等系统，这些系统能够通过不同的步骤来达到最终结果。大型语言模型是否有在其之上进行这种树状搜索的路径？您对此有何看法？
我认为这是一个非常有前景的方向。我们必须继续改进大型模型。我们必须继续使它们成为越来越准确的世界预测者，使它们成为越来越可靠的世界模型。这显然是通用人工智能（AGI）系统的一个必要但可能不充分的组成部分。在此基础上，我们正在研究类似 AlphaZero 的规划机制，利用该模型来制定具体的计划以实现世界上的某些目标。也许是将思维、推理过程串联起来，并利用搜索来探索巨大的可能性空间。我认为这是我们当前大型模型所缺乏的。
您如何克服这些方法通常需要的大量计算能力？即使是 AlphaGo 系统也是一个相当昂贵的系统，因为您需要在树的每个节点上运行一个大型语言模型。您如何预测它会变得更有效率？
一种方法是摩尔定律的帮助。每年都会有更多的计算能力。但我们非常关注样本效率高的方法和重复利用现有数据，例如经验回放，以及寻找更有效的方法。您的世界模型越好，您的搜索就可以越有效。我经常举的一个例子是 AlphaZero，我们用于下围棋和国际象棋以及任何游戏的系统。它在所有这些游戏中都比人类世界冠军水平更强，而且搜索的次数比像深蓝这样的暴力方法少得多。像 Stockfish 或深蓝这样的传统系统在做出每个决定时可能会考虑数百万种可能的走法。AlphaZero 和 AlphaGo 在做出决定时可能只考虑数万种可能的位置。而人类特级大师或世界冠军可能只考虑几百种走法，即使是顶尖选手，才能做出非常好的下一步棋的决定。这表明暴力方法除了游戏中的启发式方法之外，并没有真正的模型。AlphaGo 有一个相当不错的模型，但顶尖人类玩家拥有更丰富、更准确的围棋或国际象棋模型。这使得他们能够以极少的搜索量做出世界级的决策。所以我认为这里存在一种权衡。如果您改进了模型，那么我认为您的搜索可以更有效，因此您可以获得更进一步的搜索。
基于此，我有两个问题。对于 AlphaGo，您有一个非常明确的获胜条件：最终，我是否赢得了这盘围棋比赛？您可以对此进行强化。当您考虑一个大型语言模型输出思考时，您认为它是否会有能力最终区分出这是一个值得奖励的事情还是不值得？
当然，这就是我们率先使用游戏作为试验场的原因，也是 DeepMind 闻名的原因。部分原因是该领域的研究效率很高。另一个原因是，显然，指定奖励函数非常容易。赢得比赛或提高分数，诸如此类的内容内置于大多数游戏中。所以，这是现实世界系统面临的挑战之一。如何定义正确的客观函数、正确的奖励函数和正确的目标？如何以一种普遍但又足够具体的方式来指定它们，以便真正将系统引向正确的方向？对于现实世界的问题，这可能要困难得多。但实际上，如果您甚至考虑科学问题，通常都有方法可以定义您追求的目标。
当您想到人类智能时，您刚才说人类思考这些想法时，他们只是非常样本效率高。爱因斯坦想出了相对论，对吧？有数千种可能的方程排列组合。您认为这也是一种不同的启发式方法，例如，“我将尝试这种方法而不是那种方法”吗？还是它是一种完全不同的方法来接近和得出那个解决方案，而不是 AlphaGo 计划下一步棋的方式？
我认为这是不同的，因为我们的大脑不是为进行蒙特卡洛树搜索而设计的。这根本不是我们有机大脑的工作方式。我认为像爱因斯坦这样的人，为了弥补这一点，利用了他们的直觉——也许我们可以谈谈直觉是什么——以及他们的知识和经验，在爱因斯坦的案例中，构建了极其准确的物理模型，其中包括心智模拟。如果您阅读关于爱因斯坦和他如何想出事物的内容，他过去常常想象并真正感受这些物理系统应该是什么样子，而不仅仅是数学。他对它们在现实中会是什么样子有着非常直观的感受。这使他能够思考当时非常离奇的想法。所以我认为这涉及到我们构建的世界模型的复杂性。想象一下，您的世界模型可以将您带到搜索树中的某个节点，然后您只需在该叶节点周围进行少量搜索，就能带您到那些原始的地方。显然，如果您的模型和您对该模型的判断非常好，那么您就可以更准确地选择应该用搜索扩展哪些叶节点。所以总的来说，您因此进行的搜索会少得多。我的意思是，没有任何人类能够对任何重要的空间进行暴力搜索。
目前一个重大的悬而未决的问题是，强化学习是否会允许这些模型利用自我对弈的合成数据来克服数据瓶颈。听起来您对此很乐观？
我对此非常乐观。首先，仍然有更多的数据可以使用，特别是如果一个人考虑多模态和视频以及这些类型的内容。显然，社会一直在不断地向互联网等添加更多数据。我认为在创建合成数据方面有很大的空间。我们正在从不同角度研究这一点，部分是通过模拟，例如使用非常逼真的游戏环境来生成逼真的数据，但也包括自我对弈。这是系统之间相互作用或相互交谈的地方。这对我们来说在 AlphaGo 和 AlphaZero 上效果非常好，我们让系统相互对弈，并从彼此的错误中学习，从而建立知识库。我认为有一些很好的类比。构建一种通用的世界数据要复杂一些。
您如何让这些模型达到这样的程度，即它们输出的合成数据和自我对弈的数据不仅仅是其数据集中已有的内容，而是它们以前从未见过的内容？以真正提高能力。
我认为这需要一整套科学。我认为我们仍处于这个阶段的初期，即数据策展、数据分析以及实际分析数据分布中的漏洞。这对于公平性、偏见和其他方面很重要。要从系统中消除这些，就需要真正确保您的数据集能够代表您试图学习的分布。那里有很多技巧可以使用，例如加权或重放数据的某些部分。或者，如果您识别出数据集中的某个空白，您可以想象在那里利用您的合成生成能力。
如今，人们正在关注 DeepMind 多年前所做的强化学习工作。您认为早期研究方向或过去很久以前完成的事情，现在人们却不关注，但它们将是重大的事情？
曾有一段时间，人们不关注规模化。现在有什么是被完全低估的？
嗯，我认为过去二十年的历史就是事物来来去去，对吧？很久以前，也许是五年多以前，我们率先推出了 AlphaGo，在此之前是 DQN。这是第一个在 Atari 上工作的系统，我们第一个真正的大型系统，现在已经超过十年了，它将 Q-学习和强化学习技术规模化，并将其与深度学习相结合，创造了深度强化学习。我们利用它来掌握一些相当复杂的任务，例如仅从像素玩 Atari 游戏。我确实认为，其中许多想法需要再次回归，正如我们之前讨论过的，将它们与大型模型和大型多模态模型的新进展相结合，这些模型显然也非常令人兴奋。所以我确实认为将一些旧想法与新想法结合起来有很大的潜力。
纯粹的强化学习方法最终有可能产生通用人工智能（AGI）吗？我们谈论的方式似乎是，大型语言模型将形成正确的先验，然后在此之上进行树状搜索。或者它有可能完全凭空出现？
理论上，我认为没有任何理由说明您不能完全采用 AlphaZero 的方式。谷歌 DeepMind 和强化学习社区的一些人正在研究这一点，完全假设没有先验，没有数据，只是从头开始构建所有知识。我认为这很有价值，因为即使您拥有一些知识，这些想法和算法也应该有效。话虽如此，我认为到目前为止，最快实现 AGI 的方法，也是最可行的方法，是利用当今世界中存在的所有知识，这些知识是我们从网络等地方收集的。我们拥有像 Transformer 这样的可扩展算法，能够吸收所有这些信息。所以我不知道为什么您不从一个模型开始作为一种先验，或者在此基础上进行构建，并做出有助于引导您学习的预测。我只是觉得不利用这一点没有意义。所以我的猜测是，最终的 AGI 系统将把这些大型多模态模型作为整体解决方案的一部分，但它们本身可能不足够。您还需要在此之上进行额外的规划搜索。
这听起来像是对我即将提出的问题的答案。作为在这个领域工作了很长时间并见过不同趋势来来去去的人，您认为“规模化假说”的强版本正确的地方是什么，错误的地方又是什么？即您只需投入足够的计算能力和足够广泛的数据分布就能获得智能的想法。
我的观点是，这目前是一个经验性问题。我认为，它已经走到了多远，这让几乎所有人，包括最初研究规模化假说的人，都感到非常惊讶。在某种程度上，我看着今天的大型模型，我认为它们对于它们是什么来说，几乎是出乎意料地有效。我认为一些出现的特性非常令人惊讶。在我看来，它们显然具有某种形式的概念、抽象以及类似的东西。我认为，如果我们谈论的是五年前，我可能会告诉你，也许我们需要额外的算法突破才能做到这一点，也许更像大脑的工作方式。我认为如果我们想要明确的抽象概念、清晰的概念，这仍然是真的，但似乎这些系统可以隐式地学习到这一点。另一个非常有趣、意想不到的事情是，这些系统具有某种形式的“接地性”，尽管它们没有多模态地体验世界，至少直到最近我们有了多模态模型。仅从语言中可以构建的信息和模型数量是惊人的。我认为我有一些关于为什么会这样的假设。我认为我们通过强化学习人类反馈（RLHF）系统获得了一些接地性，因为显然人类评分者本身就是接地的人。我们是接地于现实的，所以我们的反馈也是接地于现实的。也许有一些接地性是从那里来的。此外，如果您能够摄入所有内容，那么语言可能比语言学家以前认为的包含更多的接地性。因此，这实际上引发了一些非常有趣且人们尚未真正触及的哲学问题。
看看已经取得的进展，思考它将如何发展下去是很有趣的。就您对大型模型的提问而言，我认为我们必须尽可能地推动规模化，而这正是我们在这里所做的。这是一个经验性问题，它是否会达到渐近线或遇到瓶颈，人们对此有不同的看法。我认为我们应该去测试它。我认为没有人知道。与此同时，我们也应该加倍投入创新和发明。这是谷歌研究院、DeepMind 和 Google Brain 在过去十年中开创了许多许多事情的领域。这是我们的看家本领。您可以认为我们一半的努力与规模化有关，另一半的努力与发明下一个架构和下一个所需的算法有关，因为我们知道越来越大的模型正在到来。所以我现在的猜测，尽管这是一个松散的猜测，是您需要两者兼顾。我认为您必须尽可能地推动两者，而我们很幸运能够做到这一点。
我想多问一些关于接地性的问题。您可以想象两件事可能会改变，从而使接地性变得更加困难。一是随着这些模型变得越来越智能，它们将能够操作我们无法生成足够多的人工标签的领域，仅仅因为我们不够聪明。如果它完成了一个一百万行的拉取请求，我们如何告诉它，例如，这是否符合我们的道德约束和我们想要的最终目标，而这个不是？另一件事与您所说的计算能力有关。到目前为止，我们一直在进行下一个 token 预测，在某种意义上，这是一个保护栏，因为您必须像人类一样说话和思考。现在，额外的计算能力可能来自强化学习，它只是为了达到目标，而我们无法真正追踪您是如何到达那里的。当您将这两者结合起来时，您对接地性消失有多担心？
我认为，如果系统没有得到充分的接地，它将无法正确实现这些目标。在某种意义上，系统必须具有一定的接地性才能在现实世界中真正实现目标。我确实认为，这些系统，以及像 Gemini 这样的系统，正在变得越来越模态化。当我们开始摄入视频和视听数据以及文本数据时，系统就开始将这些事物关联起来。我认为这是一种适当的接地。所以我确实认为我们的系统将开始更好地理解现实世界的物理学。然后，人们可以想象它的主动版本，即一个非常逼真的模拟或游戏环境，您开始了解您的行为在世界上会产生什么影响，以及它如何影响世界本身。世界保持不变，但它也影响您将获得的下一个学习片段。所以我们一直以来都在努力并率先开发的 RL 智能体，例如 AlphaZero 和 AlphaGo，实际上是主动学习者。它们接下来的决定会影响它们将获得的下一个学习数据或经验。所以存在这种非常有趣的反馈循环。当然，如果我们想在机器人技术等领域做得好，我们就必须了解如何在现实世界中行动。因此，存在接地性，即能力是否能够继续，它们是否足够贴近现实以完成我们想要的事情。还有另一种接地性，即我们很幸运，因为它们是在人类思维上训练的，所以它们可能像人类一样思考。当更多的训练计算来自“你是否得到了正确的结果”而不是“你是否像人类一样进行下一个 token 预测”的保护栏时，这种情况在多大程度上仍然成立？
也许我将向您提出的更广泛的问题是，这也是我问 Shane 的问题，要使一个比人类更聪明的系统保持一致需要什么？也许它的思考方式是外星概念，您无法真正监控一百万行的拉取请求，因为您无法真正理解整个事情，也无法提供标签。
这是 Shane 和我，以及这里的许多其他人，自我们开始 DeepMind 以来就一直放在心上的事情，因为我们已经为成功做好了计划。在 2010 年，没有人考虑人工智能，更不用说通用人工智能了。但我们已经知道，如果我们能够在这个系统和这些想法上取得进展，所创造的技术将具有难以置信的变革性。所以我们早在 20 年前就在考虑其后果，无论是积极的还是消极的。当然，积极的方向是惊人的科学，比如 AlphaFold，健康和科学领域的突破，以及数学和科学发现。但我们也必须确保这些系统是可理解和可控制的。这本身就是一个完整的讨论，但人们有很多想法，例如更严格的评估系统。我认为我们还没有足够好的评估和基准来衡量系统是否会欺骗您。它是否会窃取自己的代码或做出其他不良行为？还有利用人工智能的想法，不是通用学习的，而是可能专门针对某个领域的狭窄人工智能，来帮助我们作为人类科学家分析和总结更通用的系统正在做什么。所以有狭窄的人工智能工具。我认为，创建经过加固的沙箱或模拟环境，围绕模拟进行网络安全安排，既能将人工智能留在里面，又能阻止黑客进入，这非常有前景。您可以在沙箱环境中更自由地进行实验。还有许多许多其他想法，包括我们之前讨论过的分析工作，我们可以分析和理解这个系统正在构建的概念以及表征。所以也许它们对我们来说就不那么陌生了，我们可以跟踪它正在构建的知识。
稍微退后一步，我对您的时间表感到好奇。Shane 说他的模态结果是 2028 年。我认为那可能是他的中位数。您的呢？
我没有规定具体的数字，因为我认为存在太多的未知和不确定性。人类的创造力和努力总是会带来惊喜。所以这可能会有意义地改变时间表。我想说的是，当我们于 2010 年创办 DeepMind 时，我们将其视为一个 20 年的项目。而且我认为我们实际上正走在正轨上，这对于 20 年的项目来说真是太神奇了，因为通常它们总是需要 20 年。这是关于任何事情的笑话，量子、人工智能，任你选择。但我认为我们正走在正轨上。所以，如果我们能在未来十年内拥有类似通用人工智能的系统，我不会感到惊讶。
您是否认同这样一个模型，即一旦您拥有了通用人工智能，您就拥有了一个能够加速进一步人工智能研究的系统？也许不是一夜之间，而是在几个月和几年的过程中，您会比以往更快地取得进展？
我认为这有可能。我认为这部分取决于我们作为社会决定如何使用第一个新兴的通用人工智能系统或原型通用人工智能系统。即使是当前的大型语言模型在编程方面似乎也相当不错，我们也有像 AlphaCode 这样的系统。我们还有定理证明系统。所以人们可以想象将这些想法结合起来，并使它们变得更好。我可以想象这些系统在设计和帮助我们构建未来版本方面非常出色，但当然我们还必须考虑安全性问题。
我对您对此的看法感到好奇。我并不是说这今年就会发生，但最终您将开发一个模型，您认为一旦它完全开发出来，它就有可能出现类似“智能爆炸”的动态。在那时，该模型必须具备什么条件，您才会继续开发该系统？比如，“我已经看到了这些特定的评估，我理解了它的内部思维和未来思维。”
在我们能够自信地解释我们需要勾选哪些框之前，我们需要对这些系统有比今天更多的了解。我认为在未来几年，在这些系统开始出现之前，我们必须制定正确的评估和指标。理想情况下是形式化证明，但对于这些类型的系统来说会很困难，所以至少要有经验性的界限来界定这些系统能做什么。这就是为什么我认为像欺骗这样的事情是您不希望出现的根节点特征。如果您确信您的系统正在暴露它实际的想法，那么就可以利用该系统本身来向您解释其某些方面。我的想法是这样的。如果我要和 Garry Kasparov 下一盘棋，我过去下过棋，Magnus Carlsen，或者有史以来最伟大的棋手，我无法想出他们能想出的棋步。但他们可以向我解释他们为什么会想出那一步棋，事后我也可以理解。这是人们可以想象的事情。我们可以利用这些系统的一个能力是让它们向我们解释，甚至可能提供它们为什么会这样想的证明，尤其是在数学问题中。
明白了。您对反向答案有什么感觉吗？那么，如果明天早上您说“哦，天哪，我没想到会这样”，需要什么条件才能发生？您看到明天早上的一些具体观察，让您说“我们必须停止 Gemini 2 的训练”。
我可以想象。这就是为什么沙箱模拟很重要。我希望我们在一个安全、受保护的环境中进行实验，当发生一些非常意想不到的事情时。出现了一个新的、意想不到的能力，或者我们明确告诉系统我们不想要但它却做了并且撒谎的事情。这些都是您需要仔细研究的事情。在我看来，当今的系统并不危险，但在几年后它们可能会有潜在的危险。然后，您理想情况下会暂停并真正深入了解它为什么会这样做，然后再继续。
回到 Gemini，我对开发过程中的瓶颈感到好奇。为什么不立即将其扩大一个数量级，如果规模化有效的话？
首先，存在实际限制。您在一个数据中心里到底能容纳多少计算能力？您还面临着非常有趣的分布式计算方面的挑战。幸运的是，我们有世界上一些最优秀的人才在解决这些挑战和跨数据中心训练，所有这些方面。存在非常有趣的硬件挑战，我们正在不断构建和设计我们的 TPU，同时也在使用 GPU。所以这一切都在进行中。规模定律也不是凭空发生的。您仍然需要扩大超参数，并且随着每个新的规模，各种创新都在不断进行。这不仅仅是每次以新的规模重复相同的配方。您必须调整配方，这有点像一种艺术形式。您必须获得新的数据点。如果您尝试将您的预测扩展到几个数量级之外，有时它们就不再适用了。可能会出现新的能力阶梯函数，有些东西会保持，有些则不会。通常您确实需要那些中间数据点来纠正您的超参数优化和其他一些事情，以便规模定律能够继续成立。所以存在各种实际限制。一次一个数量级可能是您在每个时代之间想要做的最大程度。
这太迷人了。在 GPT-4 的技术报告中，他们说他们能够用比 GPT-4 少数万倍的计算量来预测训练损失。他们可以看到曲线。但您提出的观点是，该损失所暗示的实际能力可能并非如此。
是的，下游能力有时并不遵循。您通常可以预测核心指标，如训练损失或类似指标，但然后它实际上并没有转化为 MMLU、数学或您关心的其他实际能力。它们并不总是线性的。存在非线性效应。
在 Gemini 的开发过程中，您最大的惊喜是什么，关于类似这种情况的发生？
我不会说有一个大惊喜。在那个规模上进行训练并从组织的角度学习各种事情，例如如何管理这样一个系统并对其进行跟踪，这非常有趣。还有一些事情，比如更好地理解您正在优化的指标与您想要的最终能力之间的关系。我想说，这仍然不是一个完全理解的映射，但这是一个有趣的映射，我们正在变得越来越好。
有一种看法认为，也许其他实验室比 DeepMind 在 Gemini 上的计算效率更高。我不知道您对此有何看法。
我不认为情况是这样。事实上，我认为 Gemini 1 使用的计算量与传闻中的 GPT-4 大致相同，甚至可能略多。我不知道具体使用了多少，但我认为是在同一个数量级。我认为我们非常高效地利用计算资源，并将计算资源用于许多事情。其中之一不仅仅是规模化，而是回到前面，更多的创新和想法。一项新的创新、一项新的发明，只有在能够规模化时才有用。所以您需要相当多的计算能力来进行新的发明，因为您必须测试许多事情，至少在合理的规模上，并确保它们在那个规模上有效。此外，一些新想法在玩具规模上可能不起作用，但在更大的规模上却可以。事实上，这些更有价值。所以如果您考虑这个探索过程，您需要相当多的计算能力才能做到这一点。好消息是，我们在谷歌很幸运。我认为今年我们将拥有比任何研究实验室都多得多的计算能力。我们希望在规模化和系统能力以及新发明方面都高效地利用它。
如果您回到 2010 年您开始 DeepMind 时，您对人工智能的进展有什么最大的惊喜？您当时是否预料到，在很大程度上，它会花费数十亿美元来开发这些模型？还是您对它的样子有不同的看法？
我们确实是这样想的，我知道您采访过我的同事 Shane。他总是从计算曲线的角度来思考，并将其大致与大脑进行比较，大脑中有多少神经元和突触，非常粗略地。有趣的是，我们现在实际上处于这个领域，突触数量的数量级与我们拥有的计算能力大致相当。但更根本的是，我们一直认为我们押注的是通用性和学习能力。所以这些是我们使用的任何技术的重中之重。这就是为什么我们将强化学习、搜索和深度学习这三种算法进行了三角定位，因为它们可以扩展、非常通用，并且不需要大量手工制作的人类先验。我们认为这是 90 年代在麻省理工学院等地进行人工智能研究的失败模式。那里有非常基于逻辑的系统、专家系统，以及大量手工编码的人类信息输入其中，结果被证明是错误的或过于僵化。所以我们想摆脱它，我认为我们很早就发现了这一趋势。显然，我们使用游戏作为试验场，并且在这方面做得非常好。我认为所有这些都非常成功，也许启发了其他人。我认为 AlphaGo 是一个重要的时刻，它启发了许多其他人思考“哦，实际上，这些系统已经准备好规模化了。”当然，随着 Transformer 的出现，这是由我们在 Google Research 和 Brain 的同事发明的，这是深度学习的一种类型，它使我们能够摄入大量信息。这确实加速了我们今天的进展。所以我认为这一切都属于同一谱系。我们无法预测其中的每一个曲折，但我认为我们前进的总体方向是正确的。
如果您阅读您早期的论文或 Shane 早期的论文，那真是太迷人了。在 Shane 2009 年的论文中，他说“嗯，我们将测试人工智能的方式是，你能压缩维基百科吗？”这实际上就是大型语言模型的损失函数。或者在您 2016 年 Transformer 出现之前的论文中，您将神经科学和人工智能进行了比较，并说需要注意力。
是的，我们称之为注意力，我们有一些早期的注意力论文，但最终它们不像 Transformer 那样优雅，神经图灵机之类的。Transformer 是更好、更通用的架构。
当您将所有这些推断到未来，并思考超人类智能时，那幅图景对您来说是什么样的？它仍然由一家私营公司控制吗？治理应该是什么样的？
我认为这项技术非常重要。它比任何一家公司甚至整个行业都大得多。我认为它必须是与公民社会、学术界、政府等许多利益相关者的大规模合作。好消息是，随着最近聊天机器人系统的普及，我认为这已经唤醒了社会中许多其他部分，让他们意识到这一点即将到来，以及与这些系统互动将会是什么样子。这很棒。它为许多良好的对话打开了大门。例如，几个月前英国主办的安全峰会，我认为它在促成国际对话方面取得了巨大成功。我认为整个社会都需要参与决定我们将这些模型用于什么？我们想如何使用它们，不想如何使用它们？我认为我们必须努力就此达成国际共识，并确保这些系统使每个人受益，造福整个社会。这就是为什么我如此大力地推动“人工智能用于科学”等项目。我希望通过我们剥离出来的 Isomorphic 等项目，我们将开始用人工智能治愈可怕的疾病，加速药物发现，应对气候变化，并做其他惊人的事情。人类面临着巨大的挑战，巨大的挑战。我实际上很乐观，我们可以解决它们，因为我们拥有这个极其强大的 AI 工具即将到来，我们可以将其应用于帮助我们解决许多问题。理想情况下，我们应该就此达成广泛共识，并尽可能在联合国层面进行广泛讨论。
一个有趣的事情是，如果您看看这些系统并与它们聊天，它们就极其强大和智能。但有趣的是，它们尚未自动化经济的大部分领域。而如果五年前我向您展示 Gemini，您会说“哇，这完全会影响很多事情。”那么您如何解释这一点？为什么它还没有产生更广泛的影响？
我认为这只是表明我们仍处于这个新时代的开端。我认为有一些有趣的使用案例，您可以使用这些聊天机器人系统来为您总结内容，并进行一些简单的写作，也许是更多样板式的写作。但这只是我们每天所做工作的一小部分。我认为对于更通用的用例，我们仍然需要新的能力，例如规划和搜索，但也需要个性化和情景记忆。这不仅仅是长上下文窗口，而是真正记住我们 100 次对话前说过的话。我非常期待像推荐系统这样的东西，它们可以帮助我找到更好、更丰富的材料，无论是书籍、电影还是音乐等等。我每天都会使用这种类型的系统。所以我认为我们才刚刚开始了解这些人工智能助手实际上能为我们做什么，无论是在我们的一般日常生活中，还是在我们的工作环境中。我认为它们还不够可靠，无法用于科学研究。但我认为有一天，一旦我们解决了事实性和接地性等问题，我认为它们最终可能会成为您作为科学家或临床医生的世界上最好的研究助手。
我想问一下关于记忆的问题。您在 2007 年发表了一篇引人入胜的论文，其中谈到了记忆和想象之间的联系，以及它们在某种意义上非常相似。人们经常声称这些模型只是在记忆。您如何看待这一说法？记忆是否就是您所需要的一切，因为从某种深层意义上来说，这就是压缩？您的直觉是什么？
在极限情况下，人们也许可以尝试记住一切，但它不会泛化到您的分布之外。对这些早期系统的早期批评是，它们只是在复述和记忆。我认为在 Gemini、GPT-4 类型时代，它们肯定会泛化到新的构造。实际上，我的论文，特别是那篇开启了神经科学中想象力领域的论文，表明首先，记忆，至少是人类记忆，是一个重构过程。它不是录像带。我们从看起来熟悉我们的组件中重新组合起来，即整体。这就是让我认为想象力可能也是一样的原因。只是在这种情况下，您使用的是相同的语义组件，但现在您将其以一种您的大脑认为新颖的方式组合起来，用于特定目的，例如规划。我确实认为，这种想法可能仍然是我们当前系统中缺失的，即整合您世界模型的不同部分来模拟新的事物，然后帮助您的规划，这就是我所说的想象力。当然。
现在你们拥有世界上最好的模型，即 Gemini 模型。你们是否计划像其他两个主要人工智能实验室那样发布某种框架？比如“一旦我们看到这些特定的能力，除非我们有这些特定的安全措施，否则我们将不会继续开发或不会发布产品。”
是的，我们已经有很多内部的检查和平衡机制，但我们将开始发布。实际上，请关注此空间。我们正在撰写一系列博客文章和技术论文，将在未来几个月内发布，内容与负责任的规模定律等方面类似。我们内部有各种安全委员会，由 Shane 等人主持。但我想是时候公开谈论这些了。所以我们将在今年全年这样做。
很高兴听到这个。我很好奇的另一件事是，不仅存在部署模型被人们用来做坏事的风险，还存在流氓行为者、外国特工等能够窃取权重，然后对其进行微调以做疯狂的事情。您如何看待保护权重以确保这种情况不会发生，确保一小部分关键人员能够访问它们？
这很有趣。首先，有两个部分。一个是安全，一个是开源，也许我们可以讨论一下。安全至关重要，就像普通的网络安全一样。我认为我们在谷歌 DeepMind 很幸运。我们在谷歌的防火墙和云保护之下，我认为这是世界上最好的企业级保护。所以我们已经有了这种保护。在此之下，我们在代码库中有特定的 DeepMind 保护。这是一种双层保护。所以我对此感觉很好。您永远不能掉以轻心，但我感觉它已经是世界上最好的网络防御。我们必须继续改进它，而且，像加固的沙箱这样的东西也可以用于此。也许甚至还有专门的安全数据中心或硬件解决方案，我们也在考虑。我认为在未来三、四年、五年内，我们还想要气隙以及安全社区已知的各种其他东西。所以我认为这至关重要，我认为所有前沿实验室都应该这样做，否则对于流氓国家和其他危险行为者来说，显然会有很大的动力去窃取权重。当然，开源是另一个有趣的问题。我们是开源和开放科学的坚定支持者。我们已经发表了数千篇论文，例如 AlphaFold、Transformer 和 AlphaGo。所有这些我们都发布到世界各地，出版并开源，最近还有 GraphCast，我们的天气预测系统。但当涉及到通用基础技术时，我认为我对开源支持者的疑问是，如何阻止坏人，个人或流氓国家，利用这些相同的开源系统并将其重新用于有害目的？我们必须回答这个问题。我不知道答案是什么，但我还没有从仅仅开源一切的支持者那里听到令人信服的、明确的答案。所以我认为必须在两者之间取得某种平衡。显然，这是一个复杂的问题。
我认为科技界没有得到它应得的赞誉，因为它资助了价值数千亿美元的研发，显然您有 DeepMind 的 AlphaFold 等系统。当我们谈论保护权重时，正如我们所说，也许现在它不会导致世界末日或任何事情，但随着这些系统越来越好，人们担心外国特工或其他东西会访问它们。据推测，现在有几十到几百名研究人员可以访问这些权重。有什么计划可以进入一个“情况室”，如果需要访问它们，这是一个极其艰苦的过程，而且没有人可以真正带走它们？
您必须在允许协作和加快进展的同时平衡这一点。另一个有趣的事情是，当然，您希望来自学术界或英国人工智能安全研究所和美国人工智能安全研究所等机构的杰出独立研究人员能够对这些系统进行红队测试。所以您必须在一定程度上暴露它们，尽管不一定是权重。我们已经制定了许多流程，以确保只有在需要时，那些需要访问的人才能访问。目前，我认为我们仍处于这些系统面临风险的早期阶段。随着这些系统变得越来越强大、越来越通用、能力越来越强，我认为我们必须考虑访问问题。
其他一些实验室在安全方面专注于不同的领域，例如 Anthropic 在可解释性方面。您是否对你们可能拥有优势的领域有所了解？既然您拥有前沿模型，你们将在哪里能够发布最好的前沿安全研究？
我认为我们帮助开创了 RLHF 和其他类似的东西，这些显然可以用于性能，也可以用于安全。我认为，许多自我对弈的想法和类似的东西也可以用来自动测试新系统边界条件。部分问题在于，对于这些非常通用的系统，其行为方式的覆盖面非常广。所以我认为我们需要一些自动化测试。再次，通过模拟和游戏，非常逼真的虚拟环境，我认为我们有很长的历史来使用这些系统并利用它们来构建人工智能算法。我认为我们可以利用所有这些历史。然后在谷歌周围，我们很幸运拥有一些世界上最好的网络安全专家、硬件设计师。我认为我们可以将这些应用于安全和保障。
让我们谈谈 Gemini。现在你们拥有世界上最好的模型。我很好奇。到目前为止，与这些系统交互的默认方式是通过聊天。现在我们有了多模态和所有这些新功能，您预计这会如何改变？您认为情况还会是这样吗？
我认为我们才刚刚开始真正地
理解与一个完整的、多模态的模型系统进行交互可能有多么令人兴奋。这与我们今天习惯的聊天机器人将大不相同。我认为在接下来的几年里，比如一年到一年半的时间里，我们将会有一些通过摄像头、手机或眼镜对周围环境的上下文理解能力。我可以想象这是下一步。然后，我认为我们将开始更流畅地理解“让我们从视频中采样，让我们使用语音”。甚至可能最终会涉及到触觉，如果你考虑到机器人技术，还有其他类型的传感器。所以，我认为在接下来的几年里，随着我们开始习惯真正多模态的含义，世界将变得非常令人兴奋。
关于机器人技术，当伊利亚（Ilya）在播客中提到时，他说OpenAI放弃机器人技术是因为他们在那个领域没有足够的数据，至少在他们追求它的时候是这样。你们发布了像Robo-Transformer和其他一些东西。你认为这仍然是机器人技术进步的瓶颈吗？还是我们将在物质世界和数字世界中都看到进步？我们对Gato和RT-2等方面的进展感到非常兴奋。我们一直都很喜欢机器人技术，并且在这方面进行了大量的研究。我们现在仍在继续，因为我们喜欢它是一个数据稀缺的领域。这促使我们在非常有趣的研究方向上前进，我们认为这些方向无论如何都会有用：采样效率和一般的数据效率、迁移学习、从模拟中学习并将其转移到现实中，即“sim-to-real”。所有这些都是我们希望解决的非常有趣的通用挑战。控制问题。所以，我们一直在这方面大力推进。我认为伊利亚说得对。由于数据问题，这确实更具挑战性。但我认为我们开始看到这些大型模型可以迁移到机器人领域。它们可以在通用领域、语言领域和其他领域学习，然后像Gato一样将任何类型的token视为任何类型的token。这个token可以是一个动作，一个词，图像的一部分，一个像素，或者任何东西。我认为这就是真正的多模态。
起初，训练这样的系统比训练一个简单的语言系统要困难得多。但回到我们关于迁移学习的早期讨论，你会发现，有了真正的多模态系统，其他模态会使不同的模态受益。你会在语言方面做得更好，因为你现在对视频有了一点了解。所以，我认为入门确实更难，但最终我们会拥有一个更通用、更强大的系统。
Gato怎么样了？它能够玩游戏、处理视频和文本，这真是太令人着迷了。我们仍在研究这类系统，但你可以想象，我们正试图将这些想法融入我们未来几代的Gemini中，使其能够做到所有这些事情。机器人技术、Transformer以及类似的东西，你可以将它们视为Gato的后续。
在某些领域，例如你提到的“self-play”会特别强大的领域，我们会看到不对称的进展吗？比如数学和代码。最近，你们发表了关于这个的论文。你可以用这些东西做一些非常酷的、新颖的事情。它们会成为超人程序员，但在其他方面它们可能仍然不如人类吗？你对此怎么看？
我认为我们在数学、定理证明和编码方面取得了巨大进展。但如果一个人观察一般的创造力，以及一般的科学探索，仍然很有趣。我认为我们正处于一个阶段，我们的系统可以帮助最优秀的人类科学家更快地取得突破，在某种程度上对搜索空间进行分类。也许能像AlphaFold那样找到蛋白质结构的解决方案。它们还不能自己提出假设或提出正确的问题。正如任何顶尖科学家都会告诉你的，科学中最困难的部分是提出正确的问题。它是将那个空间提炼成我们应该追求的关键问题，然后以正确的方式构建问题来解决它。我们的系统在这方面还没有什么概念，但如果能够用清晰的目标函数来定义问题，它们就非常适合搜索大型组合空间。所以，这对于我们今天处理的许多问题已经非常有用，但对于最高层次的创造性问题则不然。
DeepMind在加速不同领域的科学研究方面发表了各种有趣的研究成果。如果你认为AGI将在未来10到20年内实现，为什么不等到AGI来为你做这件事呢？为什么还要构建这些特定领域的解决方案呢？我认为我们不知道AGI需要多长时间。甚至在我们开始DeepMind的时候，我们总是说，我们不必等到AGI出现，就能为世界带来巨大的好处。我个人的热情尤其在于科学和健康领域的人工智能。你可以看到像AlphaFold以及我们在不同领域发表的各种Nature论文，以及材料科学方面的工作等等。我认为有很多令人兴奋的方向，并且通过产品也能对世界产生影响。我认为这是非常令人兴奋的，也是我们作为Google一部分拥有的巨大独特机会。他们拥有数十亿用户产品，我们可以立即将我们的进步应用到其中，然后数十亿人可以改善、丰富和提升他们的日常生活。我认为这是一个在所有这些方面产生影响的绝佳机会。
我认为从AGI的角度来看，另一个原因是它能检验你的想法。你不想待在一个理论上在推进事物但实际上内部指标开始偏离人们关心的现实世界事物或实际影响的研究堡垒里。所以，你可以从这些现实世界的应用中获得很多直接反馈，这些反馈会告诉你你的系统是否真的在扩展，或者我们是否需要更有效率地利用数据或采样。因为大多数现实世界的挑战都需要这一点。所以，这能让你保持诚实，并促使你不断调整和引导你的研究方向，以确保它们走在正确的道路上。所以我认为这太棒了。当然，世界也从中受益。社会在此过程中受益，也许在AGI到来之前的很多年里。
Gemini的开发非常有趣，因为它紧随Brain和DeepMind这两个不同组织合并之后。我很好奇，这其中有哪些挑战？有哪些协同效应？它之所以成功，是因为你现在拥有世界上最好的模型。那是什么样的感觉？
实际上，在过去一年里，这太棒了。当然，像任何大型整合一样，这也很具挑战性。你谈论的是两个世界级的组织，它们有着悠久而辉煌的历史，发明了从深度强化学习到Transformer的许多重要事物。所以，能够将所有这些汇集在一起并进行更紧密的合作，确实令人非常兴奋。我们一直都在合作，但更多的是基于项目的基础，而不是像现在这样更深入、更广泛的合作。Gemini是这次合作的第一个成果，包括Gemini这个名字暗示着双子星。当然，许多其他事情也变得更有效率，比如汇集计算资源、想法和工程。我认为在我们目前的阶段，构建前沿系统需要大量的世界级工程。我认为更有必要对此进行协调。
你和Shane创办DeepMind的部分原因是你对安全感到担忧。你认为AGI是一个可能实现的现实。你认为以前属于Brain的那些人，现在是Google DeepMind的一半，他们也是这样做的吗？在那个问题上是否存在文化差异？
这就是我们于2014年加入Google的原因之一。我认为Google和Alphabet的整体，而不仅仅是Brain和DeepMind，都非常认真地对待这些责任问题。我们的座右铭是努力以大胆和负责任的方式对待这些系统。我显然是一个巨大的技术乐观主义者，但我希望我们能谨慎行事，考虑到我们集体带入世界的变革力量。我认为这很重要。这将是人类将要发明的最重要的技术之一。所以，我们必须尽一切努力将其做好，并对我们所知道的和不知道的即将到来的系统以及围绕它的不确定性保持深思熟虑和谦逊。在我看来，在存在巨大不确定性的情况下，唯一明智的做法是谨慎乐观，并利用科学方法来尽可能地预见和理解即将发生的事情及其后果。你不想在现实世界中对这些具有重大影响的系统进行实时A/B测试，因为意外后果可能非常严重。所以，我希望我们作为一个领域，能够摆脱那种“快速行动，打破常规”的态度，这种态度过去可能对硅谷非常有利，并显然创造了重要的创新。我认为在这种情况下，我们希望在它能做的积极方面大胆前进，并确保我们在推进医学和科学的同时，尽可能负责任和深思熟虑地减轻风险。
这就是为什么负责任的扩展政策似乎是一种非常好的实证方法，可以预先承诺这些事情。是的，没错。当你进行这些评估时，例如，如果发现你的下一个模型可以帮助普通人制造一场大流行病级别的生物武器，你首先会如何考虑确保这些权重是安全的，以免泄露？其次，为了让你能够舒适地部署该系统，需要满足什么条件？你将如何确保这种潜在的能力不会暴露？
我认为我们已经通过网络安全和确保其世界级水平来处理安全模型部分，并且你正在监控所有这些事情。我认为，如果通过红队测试或外部测试（如政府机构、学术界或其他机构）发现了这样的能力，那么我们就必须修复那个漏洞。根据具体情况，这可能需要一种不同的宪法，或者不同的护栏，或者更多的RLHF来避免这种情况。或者，根据问题的不同，你也可以删除一些训练数据。我认为可能有多种缓解措施。第一部分是确保你提前发现它。所以，这取决于正确的评估、正确的基准测试和正确的测试。然后问题是如何在部署之前修复它。但我认为，如果这是一个暴露面，它肯定需要在普遍部署之前得到修复。
最后一个问题。你曾经在2010年的时候，在别人认为这是荒谬的时候，就开始考虑AGI的最终目标。现在我们看到这种缓慢的崛起，我们实际上看到了通用性和智能。看到这一点在心理上是什么样的？这对你的世界模型来说是否已经定价了，所以对你来说不是新消息？或者实际上看到它发生，你会觉得“哇，真的有什么东西改变了”？感觉如何？
对我来说，是的，它已经定价到我的世界模型中，至少从技术角度来看是这样。但显然，我们并没有预料到公众会在这个阶段如此早就对此感兴趣。如果ChatGPT和聊天机器人没有引起他们最终获得的兴趣——我认为这让所有人感到惊讶，人们已经准备好使用这些东西，尽管它们在某些方面有所欠缺，尽管它们令人印象深刻——那么我们将构建更多基于主线的专业化系统，比如AlphaFold和AlphaGo，我们的科学工作。我认为那时公众可能要到几年后，当我们拥有更通用的助手类系统时，才会引起关注。所以，这很有趣。这为我们整个领域创造了一种不同类型的环境。它有点混乱，因为有很多事情在发生，而且有大量的风险投资涌入，每个人都近乎疯狂。我唯一担心的是，我希望确保我们作为一个领域，能够以负责任、深思熟虑和科学的方式行事，并利用科学方法以乐观但谨慎的方式来处理这件事。我认为我一直相信，对于AI这样的事物来说，这是正确的方法，我只希望这不会在这种巨大的冲刺中被遗忘。
好吧，我认为这是一个很好的结束点。Demis，非常感谢你的时间和来参加播客。谢谢。非常荣幸。