Transcription
因此，人类智能将成为可能事物的上限。我认为不是，绝非如此。我想知道这一切对人们意味着什么。如果我们达到一个人类智能被超智能所超越的程度，这对社会意味着什么？它意味着巨大的转变。这将从根本上改变社会、经济以及许多其他事物。我们必须思考如何组织这个新世界。欢迎来到谷歌 Deep Mind 的播客。我是你们的主持人 Hannah Fry 教授。通用人工智能（AGI）正在到来。似乎每个人都在这么说。今天我的嘉宾是谷歌 Deep Mind 的首席科学家兼联合创始人 Shane Leg。Shane 已经谈论 AGI 数十年了，即使在他自己的话中，这曾被认为是该领域最疯狂的领域。他被认为普及了这个术语，并进行了最早的一些严肃尝试来定义它到底可能是什么。今天我们将与他讨论 AGI 应该如何定义，我们何时到来时如何识别它，如何确保它是安全和合乎道德的，以及最重要的是，当我们到达那里时世界会是什么样子？我必须说，Shane 在谈论整个社会在未来十年将如何受到影响方面非常坦率。值得听完整个对话。欢迎来到播客。我们上次和你交谈是五年前，那时你告诉我们你对 AGI 可能是什么的设想。以我们今天拥有的 AI 系统来看，你认为它们是否显示出 AGI 的迹象？是的，我认为这不仅仅是迹象。不仅仅是迹象。是的，远不止于此。我对 AGI 的定义，或者我有时称之为最小 AGI 的定义是，一个人工智能代理，它至少可以执行人类通常能够执行的那种认知任务。我喜欢这个门槛，因为如果低于这个水平，它似乎在我们期望任何人都能够执行的认知任务上会失败。在这种情况下，我们还没有真正到达。另一方面，如果我将最低门槛设置得更高，将其设置在一个许多人无法完成某些我们期望 AGI 完成的事情的水平。我们认为人类拥有某种普遍智能，即使我们不完全理解它。所以，如果一个系统至少可以做人类通常能做的那种认知事情，甚至可能更多，我们应该将其归入这一类。根据这个定义，我们现在的系统处于什么水平？非常不均衡。它们在某些方面已经远远优于人类，例如在语言方面。它们可以处理超过 150 种语言。没有人能做到这一点。它们的普遍知识是惊人的。我可以问它我长大的地方，新西兰的一个小镇，它会知道关于那个地方的事情。然而，它们仍然在一些我们期望人类通常能做的事情上失败。它们在持续学习方面不是很好，即在一段时间内学习新技能，而这非常重要。例如，当你开始一份新工作时，没有人期望你第一天就什么都知道或表现最好，但你确实会随着时间的推移而学习。它们在推理方面也有一些弱点，尤其是在视觉推理方面。AI 非常擅长识别物体、猫、狗以及各种东西。它已经做了很长时间了。但是，如果你要求它对场景中发生的事情进行推理，它就会变得不稳定得多。例如，你可以看到一辆红色的汽车和一辆蓝色的汽车，然后问哪辆更大。人类理解透视，也许蓝色的汽车更大，但看起来更小，因为它更远。AI 在这方面不太擅长。或者想象一个带有节点和它们之间边的图，就像一个网络图，然后你问关于这个结构的问题。你需要计算从图的一个节点出来的连接数。一个人会看着不同的点，在脑海中数数。AI 在这种任务上表现得相当糟糕。我们现在看到很多这样的例子。我不认为其中任何一个都是根本性的障碍。我们有关于如何开发能够做到这些事情的系统的想法，并且我们看到这些领域的指标随着时间的推移而提高。我的期望是，在几年内，所有这些问题都将得到解决，但我们还没有到那里，我认为需要一些时间来度过这个阶段，因为人类的认知能力范围非常广泛，而 AI 在其中仍然落后于人类的表现，而这将会在几年内发生。确切的时间尚不清楚。AI 将会更加可靠，这将在许多方面大大增加其价值，但同时，在此期间，它将在专业级别及以上变得越来越有能力，也许在编程、数学方面，我们已经在自然语言、普遍世界知识等方面看到了这一点。进步在不同领域是不均衡的。如果你认为它们会随着时间的推移变得更加可靠，这只是让模型更大、规模更大而已。是更多数据的问题吗？你清楚如何让它们更可靠的道路吗？我认为是的。而且它不是一件事。不仅仅是更大的模型或更多的数据。在某些情况下，确实是更多特定类型的数据。当你收集需要视觉推理的数据时，模型就开始学习如何做到这一点。在其他情况下，需要改变算法方面和内部流程。例如，如果你想要持续学习，让 AI 随着时间的推移继续学习。也许你需要某种过程来存储新信息，某种检索系统或情景记忆。然后是模型能够随着时间的推移将该信息整合到基础模型中的机制。这需要比更多数据更多的东西，需要算法和架构的改变。所以答案是多种因素的组合，具体取决于具体问题。我知道你不认为 AGI 应该是一个单一的阈值，一个“是”或“否”的交叉点，而更像是一个具有不同级别的光谱。向我解释一下。我谈论的是我称之为最小 AGI。那就是当你有一个人工智能代理，它至少可以执行我们通常期望一个人能够完成的所有认知任务。我们还没有到那里，但可能是一年，可能是五年。我大概会押注在两年左右。那是最低水平，最小 AGI。那是我想说，“好吧。这个 AI 不再以我们要求一个人做同样的认知任务时会感到惊讶的方式失败。”那是最低阈值。现在，这并不意味着我们完全理解如何实现人类智能的所有能力，因为有一些非凡的人能够完成令人印象深刻的认知壮举，发明新的物理学或数学理论，创作令人惊叹的交响乐，或写出非凡的文学作品。一个系统能够做到人类典型的认知能力，并不一定意味着我们已经知道实现人类认知最非凡壮举所需的所有配方和算法。一旦我们能够通过人工智能涵盖人类认知所有可能范围的能力，那么我们就可以说我们已经完全掌握了人类水平。我称之为完全 AGI。还有一个更高级别的。是的。当你开始超越人类认知能力时，你就进入了通常被称为超级人工智能或类似的东西。没有明确的定义。事实上，我曾多次尝试给出一个好的定义，但我能想到的所有定义都有重大问题，但至少大致上它意味着一些东西，比如它是一个 AGI。它具有与 AGI 相同的能力范围，但现在它非常普遍，以至于在某种程度上远远超出了人类的能力。我知道你是帮助创造这个词的人之一。是的。你认为它仍然有用吗？现在有很多竞争性的定义。它已经成为每个人都在使用的流行词，你说的对，它通常被描述为几乎是“是”或“否”。一条清晰的界限被划破，而不是你所说的这种级别的连续体。当我提出这个词时，我把它更多地看作是一个研究领域。我当时正在和一位研究员 Ben Gersell 交谈，我为他工作了一年多，他想写一本关于人工智能的旧观念的书。那些会思考并且可以做很多不同事情的机器，而不是专注于一项任务。当时人工智能的典型做法是只玩扑克，只做文本转语音，只做一项非常具体的工作。问题是，关于人工智能的旧梦想，即构建一个具有非常普遍能力的系统，能够学习、推理、处理语言、写诗、做数学，或者也许画画，也就是说，做很多不同的事情，那又如何呢？我们该如何称呼它？我说，嗯，如果我们想强调普遍性，那就把它放在名字里，称之为通用人工智能。听起来不错，就这样做吧。但后来，许多人在互联网上开始使用这个词，而且非常快，人们就开始谈论，“我们什么时候会有 AGI？”这个概念从一种研究领域或子领域变成了一个系统类别。在那时，你需要一个定义。也许我没有进去并固定一个更清晰的定义是我的错。多年后，我们发现有一位研究员 Mike Gubrut，他在 1997 年写了一篇论文，使用了这个词，但那是在一次关于纳米技术安全的会议上，我们谁也不知道，他定义它的方式是指人类在工业和其他领域从事的认知任务类型。所以实际上它与我现在使用的方法相当相似。如果从一开始就固定得更好，那将是有用的。你后悔创造它吗？不，一点也不。我认为它为人们提供了一种提及构建真正通用的人工智能，或者至少与人类智能一样通用的想法的方式。我认为需要一个术语来表示这一点，这就是为什么这个词传播开来。它允许人们提及那个想法。如果人们使用像“高级 AI”这样的短语，嗯，Alphafold 在某种意义上是一种高级 AI，而且它非常具有影响力，但它极其具体。Alpha Go 也非常具体，尽管它是一个高级 AI 系统。那么，Campo，你如何称呼真正通用的系统？发生的事情是，不同的人看到了这个词，并采纳了它，根据不同的视角进行了调整和解释。对一些人来说，从一开始，AGI 就意味着未来几十年内具有变革性的东西。所以他们开始从它将产生的社会变革的角度来思考 AGI，当他们试图定义它时，他们倾向于说，“这将推动经济增长，或者将改变一切。”我倾向于将其更多地视为历史上的一个时间点。那就是我们必须说，“好吧，这些在某种意义上属于与我们智能相似的类别。它们可以执行我们通常能做的认知任务，这并不意味着世界会立即发生革命。”你街上看到的普通人不是莫扎特也不是爱因斯坦。他们不会成为下一个提出量子理论或类似理论的人。但这是一个非常有趣的时间点，因为 10 年前，20 年前，确切的数字并不重要。我们远未能够执行人类通常能够执行的认知任务。所以我认为这是一个重要的历史时刻，AI 开始在某种程度上属于与我们相似的类别。而且我认为尝试对其进行一点定义也很有用，因为问题之一是人们使用非常不同的时间表。有些人说，“它将在 3 年内到来。”其他人还有 15 到 20 年，当我与他们交谈时，我经常发现他们使用的是不同的定义。这会导致很多混乱，因为同一个词被用于不同的事物。在某些情况下，我实际上同意他们认为会发生的事情。他们只是以不同的方式使用这个词，这会造成相当大的混乱。我想比较一些用于 AGI 的其他定义。有些人建议它就像一个任务列表，或者也许是人类的终极考试，它将是一个包含 2500 个问题的语言模型测试平台，涵盖从人文学科到自然科学的各种学科。还有人说，它必须能够在厨房里运作，培训自己成为一名厨师，并能够在一个不同的厨房工作，甚至有标准，比如，“它能否从 10 万美元开始赚到一百万美元？”你对这些定义有什么看法？我对每个都有看法。将 10 万美元变成 100 万美元，或将 1000 美元变成 100 万美元。我认为很多人会难以做到。这是一种非常经济的视角，在某种程度上相当有限。也许你可以有一个交易算法在市场上交易并实现这一点，但如果它只会做这一件事，那就不是我所说的了。对我来说，重要的是 AGI 的 G，即普遍性。这才是让我感兴趣的。人类思维最引人注目的事情之一是我们的灵活性和做各种事情的能力。如果你有一套具体任务，好吧，也许你可以构建一个解决这些任务的系统，但它仍然可能在一些基本认知任务上失败，而我们期望几乎任何人都能做到。这对我来说是令人不满意的。这就像又一次失败了，因为它不理解一些非常简单的事情，而几乎任何人都能理解。我将我的定义转化为可检验的方式是拥有一套任务，我知道人类的典型表现，看看 AI 是否能完成所有这些任务。如果它在任何一项上失败，它就不符合我的定义，因为它不够普遍。它在一些我们期望人类知道的认知任务上失败。如果它通过了这个阶段，我会建议进入第二阶段，更具对抗性。好吧。它通过了标准电池。它在我们数千个测试的集合中没有失败，或者我们拥有的任何测试。现在我们设计了对抗性测试。你组建一个团队，给他们一两个月的时间。他们可以检查 AI，必要时进行内部分析，等等。他们的工作是找到一项我们认为大多数人都能做到，而 AI 却会失败的认知任务。如果他们能够找到它，那么根据定义，AI 就不是 AGI，因为它仍然在一些不应该失败的事情上失败。如果经过几个月的测试，他们仍然找不到任何有效的例子，即使他们认真尝试了，我认为在实际意义上我们已经到了。找到一个失败的例子将非常困难，即使是团队长时间的搜索也无法找到。你认为最终会就 AGI 的定义达成一致吗？关于 AGI 本身，我的印象是，在几年内，AI 将在许多不同的方面都非常普遍，人们将简单地称它们为 AGI。而 AGI 将是当时的系统。也许人们会不太关注定义，即使有一些关于某物是否是 AGI 的小争论，在实践中他们会说，“我拥有最新版本的 Gemini 或相应的模型，它非常好。”它可以写诗。你可以教它一种新发明的纸牌游戏，然后和它一起玩。它可以做数学，翻译东西，和你一起计划一次度假。它确实非常普遍，人们会觉得它拥有某种普遍智能是显而易见的。但现在，在到达那个点之前，在通往 AGI 的道路上有一个明确的路径，你谈到了不拥有它的风险，即系统过早地获得某种知识而不是另一种。例如，在它真正擅长伦理之前，它在化学工程方面非常擅长。在到达那里之前，现在做这项工作有多重要？理解其在不同维度上的能力的工作对我来说非常重要，因为我们必须思考社会如何应对强大而有能力的机器智能的到来。而且不能把一切都归结为一个维度。它可能在某些方面是超人的，而在其他方面非常脆弱和薄弱。如果你不了解这种分布情况，你就无法很好地理解存在的机会。也无法理解风险或可能被滥用的方式。你可能在这里有一个非常有能力的系统，但你需要理解它在那里非常薄弱，这可能导致一些事情出错。我认为这是社会如何定位和理解真实情况的关键部分。关于 AI 的许多对话往往将其描绘成要么极其强大。要么就是不那么回事，被高估了。现实要复杂得多，它在某些方面令人难以置信地强大，而在另一些方面却相当脆弱。你需要看整体。这有点像人类智能。有些人非常擅长说多种语言，有些人非常擅长数学，有些人擅长音乐，但可能在其他领域表现不佳。那么，如果我们谈论表现和普遍性，我想和你谈论的另一个方面是伦理。伦理如何融入这一切？伦理有很多角度。其中一个角度是，AI 本身是否对什么是合乎道德的行为有很好的理解？它能否根据这种合乎道德的行为来分析它可能采取的行动，并以稳健可靠的方式做到这一点？也就是说，AI 本身能否对其行为的伦理进行推理？如何做到这一点？如何将其融入系统中？我对此有一些想法，但这不是一个已解决的问题。但这是一个非常重要的问题。我喜欢一些人称之为“逐步推理监督”的东西。我称之为“系统二安全”，指的是 Daniel Kahneman 的系统一和系统二。确切地说。基本思想是这样的。作为一个人的时候，当你面临一个困难的道德困境时，仅仅依靠直觉往往是不够的。你需要坐下来思考，“好吧？这是情况，这是细微差别，这是可能的行动，这是每种行动的可能后果。”然后你将所有这些与某种道德体系、规范、道德原则或你拥有的任何东西进行分析。然后你可能需要进行相当多的推理才能理解一切如何契合，然后从中决定做什么。在人脑中，Kahneman 的模式大致是这样的。有人惹恼了你，你有一种愤怒的冲动，你想做出反应。那是你的系统一，快速、本能的思考。你深呼吸，思考一下，考虑后果。那是系统二的思考。然后你可以选择另一条路。确切地说。你可以说，“撒谎是错误的，我不会撒谎。”但你可能会发现自己处于一个危险人物来找某人的情况，如果你撒谎，你可以救他们的命。那么，也许合乎道德的是撒谎。简单的规则并不总是足以做出正确的决定。有时你需要逻辑和推理。认为在这种特定情况下，合乎道德的是撒谎并拯救某人的生命，或者类似的事情，这变得非常复杂。你肯定知道电车难题和其他例子，我们的直觉和理性分析会产生分歧并产生很多困惑。这不是一个简单的领域。现在我们有了可以进行这种推理的 AI，这些 AI 可以思考，你可以看到它们使用的推理链。当你给人工智能一个带有道德或伦理成分的问题时，你可以观察它如何分析情况。如果我们能够使这种推理真正稳健，并且它对我们希望它遵守的伦理和道德有清晰的理解，我认为原则上它可以比人类更合乎道德，因为它能够更一致地应用和推理这些原则，也许在面对困难决定时达到比人类更高的水平。这使得伦理成为一个推理问题，可以说，而不是纯粹的本能问题。是的，但我有点担心锚定。这些机器，至少目前是这样，不像人类那样生活在世界上。能否从人类的视角体验世界的感受，并真正将这些机器锚定在人类伦理中。这里有几个复杂之处。一个是你没有唯一的伦理。存在不同的人、文化、地区之间不同的观点。所以它必须理解在某些地方规范和期望有所不同，并且在某种程度上，模型已经有了相当多的关于这一点的信息，因为它们是用来自世界各地的数据训练的，但它确实需要真正擅长锚定现实。现在我们通过收集大量世界数据来构建这些代理，在大型模型上训练它们，然后它们变成相对静态的系统，我们与之互动，它们几乎学不到新东西。这种情况正在改变。我们正在引入更多的学习算法，以便它们能够继续学习。我们也正在使系统更具代理性。它们不仅仅是你与之交谈、处理并返回响应的系统，而是能够去执行任务的系统。你可以告诉它，“为我写一个能做这个和那个的软件。为我制定去墨西哥旅行的计划。我想看这个和那个，但我不喜欢那个。”这些代理也将开始通过机器人技术和其他类似的东西变得更加实体化。有些将是软件代理，执行这些类型的任务，但随着时间的推移，它们将越来越多地连接到机器人和其他物理形式。随着我们沿着这条道路前进，AI 将通过各种渠道更准确地连接到现实，这些渠道迫使它们通过互动和经验来学习，而不仅仅是从一个大的初始数据集。这就是现实锚定变得更加精确的地方。尽管如此，许多最初输入给它们的数据也来自某个地方，很大一部分来自人类。所以这里也有一个与现实世界的联系。AI 变得比人类更擅长伦理的想法，直到达到那个点，直到推理和我们的推理一样好，你如何确保它以安全的方式实施？例如，功利主义论在自动驾驶汽车中效果相当好。你想拯救尽可能多的生命，但在医学中，同样的推理不起作用。你不会牺牲一个健康的病人来拯救另外五个人。你如何确保它最终会朝着正确的方向推理？你无法保证一切。世界上可能的行动空间如此之大，以至于 100% 的可靠性是不可能的。但这在当今世界的许多事情上都会发生。如果你需要手术，你和外科医生交谈，他告诉你手术是 100% 安全的，作为一名数学家，你知道他没有告诉你真相。没有任何东西是 100% 安全的。所以我们必须做的是测试这些系统，并使它们尽可能安全可靠。我们必须平衡收益和风险，而且我们还必须做其他事情。在部署时监控它们，跟踪它们的行为。如果我们看到故障案例超出了我们可接受的范围，我们可能需要撤回、停止它们或采取其他措施。我们需要做一系列的事情。部署前的测试，部署后的监控，可解释性技术，以便能够查看系统内部。这是系统二安全的一个优点。如果你正确实施了它，你可以看到它如何进行推理，但你需要检查这种推理是否真正反映了系统试图做什么。如果你有方法来分析系统并理解它为什么做出某些决定，这会给你额外的安全感，即它试图做正确的事情，因为这是另一个重要的细微差别。不总是只关乎结果，也关乎意图。有人故意伤害你和有人无意中推你并打到你之间有很大的区别。我们以非常不同的方式解释它。如果我们能看到我们的 AI 内部，也许我们可以接受它们面临一个复杂的情况。它们试图根据它们的分析做到最好，但仍然有一些负面副作用。我们可以认为这是可以接受的，因为即使对于一个人来说，在这种情况下做正确的事情也很困难。但如果系统故意做错了，那就是另一回事了。所有这些都是人工智能和 AGI 安全的一部分。我们有人在处理所有这些问题。那么，你们是否限制了这些系统与现实世界互动的程度？它们推出的速度有多快？等等，直到你们确信它们达到了可接受的安全阈值。是的，我们有各种各样的测试和基准测试，我们在内部运行一段时间，我们有针对高风险领域的特定测试套件。例如，检查系统是否愿意帮助开发生物武器，显然它不应该这样做。如果我们能以某种方式欺骗它或强迫它在该领域有用，我们就遇到了问题。同样是黑客攻击，它会帮助某人入侵系统吗？现在我们有一个不断增长的这些测试的集合。我们评估它在每个领域的能力水平，然后根据我们观察到的能力水平设计适当的缓解措施。这可能意味着不发布模型或根据我们发现的情况采取其他措施。让我们谈谈一旦我们拥有真正有能力的 AGI 的所有这些的社会影响。我知道你对此想了很多。是的。我目前的主要重点是试图理解如果我们获得了 AGI 并且它在其能力水平上是相当安全的，会发生什么。其他所有事情会怎样？而其他所有事情的清单非常庞大。有一些问题，比如，“好吧？我们有了一个强大且相当安全的 AGI。它有意识吗？提出这个问题有意义吗？你对此有什么立场？我们有一个小组在研究它，我们与世界上许多主要的专家就此问题进行了交谈，我认为简短的回答是，没有人真正知道。为了清楚起见，我们谈论的是完全的 AGI，而不是我们现在拥有的。我放心地说，我们现在拥有的东西不是有意识的。我认为不是。展望未来，如果我们谈论的是 10 年或 20 年后的 AGI，非常非常强大，当我们与它交谈时，它会是有意识的吗？如果你将这个问题提给一些研究意识的最知名的专家，你会得到不同的答案。有些人有支持的论点，有些人有反对的论点。但当我向他们提出一个具体场景时，例如，我们有一个 AGI 被具象化在一个人形机器人中，它通过传感器学习和整合信息，它可以回忆起自己作为世界代理人的历史，它做了所有这些事情，而且它还谈论自己的意识。因为你可以引导 AI 模型谈论意识，如果你以某种方式引导它们。然后我问，它有意识吗？他们通常会说，我认为可能没有。或者我认为可能是的，但我不确定。谁知道呢，也许我们最终会得到答案。这是一个长期存在的问题。它甚至很难成为一个严格的科学问题，因为我们不知道如何以可衡量的方式来表述它。我敢肯定的是，会有人认为它们有意识，也会有人认为它们没有意识。这肯定会发生，尤其是在我们有一个被广泛接受的科学定义和一种衡量方法之前。然后出现了另一个问题。我们将如何处理这种分歧？这也很有趣，但这只是众多问题之一。我们还有其他问题。如果我们达到，比如说，完全的 AGI，我们将朝着远远超出人类智能的超级智能发展吗？还是不？还是只是一点点？如果我们朝着超级智能发展，那将是什么样的？它的认知特征是什么？在哪些方面它将远远超出人类？我们已经看到它可以处理数百种语言，等等。在哪些其他领域，也许由于固有的计算复杂性，它无法远远超出人类？我们对此有什么想法吗？这似乎是人类的一个关键问题。我们会在十年、二十年内达到超级智能，还是永远不会？你认为呢？你认为我们会达到超级智能吗？我想到像爱因斯坦这样的人，他提出了广义相对论。我们会达到一个 AGI 可以对世界进行理论化并获得超越人类所取得的真正科学理解的程度吗？我认为是的，基于计算。人脑是一个便携式的生物处理器。它重几公斤，消耗约 20 瓦。信号通过神经元和树突传输，放电频率约为 100 赫兹，也许皮层为 200 赫兹。信号是电化学波，传播速度约为每秒 30 米。如果将其与数据中心进行比较，而不是 20 瓦，你可以拥有 200 兆瓦。而不是几公斤，而是数百万公斤的硬件，而不是每通道 100 赫兹，而是 100 亿赫兹。而不是每秒 30 米的传播速度，你可以达到光速，每秒数十万公里。在能源消耗、空间、带宽和信号传输速度方面，你在多个维度上都有许多数量级的提升。那么，人类智能将是上限。我认为不是，绝非如此。而且我认为，随着我们对如何构建智能系统理解得越来越深，我们将看到 AI 远远超越人类智能。就像人类一样，我们无法比竞赛中的赛车在 100 米内跑得更快，也无法举起比起重机更重的重量，也无法比大型太空望远镜看得更远。我们已经有了在某些领域比最快的鸟类飞得更快，或者做对我们来说在物理上不可能的事情的机器。我认为我们将在认知方面看到类似的情况。在某种程度上我们已经看到了。在信息存储方面，你不知道的比 Google 多。在某些维度上，我们显然已经超出了人脑的处理能力。我认为我们将开始在推理和其他领域看到这一点。所以是的，我认为我们正在走向超级智能。这就是为什么我对系统二安全如此感兴趣。如果我们无法阻止超级智能的发展，因为全球竞争动态和其他许多原因，那么我们需要非常认真地思考如何使超级智能也超级合乎道德。如果你有一个系统可以应用超级智能的能力，不仅是为了实现目标和做事，也是为了做出道德决定，那么它的道德能力就可以与其普遍能力一起扩展。我想知道，这一切对人们意味着什么？如果我们达到一个人类智能基本上被超级智能所超越的程度，这对社会意味着什么？它意味着巨大的不平等，人们在经济上不再有价值，并且完全被排斥在外。它意味着巨大的转变。我认为人们通过提供脑力和体力劳动来换取经济产生的资源的现有系统，可能不再像以前那样运作。我们可能需要不同的组织方式。现在，蛋糕应该做得更大。这不是商品和服务短缺的问题。商品和服务的生产可以变得更加丰富。但我们必须仔细思考人们的系统是什么，我们如何分配社会中存在的财富。我认为需要更多地思考 AGI 后经济如何运作，以及 AGI 后社会如何构建。我给英国罗素集团的副校长们做了一个演讲。在英国，罗素集团汇集了主要的研究所。我告诉他们，“看，我认为 AGI 即将到来，而且并不遥远。在 10 年内我们将拥有它，它将能够完成今天人们所做的各种工作和认知任务的很大一部分。我们需要来自社会和知识各个领域的人们开始反思这对他们领域意味着什么。我们需要你们大学的每个学院、每个系都认真对待这个问题，并问自己，这对教育、法律、工程、数学意味着什么？城市规划、文学、政治、经济、金融、医学、医疗实践。基本上每个学院和系都在研究人类智能至关重要的东西。如果出现丰富、廉价且有能力的机器智能，这就要求重新思考很多事情。这意味着什么？应该做些什么不同的事情？会出现哪些机会和风险？我认为这里有巨大的机会，但就像任何革命一样，例如工业革命，它对社会有非常不同的影响，为了获得收益并最小化风险和成本，我们必须谨慎地管理这次过渡。现在我认为没有足够多的人在思考 AGI 对这个具体事物的意义。我们需要更多的人这样做。你还记得 2020 年 3 月，专家们说，“一场大流行病即将来临，我们正处于指数曲线的边缘。”与此同时，人们仍然在酒吧里看足球比赛，而专家们则越来越坚持他们即将面临的局面。这感觉有点相似。我清楚地记得那些日子。是的，有点相似。人们很难相信一个真正巨大的变化即将来临，因为大多数时候，关于即将发生大事的故事都化为乌有。所以作为经验法则，当有人告诉你一些非常极端的事情，一些将要发生的可怕的事情时，通常的做法是忽略它。但偶尔会有真实的理由，如果你理解这些理由，你就必须认真对待一个重大变革即将到来的想法。有时重大的变革确实会发生。那又意味着什么？你描述了一个长期愿景，即完全的 AGI 和潜在的共享繁荣。但到达那里的道路，我们正在谈论一些真正巨大的事情，说得委婉些，巨大的经济变革，结构性风险。向我们解释一下你希望未来几年是什么样的。告诉我们 2020 年 3 月我们还不知道的事情。我认为在未来几年，我们还不会看到你所说的那些巨大的颠覆。我们确实会看到 AI 系统从非常有用的工具转变为承担越来越多的经济上有价值的工作，而且我认为这将非常不均衡。它将在某些领域比在其他领域发展得更快。例如，在软件工程领域，我认为在未来几年，AI 编写代码的比例将大大增加，总有一天，你以前需要 100 名软件工程师的地方，也许只需要 20 名，而这 20 名将使用先进的 AI 工具。在接下来的几年里，我们将看到 AI 从一个有用的工具转变为真正具有生产力的工作，并显著提高在这些领域工作的人的生产力。这也会在某些行业创造劳动力市场的变化。随着这种情况的发生，关于 AI 的对话将变得更加严肃。它将从“它非常实用。它帮助我计划假期，或者在我孩子卡住时帮助他们做作业。”转变为更像是“这不仅仅是一个方便的工具，它将从根本上改变经济、社会以及许多其他事情。我们需要思考如何组织这个新世界，因为如果我们能够利用这种能力，这可能是一个真正的黄金时代。我们拥有能够大幅提高许多类型商品生产的机器，推进科学，并将我们从可能不需要做的许多工作中解放出来，如果机器可以处理的话。机会就在那里，但只有当我们能够将机器的这种惊人能力转化为一个社会愿景，在这个愿景中，人们作为个人和群体蓬勃发展并从中受益时，它才会是积极的。因为与此同时，你有那 80 名不再需要的软件工程师，以及今天刚毕业的初级员工，他们是第一批受到影响的人。有没有哪个行业在短期或中期不会受到影响？我认为会有相当多的相对受保护的活动。例如，水管工可能会过得相当好。我认为在未来几年，即使认知 AI 发展得非常快，机器人技术也还达不到取代水管工的程度。而且当它成为可能时，我认为它需要相当长的时间才能在价格上与人类水管工竞争。有很多工作不是纯粹的认知工作，而且将相对受到保护。有趣的是，今天许多薪酬最高的工作是高级认知工作。律师从事复杂的全球并购业务。在金融领域从事高级工作的人，现在还有机器学习专家、软件工程师、某些数学家。我喜欢的一个经验法则是，如果你可以在家通过互联网完成你的工作，只用一台笔记本电脑，也就是说，没有触觉套装或你正在控制的机器人，只有键盘、屏幕、摄像头、扬声器、麦克风、鼠标，你可能做的是非常认知的工作。如果你属于这一类，我认为先进的 AI 将能够胜任这类任务。另一件可以保护一些工作的事情是，即使它们是认知的，它们也具有很强的人类成分。例如，如果你是内容创作者或公众人物，你在网上工作。但人们知道背后有一个具有特定个性的人，这在许多情况下可能非常有价值。这是否排除了很多人？这就是为什么我认为我们需要你向罗素集团提出的建议，即各个学科的人认真对待 AGI。我的印象是，很多人并没有这样做。当我与不同领域的专家交谈时，他们的反应通常是，“是的，这是一个有趣的工具，很好。”但他们没有内化他们今天看到的东西，以及他们提到的任何限制通常已经过时了。他们经常告诉我，“我一年前试过，它效果不好。在这个领域一年已经是古老的历史了。现在的模型要好得多，一年后会更好。”
你们难道没看到这个趋势吗？从某种意义上说，我认为许多普通民众比专家们更超前。如果我和非技术人员谈论当前的人工智能，有些人会告诉我：“嗯，这已经不是人类的智能了，它会说比我更多的语言，解决数学和物理问题的能力比我上中学时还好，它知道的比我多的食谱，还能帮我解决报税的疑问。那么，为什么它不算是智能呢？”这就是我从非技术人员那里听到的。
相反，许多在特定领域拥有专业知识的人倾向于认为他们的领域非常深奥且非常特殊，人工智能不会真正影响到它。我想以你那个相当著名的关于通用人工智能（AGI）的预测来结束。你十多年来一直非常坚持。你说到2028年有50%的可能性实现AGI。你指的是最小化的AGI吗？是的。你仍然认为2028年有50%的可能性吗？是的，2028年，这在我博客上从2009年起就有了。
那你对完全的AGI有什么看法？你对它的时间表是什么？几年后，3、4、5、6年后。但在一二十年内。是的，我认为会在一二十年内。
你有没有因为拥有所有这些知识而感到有些虚无主义？我认为这里有巨大的机遇。许多人投入了大量的精力去做那些并不总是特别有益的工作。这与工业革命时发生的事情非常相似。它利用能源来完成各种机械工作，从而为社会创造了更多的财富。现在，我们可以利用数据、算法和计算来完成各种认知工作。这可以为人们创造巨大的财富。财富不仅体现在商品和服务的生产上，还体现在新技术、新药物以及许多其他方面。
这是一项具有巨大潜力的技术，可以带来巨大的好处。挑战在于，我们如何在应对风险和潜在成本的同时，获得这些好处。我们可以想象一个未来的世界，在那里我们真的会受益于智能的帮助，让我们蓬勃发展。
那个世界会是什么样子？这是我无法完全回答的问题。我非常感兴趣，我会努力去理解，但这确实是一个非常深刻的问题。它涉及到哲学、经济学、心理学、伦理学以及许多其他领域。需要更多的人来思考这个问题，并努力想象那个积极的未来会是什么样子。
非常感谢。这至少是一次发人深省的谈话。人类对指数级增长并不擅长，而我们现在正处于曲线上。AGI不再是一个遥远的思维实验。我从与Shane的谈话中发现最有趣的是，他认为公众比许多专家更能理解这一点。如果他的时间表接近现实，而且到目前为止他一直很准确，那么我们可能没有时间进行漫长的、缓慢的思考。我们面临着艰难的、紧迫的、可能非常令人兴奋的问题，需要认真对待。
现在，您正在收听Google Deep Mind的播客，主持人是Hann Fry。如果您喜欢这次谈话，可以订阅我们的播客或给我们留下评论。在下一集节目中，我们将与Deep Mind的联合创始人Demis Hassabis进行对话，所以我们向您保证，您绝对不想错过。哦。