Transcription
所以，人类智能将是可能性的上限吗？>> 我认为绝对不是。>> 我确实想知道这一切对人们意味着什么。我的意思是，如果我们正处于一个人类智能被超级智能所黯然失色的地步。这对社会意味着什么？>> 这意味着巨大的变革。这实际上将从结构上改变经济和社会以及各种事物。我们需要思考如何构建这个新世界。欢迎来到谷歌 DeepMind 的播客，我是主持人，汉娜·弗莱教授。AGI 正在到来。似乎每个人都在这么说。今天，我的播客嘉宾是 Shane Le，谷歌 DeepMind 的首席 ADI 科学家和联合创始人。Shane 已经谈论 AGI 数十年了，甚至在他看来，这曾经被认为是“疯子的边缘”。他因普及该术语并最早尝试弄清楚它可能是什么而受到赞誉。现在，在今天的谈话中，我们将与他讨论 AGI 应该如何定义，我们如何才能在它到来时识别它，如何确保它是安全和合乎道德的，以及最关键的是，一旦我们到达那里，世界会是什么样子。我必须告诉你，Shane 在整个社会将在未来十年内受到影响的方式上非常坦诚。绝对值得收听这次讨论。欢迎来到播客，Shane。我们五年前最后一次和你交谈，那时你告诉我们你对 AGI 可能是什么样的愿景，就我们现在拥有的 AI 公民而言。你认为它们是否显示出 AGI 的一点点火花？>> 是的，我认为这比火花多得多。>> 比火花多得多。>> 哦，是的。是的。所以我的 AGI 定义，或者有时称为最小 AGI，是一个人工智能代理，它至少可以做到人们通常可以做的认知事情。>> 是的。我喜欢这个标准，因为如果低于这个标准，感觉就像它未能做到我们期望人们能够做到的认知事情。所以，感觉我们还没有真正做到。>> 另一方面，如果我将最低标准设定得比这高得多，我就是将其设定在一个许多人，很多人实际上无法做到我们要求 AGI 做到的事情的水平。所以，你知道，我们相信人们拥有某种，我不知道，通用智能，你可能会这么称呼它。所以，我觉得如果一个 AI 可以做到人们通常可以做的认知事情，至少可能做得更多，那么我们应该将其归入那一类。>> 我们现在拥有的东西，在这些层面上怎么样？>> 对。嗯，这是不均衡的。它已经比人们说得好得多，比如讲语言。它会说 150 种语言或类似的东西。没有人能做到。嗯，它的通用知识是惊人的。我可以问它关于嗯，你知道，我长大的郊区，新西兰的一个小镇，它恰好知道关于它的事情，对吧？嗯，另一方面，它们仍然无法做到我们期望人们通常能够做到的事情，它们在持续学习，在一段时间内学习新的技能方面并不擅长，这非常重要，例如，如果你要承担一份新工作，你知道，你到达时并不期望知道一切才能胜任这份工作，但你必须随着时间的推移学习才能做到。它们在推理方面也有一些弱点，嗯，特别是像视觉推理这样的事情。>> 所以 AI 在识别物体方面非常出色。它们可以识别猫狗以及所有这些东西。它们已经这样做了很长时间。嗯，但是如果你让它们推理场景中的事物，它们就会变得更加不稳定。所以你可能会说，嗯，你知道，你可以看到一辆红色的汽车和一辆蓝色的汽车，然后问它们哪辆车更大。嗯，人们明白透视是相关的，也许蓝色的车更大，但它看起来更小，因为它更远，对吧？嗯，AI 并不那么擅长。或者如果你有一些带有节点和它们之间边缘的图>> 就像一个网络>> 是的，一个网络，或者一个数学家会说的图。嗯，然后你问关于那个的问题，它必须计算出嗯，你知道，从图中的一个节点出来的边缘的数量。>> 嗯，一个人通过注意不同的点，然后可能在脑海中计算它们，或者其他什么。嗯，AI 在做这类事情方面并不擅长。所以，我们目前看到有很多这样的事情。嗯，我不认为有任何根本性的障碍，我们有如何开发能够做到这些事情的系统的想法，并且我们看到在这些领域中的指标随着时间的推移而提高。所以我的期望是，经过几年的时间，所有这些事情都会得到解决，但它们还没有做到，而且我认为需要一些时间才能完成，因为人们可以做的认知事情有很多，嗯，AI 在我们达到这一点时仍然低于人类的表现，而且我认为这将在几年内到来，确切地说还不清楚。嗯，AI 将会更加可靠，这将在很多方面大大增加它们的价值，但它们也会在此期间变得越来越有能力，比如达到专业水平甚至更高，也许在编码、数学、已经知的多语言、世界通用知识以及类似方面。所以，这有点，这是一个不均衡的事情。>> 如果你认为它们会随着时间的推移变得更加可靠，那么这只是一个让模型更大、更大规模地做事情的问题吗？是更多的数据吗？我的意思是，你有一个明确的路径让它们变得更可靠吗？>> 我认为我们有，而且它不是一个特定的东西，它不仅仅是更大的模型或更多的数据。嗯，在某些情况下，它是特定类型的更多数据，然后当你收集需要说视觉推理的数据时，模型就会学会如何做到这一点。在某些情况下，它需要算法的东西，比如新的过程。所以，例如，如果你想进行持续学习，这样 AI 就可以随着时间的推移不断学习，你可能需要一个过程，在这个过程中，新信息可能存储在某个地方，某种检索系统，如果你喜欢的话，就是情景记忆。然后你可能有系统，这些信息会随着时间的推移被重新训练到某个底层模型中。所以这需要比更多的数据更多。它需要某种算法和架构的改变。所以，我认为答案是这些事情的组合，这取决于具体的问题是什么。>> 我知道你不认为 AGI 应该是一个单一的“是”或“否”，就像一个你越过的阈值，而是更像一个光谱，如果你愿意的话，你有这些级别。请给我讲讲。>> 是的。我有一个我称之为最小 AGI 的东西，那就是当一个人工智能代理能够至少做到我们通常期望人们能够做的所有认知事情。嗯，我们还没有做到，但可能是一年，可能是五年。我猜大概是两年左右。>> 所以那是最低级别？>> 那是我称之为最小 AGI 的东西。那就是我说的“好吧，这个 AI 不再以我们认为令人惊讶的方式失败，如果我们给一个人那个认知任务。”我认为那是最低标准。现在，这并不意味着我们完全理解如何达到人类智能的能力，因为你可以有非凡的人，他们去做出惊人的认知壮举，发明新的物理学或数学理论，或者开发令人难以置信的交响乐，或者写出令人惊叹的文学作品等等。嗯，仅仅因为我们的 AI 可以做到典型的人类认知，并不一定意味着我们知道所有达到人类认知非凡壮举所需的配方和算法。嗯，一旦我们的 AI 能够实现人类认知所有可能性的全部范围，那么我们就真的知道我们已经掌握了，至少是完全达到人类水平。所以我们称之为完全 AGI。>> 然后还有更高级别的吗？>> 嗯，是的。所以，我认为一旦你开始超越人类认知所能及的范围，你就开始进入所谓的“人工智能超级智能”或 ASI。嗯，并没有真正好的清晰定义。嗯，我实际上曾多次尝试给出一个好的定义。我曾经想出的每一个定义都有一些重大的缺陷。但至少笼统地说，它的意思是它是一个 AGI。所以它具有 AGI 的通用性，但它现在非常强大，以至于它在某种程度上远远超出了嗯，你知道，人类能够达到的范围。>> 因为我知道你是帮助创造“AI”这个词的人之一。你认为这个词仍然有用吗？我的意思是，现在有太多相互竞争的定义了。它就像每个人都在使用的流行语。而且你说得对，它的描述方式几乎就像一个“是”或“否”，就像一个离散的界限被跨越了，而不是你所描述的这种连续的级别。>> 是的。当我提出这个词时，我把它更多地视为一个研究领域。>> 因为我曾与一位我工作过的本·吉尔佐尔谈过，他想写一本关于人工智能的旧愿景的书，这些思考机器，这些能够做很多很多不同事情的机器，而不是仅仅是专门的。它只是玩扑克。它只是做文本到语音。它只是做嗯，非常非常具体的事情，这在当时很典型。我当时想，关于人工智能的旧梦想呢？建造一个具有非常通用能力的系统，它可以学习、推理、处理语言、写诗或做数学，或者也许画一幅画，或者嗯，各种各样的事情。我们称之为什么？我说，嗯，如果它真的关乎我们想要的通用性，为什么我们不直接在名字里加上“通用”这个词，称之为“通用人工智能”。AGI 听起来很顺口。>> 嗯，也许我们这样做。但随后发生的是，嗯，许多人在网上开始使用这个词，然后很快人们就开始谈论“我们什么时候会有 AGI”，然后 AGI 就从一个研究领域或一个子领域变成了一个人造物的类别。然后它需要一个定义。所以也许我应该去定义它是一个错误。嗯，你知道，几年后，我们发现有一个叫马可·布鲁德的人，他在 97 年写了一篇论文，我们用过这个词，但它是在一次纳米技术安全会议上，我们都不知道。嗯，但他定义的实际上是指人们在工业和其他地方所做的认知事情。所以，这与我现在使用的非常相似。是的，如果它早点固定得更清楚，那会很有帮助。>> 你后悔创造它吗？>> 不，不，不。因为我认为它为人们提供了一种方式来指代构建真正通用的 AI 的想法。>> 嗯。>> 或者至少像人们的智能一样通用。我认为有这种需求，这就是为什么我认为这个词流行起来，因为有一种，你知道，你怎么称呼它，如果你不称呼它呢？如果人们使用“高级 AI”这样的短语，那么 AlphaFold 在某种意义上就是一种高级 AI，对吧？嗯，它非常有影响力，但它非常非常狭窄，对吧？或者 AlphaGo 也是非常狭窄的，它是一种高级 AI 系统。那么，你如何称呼非常通用的系统呢？但随后发生的是，不同的人看到了这个词并接受了它，他们以不同的方式适应它，或者他们通过不同的视角来看待它。所以对一些人来说，嗯，即使在早期，当他们想到 AGI 时，他们也认为这是几十年后的事情，这将是极具变革性的，所以他们开始从它将创造的社会变革的角度来思考 AGI。>> 所以他们开始，如果他们试图定义它，他们倾向于思考，哦，这是因为它可能导致，我不知道，经济增长，或者它将做所有这些事情，对吧？>> 有些人倾向于认为它是一个更重要的历史时刻，它是我们必须说，嗯，这些 AI 在某种意义上属于与我们的智能相似的类别，因为它们可以做我们通常可以做的认知事情。嗯，现在，这不一定会改变世界。普通人走在街上不会成为莫扎特或爱因斯坦，发明量子理论的继承者或别的什么，对吧？嗯，但这是一个非常有趣的时刻，因为十年前，二十年前，你知道，无论何时，我们都没有接近能够做人们通常可以做的认知事情的 AI。所以，我认为这是一个重要的历史时刻，因为 AI 在某种程度上与我们属于同一类别。>> 我也认为尝试定义它有点用，因为出现的问题之一是人们有不同的时间表，对吧？>> 有些人说，“哦，AR，我认为它将在三年内到来。哦，我认为它将在 15 年后到来，或者 20 年后，或者别的什么。”嗯，而且我经常和他们谈论这个问题时，我发现他们使用的是不同的定义。所以这只会导致很多混乱，因为人们使用这个词来表示不同的东西。在某些情况下，我实际上同意他们认为会发生的事情。他们只是用不同的方式使用这个词。这只会造成相当大的混乱。>> 我只想比较一下人们现在为 AGI 使用的一些其他定义。所以，嗯，有些人认为它就像有一个任务清单，或者也许有一个人文考试，这是一个语言模型基准，包含来自不同学科的 2500 个问题。嗯，人文科学和自然科学。>> 嗯，还有其他人说，哦，你，你需要能够在厨房里工作。这就像被训练成一名厨师，并且能够被放到一个不同的厨房里工作，或者甚至有一个是，它能否从 10 万美元赚到一百万美元？>> 你对这些定义有什么看法？>> 嗯，每个我都有看法。去吧。>> 嗯，我的意思是，从 1000 美元赚到一百万美元或类似的东西。嗯，我的意思是，这显然是一种非常经济的视角。嗯，我认为很多人会难以做到这一点。嗯，我认为在某些方面这是一个非常狭窄的视角。我的意思是，也许你可以有一个，我不知道，一个交易算法，在市场上交易，它可以做到这一点，但它只能做到这一点，这不是我所说的。所以，我认为 AGI 中的 G 是通用性。我发现有趣的是通用性，我认为这是人类思维的惊人之举之一，就是我们的灵活性和通用性，可以做很多很多不同的事情。如果你有一套特定的任务，嗯，好吧，也许你可以构建一个可以完成这些任务的系统，但也许它仍然未能做到我们期望几乎任何人都能做到的基本认知事情。我认为这是令人不满意的。就像，哦，我们的 AI 又失败了，因为它不理解我期望几乎任何人都能理解的那个非常简单的事情。所以，我将我的定义操作化的方式是，我将有一套任务，我知道人类的典型表现是什么。>> 来自人类>> 来自人类，然后我会看看 AI 是否能完成所有这些任务。现在，如果它在任何一项任务中失败，它就未能达到我的定义。>> 因为它不够通用。>> 是的。它未能做到我们期望人们能够做到的某些认知事情。如果它通过了，那么我建议我们进入第二阶段，这是一个更具对抗性的阶段，我们说，好吧，它通过了测试，所以它在我们标准集合的成千上万个测试中没有失败，现在让我们进行对抗性测试，找一个团队的人，给他们，我不知道，一个月或两个月，或者他们被允许查看 AI 的内部，他们被允许做任何他们喜欢的事情，他们的工作是找到我们认为人们通常可以做到并且是认知方面的，而 AI 却失败了。如果他们能找到，它就失败了。如果他们在几个月的研究、测试和思考之后仍然找不到，我认为对于密集的目的，对于大多数实际目的，我们已经达到了，因为现在失败的案例很难找到。即使是团队的人，在一段时间后也找不到这些失败的案例。你认为我们最终会就什么是智能或什么是 AGI 的定义达成一致吗？确实。>> 嗯，就 AGI 本身而言，我的猜测是，嗯，几年后，AI 将在许多不同的方面变得非常通用，人们只会将它们称为 AGI，而 AI 恰好意味着那些东西。也许人们会不太担心，他们会争论这个是 AGI 还是不是 AGI 的争论会少一些。人们会说，“哦，我有了最新的 Gemini 9 或其他什么。”它真的很棒。它，你知道，它可以写诗。你可以教它一个纸牌游戏，它可以和你一起玩，你刚刚发明的。它可以做数学。它可以翻译东西。它可以和你一起计划一次假期，或者别的什么，对吧？它真的很通用，对人们来说，它拥有某种通用智能似乎很明显。但现在，我的意思是，在到达那里之前，拥有这样一条通往 AGI 的定义明确的道路，嗯，我的意思是，你谈到了不拥有它的风险，它可能会获得某个知识，而不是另一个，例如，我不知道，在它真正擅长伦理之前就擅长化学工程。我的意思是，提前做好这项工作有多重要？所以，关于理解其不同维度能力的工作。>> 嗯，我认为这非常重要，因为我们必须思考如何，我们作为社会如何应对强大的机器智能的到来，你不能只把它放在一个维度上。它可能在某些方面具有超人的能力，在其他方面可能非常脆弱和薄弱。如果你不了解这种分布是什么样的，你就无法理解存在的机会。你也无法理解风险，或者它可能被误用的方式，因为你知道，哦，它在这里非常强大，但你需要了解它在这里非常非常薄弱，所以某些事情可能会出错。所以，我认为这是社会导航和理解当前状况的重要组成部分。所以，你知道，我认为关于 AI 的许多对话倾向于将其描述为非常强大，或者不太强大，或者被过度炒作，或者别的什么。我认为现实要复杂得多。它在某些方面非常强大，在其他方面却相当脆弱。>> 你必须看全貌。>> 你必须看全貌。是的。而且，你知道，人类智能也是如此。你知道，有些人真的很棒。他们会说很多种语言。有些人数学很好。有些人音乐很好，但他们可能在其他方面不太擅长。>> 所以，好吧，如果我们有了表现和通用性。我想和你谈的另一个方面是伦理。这如何融入所有这些？>> 伦理和 AI 有很多方面。嗯，一个方面是 AI 本身是否对什么是道德行为有很好的理解，它是否能够根据这种道德行为分析它可能做的事情，并且能够可靠地做到这一点，让我们能够信任它。>> 所以 AI 本身可以推理它正在做的事情的伦理问题。>> 是的。>> 那是如何工作的？你如何将其嵌入其中？我对此有一些想法，但它不是一个已解决的问题，但我认为这是一个非常非常重要的问题。我喜欢一些人称之为“思维链监控”。>> 嗯，我谈过这个，我做过一些简短的演讲等等。我称之为“系统二安全”。>> 这是丹尼尔·卡尼曼的系统一、系统二思维。>> 没错。基本思想是这样的。假设你作为一个人，面临一个困难的道德困境。嗯，仅仅凭直觉往往是不够的。你实际上需要坐下来思考，好吧，这是情况，这是各种复杂性、细微差别，这是可能采取的行动，这是采取不同行动的可能后果，然后根据你拥有的某种伦理、规范和道德体系来分析所有这些。然后你可能需要仔细推理才能真正理解所有这些是如何结合在一起的，然后利用这种理解来决定应该做什么。所以，让我们说人类大脑在这种情况下是如何工作的，我的意思是，这是卡尼曼的东西，对吧？就是说，嗯，有人惹恼了你，你感到愤怒，你想做出反应，那是你的系统一，快速思考，本能。>> 但你深吸一口气，仔细思考，考虑后果，那是你的系统二思维，然后你可能会选择另一条路。>> 是的，所以你可能会说，例如，我不知道，撒谎是坏的，对吧？所以我们不会撒谎，但你可能处于一种特殊情况，我不知道，有人要来伤害某人，如果你撒谎，你可以救他们的命，那么道德上应该撒谎，对吧？>> 所以，嗯，简单的规则并不总是足以做出正确的决定。所以，有时你需要一点逻辑和推理来仔细思考，嗯，在这种情况下，撒谎实际上是道德上应该做的事情，也许可以救一个人，或者别的什么，对吧？但它变得非常复杂，而且你可能听过所有这些电车难题等等，对吧？在某些情况下，我们的直觉和分析开始出现分歧，导致很多混乱，对吧？所以，这些都不是简单的事情。而且我们现在有 AI 来做这些，这些思考型 AI，对吧？所以你实际上可以看到 AI 使用思维链。所以当你给 AI 一个带有道德方面、伦理方面的道德问题时，你实际上可以看到它去推理情况。如果我们能让这种推理非常非常严谨，并且对我们希望它遵守的某些伦理和道德有非常深刻的理解，我认为原则上它实际上应该比人类更道德。>> 因为它可以更一致地应用和推理，也许是以超人的水平。嗯，它面临的决定，你知道，选择等等。>> 因为这就像把伦理变成了一个推理问题，而不是一个感觉问题。>> 是的。>> 但同时，我确实想知道，当你这么说的时候，我确实有点想知道关于基础的问题。我的意思是，这些东西，至少现在，就像没有像人类一样生活在世界上。>> 是否有可能从人类的角度体验世界，并真正将这些机器植根于人类的伦理之中？>> 嗯，有几个复杂之处。一个复杂之处是，不存在一种人类伦理。>> 同意。>> 嗯，而且关于这一点有不同的想法，这些想法因人而异，也因文化和地区而异。>> 所以它必须理解在某些地方规范和期望有所不同。>> 嗯，在某种程度上，模型确实知道很多关于这一点的事情，因为它们吸收了来自世界各地的数据。嗯，但是的，它需要在现实基础方面真正擅长这一点。嗯，目前我们通过收集世界各地的大量数据来构建这些代理，将它们训练成这些大型模型，然后它们就变成了相对静态的对象，我们与之互动，它们实际上不会学到太多新东西，或者任何类似的东西。嗯，这种情况正在改变，我们正在引入更多的学习算法等等，但我们也正在使系统更加自主。所以它们不仅仅是一个你与之交谈然后它处理并给出回应的系统，而可能是一个可以去执行某事的系统。所以你可以对它说，好吧，我想让你写一些软件来做这个或那个。哦，我想让你去，我不知道，为我的墨西哥之行制定一个计划，我想看这个和那个，但我不喜欢这个，或者别的什么。然后这些代理也将开始在机器人技术等方面变得更加具象化。其中一些将是软件代理，它们将做那些事情。嗯，但随着时间的推移，我认为它们会变得更加，它们会出现在机器人和其他类似的东西中。随着你沿着这条轨道继续前进，AI 通过各种不同的事物与现实的联系越来越紧密。它们实际上必须通过互动和经验来学习，而不是仅仅是开始时输入的大型数据集。>> 那里与现实的联系大大加强了。即便如此，你知道，最初输入的大量数据也来自某个地方，其中很多来自人们。嗯。>> 所以，通过这个过程，也确实存在与现实的基础联系。>> 这个 AI 比人类本身更擅长伦理的想法。直到你到达那里，直到推理和我们一样好，你如何确保它以安全的方式实施？我的意思是，>> 是的，这是一个大问题。>> 我不知道，比如，你知道，功利主义论证，对吧？这对于无人驾驶汽车在道路上行驶来说相当有效，就是你想拯救尽可能多的生命。但在医学中，同样的想法，对吧？它不再有效了。你不能牺牲一个健康的病人来拯救五个人的生命。你如何确保它最终朝着正确的方向推理？>> 嗯，你无法保证一切。世界上行动的可能性空间如此之大，以至于 100% 的可靠性是不存在的。>> 但在现实世界的许多地方，它并不存在。如果你需要手术，你去和外科医生谈谈，你说，“嗯，你知道，我要切除一些东西，或者别的什么。”>> 然后外科医生对你说，“这是 100% 安全的。”作为一个数学家，你知道他们没有告诉你真相。>> 对吧？没有什么永远是 100% 的。>> 嗯，所以我们必须做的是，我们必须测试这些系统，嗯，并使它们尽可能安全可靠。我们必须权衡利益和风险。而且我们还必须，你知道，我们必须做其他事情，比如监控它们。所以当它们部署时，我们监控它们，跟踪发生了什么。所以如果我们开始看到，你知道，有一些失败的案例超出了我们可接受的范围，我们可能不得不回滚并停止它们，或者做别的什么，对吧？所以有一系列不同的事情我们需要做。我们需要在它出去之前进行测试。我们需要在它们在那里做事时进行监控。我们需要做诸如可解释性之类的事情。我们能够查看系统内部。这是系统二的一个优点。如果它以正确的方式实现安全，你实际上可以看到它在推理。但你必须检查这种推理是否准确地反映了它真正要做的事情。但是，你知道，如果你有方法可以查看系统内部并真正了解它们为什么这样做，这可能会给你更多的信心，因为它们正在“尝试以正确的方式行事”。>> 因为这是另一个重要的，你知道，微妙之处。它不仅仅是关于结果，也可能是关于意图，对吧？所以，我知道有人故意伤害你，和你不知道的某人意外地撞到你，然后它受伤了，或者别的什么，这之间有很大的区别，对吧？而且我们对此的解释非常非常不同。所以，如果我们能看到我们的 AI 内部，我们可能会接受，嗯，你知道，它正在处理一个棘手的局面，它试图根据它的分析做最好的事情，但有一些负面副作用，我们可能会觉得没关系，因为也许即使作为人类，在这种棘手的情况下，我们也很难做正确的事情。但如果它是故意做错的，那就是另一回事了。所以，这些都是 AI AGI 安全的各个方面，我们有很多人在研究所有这些课题。>> 那么，你是否会限制这些东西与现实世界的互动程度，你发布它们的速度等等，直到你确信它们达到了安全阈值。>> 是的。所以我们有各种各样的测试基准和测试，我们会在内部运行一段时间，我们有我们测试的特定风险领域。>> 比如什么？>> 我们试图看看系统是否会帮助开发，我不知道，比如武器，或者类似的东西。>> 对吧？>> 当然不应该。>> 是的。>> 所以，如果我们开始看到我们可以以某种方式欺骗它或强迫它在这方面提供帮助，那是个问题。>> 对吧？>> 黑客攻击也是如此。它会帮助人们你知道，黑客攻击等等。所以，是的，我们目前有一系列这些测试，而且这个系列随着时间的推移不断增长。然后我们评估它在这些领域中的能力，然后我们有适合我们看到的每个能力水平的缓解措施。这可能意味着我们不发布模型。这可能意味着各种不同的事情，取决于我们发现什么。是的。好吧，让我们谈谈其中一些东西对社会的影响，一旦我们达到真正强大的 AGI，我知道你对此考虑了很多。这是公平的说法吗？>> 是的。我现在的重点是试图理解，如果我们有了 AGI，并且它对于其能力水平来说是相当安全的，那么其他一切呢？而“其他一切”的列表是巨大的。嗯。>> 有一些问题，比如，嗯，所以，好吧，我们有了强大的 AGI，而且它相当安全，它是意识的吗？我们，这甚至是一个有意义的问题吗？>> 你对此有立场吗？>> 甚至。>> 嗯，我们有一个小组在研究这个问题，我们与世界上许多研究这个问题的顶尖专家进行了交谈，我认为简短的回答是，没有人真正知道。>> 绝对清楚地说，我们在这里谈论的是完全的 AGI，而不是我们现在拥有的东西。>> 是的。>> 你认为现在的东西不是吗？>> 我不这么认为。>> 嗯，当我们进入未来几年，也许是十年后，嗯，它非常非常强大，那个系统会是有意识的吗？当我与世界上一些最著名的研究这个问题的专家交谈时。有各种各样的人有支持的论点，有各种各样的人有反对的论点。但当我把一个具体的情况摆在他们面前，我说，“看，我们这里有 Gemini 10，它被植入了一个，你知道，人形机器人，它学习，它整合传感器中的信息，它可以记住它作为世界代理的历史，并且可以做所有这些事情。”>> 嗯，而且它还谈论它自己的意识，因为你实际上可以让 AI 模型谈论那种意识，如果你，你知道，以正确的方式提示它们。>> 它是意识的吗？当我把这个交给该领域的专家时，他们会说，嗯，我认为可能不是，或者我认为可能是，但实际上我不确定。谁知道呢，也许我们会有一个答案。我认为这是一个长期存在的问题，而且它是一个非常困难的问题，甚至无法将其变成一个严格的科学问题，因为我们不知道如何将其构建成一个可衡量的东西。我确定会发生的是，有些人会认为它们是有意识的，有些人会认为它们不是。这肯定会发生。嗯，尤其是在缺乏一个真正被广泛接受的科学定义和衡量方法的情况下。那么我们将如何应对呢？这也很是一个非常有趣的问题。但这只是一个问题，你知道，我们有诸如，嗯，我们将从 AGI，比如完全的 AGI，走向超级智能，它远远超出人类智能吗？嗯，它会发生得很快，很慢，还是永远不会？如果它走向超级智能，那是什么样的超级智能？那个超级智能的认知特征是什么？有没有某些方面它会远远超出人类？我们已经看到它能说 200 种语言或类似的东西，那很清楚。还有其他方面，也许因为计算的复杂性或其他原因，它实际上不会比人类好多少，对吧？>> 嗯，我们对此有任何想法吗？这似乎是人类需要认真思考的一个非常重要的问题。我们会在十年或二十年后进入超级智能吗？>> 你对此有立场吗？你认为它会走向超级智能吗？>> 嗯。>> 我的意思是，我在这里想到的是，嗯，比如，你知道，爱因斯坦提出了广义相对论。我们是否会处于一个 AGI 可以理论化世界，得出超越人类所能达到的真正科学理解的境地？>> 嗯，我认为它会基于计算，而人脑是一个移动的处理器。它重几磅。它消耗，我认为大约 20 瓦。嗯，大脑中的信号通过树突发送。嗯，信道频率大约是 100 赫兹，或者在皮层中可能是 200 赫兹。嗯，信号本身是电化学波传播。它们以大约 30 米/秒的速度移动。好的。所以，如果你将其与数据中心中看到的情况进行比较，而不是 20 瓦，你可以有 200 兆瓦。而不是几磅，你可以有几百万磅。而不是信道上的 100 赫兹，你可以有 100 亿赫兹的信道。对吧？而不是以 30 米/秒的速度进行电化学波传播，你可以达到光速 30 万公里/秒。对吧？所以，就能量消耗、空间、信道带宽、信号传播速度而言，你在所有四个维度上同时有六、七、也许八个数量级的差异。对吧？所以，人类智能将是可能性的上限吗？我认为绝对不是。所以我认为，随着我们对如何构建智能系统的理解的发展，我们将看到这些 AI 远远超越人类智能。嗯，就像，你知道，人类，你知道，我们在 100 米内无法跑赢顶级燃料拖拉机，对吧？我们无法举起比起重机更多的东西，对吧？我们无法比哈勃望远镜看得更远，对吧？我的意思是，我们已经看到机器在特定领域可以，你知道，飞得比最快的鸟还快，以及所有这些事情，对吧？嗯，我认为我们也会在认知方面看到这一点。在某些方面我们已经看到了，你知道，你不知道的比谷歌多，对吧？嗯，等等，关于信息存储之类的事情，我们已经超越了人脑的能力。我认为我们将开始在推理和其他各种领域看到这一点。所以，是的，我认为我们将走向超级智能。这就是为什么我对系统二安全之类的东西非常感兴趣，因为如果我们因为全球竞争动态和其他类似原因而无法阻止走向超级智能的发展，嗯，那么我们需要认真思考如何让超级智能变得超级合乎道德，如果你有一个系统能够应用它的智能能力，不仅仅是为了实现目标和做事，而且实际上也用于做出道德决定，那么它可能会以某种方式随着它的能力而扩展。>> 我确实想知道这一切对人们意味着什么。我的意思是，如果我们正处于一个人类智能被超级智能所黯然失色的地步。这对社会意味着什么？这是否意味着巨大的不平等，即那些不再有价值的人，基本上是他们所能提供的，在经济上被完全抛弃了？这意味着巨大的变革。我认为当前的系统，人们通过他们的脑力和体力劳动来换取对经济产生的资源的获取。嗯，这可能不再奏效了，我们可能需要不同的方法。现在，蛋糕应该变得大得多。所以，没有生产商品和服务不足的问题。如果说有什么的话，那就是越来越好，但我们需要仔细思考，人们的系统是什么？我们如何分配社会中存在的财富？我认为需要对 AGI 后的经济如何运作以及 AGI 后的社会结构如何运作进行更多的思考。我给英国罗素集团的副校长们做了一个演讲。罗素集团是英国顶尖的大学。我对他们说，听着，AGI 即将到来，而且并不遥远。>> 你知道，十年之内，我们将拥有它，它将能够完成各种认知劳动和人们所做的工作的很大一部分，对吧？我们实际上需要社会各个方面的一席之地来思考这对他们各自领域意味着什么。所以我们真的需要你们大学的每个院系和每个部门都认真对待这个问题，并思考这对教育意味着什么，对吧？这对法律意味着什么？这对工程、数学意味着什么？嗯，城市规划，嗯，文学、政治、经济、金融、医学，等等，等等，等等，对吧？所以，基本上每个院系，每个部门都在研究人类智能非常重要的东西。所以，如果你有廉价、丰富、强大的机器智能出现，就需要重新思考这个问题。这意味着什么？应该以不同的方式进行吗？有哪些机会？有哪些风险等等。所以，我认为这是一个巨大的机会。但就像，你知道，任何革命，比如工业革命或任何事情一样，嗯，它很复杂。它对社会有各种各样的影响。为了获得这些好处，并最大限度地减少风险和成本，我们需要谨慎地处理。而目前我认为很少有人在思考 AGI 对这个特定事物意味着什么，我们需要更多的人这样做。>> 你还记得 2020 年 3 月，专家们说一场大流行病即将来临吗？它真的，我们真的站在指数曲线的边缘。>> 然后人们仍然在酒吧里，你知道，去参加足球比赛等等，专家们越来越大声地喊着即将发生的事情。>> 你有没有觉得有点像那样？>> 我还记得那些日子。嗯，感觉有点像那样。人们很难相信一个巨大的变化即将到来，因为大多数时候，关于一个巨大的事情即将发生的故事。它并不总是物理上的，对吧？>> 所以，作为一种启发式方法，如果有人告诉你一些疯狂的、巨大的事情要发生，作为一种启发式方法，你很可能可以忽略其中大部分。但你必须注意。有时有基本面在驱动这些事情，如果你理解基本面，你就需要认真对待一个巨大的变化确实会到来的想法，你知道，有时巨大的变化确实会到来。>> 这意味着什么？因为，我的意思是，好吧，你描述了一个长期的愿景，你拥有完全的 AGI，并且有潜在的繁荣可以分享等等，但但要到达那里，我的意思是，我们正在谈论一些非常大的事情。>> 我的意思是，这是轻描淡写了，巨大的经济颠覆，这里的结构性风险。请告诉我你预计未来几年会是什么样子。我的意思是，告诉我我们在 2020 年 3 月不知道什么。我认为在未来几年，我们将看到的不是你所说的那些巨大的颠覆。我认为在未来几年，我们将看到 AI 系统从非常实用的工具转变为承担更多负担，在创造经济价值方面。我认为这将非常不均衡。它将在某些领域比其他领域更快发生。所以，例如，在软件工程领域，我认为在未来几年，AI 编写的软件比例将上升。所以，在几年前，你需要 100 名软件工程师，也许你需要 20 名，而这 20 名使用先进的 AI 工具。在几年内，我们将看到 AI 从一种有用的工具转变为做真正有意义的生产性工作。>> 并提高这些领域工作者的生产力。它还会在某些领域的劳动力市场造成一些颠覆。然后，随着这种情况的发生，嗯，我认为关于 AI 的许多讨论是
即将发生转变，变得更加严肃。因此，它将从仅仅是“哦，这真的很酷”的阶段转变。你可以让它帮你规划假期，在你孩子遇到困难、不理解家庭作业或任何其他事情时提供帮助。通过这些事情。
然后，它将转变为“好吧，这不是什么新奇的工具”。这实际上将从结构上改变经济和社会以及各种事物。我们需要思考如何构建这个新世界，因为我相信如果我们能够驾驭这种能力，这可能是一个真正的黄金时代，因为我们现在拥有能够大幅提高多种事物产量的机器，对吧？并推进科学，并减轻我们可能不需要做的各种劳动，如果机器可以做到的话，对吧？
所以这里存在一个机会，但这只有在我们能够以某种方式将这种令人难以置信的机器能力转化为一个社会愿景时才是有益的，在这个愿景中，人们作为个体和作为社会群体能够蓬勃发展，并从所有这些能力中受益。因为与此同时，你会有那 80 名不再需要的软件工程师，以及所有其他员工，目前的入门级员工，你知道，毕业生们正注意到他们是第一个受到影响的人。
有任何行业不会受到影响吗？
>> 嗯，在短期到中期，我认为会有很多事情。所以水管工经常会说，对吧？嗯，我认为在未来几年，即使人工智能发展得很快，但纯粹是认知意义上的，我认为机器人技术还不会达到能够成为水管工的程度，然后即使成为可能，我认为在价格上与人类水管工竞争还需要很长时间，对吧？所以我认为有很多工作不是纯粹的认知工作，相对来说可以免受这些影响。
有趣的是，目前很多工作薪酬很高，都是精英认知工作，对吧？所以是那些做我不知道的 >> 嗯，那种有权势的律师，他们正在处理全球复杂的并购交易，以及那些在金融领域做高级工作的人，或者现在人们正在做你知道的高级机器学习软件工程，所有这些类型的事情。嗯，>> 数学家，>> 我很喜欢一个经验法则，>> 如果你可以在网上远程完成工作，只用一台笔记本电脑，你不是穿着某种全身触觉套装，控制着机器人，你知道，只是普通的界面，键盘、屏幕、摄像头、扬声器、麦克风，你知道，鼠标。如果你能完全以这种方式完成工作，那么它可能就是认知工作。所以如果你属于这一类，我认为先进的人工智能将能够在这种基础上运行。嗯，在某种程度上。
另一件我认为具有保护作用的事情是，即使它是认知工作，某些类型的工作和人们所做的事情也可能包含人际互动。所以，例如，假设你是一名网红，对吧？你工作，你可能可以在远程完成这项工作，但事实是你是一个具有特定个性的人，人们知道背后有人，你知道，那里发生的事情，在很多情况下可能是有价值的，对吧？
>> 这让很多人感到失落，不是吗？
>> 我认为我们需要的是，就像我向罗素集团提出的建议一样，我们需要研究社会所有这些不同方面的人认真对待通用人工智能。我的印象是，很多人都没有。当我与那些对其中一个特定事物感兴趣的人交谈时，比如，“哦，是的，这有点像，你知道，它是一个有趣的工具，有点好玩，随便吧”，>> 但他们没有内化他们现在看到的东西，以及他们目前知道的任何局限性，顺便说一句，这些局限性通常已经过时了。通常这些人会说，“哦，我一年前试过用它做某事。”就像一年前相比现在的模型来说已经是古董了，而一年后它会好很多。嗯，他们在某种程度上没有看到这种趋势。
我实际上认为许多普通公众比专家更了解，因为我认为有一种人类倾向，你知道，如果我与非技术人员谈论当前的人工智能系统，有些人会告诉我，哦，它难道没有人类智能吗？它说的语言比我多。它解决数学和物理问题的能力比我高中时能做到的要好。它知道的比我多的食谱。它可以帮助我处理各种事情。我对我的纳税申报表感到困惑，并向我解释了什么，或者别的什么。他们说，“那么，它在哪些方面不智能呢？”你知道，这就是我和许多非技术人员交谈时得到的一些东西。但通常，在特定领域拥有专业知识的人，他们真的很喜欢感觉自己的领域非常深刻和特别，而这种人工智能不会真正触及他们。
>> 我想以你现在相当著名的关于通用人工智能的预测来结束，而且你在这方面保持了十多年的惊人一致性。事实上，你说到 2028 年实现通用人工智能的几率为 50/50。
>> 是的。
>> 这是最低限度的通用人工智能吗？
>> 是的。
>> 哇。而且嗯
>> 你仍然是 2028 年的 50/50 吗？
>> 是的，
>> 2028 年。你可以在我 2009 年的博客上看到。
>> 你对完全的通用人工智能怎么看？你对它的时间表是什么？
>> 嗯，几年后。可能是三年、四年、五年、六年。是的。
>> 在十年内。
>> 是的，我认为会在十年内。
>> 你有没有因为拥有所有这些知识而感到有点虚无主义？
>> 我认为这里存在巨大的机会。很多人付出了巨大的努力，做了很多工作，而这些工作并不都那么有趣。我认为这里有一个巨大的机会，就像工业革命利用能源来完成各种机械工作，从而创造了更多的社会财富一样。现在我们可以利用数据、算法和计算来完成更多认知方面的工作。因此，这可以为人们带来巨大的财富，而财富不仅仅体现在商品和服务的生产等方面，还体现在新的技术、新的药物以及所有这些方面。所以这项技术具有巨大的潜力。
现在挑战在于，我们如何在应对风险和潜在成本的同时获得这些好处？我们能否想象一个未来世界，我们真正受益于智能真正帮助我们蓬勃发展，那会是什么样子？而这，你知道，我无法简单地回答。我对此非常感兴趣。我将尽我所能去理解。但这确实是一个深刻的问题。它涉及到哲学、经济学、心理学、伦理学以及各种问题，对吧？嗯，我们需要更多的人来思考这个问题，并努力想象那个积极的未来是什么样的。
>> 肖恩，非常感谢你。至少可以说，这拓展了我的思维。人类并不擅长处理指数级增长，而此刻，我们正站在曲线的拐点上。通用人工智能不再是遥远的思维实验。我从与肖恩的谈话中发现最有趣的是，他认为公众比专家更了解这一点。如果他的时间表是准确的，而且他过去一直很准确，我们可能没有时间进行缓慢的反思和认识。我们面临着困难、紧迫且可能真正令人兴奋的问题，需要认真对待。
现在，你一直在收听谷歌 DeepMind 的播客，我是你的主持人汉娜·弗莱。如果你喜欢这次谈话，请订阅我们的播客或给我们留下评论。下一集我们将与 DeepMind 联合创始人 Deis Habis 坐下来交谈。所以相信我们，你绝对不想错过那一集。