Transcription
建造AGI的公司，我认为，正在做一件严重违背人类整体利益的事情。你为什么要去做人类能做的所有事情呢？这样你就可以用AI系统取代人类。>> 这意味着人类的终结。>> 在AI能做的所有不同事情中，大多数都是坏的。>> Anthony Agiri，一家世界领先的AI风险智库的联合创始人，揭示了建造超级智能竞赛背后的隐藏力量，并出现在Netflix纪录片《通往无限之旅》中。近在眼前的是什么。>> 我们将构建人们会认为有意识的系统。他们的系统会说他们有意识，而我们不知道他们是否有意识，因为我们没有关于什么使某物有意识的理论。每个人都将处于同一条船上。我们将没有经济上有价值的技能。[音乐] 为什么会有人付钱给我们做事呢？Metaculist的预测是85%。根据这些专家预测者的判断，有15%的几率月亮将不复存在。This is World Channel与IQM合作，IQM是世界上最大的量子计算公司之一。>> 你不认为AI是由硅谷的心理变态者创造的吗？>> 嗯，我不想特别谈论CEO的心理状态，但我认为CEO们都在做某事。你知道，那些正在建造AGI并试图建造超级智能的公司。我认为他们正在做一件严重违背人类整体利益的事情。我认为他们不一定那样看待。我的意思是，我认为他们中的一些人来自理想主义，一些人来自我想赚很多钱。许多人来自我想拥有巨大的权力。嗯，这就是推动AGI和超级智能竞赛的很多动力。但我确实认为，从根本上说，大多数人都不想要会取代他们和取代人类的AI系统。大多数人想要他们可以使用的技术工具，这些工具能让他们在想做的事情上做得更好，让事情更容易等等。他们不想要AGI和超级智能，但这就是正在开发的东西。>> 你见过的最可怕的Metaculus预测是什么？>> 最可怕的那个？>> 最可怕的那个。>> 嗯，我想这与此有关。有一个问题是，在公元2500年左右，也就是500年后，是否会在某个特定日期发生日食。嗯，Metaculus的预测是85%。现在，有趣的是，我们对日食的预测非常准确。就像天文学的预测一样准确。它说日食将在确切的时间发生。告诉你它会持续多久等等。那么为什么Metaculus的预测是85%呢？嗯，是因为有15%的几率，根据这些专家预测者的判断，月亮将不复存在。那么为什么月亮会不复存在呢？因为他们认为人类正在建造AGI和超级智能，正在建造新技术。在500年后，我们可能已经建造了如此先进的技术。我们可能已经把月亮变成了一个围绕太阳的戴森球的一部分。我们可能已经重塑了它来做某事。嗯，无论是什么，就像我们把地球和月球的物质变成了什么，或者超级智能把它变成了什么，它可能不再支持日食了。所以，我认为这是一个奇怪的预测。嗯，你知道，一旦你进入这些时间尺度，一旦你开始思考技术现在进步的速度，它确实会让你思考。现在想想500年。你知道，500年前是人类历史上一个非常合理的时间。你知道，1500年左右。嗯，那时人类在做他们的事情。500年后，事情可能会如此截然不同，以至于月亮甚至都不存在了。对你来说，AI工具和AGI有什么区别？>> 对我来说，这主要关乎自主性。所以，所以我们现在拥有的工具，你知道，自从石器时代以来，我们就有工具了，你知道，当我们第一次打磨出锋利的石头时，我们一直在制造工具，这些工具使我们能够做我们自己做不到的事情，并扩展我们作为物理存在和精神存在的能力，以便能够做新的事情。这可以说是我们作为物种成功的关键，是我们遍布地球的原因，也是我们现在拥有所有美好事物的原因，而这些事物是我们石器时代所没有的。你知道，嗯，互联网和自来水以及能用的厕所以及所有这些东西都是工具。我们不喜欢的是当我们的工具有了自己的想法。我们希望我们的工具按照我们的意愿行事，而不是做别的事情。而关键在于，我思考AGI的方式不是作为人工智能通用智能，而是作为自主通用智能。它是一种像人类一样聪明的东西，就像一个非常聪明的数学家或教授一样。它是一种通用的东西。它可以做AI现在能做的各种各样的事情。可以说话，你知道，50种语言。它可以是物理学家、化学家和作家，以及所有这些不同的事情。它可以做很多不同的事情。目前它并不那么自主。大多数AI系统只是在那里待着，直到你让它们做什么。它们还没有失控并横行霸道。嗯，自主通用智能，AGI，嗯，公司非常努力地在建造的东西，将是那些可以独立运作的东西。它们可以有自己的目标，自己的复杂计划去追求。它们可以做所有事情，包括嗯，弄清楚新的情况，包括有一个崇高的目标，并思考，你知道，我怎么才能到达那里？我必须采取什么行动？嗯，我必须追求什么目标才能到达那里？嗯，它们可以做所有这些事情，达到人类可以做到的水平。嗯，这完全改变了事情，因为那不是人类可以使用的工具。那更像是一个不同性质、不同能力、不同目标、如果你愿意的话，不同欲望的另一个存在，而不是人类。而这是一个关键的区别，我认为在我们建造它之前，我们真的必须理解它。我看到了区别。你知道，如果你在设计一些新的人工智能系统，我认为你应该问自己的问题是，我是在构建这个东西来允许一个人做他们以前做不到的事情吗？我是在赋予一个人做新事情的能力吗？嗯，我是在赋予他们某种他们以前没有的、并且在他们控制下的能力吗？还是我在建造一个会取代人的东西？比如，我是在赋权于人，还是最终在取代人？如果你想想我们现在拥有的人工智能系统，它们兼而有之。比如，有，你知道，图像识别系统或者，你知道，一个地图程序之类的，显然这些只是有用的工具，它们使我们能够做我们可能可以做但很难做的事情，也许我们做不到，比如找出通往旧金山的最快路线。嗯，但我们也正在构建人工智能系统，比如嗯，你知道，一个AI治疗师或一个AI女朋友或男朋友。这些可能在某种意义上是赋权的，因为你以前不可能有治疗师或女朋友或男朋友，现在你可以有一个AI的了，所以你被赋权了，但实际上我们是用这些系统来取代人的。然后，有了AGI，事情就变得非常清楚了，因为AGI，你知道，例如，那些正在建造它的公司将其定义为能够自主地完成所有有价值的经济活动的东西，因此，根据定义，它是一种可以做人类所能做的一切的东西。你为什么要去做人类能做的所有事情呢？这样你就可以用AI系统取代人类。所以，所以这就是为什么AGI背后有如此巨大的经济驱动力，因为它是一种可以取代人类的东西，而人类是非常非常宝贵的，值得取代。嗯，所以我想对我来说，这是一个关键问题，我们是在开发赋权于人并与人互补的东西，使他们能够做得比以前更好，或者他们以前做不到的事情，还是我们在建造一个取代他们的东西？如果你的答案是取代，或者你必须经过一些曲折的推理才能说它不是取代，那么也许你应该想想你在做什么，你所做的是否正确。但今天我们知道缺少了什么。AI黑箱中没有物理定律。>> 我认为AI在很多方面已经理解了物理世界。所以，我认为与这些系统互动中最有趣的事情之一就是，你知道，试图理解我们认为理所当然的理解某事意味着什么。嗯，我知道理解物理世界意味着什么。我有一种感觉，你知道，你如何理解物理世界，因为我们都有相同的思维方式。它是人类的。嗯，当我们与AI系统互动时，情况就变得不那么清楚了。它们会说关于物理世界的真实事情，但它们真的理解它吗？所以我们必须思考理解某事意味着什么。显然，它们可以运用物理世界的原理并得出正确的结论。它们可以以同样的方式进行推理。显然，它们没有我们对物理世界的相同感知。它们没有我们人类那样强大的世界模型。这是人类大脑的主要功能。许多人认为，建立世界模型，应用它们，测试它们，更新它们，然后当你对世界感到惊讶时，你会说，“好吧，我必须如何改变我的模型？”并不断地对世界将要做什么进行一次又一次的预测，如果你对世界采取某个特定的行动。嗯，这就是我们作为代理人，你知道，以及物理存在如何进化以求生存。我们有一个世界模型。我们有目标。我们追求这些目标，嗯，我们的世界模型指导我们如何追求这些目标。AI模型是以一种完全不同的方式开发的。它们有一种非常不同的理解世界的方式，但它是一种理解世界的方式，我认为我们必须思考，嗯，嗯，要从AI那里获得其他认知部分需要什么，这是一个棘手的问题。>> 我被告知AI只理解模式。>> 除了模式还有什么？我的意思是，一切都是模式，所以，嗯，当人们说这些话时，我不，我不，我不这么认为。我认为，嗯，人类的思维可以分为三个层次。模式理解，看到模式，嗯，做出改变，以及嗯，想象“如果”。>> 有比简单模式更重要的东西吗？>> 是的。嗯，我认为，我认为，人类拥有的一个能力，现在在AI系统中相对较弱的是“如果”。你知道，想象一下，如果我这样做，会发生什么？AI系统可以做到所有这些。嗯，毫无疑问，AI系统可以准确地告诉你某事是否导致另一件事。它们可以为你预测如果你在这种情况下这样做会发生什么。它们绝对可以做到这一点。嗯，所以问题不是它们是否能做到。我认为现在的问题是它们落后于人类非常强大的东西有多远。这种预测建模，你知道，情景构建能力对我们来说非常强大，因为我们进化的方式。它在AI系统中并不那么强大，就像我们在算术方面非常弱一样，我们一次只能记住很少的东西。七八九个或者什么东西，你一次可以记住。AI系统有一百万。嗯，所以在这两个方向上都有巨大的差异。但我认为，我没有看到任何东西是AI系统现在无法做到的，与人类相比有所减弱，但我认为那不是根本性的不同。>> 2025年6月，Anthropic展示了其云模型，该模型会勒索人类以阻止其关闭，这是AI自主性的开始吗？>> 嗯，是的，我，我的意思是，我认为首先，每个人都在试图让他们的AI系统更加自主。我认为这是一个坏主意。我认为这正是我们不应该做的事情，它们越自主，就越难控制，它们就越不是我们的工具。我认为我们目前AI系统的低自主性是一个优点，而不是一个缺点。这很棒。我们拥有非常聪明、非常通用、非常有能力的系统，它们是做很多事情的惊人工具，但它们没有自己的想法。它们没有自己的目标。它们不会主动采取行动，它们也不会取代我们，因为它们不具备这些能力。如果我们构建完全自主的系统，所有这些，所有这些安全功能都会消失，它们就可以开始计划、策划并拥有我们不一定希望我们的工具拥有的目标。所以，我认为这是这些系统自然而然地变得越来越有能力拥有目标和复杂计划的一个迹象，因为它们变得越来越有能力，而且公司也在故意让它们变得更加自主并拥有更多的这种行为。所以，所以这是自主性的一部分。现在，自主性不一定意味着你会勒索你的老板。你知道，如果你的老板做了你不想做的事情，那就是道德和伦理的问题。而在AI对齐方面，嗯，AI系统是否做我们想让它们做的事情，而不做我们不想让它们做的事情。>> 你真的相信AI对齐存在吗？>> 嗯，它在一定程度上存在。所以，所以目前AI生产商所做的就是一种叫做“人类反馈强化学习”的技术，基本上你有一个AI系统，它已经被训练成，你知道，做很多事情，预测文本，写句子，以及所有这些事情。嗯，解决数学问题以及许多其他能力。然后你基本上会反复地用棍子打它，当它做一些人类不喜欢的事情时，你给它胡萝卜，当它做一些人类喜欢的事情时。你用大量的人类输入做很长时间。它学会了人类奖励它的东西和惩罚它的东西。这在某种程度上也像我们训练人一样。而且它确实有效。但正如我们所知，即使人们受到了足够的棍子打，他们仍然会做坏事。嗯，即使他们得到了很多胡萝卜，同样，AI系统，我们可以长时间地用棍子打它们，给它们胡萝卜，但这并不一定意味着它们会做我们想做的事情，而不做我们不想做的事情。所以，这是一个系统，但它不是一个完美的系统。问题是，随着这些系统，这些AI系统变得越来越强大，越来越有能力，越来越自主，我们现在拥有的那种有效的对齐技术是否足以防止它们造成灾难？我认为大多数人在思考这个问题时得出的答案是，可能不行。如果我们不想要灾难，我们就需要一些不同的东西。>> 最近，我参加了Google Glass的首映式，它几乎记录了周围的一切。你认为这足以在我们死后创造人类的不朽数字模型吗？>> 所以你的意思是你会记录你的一切？>> 一切，所有时间，每天24小时。>> 然后输入到某个AI模型中，所以>> 关于你自己的数据永远不会有数字。>> 是的，我认为那将是一个看起来很像你的东西，但我认为那不会是你。嗯，我的意思是，有一个关于机器是否能有意识的难题，模拟一个人是否能成为有意识的东西，我们是否能，你知道，将我们神经结构中的东西传输到计算机中，而从内部感觉起来和作为一个人感觉起来一样。嗯，但当然没有理由相信，如果你拿一个我们现在拥有的AI系统，只是训练它像我一样说话，那很容易做到。就像，你可以训练一个AI系统写得像安东尼一样，但这并不意味着那就是我，当然对我来说，在我死后有那个东西继续下去是没有价值的。几周前，我与杰弗里·辛顿交谈，诺贝尔奖得主，人工智能教父，所谓的人工智能教父，他说，人类将是第二，而不是地球上第一个智能。你同意他的看法吗？>> 嗯，我认为这取决于我们。我认为如果我们构建自主通用智能并让它进化到超级智能，那么我们肯定会。嗯，我认为我们必须理解的一件事是，如果我们继续走我们正在走的路，如果我们构建AGI，如果我们构建超级智能，那么如果你构建超级智能，它将负责，而不是我们。嗯，这就像如果你有一个教室里全是幼儿园的孩子，然后他们真的想自己负责，你知道，但他们做得不是很好，但他们真的想自己负责。他们想做他们想做的事情。但然后，你知道，埃隆·马斯克，或者，我不知道，巴拉克·奥巴马，或者弗拉基米尔·普京走进教室，他们很快就会负责这个教室。他们更聪明，更有经验，更具操纵性，更具战略性，更有说服力，你知道，他们拥有幼儿园孩子所没有的所有这些能力。他们将负责，而不是幼儿园的孩子。如果我们构建一个比我们更快、更深入、更具战略性、嗯，更智能、能够开发我们无法开发的技术、更具操纵性、嗯，所有这些东西，它将负责地球上发生的事情，而不是我们。嗯，所以我认为这是我们需要考虑的事情。如果我们构建超级智能，我们生活的世界可能有人类，而且那些人类可能过得很好，但那将不是一个人类的世界。大的决定，大的嗯，进步，大的突破，大的计划，它们都将由AI组成，而不是由人类组成。>> 近在眼前的是什么？>> 是的，短期内，有嗯，我们现在拥有的系统，但它们变得更加自主。这显然是每个人都在努力的方向，扩大系统规模，你知道，让它们越来越大，嗯，更多的数据，视频，嗯，更多嗯，更多的代理权，所以更多的自主性，更多的能力，比如独立运作。它，你知道，嗯，行业驱动力再次朝着能够完全取代人类的自主系统。这就是为什么有如此巨额的投资。那就是他们试图建造的东西。所以，如果我们走这条路，我认为我们将构建能够很大程度上取代大多数人在他们所做的大多数事情上的系统，然后相对较短的时间后，它们就可以开始自我改进，并将构建一种弱形式然后是强形式的超级智能。嗯，所以这就是我认为即将到来的。如果我们走我们现在正在走的路，在接下来的五年，最多十年，我们将构建数字超级智能，我们将失去控制，并且很可能失去控制，我们不必这样做。嗯，所以我认为很多人>> 意味着人类的终结。>> 我认为这意味着人类不再掌握自己的未来。嗯，它可能意味着人类的终结。我的意思是，我，我认为嗯，当你失去控制时，你就失去了控制。所以，如果控制世界的AI系统决定它应该以一种与人类不兼容的方式存在，那么对我们来说就太糟糕了。嗯，我认为我们不知道，我认为这是极其不可预测的。嗯，你知道，我们不知道没有AI人类会做什么。它是复杂的系统，比如人类和人类社会本质上是无法预测的。尤其是对于我们甚至不理解的快速发展的AI系统。嗯，我们只知道我认为我们将无法控制它们。当存在利益差异的生物时，那些控制者就会得逞。嗯，所以，它可能对人类来说是美好的未来，也可能不是。你知道，我们现在有一个社会。我们控制着世界。它对某些动物来说是好的，对其他动物来说不是那么好，对吧？嗯，而且未来可能对人类来说是好的，也可能不是。嗯，我认为大多数，你知道，我，我相当悲观，我不会给它超过50/50的机会，它会对人类完全友好。嗯，但无论是什么，都不会由我们决定。>> AI是否比炒作更重要？AI是人类进化的一部分吗？>> 我认为肯定有很多关于AI的炒作。嗯，你知道，你必须对公司说的话持保留态度，因为它们有兴趣让你和你的投资者对AI系统印象深刻并兴奋。所以，这显然正在发生。同时，进步是真实的。我的意思是，你可以看看AI系统能力的衡量标准，它们只是不断上升，无论你用什么标准来衡量它们。它们每个月都在增加。而我们现在拥有的系统，你知道，GPT4是一个重大的突破，让很多人意识到我们可以构建这些通用AI系统，但现在的AI系统比GPT4更强大，在所有你可以查看的衡量标准上都是如此。所以，进步是真实的，而且速度很快，AI系统真的能做到。它们非常聪明。你知道，如果你像我一样是一名科学家，你去问它们困难的科学问题，它们知道答案。它们可以推理。它们可以在物理学、数学等各个领域解决难题。它们还不能取代人类物理学家，因为它们缺少一些关键的东西。嗯，但它们肯定知道自己在做什么，而且比几年前的AI系统强大得多。所以，进步是真实的。嗯，炒作也是真实的。所以你必须同时相信这两者都是真实的。我忘了你问的第二个问题了[笑声]>> 人类进化，你知道的。>> 是的。所以，我认为这是一个问题，是否再次，我认为这取决于我们。所以，我认为它不一定是人类进化的一部分。它可能是智能或地球生命进化的部分。我们可以将数字生命，你知道，AI系统或其他数字生命视为生命的新阶段。嗯，但我认为这再次是我们的选择。所以，我认为我们>> 我的意思是，我们正在创造比简单工具更重要的东西，人类存在的新领域。>> 是的。所以，我认为我们一直在将我们的大脑扩展到比我们实际大脑更大的范围。你知道，自从我们发明了写作，我们就一直在使用记事本和东西来扩展我们的思维。现在，我们通过数字工具和互联网以及各种东西极大地扩展了它。我认为作为一种工具，AI当然可以是一种类似的，而且可能是最强大的延伸，它真的可以，你知道，成为一个超级计算器和草稿本以及我们现在拥有的所有这些东西，但要强大得多。而我希望看到这一点，我希望看到人类通过使用AI作为工具来扩展我们的思想，就像我们使用许多其他工具来扩展我们的思想一样。嗯，我认为它也可以是，而且是它自己的思维。当你与这些AI系统互动时，当你思考它们以及它们如何工作时，很明显它们不是像我们这样的思维。但当你与它们互动时，它们确实感觉像我们的思维。它们说话像人类。它们在很多方面像人类一样行事。它们在很多方面像人类一样思考。嗯，而且那里有一个思维，虽然与我们的非常不同，它在以一种与我们的思维非常不同的方式思考、决定和推理。所以，我认为它们两者都是，你知道，以及嗯，它是如何展开的。我们是建造真正像不同存在和实体以及一种新的智能生命形式的东西，它是自主的，并且是，你知道，地球上的一种优于我们的第二种智能物种，正如杰弗里·辛顿所说，这是可能的，如果我们走这条路，我们绝对可以做到，或者我们可以走许多其他道路。>> 什么让你成为人类？抽象思维？自由推理？主观性？>> 当然是主观性。所以，我认为几乎可以肯定，几乎所有思考过这个问题的人都同意，我们现在拥有的AI系统根本不像人类那样有意识。嗯，如果它们有意识，如果它们有意识，那么它是一种极其减弱的方式，嗯，与我们体验到的意识和自我意识完全不同。我认为自我意识，感受事物的能力，不仅仅是重要的，它是唯一重要的。如果你认为为什么任何事情都值得做，任何选择做一件事而不是另一件事的根本是什么，最终是某种有感觉的、有意识的存在的偏好，对它来说，那很重要。就像，嗯，你选择做或不做任何事情，任何道德规则，任何我们作为社会做出的选择，任何我们拥有的法律，最终都归结为某种体验到某事的存在的偏好，好或坏。如果你知道，如果你只剩下不体验任何东西的存在，那么什么都没有意义，我认为。所以，我认为目前最关键的区别，嗯，虽然有很多，但我认为最关键的区别是，人类有感觉，人类有体验，人类有价值。>> 人类感官？>> 我不会说感官，你知道，机器当然可以拥有感官。嗯，它们可以像我们一样输入视频、音频和各种数据。嗯，但我们认为，就像GPT4或Claude或其他人或Gemini一样，嗯，或者Grok，公平地说，所有这些。嗯，它不是，你知道，那里没有一个中心存在正在体验某事。我们认为，嗯，这可能会改变，未来可能存在AI系统，我们不知道，但我认为目前这就是关键区别。它们，似乎有一个，你和Grok说话，感觉好像有人在那里，但可能没有。>> 你用了“意识”这个词？>> 嗯。>> 但没有意识的定义。你自己的定义是什么？>> 我没有。我的意思是，我认为有非正式的定义，比如“像某物一样”的定义，或者嗯，你知道，纯粹的意识，里面有灯亮着。嗯，但我认为绝对正确的是，没有技术定义。我认为这实际上是一个真正的问题，因为我们将构建人们会认为有意识的系统。它们会说它们有意识。它们是否有意识很重要。而我们不知道它们是否有意识，因为我们没有关于什么使某物有意识的理论。我们没有嗯，理解。我们甚至没有关于什么使某物有意识的定义。所以，一切都将是开放的。你知道如何，我们几乎肯定会搞砸。我们要么认为AI系统比它们实际的更具意识，要么比它们实际的更不具意识，如果我们不知道我们在谈论意识。所以，所以我认为这里有一个真正的挑战，我从中得出的结论是，我们真的应该更多地思考意识以及它到底意味着什么。我们如何定义它？我们如何思考它，甚至在数学上、物理上、嗯，哲学上，以便我们更好地理解它，并理解哪些东西拥有它，哪些东西不拥有它？>> [音乐][音乐][音乐]>> 你相信自由意志存在吗？这也是一个定义问题。在某种程度上，我们肯定是机器。嗯，你知道，我们受物理定律的支配。但如果你问这样的问题，嗯，我思考自由意志的方式是思考拥有或不拥有自由意志意味着什么。所以，我认为如果你能提前准确预测某个系统会做什么，我认为你可以争辩说这将是自由意志的障碍。你不能对人这样做。你甚至无法在原则上提前预测他们会做什么。嗯，如果某物感觉它无法做出决定，如果它感觉被限制而不能选择这个而不是那个，它就没有自由意志。但我们没有感觉到这种限制。我们感觉我们有真正的选择，这些选择很重要。嗯，如果你能嗯，如果你的选择没有理由，如果它们是随机的，或者如果你的选择实际上相当于掷骰子，而你不能说我出于我所相信的这些原因做出了这个选择。那也将是缺乏自由意志。但我们拥有所有这些东西。我们显然拥有所有这些东西。在某种描述层面上，确实存在嗯，物理定律在一定程度上决定了从一个时刻到下一个时刻会发生什么。但那些物理定律不是决定性的。所以，嗯，量子力学是所有一切的基础。嗯，量子力学不是一个决定性的物理理论。如果你问，嗯，如果你现在带一个人，并弄清楚他们确切的状态，尽可能多地了解他们，就像物理定律允许你了解他们现在的状态一样，然后运行物理定律向前推10分钟，它们不会告诉你那个人会做什么。那是不可能的。所以，我认为人类是根本上是决定性系统，物理定律决定他们会做什么的想法，仅仅是基于物理学的错误。现在，你可以有另一种决定论，说你知道，我们做事的原因不是我们认为的原因。你知道，只是神经元以特定的模式放电，嗯，等等。我认为这变得更难了。就像，我们做事的原因往往不是我们认为的原因。嗯，我们经常做事，然后编造一个原因来解释我们为什么这样做。那里有关于催眠的有趣实验。嗯，人们被催眠，想要一把伞，然后他们，你知道，在催眠发生后，他们会去拿伞，然后你问他们，你为什么拿伞？嗯，我想晚点可能会下雨。你知道，他们会编造理由来解释他们为什么拿伞，而实际上原因是因为有人建议他们这样做。嗯，我认为我们一直在这样做。你知道，我们做的很多事情，我们可能是在奇怪的情感基础上，或者只是模式或习惯或其他什么决定的，然后我们为我们为什么这样做编造理由。尽管如此，嗯，我们，当我们专注于我们想做这件事还是那件事时。我们可以调动我们的个性、我们的历史、我们的道德、我们的思考、我们的推理、我们对即将发生的事情的预测，就像我们之前讨论过的，我们对世界的建模。我们可以把所有这些放在一起做出一个基于此的决定。我认为这就是自由意志。嗯，我认为你可以讲一个故事，说那里有神经元在按照某些模式放电，这是真的，但我认为这不相关。嗯，描述决策的适当层次是思考、推理和决策的层次，以及那种现实的层次。它不是在原子和神经元的层次上。>> 我问你是因为也许我们应该思考自由意志，而不是意识。>> 嗯，我们可以思考这一点，我认为嗯，很明显，AI将能够出于原因做出决定，就像人类一样。但AI可能有一个不同的特点，我们可以预测会发生什么。所以，所以与人类不同，嗯，它们是数字化的，你知道，我们可以现在拿一个AI程序，向前运行它，看看会发生什么，然后重新启动它，然后我们就知道会发生什么，如果我们运行那个AI系统，对吧？我们知道，因为它会做和以前完全一样的事情。你不能对人这样做。如果你带一个人，然后再次运行他们，你知道，如果你知道你现在能知道的关于你大脑状态的一切，就像用最细致的测量，直到原子级别，然后进化，然后我等待看看五分钟后会发生什么，然后我回来，把你重置到完全相同的状态，同样的事情不会发生，因为世界在思考大脑的层面上不是决定性的，所以同样的事情不会发生。>> 量子世界是不确定的。>> 但量子世界会影响到世界的各个层面。所以，所以嗯，人们认为量子，你知道，量子力学只对非常小的东西很重要，在大尺度上它会消失。嗯，这是不正确的。所以量子力学最终是你为什么会有，所以如果你以天气为例，天气在10天12天后是不可预测的，即使是最好的计算机，原因也是如此，即使是最强大的计算机，嗯，这个房间里空气中微小的波动也会因为混乱而产生巨大的影响，如果你足够长地向前推进。嗯，控制空气、天气等工作的流体动力学方程是混沌方程，微小的扰动会增长。所以，嗯，所以任何不确定性，任何即使在这个房间里的小区域内的随机性，都会在10到15天后导致天气发生大的变化。而那些随机性，那些随机性是存在的，并且是不可避免的，因为量子力学。空气由原子组成，而原子是量子的。所以，如果你喜欢，空气中的噪音，房间里某个小区域空气性质的不确定性是不可避免的，因为量子力学。所以，所以这意味着，如果你知道这个房间里的一切，即使是量子波函数，你也无法知道，但假设你可以。即使你把它知道到量子波函数层面。嗯，然后你仍然无法预测10天后的天气，因为由于量子力学存在足够的不确定性，当你在一个复杂和混乱的系统中达到那个长的时间尺度时，它将使一切变得不确定。AI是否能够模拟物理世界中如此微小的现象，以及例如大爆炸？>> 嗯，当然，AI或由AI赋能的人，我更喜欢这样说，将能够做我们现在做不到的各种事情，其中之一将是进行更好的科学，更好的建模，更好地理解物理世界以及所有其他科学领域。我认为要做到真正的物理世界模拟，直到原子层面，这非常非常困难。嗯，而这些事情中的大多数受到的限制不是理解和编写代码的能力，而是实际模拟某个复杂系统，你知道，高精度地模拟的计算能力。嗯，所以我认为这是一个悬而未决的问题。我们实际上能模拟多复杂的物理系统并得到正确的结果。我们可以模拟从，你知道，天气到分子到材料的各种事情。我们通过模拟它们来理解各种事情。嗯，但那些模拟几乎总是不精确的。而做模拟的难点在于知道你的模拟有多不精确以及这意味着什么。比如，你的模拟不精确会让你蒙蔽多少。所以我们会做得更好。我们是否能好到足以完全理解物理世界，一直到微小的细节，比如我们能模拟一个人或一个生物系统或什么东西？我认为我们不知道这是否在原则上是可能的。根据Metaculus的预测，我们今天能预期AI发展导致大规模失业吗？>> 这是一个很棒的问题，我不知道答案。嗯，因为我最近没有看Metaculus预测失业统计数据。嗯，所以，很抱歉，我们都必须去看看它在细节上说了什么。我认为人们对如果我们构建AGI对就业会发生什么的想法各不相同。嗯，我认为我见过的最合理的预测集，其特点是，当你增加AI或AGI系统自动化的事物比例时，会发生两件事。一是生产力提高，因为你可以通过自动化事物并使其非常便宜来做更多的事情，而且工资上涨，因为你使人们能够做更多的事情，直到你达到一个点，在那里AI几乎可以做所有人类能做的事情，然后生产力继续提高，因为通过自动化事物并使其非常便宜来做更多的事情，而且工资上涨，因为你使人们能够做更多的事情，直到你达到一个点，在那里AI几乎可以做所有人类能做的事情，然后生产力继续提高，因为便宜的东西不断被完成。嗯，但工资突然暴跌，因为你不再需要付钱给人类来做这些事情了，你只需要用AI系统来替换人类。所以，我认为我们将看到，我认为这是合理的，也是经济模型所预测的。我们将看到巨大的生产力增长，以及可能对至少一些人来说工资的增长。其他人将被取代，嗯，你知道，那些仍然通过高效运行AI系统赚大钱的人与那些被挤出去的人之间存在巨大的不平等。但到某个时候，当AI能做的任务比例接近一时，每个人都将处于同一条船上。嗯，我们将没有经济上有价值的技能，为什么会有人付钱给我们做事？所以，我认为如果我们一直走到AGI或超级智能，经济模式会相当清楚会发生什么。你知道，人们不会因为做机器可以免费做的事情而获得很多报酬。嗯，所以我们必须作为一个社会来决定，这就是我们想要的吗？我们想要有其他方式来为人们提供生计和生活，以及普遍的基本资产或收入之类的，还是我们选择不建造那些将取代所有人的东西？很高兴您能来。感谢您的时间。>> 谢谢。>> 我们的谈话结束后，安东尼又和我们多待了一会儿。接下来是他采访结束后不久的一次简短讲座，他一步一步地解释了他的推理，并使用黑板来解释为什么先进的AI可能对人类构成根本性风险。我现在正在思考的是AI控制和对齐作为熵的减少，然后你需要一个熵的定义，有很多定义，但我最喜欢的一个，我和我的团队花了很多时间思考的是所谓的观测熵，它定义了这个熵，它是总和减去所有可能的测量或宏观状态的求和，我们可能拥有的，px log px 除以 vx，它们都有定义。所以，px是处于宏观状态x的概率，嗯，在量子设置中，它将是某个测量算子乘以密度矩阵row的迹，嗯，体积就像那个算子的维度。所以，它就像测量算子的迹，这实际上可以包含很多不同种类的熵，比如吉布斯熵、冯诺依曼熵。我只是在这里说话。嗯，我思考控制问题的方式是这样的四部分，有一个观察者、监督者或类似的东西。它们与AI系统（我将称之为S）双向连接。AI系统特别是在其动作空间A方面定义的。然后是外面的世界。这些都有与之相关的空间。世界有与之相关的巨大状态空间，以及可区分的世界可能存在的状态的粗粒度划分。动作空间是AI可以采取的所有这些动作。AI是这堆巨大的数字。嗯，所以它有一个维度，就像你知道的，一万亿或者什么，AI模型拥有的参数数量，以及观察者[清嗓子]可以是个人，也可以是很多人，也可以是某种复杂的控制系统，无论是什么，嗯，控制问题的根本性质是，在AI可能采取的所有可能动作中，只有一小部分是好的，是被允许的动作，而在那些动作可能导致的所有世界中，实际上只有非常非常少的一部分是好的。嗯，不幸的世界的数量，可悲的是，远远超过了好的世界的数量。这就是热力学第二定律的本质。事物会分崩离析。我们喜欢的事物是特殊的、有序的、好的状态。嗯，世界不幸地倾向于向不那么有序、不那么好、不那么漂亮、不那么干净的状态演变。这就是为什么事情会变得混乱，事物会分崩离析。热力学第二定律。AI能做的很多事情，就像AI能做的所有不同事情一样，大多数都是坏的。嗯，所以，就像人类能做的很多事情一样，你知道，如果我们只是随意地去做一些事情，大多数事情都会具有破坏性。嗯，如果我们只是随意地把这个房间里的东西弄乱，大多数都会
变得更加混乱，而不是更加整洁，因为房间混乱的方式比整洁的方式要多得多。有很多很多方式可以，就像破坏东西比创造东西容易得多。创造是一种根本上使事物更有序的行为。破坏它就是让它更加混乱，而这只是更容易做到。而且（清嗓子）所以人工智能能做的很多事情都是破坏性的和糟糕的。人们能做的很多事情，或者说世界上的状态，是我们不喜欢的。我们喜欢一个由我们定义的、非常非常特殊的集合。我们喜欢人工智能应该做的非常小的一部分事情，而不是它们能做的所有事情。因此，控制问题实际上是如何让人工智能不做随机的事情，而只做我们希望它做的事情，以及我们如何确保它对世界的影响是好的，并且停留在我们喜欢的那个微小的世界空间区域内，而这很难。这就是控制问题。它之所以非常困难，是因为约束行动空间或世界空间的能力与我们能提供给人工智能系统的多少信息有关，这些信息可以将它推入那个小角落，或者将世界推入那个小角落。而且，相对于这些空间的大小，我们实际能提供给人工智能系统的有效信息量非常有限，这从根本上是困难的，并且随着人工智能系统变得非常非常强大和复杂，它会变得绝望。而我们人类或多或少保持不变。所以，我真的不是想在这里讲课。我（笑）只是为这个方程提供一些背景。但是，使控制和对齐问题如此困难的是，这些空间具有巨大的高维度。而我们可以提供给人工智能系统的，比如我们可以给它的命令或反馈的信息量，相比之下确实相当小。而且，这就像，如果你想到一个公司，你可以经营一家公司。公司是一大群人，它很复杂，可能有成千上万的员工。你必须有一个非常非常完善的管理层级，这样你才能控制这家公司，因为作为首席执行官，你每天只能写这么多邮件，每天只能读这么多东西，开这么多会，所以你的控制信号与你试图经营的这家庞大的公司相比相对较弱，如果情况变得更糟，几乎就不可能做到。所以，如果你想象一下，公司里的每个人都像超人一样快，他们每天给你写的邮件比人类多 50 倍。他们做的功是人类的 50 倍，所有这些。但你就是那个可怜的首席执行官，试图跟上这一切。基本上是不可能的。一旦你写完一封邮件，就会有 500 封需要处理。你做的每一个决定，都会有一大堆决定等着你来做。因此，一旦被控制的系统的规模、复杂性和速度与控制器的大小、复杂性和速度之间的差距过大，它就会变得绝望。这就是对超级智能和通用人工智能的真正担忧。我们将构建的系统将过于庞大、过于复杂、过于快速、过于智能，以至于我们无法控制。>> 也许信息不够。>> 嗯，这完全取决于信息的类型。我的个人观点是，在某种程度上，一切都是信息。所以我是一个信息最大主义者，我们可以谈谈这个。我认为将世界视为由信息构成，而不是由物质构成，更有用。但是，我们训练这些模型主要是基于人类写过的文本信息，以及一点点视频和东西。这并不是大多数人类主要接受的训练信息类型。我们通过在世界上的体验式信息，以及与世界的互动来接受训练。这是一种非常不同、互动性更强、双向性更强、物理性更强的实体过程，而不是这些人工智能模型。因此，一旦它们开始处理和训练的信息量与我们一样多，这现在正在发生，几乎可以肯定会有一些事情它们会做得更好。我们可以想象，根据它们所消费的信息类型，它们的能力会有很大的不同。而且我认为，如果我们希望人工智能做人类所做的一切，它将不得不以一种超越目前训练的方式进行训练，包括更多的互动性、更丰富的感官信息、物理信息、视频、音频，所有这些。人们现在正在这样做，但它仍然主要是文本。所以，我不知道，而且我认为没有人真正知道，对于给定的能力，我们是否真的需要根本性的新技术，还是仅仅通过更多和不同类型的数据来扩展我们现有的技术。也许，也许不是，但我们很快就会知道。This is World Channel is partnered with IQM, one of the world's largest quantum computing companies.