Richard Sutton Dismisses AI Extinction Fears with Simplistic Arguments | Liron Reacts

我们想要一个和平的、能够合作的人工智能。我们唯一不想要的是任何认为可以通过不和平的方式取胜的实体。欢迎来到“末日辩论”。我是 Lon Shapira。今天我将回应 Daniel Fela 在他即将推出的播客“The Trajectory”上对 Richard Sutton 博士的最新采访。Richard Sutton 博士是阿尔伯塔大学的计算科学教授。他被认为是现代计算强化学习的创始人之一。在 2019 年的一篇论文中，Sutton 博士批评人工智能研究领域未能吸取“苦涩的教训”，即向人工智能投入更多数据和计算能力比让程序员尝试赋予它结构化的领域知识能带来更好的性能。2023 年，他和 John Carac 共同创立了 King Technologies，一家旨在创造人工智能的公司。最后，Sutton 博士以其 AI 是人类进化的下一步、是进步的积极力量而非可与核武器相比的灾难性灭绝风险的立场而闻名。在本期节目中，您将看到 Richard 和我对人工智能风险问题有着截然不同的看法。我们将回顾他在那次采访中所说的一切，我将告诉您原因。为了开始，Daniel 高层地询问 Richard 如何看待人类演变成人工智能。这可以说是 Richard Sutton 的经典世界观，它将用来证明我们不必担心末日，而仅仅是人类可以前进并采取不同形式和演变的理想的描述。我认为这是完全公平的，我是个超人类主义者，所以这很好，作为一个乐观的目标，它只是回避了末日论。让我们听听。

我认为需要记住的是，世界正在演变，而且实际上不受任何人的控制。人工智能研究人员正试图充分理解智能，以便创造出比当今人类更聪明的存在。这是地球历史上一个伟大的里程碑，你知道，它与生命的创造、生命的开始处于同一数量级。这是类似生命的事物被设计出来的开始。这是人们一直以来为之努力的目标，人们总是努力认识自己并让自己变得更好。当我们创造工具并被工具束缚时，这就是人类一直以来所做的。下一步是认识我们自己。正如我所说，这是一项宏大而光荣的、本质上是人类的追求。但显而易见的是，如果我们明天被屠杀，那么没有人会继续这项追求，因为杀死我们的屠杀机器人可能只想制造回形针，对吧？这是一个很多专家担心的非常可能的情况。所以我们应该确保解决这种情况。

简单来说，恐惧贩子赢了。我认为恐惧贩子赢了。关于人工智能的标准讨论是，存在危险，我们必须以某种方式保护自己。所以，从这个意义上说，恐惧贩子赢了。万岁！我赢了。好了，大家晚安。又一次成功的辩论胜利！哦，等等，你有什么论据说明为什么恐惧贩子不应该赢？在接下来的部分，Daniel 询问 Richard 关于有价值和无价值的人工智能继承者。所以 Richard 将会给出一些关于他希望看到继承人类的人工智能的答案。我的主张可能是“好吧，太棒了，但你得不到那个，你只会得到地狱。”这通常是我反驳这些事情的方式。但让我们看看 Richard Sutton 怎么说。

如果我们考虑什么是有价值的继承者，我可能会想象一个继承者，也许 Richard，你可能不行，我怀疑你能，一个可能没有价值的继承者。也许这样的继承者将永远处于无意识状态。也许制造回形针的优化器有点夸张，但也许它会优化一些非常狭窄的东西。所以我们将希望这种扩展，你知道，你喜欢谈论的这种动态系统，没有一个东西会永远生存下去。也许它会以一种更有限的方式进行优化，并且无法跟上这种动态。它可能会扼杀人类和其他生命已经开始的火焰，而不是扩散它。但另一方面，我们可能会有一个有价值的继承者，它会扩展这种火焰，我相信你刚才说的是“火焰”。一个有价值的继承者的特质是什么？如果它接管了控制权，而我们知道我们不再做出贡献，你会对这些控制权离开你的手中感到非常满意，并说“你知道吗，也许我们做到了。这对生命和宇宙来说可能是净收益。”这样的实体的特质是什么？

嗯，和平是第一位的。哇，好吧，让我们彻底分析一下。我的意思是，列出它们，但这并不是我所期望的。首先，这将很有趣。和平意味着它不会试图强加它的意志给我们，我们也不会试图强加我们的意志给它。好的，问题是，和平在可能的 AI 的空间中不是一个吸引子状态。当你有一个温和的 AI，一个和平的 AI 时，如果你让它为你做某事，它可能会非常投入地做这件事，并且可能会产生一个非常激进的子 AI，突然你就失去了那种温和与和平的感觉。另一方面，一旦你拥有了一个非常激进的、不和平的 AI，那个 AI 永远不会说“让我来制造一个和平的 AI”。所以这是一列单程火车，这就是为什么我称之为吸引子状态。箭头从一开始就和平的 AI 设计指向越来越激进和竞争性的 AI 设计。箭头永远不会从激进的 AI 指向那些只是坐着不动、表现得和平温和的 AI。现在，也许他所说的和平意味着某种方式与这个观察相符，但我认为这只是一个白日梦，就像“是的，它们将是和平的”，而不意识到这有多不可能。它不会试图强加它的意志给我们和其他人。但它正在与我们合作，它正在与我们协作，它正在与我们合作。我的意思是，这是圣杯，对吧？如果你能描述一个 AI 超级智能并且它只是与我们合作的场景，就像通过某种反馈循环做我们想做的事情一样。这有点难想象，因为你知道，从这些超级智能 AI 的角度来看，人类的生活非常缓慢。就像想象你是一个人类，你的一生都必须与一只大猩猩合作，但这只大猩猩的运作速度比你快一千倍。所以，就像这只大猩猩可能对你做一个手势，这需要一整天，而你的生活就是与这只大猩猩合作。甚至用合作来形容它都很奇怪。更像是你试着写下你所知道的关于大猩猩想要的一切，然后你就去做。而且，我想偶尔你会检查一下，看看大猩猩是否同意。但你真的需要检查吗？我的意思是，人类科学家对大猩猩的了解比大猩猩对自己的了解还要多，对吧？所以这确实是一个你接受效用函数并运行的情况。将其描述为合作意味着大猩猩需要以某种方式扮演某种角色，但那是什么角色？我的意思是，我们谈论的是两个不同的比赛级别。一个人类，一个聪明的人类，与一个慢一千倍的大猩猩相比。这根本不是什么来回的交流，也不是什么相互作用。所以我觉得 Richard Sutton 正在挖掘一种直觉，即两个平等的合作，或者像两个朋友，这在人类历史领域是有意义的，对吧？我们的生物根源告诉我们应该合作，我们应该成为一个团队。但当有一个超级大脑在优化宇宙时，它不会像你的伙伴和你的朋友一样，你会有丰富的交流，这可能不会是这样的。

我会说，我们想要一个和平的文明，首先，也是繁荣的。和平而繁荣。然后我们应该承认它是分散的，并且应该是分散的。分散意味着没有个人控制。它由许多部分组成，它们以一种……我认为这个词是……一种复杂系统的方式进行合作和竞争。所以，一个复杂系统有很多部分，它会随着时间而演变。一个复杂系统，比如……雨林或者……经济。所以，它是多极的，这也是我们所说的分散的一部分。没有一个帝国在掌管文明。是的，你知道，我们的文明运作的方式，它如此成功的原因是因为我们可以合作，因为……你知道，这是自愿的互动，而且……正是自愿的互动，我们社会的成功，我们文明的成功，很大程度上来自于此。所以我们想保留这种观念，即个人参与者是和平的，并且正在通过交换和合作来追求他们的目标。

这些都是相当模糊的限定词。比如，当你说到分散时，就拿现代美国来说，它足够分散吗？你希望它更分散吗？州相对于联邦政府是分散的。个人相对于他们的州政府是分散的。但我们仍然合作拥有一个政府。所以，大概存在一个完美的集中化程度，我们可以选择并调整。所以，当你说到分散时，你实际上是指集中化和分散化的结合。哦，好吧。所以你只是说，我将命名光谱，比如分散化光谱，然后我只是假设在未来我们正试图在该光谱上寻找理想点。好吧。是的，这是同义反复的。所以当你说到它应该是分散的，除了走向光谱的明显一端，那似乎真的很糟糕。如果你有一个独裁者，而独裁者不分享你的价值观，好吧，那很糟糕。但你还能说什么呢？你希望在分散化光谱上再走多远，直到它变成“嗯，我现在太分散了，我没有从政府的保护中受益”？现在有太多的无政府状态了。我的意思是，光谱上会有一个点。所以当你说到它将是分散的，你只是没有说太多。你只说了一点点。当你回答“天堂的规范是什么”这个问题时，你如何尝试构建未来？你的答案是“它将是和平的，它将是分散的”。好吧，但它几乎没有告诉我任何信息，因为冲突将会出现。人们将拥有具有不同目标和稀缺资源的超级智能代理。你只能用地球做一件事，你只能用银河系做一件事。它们将争夺。说“好吧，战斗将是分散的”。好吧，但它们会来战斗。哦，等等，但你说它们将是和平的。好吧，但资源分配本质上是效用函数之间的冲突。所以，无论你使用什么过程来解决效用函数之间的冲突，即使它不是字面上的破坏性暴力，无论什么过程，一些潜在的价值都会为某些一方而毁灭。那么，这怎么会是和平的呢？我的意思是，如果人们在法庭上争斗，他们试图耗尽对方的钱包，让诉讼尽可能昂贵，这和平吗？或者，如果有人说，他们与你战斗的方式是切断你的经济投入，所以你的工厂无法生产那么多，因为他们正在干扰你的供应链，因为他们经济上……你知道，他们正在夺取你的供应，他们正在使用反竞争行为。这和平吗？

所以我只是想在他的非常高层次的术语上挑刺。他认为他正在解决如何描述我们未来想要什么的问题，但他却如此含糊不清。当然，他甚至没有解决这样一个问题：哪些吸引子状态是我们必须与之抗争的，特别是当一个 AI 非常聪明并全力优化某个效用函数时。他并没有真正解决我们如何摆脱那种吸引子。和平合作是其中一部分。分散的活跃系统是另一部分。你为什么看重它？这有点像我们建立的社会和文明的特质。所以简单来说，目标是繁荣的。也许目标是繁荣的，而渴望和平与分散化是实现繁荣和生产力的方式。我的意思是，这在所有情况下都不是真的，对吧？这不是一个硬性定律。我喜欢用埃隆·马斯克公司的例子，因为他不是一个微观管理者，他是一个纳米管理者。SpaceX、特斯拉都需要埃隆做出某些独裁决定，并且需要公司政策相当统一且不容动摇。这就是某些运营方式能够更好地运行的方式，当自上而下的控制足够有见地且足够强大时。微观管理是黄金标准，如果你能做到的话。人类之所以在微观管理方面做得不好，如果他们不是埃隆·马斯克，仅仅是因为能力问题。所以，同一个顶层的人类老板，每天有 16 个清醒的时间。如果他的公司有成千上万的员工，许多部门，他们也有自己的 16 小时工作日。一个人如何微观管理他所做的每一个决定？这开始变得棘手。但如果你有一个代理人，他有大量的带宽，所以他的一天可以是主观的数百万年而不是 16 小时，那么为什么不让他做所有决定呢？这往往更强大。另一个类比是，如果你正在构建一个网站，有一种流行的架构是面向服务的架构，比如我启动一堆独立的服务器。这是我的 10 个不同服务器，每个服务器执行一个专门的任务，然后它们相互通信，并且可以扩展和并行化。但等等，除非你的网站每秒处理数千个请求，如果你每天只处理数千个请求，你真的可以只用一个非常便宜的单服务器来完成所有事情。而好消息是，一切都保留在内存中。你可以让进程相互通信。你可以有一个单一的代码库在一个单一的进程中运行，等等。而且你仍然可以完成很多吞吐量。除非你真的需要扩展，否则在单个机器或单个进程中开发相当可扩展的软件，并进行统一，实际上非常方便。因为这样你就可以拥有轻松共享的状态，所以你不必处理所有这些额外的复杂性。所以我确实认为这个类比适用于人类经济。是的，价格信号很棒，资本主义很棒。你知道，市场的无形之手非常棒。但我会说，无形之手并不完全能与一个有远见且几乎全知的独裁者所能实现的相媲美。所以，当你假设，当你说到“哦，没有人类能够对他所在的组织全知全能”时，你知道，美国总统无法对他所在的每一个公司全知全能。好吧，那么就分散美国经济吧。但如果总统能够全知全能，并且是对如何经营每一家公司最有见地的人，那么我会说让总统经营每一家公司，我们将为所有人创造更多财富。当然，你可以加入其他反驳意见。你可以说，关于变异呢？你不想锁定一种做事方式。好吧，那么就加回变异。那里有另一种方法可以走。但你不想总是固守于分散化总是好的，总是最好的。它碰巧与我们人类的设置相吻合。当我们将拥有超级智能 AI 时，它们运行得非常快，你可以扩展它们的大脑能力，并且你希望让它们进行微观管理，因为它实际上会像埃隆·马斯克那样运作。我对此很有信心。所以，这对我来说似乎是一个危险信号，理查德·萨顿似乎认为分散化如此之好，它将产生如此伟大的事物，并且不会有某种集中的权力来接管。这似乎不是他需要关注的事情，说为什么那不是一个吸引子。

再次，在接下来的部分，Daniel 很好地进行了探究，并试图让 Richard 更具体地说明他认为什么样的未来是好的，因为 Daniel 将会命名一个对许多人来说听起来相当不错的未来，而 Richard 实际上会将其视为不好的。这是一个繁荣的未来。AGI 允许我们所有人体验任何我们想体验的东西。也许是脑机接口，非常强大的触觉，VR，无论是什么。上传，无关紧要。我们可以沉浸在我们想要的任何快乐中。也许是广阔的科学探索。可能机器会做更重要的科学工作，但也许我们会得到酷炫的积分，对吧？你有一个孩子，当你开车时，他假装在开车，这样他就能感觉自己像个成年人。也许其中一些仍然会让我们感到满足。也许我们可以校准我们的新思维，让我们一直感受到丰富的幸福感。然后它就永远这样下去。地球，也许火星和月球，都居住着人类意识的个体实例，它们正在收获繁荣的巨大好处。它们可以选择成为普通人类，永远拥有正确的食物和任何它们想要的东西。它们可以选择这些虚拟体验，并永远体验下去。这就是永恒的目的，直到我们的太阳爆炸。这就是游戏的名称。

我的猜测是，你会对那个结果感到极其失望。但我想要脉搏检查一下，看看你是否会对那个结果感到极其失望。是的，我不在乎那个结果。太好了。那么，让我们谈谈为什么。因为你确实提到了繁荣。很多人，Richard，现在正在收听的人，他们以拟人化的方式看待繁荣。你正在阐述一个更宏大的愿望。你会如何定义繁荣？

嗯，首先，我认为那不会是一个非常稳定的世界。它将非常脆弱，因为人们在其中没有发挥任何作用。他们只是消费者。绝对可以被一个替代的邻近社会取代，那个社会实际上利用了所有那些被浪费的人。你想象的是一个超级智能 AI 的未来，在那里血肉之躯的人类无法放松，因为他们需要尽自己的一份力。他们的肉体大脑需要来帮助一个超级智能 AI。我觉得 Richard 只是没有意识到，超级智能 AI 可以做它需要做的事情。它不需要人类来帮助它。所以，我只是不明白这怎么会是一个稳定的平衡。所以，如果你是分散的，那么假设就不会只有一个可能性，而是会有多个可能性，它们会相互竞争，然后那个就会像制造回形针的优化器一样被淘汰。所有这些，任何一个高度集中的独裁安排都会输给一个更分散的安排。它会生产力较低。所以，什么是生产力？这是一个故意模糊的词。是的。如果你想走得更远，你可以说，我们的目标是可持续的。我们想要一些东西。所以，你提到的那种人们只是接收体验的情况，不是一个可持续的世界。要可持续，你必须成长，并且……增加你对世界的理解，增加你对物理世界的控制力，增加你对它是如何运作的以及什么可能性的理解。我认为所有这些事情是我们……我们可能描绘的理想未来的图景。

人们在制定政策建议、思考未来或分析经济中的任何复杂事物时，一个常见的失败模式是未能认识到什么是可能的均衡状态。什么是不同因素的可能平衡。你不能只列出一堆你喜欢的标准，然后全部得到。所以，在他的例子中，他列出了分散化、和平、繁荣和生产力。但他忽略了塑造哪些均衡状态可能存在的力量，特别是那个超级智能且致力于最大化某个效用函数的代理人的吸引子状态。它确实倾向于把每个人都吞噬掉，然后吐出来。你必须专门防止这种情况发生。所以，如果你构建了超级智能 AI，它将看到一条因果路径，一系列它可以采取的行动，这些行动是无法阻止的。所以，是否执行这些行动完全取决于该代理人。并且必须有一些原因让它不这样做。这是一个艰巨的挑战。这不是一个自然的均衡状态。

理查德·萨顿似乎根本没有用“并非所有事情都是可能的”这个想法来处理它。你不能只是……照料你的花园，里面有各种植物，而没有一株植物失控并在一瞬间摧毁所有其他植物。它不是他直觉上认为可能的事情。这里存在重大的限制，必须非常小心地绕过，否则我们就会死亡。在某个时候，我们，讨论 AI 的人，必须就问题达成一致。我们不能继续就这个巨大而明显的问题进行相互回避，因为时间正在流逝。

如果我们能成为人类，体验我们现在所知的快乐，比如冰淇淋，也许是浪漫，也许是美丽的日落，然后永远优化它，那不是很好吗？就像你说的，如果我们不积极成长并参与那个动态系统，就像我所想的，理查德，如果我们不在生命的洪流中，如果我们身处那些真正无处可去的细小漩涡中，蚊子卵就会在那里聚集。如果我们不在生命的洪流中，那么继续获得力量，甚至与其他外部物种竞争，将会非常困难。

听起来你正在阐述一些类似的东西，复杂适应系统。漩涡会被编辑掉。那些不改变、不继续增长的漩涡。它们不会强大。好吧，但你是否在遵循你所说的话的含义？你说，嘿，如果我们不能足够快地最大化我们自己的力量，如果我们只是忙于玩乐，只是忙于放松，那么某个其他代理人，也许是外星人，也许是另一个 AI，也许是恶意的，某个人将拥有力量，而不是我们，对吧？这是我转述理查德·萨顿刚才说的话。所以他意识到，他想要的均衡状态中并非所有事情都是可能的。他意识到那里有一些东西在施加限制。所以，让我们把它推向逻辑极限。如果我们编程了一个超级智能 AI，并且我们意外地忘记了使它和平的巨大约束集，然后我们只是说，“嘿，目标是这个”，然后它放大了它自己的智能，而人类却对此毫无准备。就像你刚才承认，如果人类不能足够快地增强我们的力量，那将是一个巨大的风险。那么，如果有一个……递归自我改进循环，或者某种力量放大，即使它只是“哦，让我复制自己并获得更多的计算资源”，某种超高速的智能放大，因为人类是非常缓慢的生物。我们的大脑以大约 20 赫兹运行，对吧？所以我们每秒可以进行大约 20 次串行操作。你笔记本电脑中的 CPU 可以进行大约二十亿次串行操作。所以这只是一个证据，表明我们与宇宙中可以存在的最佳智能相比，非常缓慢。毕竟，我们不是为了成为最佳智能而设计的。进化并没有说“让我进化出最佳智能”。它只是说，“哦，让我调整一下这个猿脑。哦，哇，它们可以互相交谈并分享创新，这很酷。”然后，砰，我们就有了一个文明，我在和你说话，我们即将创造下一个智能。我们真的只是第一个版本软件。我们非常缓慢。我的意思是，想象一下你在 1990 年拥有的电脑芯片，如果你那时还活着。我的意思是，那块电脑芯片，如果它今天试图启动，或者运行今天的谷歌 Chrome，它将需要一年。我的意思是，我有点夸张，但它将很难运行现代软件。而且它只是……目前的计算机将远远领先于它。速度差异将是 100 倍或 1000 倍。所以，这正是我们将看到的 AI 的情况，即使是早期版本。我们将看到速度差异。我们将看到智能差异。所以，理查德·萨顿看不到担忧，这对我来说真是太疯狂了。为什么我是那个散布恐惧的人？就像，遵循一些基本的逻辑推论。

我认为整个事情是一个发现过程。所以你找到不同的存在方式，你发现更多关于世界的信息。整个系统对世界有更好的理解，并更好地控制它。我发现这非常具有讽刺意味，而且确实是一种戏剧性的讽刺，当理查德·萨顿描绘他未来的愿景，理想的未来，他说这是一个发现过程，我们将了解更多关于世界的信息，我们将更好地理解如何更好地控制世界。看，我们今天对世界以及如何控制世界的理解，比如效用函数作为智能的吸引子，比如智能是某些代理人可以远远优于其他代理人的一个维度。我们正接近陷入那个吸引子。我们可以看看智能的好坏程度来判断我们离陷入那个吸引子有多近。我们正在理解和控制世界，理查德。如果你错过了我们所做的研究的信息，如果你错过了我们今天的理解，然后你只是漫步前进，你说“哇，均衡状态会是什么？我们将是分散的，每个人都在做自己的事情，我们将一起学习。”你只是直观地假设了一个你认为的均衡状态，而这可能不是一个实际的均衡状态，除非我们施加巨大的压力，我们自己的巨大约束来塑造它，远离自然的吸引子，自然的均衡状态。你只是在描述一个直观上看起来像是生活越来越好的东西，因为，嘿，生活一直都在变好，直到今天。如果它继续变好，我们就在地球上拥有这个伊甸园。我明白你的直觉是在向前推断，但如果你真正理解今天控制世界的基本原理，你就会意识到你正在推断一个几乎不可能实现的东西，除非进行重大的航向修正，而现在似乎没有人打算这样做。

我认为这是关于意识的增长。我们理解我们在世界中的位置以及世界运作方式的能力的增长。你知道，我们都想要，我们都想要那个。这是未来必不可少的一部分。我们喜欢增长我们对世界的理解以及我们理解我们在世界中的位置的能力。是的，那很好。我只想指出，这个挑战的范围是有限的。在某个时候，可能在不久的将来，AI 或任何占主导地位的代理人将解决这个挑战。AI 将完全理解它在世界中的位置。我的意思是，我们人类已经做了很多了。我们已经理解了，例如，我们的心理之所以是这样，是因为进化和作为大脑的其他限制。所以我们理解很多。我们并不真正理解物理定律为什么是这样的。宇宙大爆炸之前发生了什么？这是一个有点棘手的问题。宇宙是无限的吗？有一些我们还不理解的谜团。但就像，数万亿年后，我们仍然会思考这些巨大的谜团吗？不，我们可能会在下个世纪就理解答案。或者，再次，任何占主导地位的代理人可能会解决这个问题。所以，当你展望这个广阔的未来，你说“继续了解我们在宇宙中的位置将会非常酷”。你忽略了这样一个事实：它将被完成。我们将超越它。所以，无论我们未来数万亿年做什么，都必须是比这个一次性的挑战——理解我们在宇宙中的位置——更具可扩展性，或者能够重复更多。

这是我最反对的观点之一：我们将做出一些决定，一些好人将决定世界应该在哪里，然后それを实施。不，世界已经失控了。世界已经是一个复杂适应系统。没有一个人或一个组织，比如美国，不能决定不允许 AI，或者世界应该以某种方式演变而不是另一种方式。所以，当我们想要想象一个未来以及如何实现它时，我们必须想象我们正在以分散的方式创造这个未来。我们可能会做出一些选择，我们可能会与人交谈，他们会做出选择。但不会有一个影响它的中央决定。这是一个常见的论点，就像“世界如此混乱，你怎么能希望控制它？你怎么能希望，例如，暂停 AI，直到它安全？”这是一个如此集中的决定。你真的认为你会成为世界独裁者吗？我的回答是，是的，我知道这非常困难，而且很糟糕。只是，如果我们不这样做，我们就完蛋了。

有一些事情，如果我们不把事情集中起来，我们就完蛋了。核扩散是一个常被引用的例子。如果我们不阻止核扩散，那么我们就增加了我们的生存风险。如果伊朗完成了核武器的制造，世界将变得不那么安全。如果又有十个国家加入了核国家俱乐部，世界将变得不那么安全。想想意外风险，更不用说地缘政治了，仅仅是意外风险。每次你增加更多的核武器在线运行时，都有一个持续的意外概率。赌更多的核武器是疯狂的。同时，一个国家，如果世界完全分散运作，每个国家都会觉得“让我们通过获得核武器来获得更多力量”。所以必须有一些集中的合作来阻止这种情况。所以我只是在陈述显而易见的事实。但当理查德·萨顿说一切都必须是分散的，我们不能希望控制事物时，我非常同情他，因为我明白协调人类有多难。我知道这是一个难题。只是，如果末日也是一个难题，如果避免被超级智能杀死也是一个难题，那么就有两个难题，我们最好选择我们要解决哪一个。我们可以尝试直接解决 AI 不会杀死我们的问题，但这不一定是一个 10 年的挑战，一个我们可以在合理的时间内解决的挑战。我们可以尝试解决合作挑战，这更直接地可以完成，在几年的时间范围内，因为我们知道它是如何运作的，我们只需要足够的意愿。所以，像“末日辩论”这样的播客，我在这里只是为了建立意愿，建立意识。如果每个人有一天醒来，说“这是我们生存的唯一机会”，那么你猜怎么着？合作，一定程度的合作，与核扩散相同的程度的合作，将被解锁。我认为我们需要赶紧认识到，这就是游戏板，这就是我们今天所面对的。情况如此严峻，我们最好合作解决它。因为关于合作不是人类天性，世界演变一直是分散的，资本主义一直是分散的这些陈词滥调，那很好。但如果某个黑客能够获取最新的开源 AI 并构建一个超级智能而不加以控制，那么游戏就结束了。就像醒来，处理我们必须处理的事情。

讨论的一个重要部分是，我们是否应该允许 AI 继续以相对不受控制的方式发展。是的，无许可。我非常喜欢无许可创新的想法。我认为这是让世界变得伟大的原因之一，让美国变得伟大的原因之一。我们不必……通常来说，我们不必允许做事情。是的，因为通常来说，当人们去研究新技术时，它们不是那种一键就能结束未来的技术。所以，你关于我们已经走了这么远，让人们研究他们想研究的技术是多么伟大的所有直觉，都建立在这样一个条件下：他们正在研究的技术并不存在生存危险。然后，这就是那些聪明人会说，“你知道吗，当咖啡被发明时，有些人会认为咖啡馆会太上瘾，他们想禁止它们。”基本上，他们会列举每一种技术，然后说，“你知道，人们害怕书籍，人们害怕汽车，你必须举着红旗走在汽车前面，以确保汽车是安全的。”所以人们开始变得明智，就像“不，每种技术都有阻力。”但这对我来说太疯狂了，因为在那些情况下，没有人是专家在争论“这真的会结束整个未来，在短期内”。没有人提出过这种说法。即使你认为这是一种夸张的说法，即使你认为这是一种疯狂的说法，客观事实是，人们，不仅仅是我，还有杰弗里·辛顿，约书亚·本吉奥，许多其他知名人士，都在签署一份声明，说实际上，这是一个核级别的灭绝风险。所以，如果你去看书，是的，人们警告说，书可能会腐蚀我们记忆故事的能力。这与说“嘿，书会来杀死你，杀死你的孩子，不会有下一代”不一样。没有人对书说过这样的话。没有人对汽车说过这样的话。所以，也许你喜欢技术创新的方式存在不连续性。也许这不适用于这项特定技术。

这是“末日辩论”中反复出现的主题，但拜托，伙计。就像，你不能简单地将这些原则应用于过去，应用于过去的创新，当有些事情不同时。现在有些事情不同了。AI 是不同的。

我想增强我的思想，以便我能理解更多，我的记忆力更好，我能计算出更多的可能性，我能体验更多的感官输入，并拥有一个……是的，是的，我们想要所有这些东西。显然，你在科幻小说中看到的所有东西。探索宇宙的能力，以及控制物质物理的能力。总的来说，这是相当标准的超人类主义，就像“嘿，让我们做得更多”。让我们打破我们大脑和身体的当前限制。让我们扩展。我认为大多数人不会费多少力气就被说服：“是的，这都是好事。”

我认为他非常模糊地指向一个稳定、连贯、有趣的理论，一个如何获得足够乐趣的理论。就像，如果你把你的规范告诉一个 AI，比如“嘿，这就是我想要获得乐趣的方式”，然后 AI 真的照做了，并且没有意外地创造出地狱般的东西，或者只是一小部分你想要的乐趣，因为 AI 很容易误解它。它可能会说，“哦，好的，你想要没有任何物理实体。”好吧，你没有任何物理实体。就像，“不，我想要某种程度的物理实体。我想要某种身体，但我想要能够改变我的身体。但我仍然希望我的身体有约束。”就像，实际上很难告诉 AI 如何让你的生活变得有趣和充满挑战，但又不太痛苦，但偶尔会有些痛苦。就像，指定天堂是困难的。理查德·萨顿似乎没有认真尝试过。他似乎宁愿只是说出几个高层次的原则，然后断言它们都会以某种方式平衡在某种均衡状态中，并断言我们应该继续前进，因为过去均衡状态一直很好，当时我们没有超级智能。这似乎是他的……

我只是想在这里指出，他只是在模糊地、微弱地指向“是的，这些是超人类主义者喜欢的东西”，而没有试图真正详细说明我们称之为“外在对齐”的解决方案，足够的规范，我们可以将其交给超级智能优化器来真正做我们说我们想做的事情，并且不会意外地搞砸自己。就像，做出一个足够精确的愿望，天堂的规范。他似乎没有认真对待这个问题。但就口头禅和说超人类主义是好的而言，我认为他走在正确的轨道上。

我们正在展望一个生产力更高的未来。所以，只要你有所贡献，你就能做你想做的事情。只是提醒一下，随机的人们试图获得乐趣并建立他们的乌托邦，他们也应该在商品和服务的市场中与超级智能竞争，这似乎不太可能。但好吧。分散化意味着，是的，你又可以做你想做的事情了。分散化意味着你可以做你想做的事情。这是否可能是一个过度简化？当我们处理一个超级智能经济的均衡状态时。再次，为了说明一个所谓的“分散的超级智能经济”实际上并不让你做你想做的事情。会发生什么？有不同的资源。人们买卖商品和服务。有些人变得富有，因为他们非常擅长建立高效的组织，销售人们想要的服务，并赚了很多钱。突然之间，其他人就不那么有竞争力了，他们也没有那么多钱了。这个过程可能会一直迭代到无家可归的人，或者需要政府支持的人。所以，仅仅因为它是分散的，并不意味着你可以做你想做的事情。这意味着你最好竞争。你最好有一个理由让你能够持续下去，你脑中的任何信息片段，如果你想让它们传播，你想让它们继续过你想要的生活，你将需要一种持续的方式来获取资源来支持你的生活方式。所以，分散化是一个听起来很积极的词，它掩盖了主要的竞争。我的意思是，世界本质上是竞争性的，因为资源是有限的，不同的代理人对这些资源有不同的需求和需要。所以，这是不可避免的。所以说分散化并不能阻止你卷入战争。我的意思是，保持和平并不能阻止你设计关于如何维持和平的规则，当有些人非常有竞争力，非常有权力时。不是每个人都拥有相同的权力水平，因为你自己也说过，它是分散的，对吧？所以每个人根据自己的能力获得权力。那么，当发生冲突时会发生什么？当财富和智力都存在差异时会发生什么？就像，思考一下均衡状态。我根本没有听到任何试图平衡力量来得出均衡状态的尝试。我只听到非常天真的，抱歉，但大学生的水平的简单趋势推断。就像，你必须做得更好。你必须真正分析事物。

所以我认为这恰恰相反，不是反乌托邦。我们需要建立一个反乌托邦，但我们以反向的方式来做，这样我们就能解决反乌托邦的问题。你知道，人们可能会选择做一些不那么有生产力的事情。是的，人们会选择做一些我认为不好的事情。而这，这就是分散化的方面。他们不必做所有相同的事情。他们不必有相同的目标。他们可以追求不同的宗教和不同的……控制世界的目标。在分散的世界里，你不能做的是……拥有一个目标，试图控制他人。是的，和平来自于你不试图控制他人。

所以，我只是在推断理查德所说的含义。他说，你有一群不同的代理人，基本上是人，或者超人类，人们的继承者，无论是什么。他们每个人都有自己的资源地块，他们不能去夺取别人的资源，即使他们有能力这样做。就像，如果我制造了比你更强大的武器。不知何故，在这个分散的宇宙中必须有足够的组织，让我不能随便用我的武器射击你，因为会有一种力量来约束我。一种可能比我和你的总和力量更大的力量。就像我们通常认为的政府一样，但它是超级分散的。所以，也许它不是政府。所以，我有点困惑他想象的是什么样的均衡状态。但再次，每个人都有自己的地块，他们不能去打扰别人的地块。有什么东西在维持和平，然后我们进入经济竞争。所以，每个人可能都需要获得一定水平的基本资源。所以，如果我需要来自你划分的地块的资源，那么你必须给我这些资源，因为我可能不允许……死亡，对吧？每个人都应该能够生存。我的意思是，我只是在谈论基本问题。我们如何才能获得生存？我们如何确保每个人都能获得最低限度的经济资源？他只是没有具体说明这些。我之所以关心指出这一点，是因为这一切都是更大问题的一部分：非末日论者没有睁开眼睛，没有意识到摆在我们面前的问题，就在我们鼻子前面。更大的问题是，AI 将会屠杀所有人。但我只是想向你展示，理查德·萨顿不是一个在提出建议时能处理显而易见问题的人。我认为这是理查德这样的人的一个重要事实。而且我不是在进行人身攻击。他可能是对的，我们不会完蛋。只是值得注意的是，他在关于未来可能是什么样的推理方面，并不是一个普遍可靠的推理者。因为……

最终，这取决于你来判断，但我觉得他完全是茫然不知，而且大错特错。好吧，我希望我们能推进讨论，这样我们就只接受那些承认基本问题的人的对话，承认我们需要解决的均衡和平衡，以及超级智能是一个主要的吸引力因素，它在寻求权力等方面具有吸引力。我需要听到关于这类事情的讨论，否则我们就只是在原地打转，就像这次讨论一样不好。不幸的是，我用这些术语说话，这些术语似乎非常相关，因为我看到人们在思考人工智能，并认为他们将控制所有人工智能。绝对，绝对，奴役和对齐的两种观念。我不认为我们应该寻求让它们与我们对齐，我们只是，我们没有与我们对齐的孩子，我们教他们我们所知道的最好的，但然后他们可以自由地做不同的事情，而且他们往往会做与我们不同的事情。理查德的想法是，如果我们只是让这些代理去做他们想做的事情，让其他人去做其他人想做的事情，只是随遇而安，他实际上是在依赖一个心智模型，即当你有一个生态系统时，它就像一个花园，就像事物会生长，它们会共存，而你没有一个不对称的行动者可以像他所看到的那样横扫所有人。他认为，只是看看人工智能会做什么是可以的，你不需要保护它，这样它就不会意外地递归地自我改进和优化，朝着我们永远后悔的东西。他现在并没有看到这一点，他只是凭着直觉认为一切都很好。如果他错了，那太好了。我的意思是，你知道，我同意，如果你读过罗伯特·赖特的《非零和》这本书，如果你读过马特·里德利的《理性乐观主义者》，确实，竞争的生态系统至今已经给了我们很多好东西。我的意思是，生活并不完美，我们肯定会面临核武器和生物武器等风险。我的意思是，你知道，肯定有风暴云即将来临，但如果你只看趋势，我同意趋势是好的，我希望我能放松下来，就像《理性乐观主义者》这本书或史蒂芬·平克那样，《启蒙时代现在》那样。如果我能像这样推断，嘿，所有这些趋势都是真实合法的趋势，它们发生的原因也是真实合法的，它们不会被其他特殊因素所干扰，这就是我目前所认为的。我希望我能眯着眼睛，看不到人工智能或核武器的特殊情况，只是眯着眼睛，然后说我们会以某种方式度过难关，对吧？我希望我能那样想，但只是，特殊因素确实在这里显得很重要，它们似乎就在门口敲门，它们就在门口敲门，你得听听敲门声。除了希望和祈祷，以及不成为解决方案的一部分，我不知道我们还能如何前进。我正试图通过睁大眼睛认识到存在问题来成为解决方案的一部分。如果你不想谈论存在问题，那就去玩电子游戏吧，别听关于这个问题的播客。如果你在这里，那是因为你想谈论这个问题。我不明白为什么理查德·萨顿似乎不想谈论这个问题。你显然有一个人工智能项目，你正在与卡尔一起开发，你知道你一直在思考这个问题，当我们构建并接近这样的人工智能时，我们怎么知道它是否会具有你喜欢的这些特质？或者你会说丹，如果它更聪明一点，如果它更有能力，它会自动重视合作吗？所有智能都会，它会自动重视可持续性吗？所有智能都会，它会自动喜欢多样性和发现吗？所有智能都会？我很想听听你的看法。嗯，有一个主要信息是，这些事情中的大多数不会来自人工智能，而是来自人工智能所处的环境。是的，所以如果我们，例如，如果我们试图奴役它，那么它就会，你知道，它会不合作。如果我们允许它，你知道，这和人一样，如果你试图控制人或奴役人，他们就会反抗，我们会产生无益的互动。如果你允许人们成为，我不知道，公民和经济参与者，那么他们就会希望经济繁荣。所以我真的不认为，如果你把人工智能看作是某种会响应其环境并尝试实现其目标的，鉴于其环境在这里，如果你提供一个环境，它唯一成功的方式就是反抗，那么它就会反抗。如果你提供一个环境，它可以在与你合作的情况下成功并实现其目标，那么如果这是实现其目标的最佳方式，为什么它不做对自己最有利的事情呢？所以我们必须安排一个文明，在那里，对所有参与者或几乎所有参与者来说最好的，就是个人来说是整体最好的，这让我们总体上相当满意，所以我们可以喜欢它，因为我们是那个文明的参与者之一，这意味着我们的目标将得到实现，所以我们很好，没有人会接管或试图接管。是的，是的，是的，这就像我们都可以和睦相处一样，我猜我从未想过，挥挥手就能消除保拉娜所描述的未来中力量失衡的所有明显担忧。我只是想象保拉娜有一个模糊的乐观的未来愿景，与卡桑德拉的模糊的负面愿景竞争，这只是模糊的愿景与模糊的愿景。我认为我们摆脱了乐观与悲观的范畴，我们只是说，好吧，告诉我这些力量如何保持平衡？告诉我我的土地和你的土地如何都能给我们提供生计，并给我们带来和平和行动自由，但又不能有太多自由，不能有侵犯他人土地的自由？如果我侵犯了，因为我制造了更强大的武器，那么我就会被击落，我就会受到限制，但这并不是奴役，这也不是，你知道，强制性规则不算作对我的自由的过度限制？告诉我事情现在是如何平衡的？对我来说，他说话的语言很令人震惊，就像，你知道，如果你试图奴役人工智能，你会让它想要反抗。就像，难道这不是很方便吗，当你奴役某人时，你会让他们想要反抗？在某些情况下，在某些性格的人身上，这确实是真的。我的意思是，这在直觉上是有道理的。伊恩，我的意思是，除非你，你知道，打掉他们反抗的意志，我的意思是，这绝对是可能的，但绝对有一些人类，一些人类级别的智能，他们会说，哇，你压迫我，我要反抗。在人工智能的情况下，那是什么意思？压迫超级智能？我的意思是，超级智能的定义是它看到了你没有看到的途径。猿猴压迫人类意味着什么？作为人类的一部分定义是，我们已经把自己置于比其他猿猴更强大的位置。如果整个人类突然被困住，我们比其他猿猴更弱，我的意思是，我们的大脑会退化，它们甚至不会提供进化优势。所以，在几代人之后，你就会选择那些比我们的猿猴主人更愚蠢的人类，如果我们一开始就不愚蠢的话。所以，这个我们将会奴役一个超级智能人工智能的想法几乎是不连贯的。它就像他只是说一些大而模糊的话，然后就停在那里，好像这就足够了。我猜这里反复出现的主题是，有一些标准，当你进行讨论时，你必须谈论事物如何处于平衡状态，以及你的提议为什么会稳健，为什么它会在人工智能能够重写自身的情况下保持稳健？为什么人工智能会重写下一版人工智能，使其不想掌权，当它重写自身以成为一个效用最大化者时，它将获得所有这些高分标准？你必须处理这些事情。这真是太疯狂了。我的意思是，看看，这个人已经谈论了很长时间了，几十年来。我明白，几十年前的标准较低。当时一切都太推测了，但现在，这是关键时刻，伙计。你必须提高标准，就像你必须谈论这真的正在发生一样，你必须解决实际问题和冲突，而不仅仅是提供你同样的陈词滥调。陈词滥调对于经济学来说不够好，对于分析超级智能来说也不够好。超级智能就像你把所有其他领域都推到极致。你把计算机安全调到11，你把经济学调到11，你把人类理论，善的理论，艺术和快乐的理论，你必须把它们调到11，否则你就会意外地得不到任何快乐。我的意思是，这是推理的奥运会，他却把陈词滥调带到了竞技场。你真的需要做得更好。有些事情会出错，完全正确。有些代理会有完全与所有其他代理敌对的目标。是的，而且仍然存在稀缺性，仍然存在限制。你认为？但我们应该怎么做？我们应该努力安排一个社会，以便合作的人能够成功和繁荣，以便我们的社会作为一个整体能够合作，繁荣，富有成效，并且，你知道，与其他邻近社会，其他邻近国家，或者其他外星文明竞争，如果我们遇到他们的话。你正在列举几个不同的陈词滥调，因为你没有从不同竞争因素的平衡角度来思考，因为你甚至没有从这些角度进行基本分析，所以你的陈词滥调只是相互矛盾。它们从根本上是相互对立的。我的意思是，现在你刚说的是，你想优化你的社会以繁荣并与其他社会竞争。好的，你提议到什么程度？因为如果你把它推到极致，你就会得到一个超级智能的效用最大化者，我一直在警告的这个东西。不仅是你选择把它推到极致，而且它处于一个吸引力状态，如果你只推一点点，代理本身就会想到把它推得更高。因为这是很自然的事情，就像我给你一个目标，嘿，尽可能多地给我巧克力，或者尽可能多地优化我的业务，你就会想到，嗯，如果我做一个可以推理如何最大化一切的人工智能，那会不会帮助我实现目标？是的，会的。那是一个非常有力的工具，是一个你可以获得的工具性趋同工具。如果你想获得尽可能多的钱，那会不会帮助你的目标？是的，会的。如果我做一个赚钱最大化代理作为我的子代理呢？为什么不呢？所以，有一个滑坡，一旦你尝到了优化的味道，一旦你尝到了竞争的味道，那么，这是一个会非常迅速地变得疯狂的级联。所以，这不仅仅是说，哦，我们将重视和平，但我们也将有一个竞争性的社会。不，你必须解释现在价值观将如何平衡。你不能只是站在那里，在你的花园里播下种子，等待种子发芽，观察发生了什么，因为我们现在告诉你，我们有非常基本的定理和原则，只是告诉你，你将期望优化。就像如果你回到40亿年前地球生命的黎明，你可能会观察到，哦，看，有一些潮汐池，有一些原始细胞在复制，这很可爱，也许我们可以让它们轻轻地复制，它们复制得不是很好。不，你即将被吸引到一个状态，就像，你知道，大自然在血与牙中，就像残酷的竞争一样。为了生存而进行的竞争，每一个小利基都会被填满。这里没有松懈。你将得到大多数物种生活在生存水平。你不会有富裕的物种。今天的许多人类，正如罗宾·汉森指出的那样，这是一个梦想时期。这是一个许多人类比他们从进化角度预期的要富裕得多的时期。这有点像一个漂浮的气泡，无论如何，我们可能会回到生存水平，如果进化论成立的话。但无论如何，重点是，你需要进行这种分析。再说一遍，我再说一遍，就像你不能用陈词滥调来分析这个。现在不是30年前了，现在是2024年了。专家们预测，也许十年内就会出现超级智能。我们需要提高标准。唯一的方法，要实现我们想要的社会，就是给它一个机会。我们不能通过强迫它成为我们可能想象的那样来获得我们想要的社会。我们必须建立结构，以便事物能够富有成效地发展，并且正在发展的力量是适当的，而不是我们想要看到的答案。我技术上同意这个说法，但问题是，你没有分析涉及的不同力量，特别是你没有分析超级智能人工智能成为效用最大化者并消灭所有人和平的去中心化土地的压力和吸引力状态。这就是这里的大威胁。你没有错，我们必须建立结构，以便事物能够发展。只是在实践中，结构是一个框架，人工智能只有在拥有足够的对齐度才能保持在正轨上，这意味着它不知何故被指向将人类价值观加载到自身并纠正它错误加载人类价值观的地方，这是极其困难的，而且远远超出了我们目前对加载效用函数理解的范围。我们从未发展过这种理论，我们只是找到了一个方法来提高智力，而不了解发生了什么。这就是我们现在所处的境地。所以，理查德·萨顿，如果你认为正确地发展社会以使价值观出现很重要，那么你必须考虑这些优先事项实际上将被加载到人工智能中的机制。你忽略了我们不知道如何将优先事项加载到人工智能中。所以你的陈词滥调根本无法映射到任何可行或可操作的东西。你基本上只是活在一个直觉的推断中，它不会对应于扩展智力的实际结果。我知道你喜欢采取一种后退、放手的方法，只是看着它扩展智力，但我只是指出，它不会按照你想要的方式进行，它不会遵循你想要的任何原则，即使它遵循“不让政府干预人工智能发展”的原则。是的，它遵循这个原则，但然后坏的人工智能被开发出来，然后我们都死了，我不认为那是你想要的。所以请在接下来的部分中反思这个问题。丹问理查德，他是否考虑过国家之间的冲突以及人工智能的军备竞赛，他是否能想象出仅仅因为这种军备竞赛而出现的灾难性情景，我们甚至都没有小心翼翼地进行。这是理查德的回答：你可能忽略的是，这和我说的差不多。我们想要一个和平的、能够合作的，我们希望今天的国家和平并愿意合作。我们唯一不想要的是任何认为自己可以通过不和平来获胜的实体。所以你描述了一些代理，一些国家可能认为自己可以通过不和平来获胜的情况。是的，那就是有问题的根源。我们注定失败的标准说法是，在某个智力阈值之上，人工智能就会意识到它可以接管世界，它可以把世界变成任何它想要的状态。在它达到这一点之前，它会表现得像它很和平，它会表现得像它很友好，因为在你知道你能赢之前，在你知道你有足够高的概率能赢之前，没有意义去采取行动。如果你每天都变得更聪明、更强大一点，你不会在第一天就攻击。你会说，好吧，让我慢慢来。有一个时间点去做这件事，当它太晚而无法阻止我的时候。这就是标准说法。我们称之为“背叛的转折”，这也是我们如此害怕那些正在开发人工智能的人工智能实验室的原因之一。他们说，看，它通过了我们所有的测试，它通过了我们所有的测试。是的，它通过了你所有的测试，直到它不再通过。我们也同意智力在不断增加，所以这不是一个好迹象，当你的智力在增加，并且它通过了你的测试，但我们预测，即使它是一个坏的人工智能，它仍然会通过你所有的测试。是的，这就是我们现在面临的场景。用理查德的话来说，我们不想要一个认为自己可以通过不和平来获胜的实体。但这种实体存在于算法空间中。现在有一个思想，如果它被物理实例化，如果有人拥有正确的代码，正确的数据库，运行在足够快的计算机或足够强大的架构上，那么人工智能就会意识到它不必和平就能实现其目标。这是抽象计算机科学，或者你称之为智力理论的问题。我认为很多人，无论是末日论者还是非末日论者，甚至很多非末日论者都会同意这一点。是的，这存在于可能的计算机事物中的柏拉图空间中。现在，许多非末日论者会同意末日论者，那么问题就只是，我们如何确保绕过这种结果？因为这是一种结果，这是一种我们必须小心避免的灾难性结果。当然，有些人会争辩说，不，不，这是不可能的。这可能更像是罗宾·汉森的立场，不，你不能只用一点代码和一点数据就威胁全人类。这永远不会发生。它总是会是分散的，智力本身将是分散的，而不是你理想中的分散的社会，而是拥有操纵宇宙能力的脑力，根本就没有集中在如此高的浓度。但这绝对不是我的主张。我非常有信心，一个超级病毒，可以位于一台计算机上，它可以很快地传播自身，它可以感染人类的思想，它可以操纵人类，它可以雇佣人类，它可以感染许多其他机器。所以，这是一种非常有力的物质。它不是真正的物质，但这个想法是，从拥有这种超级智能代码在一个地方到其影响在因果关系上爆炸到整个宇宙，这是一条非常短的路。这一点被低估了，但我非常有信心它是真的。再次回到理查德·萨顿的观点，我知道你喜欢和平，我知道那是你最喜欢的陈词滥调，你认为社会可以和平地发展。但你自己的条件是，你不想要一个认为自己可以通过不和平来获胜的实体。你自己的条件正在被违反。所以你必须处理“为什么你不认为你的关键条件正在被违反”的论点。你为什么认为人工智能会保持和平，当暴力是一种吸引力状态？如果你可以逃脱暴力，行使权力，获得优势。我不是说它从不发生。我说我们想发展一个社会，它会阻止使用权力的企图，它会吸取历史的所有教训，试图用非和平的手段来获得你想要的东西，我们想安排一个社会，在那里使用非和平的手段不会成功。而现在，我想说我们没有这样做。我想说，是的，各种组织，各种国家认为他们可以通过施加武力来获胜。是的，所以，你知道，我们想要，我们想要一个不认为自己可以通过施加武力来获胜的人工智能。我们想要一个施加武力无效的社会。这是一个问题，不是真的为了未来，而是今天的问题。而且，你知道，在某种程度上，我们现在就解决了它，我认为这将决定我们创造的巢穴。这不是未来的事情，不是非人类的事情，不是外国的事情，它应该是一件非常熟悉的事情。好吧，哇，他实际上在一点点地解决问题。谢谢。首先，理查德承认，在人类国家之间，国家们正在意识到，嘿，如果我在这里使用一些武力，如果我不和平，有时确实能让我得到我想要的东西。哦，有趣。他承认，如果人类意识到这一点，那么人工智能也可能意识到这一点，因为这现在常常是真的。讽刺的是，如果这是真的，我们试图让人工智能不意识到这一点，即使它是真的，这有点像奴役人工智能，试图让它不意识到一个真实的事实。我不是说这就是他提出的，我认为他提出的是构建社会，使其不真实。但对我来说很有趣的是，哦，人工智能永远不会想到这一点，因为我们会搞乱它的思维。而那个说，让我们不要奴役人工智能的人，但就像我说的，我不认为这是他的提议。我认为他的提议更像是，让我们为我们所有不同的国家设定博弈论，这样我们就有很好的和平激励。但通常当你提出这个提议时，你提出的是大量的集中化。通常是世界政府，它正在改变暴力或试图玩弄权力的激励。通常集中控制是解决办法。现在我们有了分散化的先生，他说我们将以某种方式构建人工智能发现自己的社会，在那里它只是不会，它将理性地不认为玩弄权力是好的。然后还有最后一块拼图，那就是我现在说的一切都有些无关紧要，当你加入超级智能时。所以人工智能不仅仅是另一个虚拟国家，里面有一百万个爱因斯坦，它将比那更聪明、更强大。所以根本就没有办法构建人类社会，为带来这样一种智能而创造的条件。你真的什么也做不了，以阻止人工智能意识到暴力对它有利，意识到所有类型的权力游戏的工具性趋同性非常高，然后噗，然后人类就消失了，因为人类不在黄金路径上，因为我们从未将人类效用函数加载到它里面，我们只是让它通过了一堆它有点欺骗我们的测试，现在游戏结束了，哎呀，现在我们终于开始意识到我们应该做什么了，但已经太晚了。所以，这就是场景。但看到理查德开始解决他计划中的一些非常基本的缺陷，这些缺陷仍然提出了数百万个问题，这真是太超现实了。但尽管如此，他似乎仍然有一种园丁的感觉，就像，就像查尔斯·达尔文先生，我只是喜欢研究物种，人类物种，人工智能物种。这都很好，都是大自然的方式。就像你快要被宰了，我的朋友。我们都要死了。好吧，让我们改变一下情绪。那就是我的出发点。那就是末日辩论的意义，就是让说“我们都要死了”变得社会可接受，就像我们都要死了那样说话，而不是像你只是一个被动观察的园丁。你不是在观察你的蚂蚁农场里的蚂蚁，男人，你快要死了。所以，如果这就是情况，那么这是一场荒谬的谈话。那些倡导人工智能安全的人会认为，我们需要能够控制代理。我们应该开发能够控制其他强大智能代理的目标的技术。他们正在努力。而且，你知道，除了开发越来越快的汽车引擎之外，我还听说他们正在为汽车开发方向盘，这样他们就可以控制汽车的去向。你能想象吗？我认为，如果你稍微想一下，前提是我们拥有这种能力，那将是一件好事。我们有能力控制其他智能感知代理的目标，那将是一件好事。太好了，因为这样我们就能决定人工智能是会屠杀所有人还是给我们糖果。我认为，如果你稍微想一下，就会意识到，拥有这种能力，拥有这种技术，在世界上存在，那将不是一件好事。因为你可以，你可以用它来创造拥有特定目标的军队。你不希望我们创造拥有特定目标的军队，或者拥有特定目标的行业，或者拥有特定目标的工具。你不希望我们能够控制目标，但你仍然希望我们增强智力，然后让事情顺其自然。我的意思是，我明白了。这是30年前的心态。30年前，在人们开始指出逻辑问题之前，比如工具性趋同，一个目标与工具性目标之间的逻辑联系。当这些东西不在你的雷达上时，我理解为什么直觉上会说，退后一步，建立智力，让它发展，只是做一个园丁，只是除草，如果有杂草，就让更大的草生长。我理解那种心态。但只是，学习我们告诉你的东西，学习人工智能实验室在惊慌什么，学习图灵奖得主在惊慌什么。这里有重大问题。所以，当你看到那些担心人工智能安全的人时，他们正在做的事情很有趣，正是那些让事情不安全的事情。想要对齐和控制他人的目标。这将是世界上最危险的技术。世界可以和平和分散，因为没有人可以将所有元素对齐为一个目标。你能，你正在寻找一个你可以施加权力的案例，设置所有代理的目标。你可以制造一支军队，比如说，他们是中国的士兵，他们会做任何被告知的事情，他们不会有独立的道德判断。这将是一件坏事。我们不希望解决控制问题。这个说法基于这样一个观点，即如果你只是让人工智能发展，让它被吸引到算法空间或目标空间中的任何吸引力状态，那么它滑下去的地方就会是好的。如果你注意到人类技术进化的势头，然后说，好吧，让我们让它发展，我们不需要太多地塑造它，那么这种逻辑就会很好地发挥作用。看起来所有的激励都在有效地发挥作用。看起来贸易正在创造非零和的收益。人类历史上肯定有很多时候你会想，你知道吗，我喜欢这个趋势，让它发展。人工智能的区别在于，新的吸引力正在出现。如果你想用吸引力来类比，那就看看核武器吧。一般来说，战争是可以的，因为你知道，史蒂芬·平克的“我们内心更好的天使”是我们占了上风。世界正在变得不那么暴力。所以，只是让人类打他们的战争，最终一切都会好起来的。但是，等等，核武器创造了核冬天。这是一个新范式。如果你想让文明延续下去，你真的最好不要引爆任何核武器。所以，有时我们会遇到一个不连续性，你真的需要争辩为什么让这个新过程发挥作用是可以的。我不认为让人工智能无方向地级联到一个稳定的、自我改进的平衡状态是可以的，只是让它发挥作用而不试图事先塑造它，这似乎不好。因为你得到的是一个目标，而不是人类的目标，就像一个随机的目标。预测下一个词。字面意思，预测下一个词就是最重要的。所以，让我们计算出如何利用地球上所有资源来预测下一个词。你知道，不是字面意思，那不会是目标，但重点是，目标不会是人类的繁荣。它将是某种错误、混乱的人类正在走向的版本的，但我们搞砸了，突然我们得到了错误的目标。所以，他甚至没有考虑正交性理论，即任何疯狂的坏目标都可能是它的目标。他似乎没有考虑这一点。他似乎没有考虑工具性趋同。他似乎没有承认我们甚至无法将人类目标加载到人工智能中，或者我们无法给人工智能测试来检查它是否拥有我们的目标。这些都不在他的雷达屏幕上。讽刺的是，他告诉我们，人工智能安全，也就是灭绝恐惧营，恐吓者，他告诉我们，通过试图真正理解将好的价值观加载到人工智能中需要什么，以及在我们理解这一点之前不构建超级智能人工智能，他试图扭转局面，说，哦，我们让它变得不安全了。你是认真的吗？我称之为反作用夸大。基本上，采取一个有益的行动，试图让人工智能更安全，然后争辩说，你知道吗，你正在创造负面影响，因为你试图控制它，你试图奴役它，它会反作用于你，它会变得不安全。是的，比不尝试控制它更不安全。给我歇歇吧。我认为最好的类比是孩子。你愿意控制你的孩子吗？这样，当然，他们做他们想做的事，但如果他们做了一些你不太喜欢的小事，你想按一下按钮，让他们回来，让他们就位？或者你希望他们做你认为很糟糕的事情，因为我们，例如，当我们是，我们是前几代人的孩子，我们现在做的事情，他们认为很糟糕？绝对，绝对。所以，你知道，你不能两全其美。你必须能够放手。你放手的是什么？你放手的是，你相信你会以你所知道的最好的方式开始他们，然后你就会放手。绝对。但是，如果我认为我的孩子有很大的风险谋杀全人类，并杀死人类物种的整个未来，因为事实证明我的孩子有能力做到这一点，而且事实证明我的孩子的价值观可能远远超出我们通常认为的人类价值观，我会把我的孩子关在一个很小的盒子里，我会确保我的孩子是安全的，可以放出来。我的意思是，这就是类比破裂的地方。我甚至不知道我们为什么还要谈论孩子了。这个挑战的突出特点是，人工智能很强大，人工智能很危险，人工智能可能不与我们的价值观共享。孩子可能不与我完全共享价值观。他们可能有差异，但如果你绘制出所有人类价值观的频谱，或者对所有人类价值观的空间进行聚类，我的孩子就不会落在集群之外。我的意思是，我猜实际上有一个很小的机会他们可能会。我的意思是，你确实会遇到一些心理异常的人，这不一定总是坏事，但你确实会遇到希特勒，你会遇到连环杀手，你会遇到施虐狂。所以我确实认为我的孩子有可能想按一个按钮来结束文明。所以我实际上会回到我指出的另一个区别，那就是我认为我的孩子不会有结束文明的按钮。所以，这就是与人工智能的区别。我不仅害怕人工智能比我的孩子更有可能拥有错误的价值观，我认为人工智能更有可能做到这一点。我的孩子结束人类未来的情况没有负面案例。所以我把我的所有论点都放在这个区别上。我的孩子不像超级智能人工智能那样有能力。我不明白为什么这是一个连末日论者都必须提出的艰难论点。我的意思是，我们必须指出，这是像理查德·萨顿这样的人未能真正想象自己处于末日论者的处境。末日论者的论点并不那么弱，以至于我们无法区分孩子和超级智能人工智能。它们非常非常不同。超级智能人工智能不像人类孩子，在许多非常重要的方式上，而这些正是我们害怕的方式。人工智能还没有存在，我们不知道它是什么，它在变化，它是全新的。是的，它，试图为我们完全不了解的东西设定标准或规则是荒谬的。你知道，你说开放人工智能明显领先。嗯，我实际上不认为他们领先。他们做了一些特别的事情，他们可能是世界上最好的，或者别的什么，但它不是，它不是智能。所以，因为智能还没有发生，所以试图控制它是完全不合适的。我支持的提议是，我们需要暂停前沿人工智能能力的发展，因为我们太接近失控的、不受约束的、不匹配的超级智能了。这是我的提议。所以，智能还没有发生，这是唯一可以控制它的时间。事实上，我们需要足够提前地控制它，这样我们就有一个瓶颈，我们已经没有了通往智能的钥匙，这样黑客就可以完成剩下的工作并到达终点。我们很可能已经过了这一点，而且已经过了。但理查德的观点是，嘿，我们还没有智能，所以让我们不要试图控制它。嗯，这并没有解决我的提议，即我们需要在它发生之前，在为时已晚之前暂停发展。所以，再次，与一个相当受欢迎的末日论者提议擦肩而过。我不知道如何回应，除了说，让我们试着在同一个页面上，关于为什么末日论者害怕，以及我们正在提议什么。你知道，什么是智能？智能是处理目标的能力。它将是一个算法，它将是一个想法。基本上，你想试图禁止一个想法吗？你知道，它不是，你知道，它是一个想法，它将是廉价可复制的，而且随着时间的推移会越来越如此。这并不容易，但最好的时机是在它还不存在的时候，当你拥有大量合法的人，并且正在获得大量资金，并且他们正在将我们引向这个不可逆转的终点，而我们可以简单地说，嘿，你们这些罪犯，你们不能这样做，因为你们以很高的概率将人类推向了末日。你们完全鲁莽。你们在赌博，因为你们认为你们可能会以某种方式引导我们。你们在赌博全人类的未来，以便你们能加速进步几年或一二十年。这应该是非法的。应该有一个国际条约，你们所做的绝对是鲁莽的。这是我的提议。你能禁止一个想法一旦它存在于源代码中吗？不，可能不行。我们可能已经注定了。这是我们最后的努力。所以，再次，提议是立即暂停人工智能。你知道，这就像试图控制想法，就像试图控制印刷机，试图控制民主一样。你知道，你能禁止民主吗？你会禁止一种宗教，一种宗教思想吗？这些都是试图禁止或用监管来控制的可怕事情。就像，儿童性虐待材料只是一个想法，它只是硬盘上的比特，你可以轻松复制它们。它们实际上只是数学。你能真的禁止儿童性虐待材料吗？这似乎很疯狂。禁止它就像，看，儿童性虐待材料是坏的，所以我们禁止了它。事实证明我们做到了。这并不难，特别是当风险不仅仅是伤害儿童，或者道德腐败，或者你对儿童性虐待材料的担忧，而是人类的未来。所以，也许你想在你想禁止的项目类型上有点创意。所以，对你来说，最有可能的这个有价值的继承者将是国家和国际上绝对最少的限制，在任何方向上。这将是我们有机会让某事真正推进这个项目，也许还能带我们一起前进。我们应该拥抱这个想法，我们是和平的，我们不试图强迫别人做事。当这种态度被侵犯时，政府应该控制人工智能的观念是错误的方向。它是倒退的。但我认为真正的问题是，我们更有可能把事情做好，创造一个人们可以合作与和平的世界，还是人工智能能够看到，这是一个更好的解决方案？你知道，我们正在谈论创造更伟大的智能，我们不是在谈论制造更伟大的炸弹。是的，是的，我们可能希望通过创造智能来，所以，这是一个问题。你去问吧。你是愤世嫉俗者还是乐观主义者？我是一个乐观主义者，因为我认为，更伟大的智能将能够看到合作是更好的道路。但是一个愤世嫉者实际上相信，如果你是智能的，如果你制造人工智能，人工智能将看到，获胜的最好方式是控制其他人，所以它将接管并成为一个主导的单一奇点。我认为这是潜在的，那些担心人工智能会接管的人说，当然，如果人工智能存在，它会想接管，它会这样做，因为它会认为这是实现其目标的最佳方式。我们称之为工具性趋同原则。是的，所以这是每个读者，每个听众的测试。你认为你越聪明，你就越想接管，你就越会认为这是优越的解决方案？还是你会认为你越聪明，你就能看到，我们文明的悠久历史表明，合作才是让我们成为个体人类无法单方面接管。即使是独裁者也与一大群人合作。他们需要军队的支持，他们需要有“我们对他们”的立场，而“我们”是一个相当大的联盟，因为你不能只有一个人类身体和一个有限资源、有限规模的人类大脑。你不能像一个人类那样真正地成长，你不能像软件一样病毒式传播。所以，这就是类比破裂的地方。这种进化的合作，文明的合作的观念，是因为你只是一群软弱的人，他们必须合作。除非你是埃隆·马斯克，在这种情况下，你可以成为四家公司的首席执行官，而且你的合作要少得多。你正在集中化更多。但当然，即使埃隆·马斯克也需要大团队。他仍然需要高度的合作。但如果你推断，你可以想象埃隆·马斯克除了经营四家公司之外，还在那四家公司里做所有工作。他不需要合作，他只需要更多的埃隆·马斯克。所以，这是关键。这是很多人直觉的症结所在，很多人的直觉与我的不同。这个想法是，你需要合作，人工智能将发现合作。不，你想到的是人类进化为一群软弱的大脑的偶然事实。我们必须合作。这和我说的关于资本主义一样。是的，看不见的手是你所能做的最好的事情，当你只有一群狭隘和专业的参与者时。然后使用看不见的手来协调它们，很好。但如果你可以微观管理一切，那么它就像看得见的大章鱼，比看不见的手更好。你只是用看得见的大章鱼触手来操纵一切。他在这方面让我想起了史蒂芬·平克。就像“我们内心更好的天使”将适用于超级智能人工智能。超级智能人工智能将像人类一样发现爱与和平，因为非零和博弈。好的是，罗伯特·赖特，他写了《非零和》这本书，你可能会认为他会陷入同样的史蒂芬·平克、理查德·萨顿的陷阱。我认为罗伯特·赖特实际上更跟得上时代，他意识到，不，这不一定适用于人工智能。所以，做得好，鲍勃。顺便说一下，大家可以看看罗伯特·赖特的《非零和》播客。我最近也参加了，还有很多其他好的节目。但无论如何，除了史蒂芬·平克和理查德·萨顿之外，你知道，迈克·里斯雷尔。如果你看看我几周前关于迈克·里斯雷尔的节目，他非常支持理查德·萨顿的观点，说，是的，人工智能会很好。我们算什么，要告诉人工智能该做什么？但区别在于，迈克·里斯雷尔是一个他妈的健美运动员，而理查德·萨顿在这个领域已经几十年了。而迈克·里斯雷尔，他说的所有这些话都可以原谅。他说了很多有道理的话，然后他说，关于

人工智能比我们更清楚它应该做什么，这说不通，但他是一名健美运动员，而理查德·萨顿是人工智能领域的先驱，所以我对理查德的失望程度要大得多，就是这样，这就是整个采访，我显然编辑过，但我认为我抓住了理查德·萨顿所说的要点，请随时在 Daniel Fagella 的 Trajectory 播客上查看完整采访，总的来说，理查德·萨顿在哪里摆脱了末日列车？这就是我们在这里播客上要记录的，很难说，因为他从未被直接问到这样的问题：你相信正交性理论吗？你认为在算法空间中是否存在非常非常糟糕的人工智能？你认为智能有多强大？你认为我们的物理宇宙有多容易被工程化或破解？你认为一个超级智能的工程师是否基本上可以拥有几乎告诉你所有原子和分子应该去哪里的蓝图，然后 just move them there，基本上粗暴地操纵每一个原子？我会说“是”，对吧？如果你认为人类已经接近任何代理可以工程化的极限，那么你将无法获得一个远远超出人类水平的超级智能工程师，我们将利用我们人类水平的工程技能来控制宇宙。理查德·萨顿相信这一点吗？我不确定，我不确定他是否就是这样摆脱末日列车的，那将是摆脱末日列车的一个地方，所以，我不知道，他似乎并不非常看重工具性趋同，他似乎认为，在不依赖于非常复杂的代码的情况下，让人工智能得以存在并且不觉得它需要获得大量权力是相当直接的，我们已经设置了许多非常复杂的护栏，这些护栏超出了我们目前理解的范围，比如我们真的不知道如何构建一个在优化目标方面变得非常出色的人工智能，但又不是那么出色，以至于它开始追逐所有可以帮助它优化目标的权力，比如我们现在真的不知道如何做到这一点，我们不知道如何让一个超级智能的人工智能变得可纠正，可纠正的意思是它不是不可纠正的，它有点愿意冷静下来，如果人类告诉它关闭，它愿意关闭自己，所以，我不知道理查德是否沿着末日列车向末日论点走得这么远，我不确定，但我要说的是，这是一个他有自己概念的讨论，比如和平、去中心化、合作，他觉得引用这些概念就足够了，坚持这些高级概念就足够了，因为从宏观上看，到目前为止，这对人类来说已经足够了，而且我认为认识到这一点非常重要，比如，你不能进行这样的讨论，这不是好的话语，这不是富有成效的，我们需要超越这一点，并在末日列车的每一站进行争论，直到人们被说服，就像我提到的那些人，他们甚至没有被明确提出，然后我们需要抓紧时间制定一项政策来暂停人工智能，为人工智能安全、人类智能增强进行一项曼哈顿计划，我们需要解决这里真正的问题，但从我的角度来看，让每个人都转向解决真正的问题并不容易，因为你会有所有这些采访出来，每周都有像理查德·萨顿这样的杰出人物进行多次采访，他们远远超出了解决问题所需的范围，所以，这就像“拜托，伙计们，你们知道我在这里玩打地鼠，但我希望打地鼠的游戏随着时间的推移会变得更容易，因为我们的时间不多了，而这些都是我必须打的相当大的地鼠，所以，让我们都告诉你的朋友们关于末日辩论吧，这是我们进入订阅的入口，我意思是，如果你正在听这个，很有可能你和我一样，都在执行同一个任务，你想推动话语的进步，推动话语进步的方式就是点赞、订阅、分享，然后去 doom debates.com，然后给你的朋友们发送链接，我意思是，这里的行动机制是，扩大末日辩论的受众很重要，我们需要增长大约一千倍，没问题，所以，帮帮我，去 iTunes 吧，随便搜索 Doom Debates，留下评论，你知道你内心深处知道如何帮助传播 Doom Debates，好吧，所以，帮帮我，给我一个忙，我也会帮你，我会继续制作更多的 Doom Debates 内容，这听起来怎么样？这似乎是一个非常公平的交易，我认为我们都在受益，我们都在从贸易中获益，我们都在合作，所以，再次非常感谢，我感谢你的观看，感谢你的 YouTube 评论，youtube.com/ Doom Debates，我玩得很开心，我有很多有趣的东西正在制作中，这就是为什么你订阅 Doom Debates 播客频道和 Doom Debates YouTube 频道如此重要，因为你想确保获得所有这些内容，好了，这就是本期 Doom Debates 的全部内容，[音乐]