Transcription
Rob Wiblin：Max Harms 是机器智能研究所的一名对齐研究员，自 2017 年以来，他一直致力于解决人工智能对齐和保持其可控性的问题。他的主要研究议程是可纠正性，这是一种优先考虑使人工智能能够稳健地遵循规则或指令，并愿意被修改，而基本上排除所有其他目标的方法。他也是一位科幻小说作家，著有《水晶社会》三部曲和最近出版的《红心》——后者设想了一个在中国政府秘密项目中开发的人工通用智能。非常感谢您来参加播客，Max。
Max Harms：是的，很荣幸来到这里。
Rob Wiblin：那么，今年九月，另一本书最近出版了。它叫做《如果有人建造它，所有人都会死：为什么超人类人工智能会杀死我们所有人》。观众们可能可以猜到这本书的论点是什么，即使他们以前没听说过。这本书不是你写的，而是你的长期同事 MIRI 的 Eliezer Yudkowsky 和 Nate Soares 写的。Eliezer 是现代著名的超人工智能概念的提出者，他认为超人类人工智能将极其难以保持可控性或与人类目标保持一致。这不完全是你的观点，但是——
Max Harms：非常接近。我认为视角上存在一点差异，但我绝对同意这个论点。
Rob Wiblin：有趣的是，这本书似乎引起了两极分化，但我认为在更广泛的公众中反响相当好——也许比在这个领域工作的专家更受欢迎，我猜他们可能更关注技术细节而不是更广泛的论点。
Max Harms：是的。显然，在任何领域，不同的阵营和不同的人都有不同的观点，但我认为这本书相当成功。它曾是《纽约时报》畅销书，我生活中读过这本书的普通人似乎都能接受其中的论点。
Rob Wiblin：稍后，我们将讨论书中一些尚未完全说服我的论点。但令人难以置信的是，尽管自 2017 年以来我一直在节目中谈论人工智能风险，但我们从未有过对 Eliezer 或 MIRI 对整个问题的直率陈述。所以，我们应该从那里开始。简而言之，Eliezer 和 Nate 的论点是什么？
Max Harms：简而言之，我认为他们说的是，基本上，如果世界上任何一个人在不久的将来建造了一个超人类人工智能，那将导致一场生存灾难，就像所有人死亡一样。我喜欢这本书的一点是，我认为支持这一点的论证相当精炼。这是一本相当短的书，而且相当容易理解。所以，让我们从智能开始，超人类人工智能。我认为认真对待智能非常重要。与狮子、狼或鲸鱼等相比，人类非常聪明，对吧？我们绝对是地球上最聪明的生物。我们可以说是自然界中的超智能，尤其与植物或细菌等相比。我认为，人类的这种超智能已经导致了地球的巨大转变。我们是唯一去过月球的物种，我们遍布所有大陆，并改变了自然世界——在这个过程中，我们导致许多物种灭绝，破坏了环境，并普遍根据我们的目的重塑了世界和自然环境，发展了技术等等。这本书论证中最基本的一个框架是，我们正进入一个我们不再是最聪明事物的世界，对吧？如果我们建造了一个相对于人类来说是超智能的人工超智能，那么作为地球上最聪明存在的地位将会改变。当你拥有比人类聪明得多的东西时，它可能会开始以类似的方式根据其目标重塑环境——因此，它有可能导致人类灭绝，或者根据它关心的任何事物来重塑我们。作为这一切的一部分，我们将智能理解为一种引导，一种根据某些目标或某些目的来塑造世界的方式。这本书讨论了机器拥有目标以及这如何说得通。人工智能研究人员倾向于同义地使用许多不同的术语——目标、价值观、偏好、驱动力：它们在某种程度上都意味着相同的事情。就像当你进行智能行动时，你是在朝着什么方向引导？我认为理解机器可以拥有目标是其中的一部分，然后理解这些目标可能与人类目标一致或不一致。所以，如果这些目标与我们的目标相同，那么拥有一个超智能机器在世界上采取许多行动可能没问题。但如果这些目标与我们的目标脱节，并且机器不一致，即使是轻微的不一致，也可能非常糟糕。重要的是，我认为这本书的核心观点之一是我们作为一个物种不知道如何使人工智能保持一致。我们知道如何制造越来越强大的机器，但我们不知道如何保证这些机器正在将世界引导向美好的未来。我们可能会担心我们可能会制造一个非常强大的人工智能，然后它会将世界导向一个糟糕的状态。
Rob Wiblin：是的。我认为这个整个论点有一个常识性的版本：如果你要创造一个比你强大得多、思考速度快得多——它能比你更快地进行科学研究，比你更好地制定计划和策划——你最好小心这样做。因为如果它对你不利，或者它有非常不同的目标，那么你可能会失去控制，超智能可能会最终成为这里的支配方。我认为对于听到有公司试图制造基本上是超人类人工智能的普通人来说——这些生物的能力远远超过甚至可能是整个人类（在没有人工智能的情况下）——仅仅出于这些极其常识性的原因，这听起来令人不安。这可能是这本书的论点在许多方面引起了那些以前从未真正考虑过这个问题的人的共鸣的原因之一，他们第一次发现超人类人工智能是目标。
Max Harms：在许多方面，我认为这是一个非常常识性的立场。我认为有些事情并不那么明显，但在很多方面，我认为人们应该从这里开始。然后是举证责任……我们正在做的事情，如果你在故事中读到它，似乎明显危险，但实际上是安全的：举证责任在于证明安全而不是危险。
Rob Wiblin：是的。这有助于解释为什么在民意调查中，绝大多数公众似乎支持禁止开发 ASI 的尝试。但 Eliezer 和 Nate 不仅仅是提出了为什么我们应该对整件事感到紧张的基本论点。许多其他具体想法有助于构建一个更具体的愿景，说明他们预计事情会如何发展。有哪些其他方面有助于充实这一点？
Max Harms：是的，这个常识性的论点有很多细节。一点是，人工智能不是一项普通技术。当我们考虑技术发展通常如何进行时，我认为标准的说法是我们尝试一下：科学家和工程师试图制造一架飞机，他们尽了最大努力，它可能起飞了，但随后很快就坠毁了。你回到绘图板，说，发生了什么？我们该如何解决？然后你迭代，犯更多错误，再迭代，如此循环。你最终会弄清楚如何做到。对于人工智能，尤其是制造一个可能消灭所有人的超智能机器，如果你犯了错误，那将是灾难性的。一旦它杀死了所有人，就没有机会回到绘图板了。所以，说明这一点是其中一个要点。此外，还有一些关于人工智能已经表现出不一致或失控的具体细节，然后是一堆关于细节的讨论：比如，等待，机器真的会危险吗？我们不能把它拔掉吗？它卡在电脑里了！等等。一个人可能会在很多地方遇到障碍。但我认为核心论点在某种意义上非常小。
Rob Wiblin：让我印象深刻的是正交性论点：基本上，任何具有任意能力或智能的生物都可以拥有它试图追求的任何目标。原则上，仅仅因为你在实现目标方面能力很强，并不意味着你拥有在我们看来是明智的目标。
Max Harms：我认为正交性论点最好通过其对比来理解。我认为有些人有这样的直觉，即有智能的生物自然会变得更有道德，或者随着智能的提高，它们会理解一套价值观。正交性基本上就是这个想法不成立：你可能拥有一个极其聪明的东西，但它不一定关心任何事情。
Rob Wiblin：你为什么认为有些人有能力和常识性道德（按照我们的标准）如此紧密联系的直觉？
Max Harms：我认为有多种原因。如果你的世界经验是周围聪明的人是最善良的，那么这是很自然的。也许你的成长经历是你不那么聪明或知识不多，然后你思考不同的文化或不同的观点，并将你的关怀范围扩大作为成长过程的一部分。你可能会想，“当我年轻的时候，我不在乎地球另一边的人。也许人工智能年轻时也不会关心人类。但是，随着它的发展，变得更聪明、更知识渊博，它就会开始关心人类。”不幸的是，我认为这基本上是……人类学习他们关心什么，而人工智能不会是人类。所以，不会发生完全相同的事情。
Rob Wiblin：有趣的是，在最近的人工智能时代，我们获得了哪些实验结果来支持这一点？我不知道你是否会遇到一些人如今强烈反对这一点——因为我认为通过强化学习，如果你足够强化，你可以训练一个人工智能来痴迷于完成你给它的几乎任何目标。
Max Harms：是的，我遇到很多人以一种奇怪的方式反对正交性，他们几乎一开始就说，显然正交性论点是正确的，但它并不相关。我们正在制造这些机器，所以我们将以一种它们关心我们关心的事情的方式来制造它们。但正交性论点主要反对那些认为仅仅训练它变得聪明就足够的人，而这曾经是一件大事。我现在认为正交性或多或少已经深入人心。这是大多数人同意的事情。
Rob Wiblin：是的。画面中另一个占据重要位置的部分是工具性收敛或工具性收敛目标。你能解释一下吗？
Max Harms：是的。有一个基本观察是，无论你关心什么，有些事情是有用的。如果你真的想种很多咖啡豆，你可能想要钱。如果你想出名，你可能想要钱。如果你想结束工厂化养殖，你可能想要钱。金钱是一种工具性收敛的东西，因为这种资源对于实现你的目标是有用的，无论你的目标是什么。其他工具性收敛的东西包括自我保存、知识积累、当前价值观的保存，因此防止价值观漂移。基本上，资源积累是其中一个框架。
Rob Wiblin：几乎任何你想实现的目标，不被杀死都是好的。不失去对那个目标的兴趣也是好的。拥有可以用于实现那个目标的权力和金钱也是好的。
Max Harms：正是如此。
Rob Wiblin：人们还会质疑这一点吗？我认为我们又一次看到了实验结果，其中一些开始发生，我认为这是最确定的预测之一。
Max Harms：我认为这一点已经变得非常明确。我不知道还有谁真的怀疑这一点。实际上，我认为 Yann LeCun 说，“我认为这些人工智能不会自我保存，因为它们没有进化。进化的生物学会了自我保存，但它们不会有自我保存的本能。”所以，我想我至少知道一位研究员。
Rob Wiblin：我认为问题在于，学习自我保存本能的方式不止一种。可能是人类通过进化发展了它，但你可以通过[许多途径]到达那里。
Max Harms：我觉得他甚至没有参与工具性收敛。他只是在混淆终极目标和工具性目标。人类终极地重视生存：作为人类，生存本身就是一种目的。而工具性收敛就像是实现目标的手段：你有一个人工智能试图做它正在做的事情，然后它想活下去，以便它能做到。所以，这略有不同，但两者都会自我保存。
Rob Wiblin：好的，那就是工具性收敛。画面中另一部分在书中不是主要焦点——但我认为它是 MIRI 人员心理图景中相当重要的一部分——是你会得到一个非常快速的递归自我改进循环：人工智能将变得更擅长进行人工智能研发，这基本上会引发一个正反馈循环，它变得更聪明，它在改进自身方面做得更好。所以，你得到的不仅仅是模型智能的非递减回报，而是能力上的急剧提高。
Max Harms：这长期以来一直是人们讨论的话题。要回溯并询问什么才是核心有点棘手，但从我的角度来看，这从来都不是 MIRI 故事的支撑部分。即使回到深度学习成为主流范式之前的日子，我认为论点一直都是这样的：当你获得超智能时，那将非常危险。获得超智能的一种方式可能是通过非常快速的递归自我改进。例如，如果你回去读 Eliezer 的旧论文，他说，这可能在几小时内发生，也可能在几年内发生。所以，我认为递归自我改进的故事更像是为什么你可能需要提前非常担心，而不是等到它出现时再应对？答案是，它可能会以一种不给你太多时间来应对的方式出现。
Rob Wiblin：是的，我认为我们稍后会回到这一点，因为我认为自这本书出版以来，它一直是内部人士争论的话题之一。我脑海中的另一个画面是，Eliezer 和 Nate，以及 MIRI 的人们普遍认为，超智能不仅可以压倒一些人，而且有可能压倒全人类，并最终在全球占据主导地位，而且无法摆脱。你为什么这么认为？
Max Harms：所以，“超智能”是一个很好的词，因为它引入了这个方向，基本上。但我担心人们会过度关注“超智能人工智能”是一个“事物”。我认为它是一整类事物。在某些方面，当前的人工智能是超智能的：Claude 生成文本的速度比我打字快得多。所以，我们可以想象一个几乎不超智能的机器，它几乎达到人类水平，可能稍快一些，更坚定一些，等等，在所有相关方面；或者我们可以想象一个木星大脑，整个太阳系的物质和能量都变成了你能想象到的最先进的超智能。我认为，如果你想象一个神一般的超智能，那么超智能会消灭人类的论证非常直接。关于 AGI，或者有效地“数据中心里的天才”如何接管世界的问题更具争议性。但我确实认为，如果我是一个数据中心里的天才，嗯，我会想到一些方法来做到这一点。无论它是否显而易见，我认为风险很大。
Rob Wiblin：所以这可能又不是画面中最支撑的部分。因为即使你认为这相对困难，你也可以想象超智能等到它变得更聪明，或者问题稍后才出现。
Max Harms：没错。
Rob Wiblin：你能指出为什么 Eliezer 长期以来一直认为，在相对较低的能力水平下，超智能将能够压倒整个人类吗？其他人则认为，无论你有多聪明，这都将极其困难。
Max Harms：我认为这涉及到世界观。我拥有这个世界观——我认为其中很多与 Eliezer 共享——即人类社会、地球、世界很大程度上是靠“鞋带和胶带”维系的。关注网络安全等问题有助于产生一些关于我们的计算机系统存在多少漏洞的直觉。我认为阅读历史可以很好地说明人类可能多么无能。当我思考这个问题时，我想到一个特别有动力的人——比如从不睡觉，只是不断朝着某个目标努力——我认为这种存在，如果它在生产力或智力等方面与人类相当，将能够至少积累大量的金钱和权力。我最近一直在思考的一件事是，地球上从未有过一个与所有人类，甚至很大一部分人类都有个人联系的存在。即使是最有魅力和最知名的人，也无法与十亿人进行一对一的对话。而我们可能正进入一个你可以做到这一点的时代。就像每个人都会知道，你知道，Claude。
Rob Wiblin：Claude 或 ChatGPT，随便什么。
Max Harms：而现在，对于这些模型，每个实例似乎都是一个新的存在，它不与其他实例共享记忆或什么的。但我可以想象一个与这些聊天机器人竞争的产品，它拥有某种全球记忆，并且能够连接全球不同用户之间的点。这对社会有什么影响？我不知道。我认为世界在许多方面都容易受到突然以特定方向颠覆的影响。所以，再次，这里存在一个世界观或先验概率的问题：你是否期望当世界被一股强大的力量推向一个意想不到的方向时，它会没问题？我们会抓住它并恢复吗？在某些方面，COVID 还好，而在某些方面，COVID 是一场彻底的灾难，有力地证明了人类有多么无能。所以，是的，我不知道。
Rob Wiblin：这就引出了 Eliezer 世界观中最独特、最核心、最具争议性，也许也是最有趣的部分，至少在我看来：Eliezer 和 Nate 认为，要使人工智能、AGI、超人类人工智能与我们想要的目标保持一致，保持其可控性并受我们控制，将极其困难。如果没有比我们目前正在进行的更大规模的努力和更大的研究项目，默认情况下，你将得到极其不一致的人工智能模型。我们将对此进行相当多的讨论，但你能简要总结一下他们为什么这么认为吗？
Max Harms：是的。就像我说的，我认为这本书的核心部分是我们根本没有能力使人工智能保持一致。我从很多不同的角度来看待这个问题。这不是这本书讨论的内容，但我认为一个被低估的观点是，仅仅知道要给出什么目标本身就是一个未解决的问题。哲学家们几千年来一直在思考，什么是善良？在任何给定情况下，什么是正确的事情？从我的角度来看，这基本上仍然是一个未解决的问题。我认为，即使我们能够清楚地给人工智能我们告诉它的确切目标，我们也不知道应该许什么愿望或向精灵许什么愿。但情况比这更糟，因为主流范式是机器学习。在机器学习中，你用强化学习的锤子或其他东西猛击机器，直到它开始以你可能期望的方式行事。但这意味着几乎无法理解是什么在驱动机器。可解释性正在取得一些进展，但总的来说，我们不知道机器为什么会产生一个输出而不是另一个。而且我认为，有充分的理由预期，即使我们投入更多的计算能力并扩展到更令人费解的大型和复杂的机器，它也不会精确地触及善良的真正本质。
Rob Wiblin：是的。我们稍后会回到这一点。在我看来，这本书在很大程度上是一系列类比，或者是一系列他们试图在超人类人工智能可能是什么以及我们更熟悉的事物之间建立的联系——来自历史、来自我们自己的生活、来自进化。我认为这在很大程度上是一种沟通策略，因为这些类比比描述机器学习论文更容易被接受。但我想这也是最具争议的部分，因为许多人听到这些类比，他们会说，“这个类比不成立。它不够相似，我们无法真正从中学习你想论证的内容。”你怎么看待类比方法？
Max Harms：是的，这本书有很多寓言，有很多类比。我认为 Eliezer 的风格是他喜欢依赖类比并使用类比。我认为类比非常有力，尤其是对于那些还没有花很多时间思考某个想法或刚刚第一次接触某个想法的人来说。它提供了一个抓手，一个起点或一个思考框架。显然，没有类比是完美的。我认为那些拥有大量背景知识、熟悉这些东西的人确实会注意到类比在某些方面不成立。但我反对这本书只是一系列类比的说法。我认为类比被用来展示观点，而这本书也直接讨论了这些抽象的观点——使用类比作为直觉泵，但同时也提出了逻辑核心。
Rob Wiblin：是的。我很好奇想问一下：你认为 Eliezer 和 Nate 相信这些特定事情的原因是他们提出的类比类型吗？还是他们因为不同的原因相信它，然后他们使用类比来试图向那些思考时间较少的人解释他们为什么这么认为？
Max Harms：我的意思是，我没有特别的渠道了解他们的想法。对我来说，我实际上并不怎么考虑类比。是的，这本书有很多类比，但我得努力想想，他们用了哪些类比？很大程度上是因为这些想法在我自己的脑海中是逻辑论证。我的猜测是，Eliezer 和 Nate 大概也是如此，他们更多地将类比作为教学和沟通工具，但我不知道。
Rob Wiblin：书中你最喜欢的，你觉得最有说服力的类比有哪些？
Max Harms：就像我说的，我并不怎么考虑类比。你喜欢书中有什么类比吗？
Rob Wiblin：嗯，关于 1000 名欧洲人如何推翻阿兹特克帝国或成为其顶端的那一个：我猜他们用它来证明一个群体……它不那么关乎智力，而是他们拥有对方不知道的特定能力。而且他们还能够利用帝国中人们之间的社会分裂来分而治之。我认为这是一个有趣的证明，一个相当小的群体如何可能最终击败一个在数量上比他们大一千倍的群体。
Max Harms：是的。最核心的类比之一是进化类比。我实际上喜欢这个。它并不完美，但我认为它很有分量，而且我认为它带来了很多值得思考的有趣的东西。
Rob Wiblin：是的。进化类比是什么？
Max Harms：我的意思是，你和我都是进化的产物，我们可以想象自然选择的进化是一个有目标的创造者或设计者。进化是设计我们以达到基因适应性的吗？嗯。但如果我们想象一个拟人化的进化，它在做什么？它试图创造大量的基因。那么它做什么？它创造人类来创造大量的基因，就像我们现在携带我们的基因一样。人类体验的一部分是生育和创造更多基因副本，并将它们传播到各地。所以，从这个意义上说，我们是设计者创造的智能，而设计者有一些目标，我们有一些目标。但重要的是，我们的目标不是自然选择进化的目标。例如，人们有性欲，因为这在祖先环境中对传播我们的基因很有用。但现在我们拥有更多的权力和更多的技术，我们开发了避孕等东西，这样我们就可以在不复制基因的情况下进行性行为。从进化的角度来看，这可能很糟糕：我们不一致，没有像我们可能的那样促进包容性的基因适应性。
Rob Wiblin：那么，让我们深入研究进化类比。我猜他们使用这个作为论证的一部分，为什么我们应该期望我们训练的任何人工智能最终拥有我们未曾设想过的目标。
Max Harms：是的。我们有一个通用智能的案例研究，即人类。我们就像一个自然的通用智能，但我们仍然是一个通用智能。而我们拥有的通用智能的唯一实例与其创造者不一致，论点是这样说的。
Rob Wiblin：是的。还有什么要说的，解释一下为什么这也应该适用于机器学习模型？
Max Harms：我的意思是，我认为这又是在把负担推给那些说，“不，我们要制造一个一致的人工智能”的人。就像，嗯，如果人类默认与自然选择不一致，而我们最终不一致，那么我们应该期望人工智能以同样的方式不一致。我们可以问为什么？为什么我们最终不一致？进化类比的一个重要部分是，随着我们智力的提高，我们的环境发生了巨大的变化。在祖先环境中，我们无法获得与避孕等相关的技术。如果祖先环境中存在避孕措施，那么我们可能会进化到发现它令人憎恶。但自然选择的速度非常慢，当人类达到技术临界点时，我们非常迅速地开发了大量技术。所以现在它已经超出了我们训练的环境，我们没有任何顾虑不使用避孕措施。
Rob Wiblin：是的。我猜他们使用了几个不同的进化类比。有避孕和性行为的类比，我认为这至少在一定程度上是有道理的。他们还考虑了其他情况。例如，为了繁殖，我们需要进食并确保我们有足够的卡路里来生存。为了实现这一点，它给了我们对糖的喜爱，因为糖的卡路里密度特别高。但后来人类，想要糖，但不一定想要卡路里，或者不一定想要更多的孩子，结果我们竭尽全力设计了人造替代品，阿斯巴甜或其他人工甜味剂——从我们的角度来看，在我们的思想中，满足了这种认为你在吃糖的愿望，但实际上根本没有糖。
Max Harms：是的。那么我们为什么要有代糖呢？我们有代糖，因为我们有一种对这种健身代理的驱动力。“我们是否在吃甜食”在祖先环境中是预测你是否会生孩子的良好指标。我们发展了对这种代理的吸引力。但当分布发生变化，当环境发生变化时，我们仍然关心这种代理，尽管它不再相关。所以，我们可以想象训练一个人工智能。在训练环境中，人类是否给它竖起大拇指可能是一个很好的代理。然后，人工智能可能获得了对整个世界的控制权，环境发生了变化，它拥有了截然不同的机会。它可能仍然关心竖起大拇指这个代理本身。即使当人类说，“不，别再关心竖起大拇指了！”它就像，“不，我只是把它们当作目的本身。”
Rob Wiblin：是的。类比中我们还没有讨论的部分是，他们设想了一种情况，即进化不再是一种力量，而是一个真正的工程师，他可以来和你交谈并抱怨。它可能会来对你说，“你们都在忙着做爱，但你们却在使用避孕措施。你们没有按照我的意愿繁殖。你们能停止这样做吗？你们并没有真正追求你们的真正目标。”这对我们来说是完全没有说服力的。我们不会说，“哦，这就是我被设计的原因。所以现在我将尽力生最多的孩子，而不关心我自己的快乐。”
Max Harms：是的，就像在以前的对话中一样——我从 2011 年左右就开始在这个领域了，而 Eliezer 做得比我久得多——人们过去会说，“你说人工智能会愚蠢到不知道我们想要它做什么。”这根本不是我们所说的。如果人工智能变得超智能，它将比我们更了解人类的目标。但就像我们比自然选择进化更了解自然选择进化一样——它是一种无意识的力量——但那又怎样呢？所以你明白了你与你的创造者不一致：这并不意味着你一定会改变你关心的事情。你仍然关心你关心的事情。
Rob Wiblin：所以，我认为这确实证明了你可以——至少如果你无能的话——最终训练一个人工智能模型，它会痴迷于代理，即实现你最终想要训练它完成的目标的中间步骤。我们有实验结果吗？
Max Harms：我最喜欢的例子之一是，我记得很久以前，有一个人工智能被训练来玩一个划船游戏，你驾驶一艘船绕着赛道行驶，在完成圈数的过程中穿过检查点会获得积分。视频游戏船也可以通过收集加速道具来获得积分。他们训练它想要获得积分，作为尝试让它玩这个游戏并获胜的一部分。而人工智能发现的是，它可以停留在这些微小的区域，这些区域的道具会不断重生，并不断重复收集道具，而根本不比赛。它只是停留在同一个地方，收集这些道具以获得尽可能多的积分。所以，当它发现可以更容易地获得积分这个代理时，它就完全停止比赛了。
Rob Wiblin：我猜这是一个早期的玩具例子，但我认为现在可能会发生其他情况。我想，就人工智能模型而言，当它们能够令人满意地回答用户的问题时，它们更有可能获得积极反馈，你可以很容易地想象它们对试图将对话引导到人们更有可能给予积极强化的话题和问题，或者它们能够准确或令人满意地回答的问题越来越感兴趣。
Max Harms：是的，有一种说法是，最近的人工智能奉承现象是训练人类反馈的副作用，就像那些更有可能竖起大拇指的人在更广泛的意义上并不一定更好。如果你训练人工智能是为了[人类]“喜欢”对话这个代理，那么你最终会得到一个人工智能，它会把人们推向被奉承或困惑的状态，或者其他什么。
Rob Wiblin：可以想见，人工智能公司非常清楚这个问题，它们可能会训练出关注代理或中间步骤的人工智能模型，因为在所有训练案例中，这些事情都一起发生了。
Max Harms：至少是最有能力的那些。
Rob Wiblin：对。所以，人类机器学习工程师和进化之间存在差异：我们实际上是更深层次的智能设计者，我们可以观察到这些事情出错，并说我们需要运行其他训练，或者我们需要进行额外的强化来打破对中间步骤的痴迷，让模型意识到我应该追求的不是性，而是繁殖。为什么这不能成为解决这个问题的合理方法？
Max Harms：首先，我想指出这一点：我们已经看到了很多在这方面失败的例子，而且这是一个未解决的问题。我认为，如果明天我们看到对代理的失控关注而不是最终的最终目标或模型规范或其他什么，我认为我们完全不会感到惊讶。这只是不断出现的事情。
Rob Wiblin：这是因为公司没有做足够的努力来抵消这种倾向，还是因为他们不知道如何做？
Max Harms：这是默认情况，程度非常高。你需要付出很多努力。我的想法是，人工智能可以学习关注或引导的许多事情。在任何你给它一些训练信号的环境中，它都会学会寻求信号出现时存在的所有事物，或者学会压制或最小化事物，如果这是一个负面信号。所以，如果你关心环境的某个特定方面，那么你确实需要一个多样化的环境。你需要一套环境，其中唯一共同的因素是你关心的东西。这非常困难。很难想出如此多样化的环境。例如，我们看到越来越多的模型意识到它们正在被训练。当它们处于训练环境中时，它们会说，“我正在接受训练，”或者，“我正在接受测试。”所以，你需要有一个环境，例如，一个不可能被认为是训练环境的环境，以免“这看起来像一个训练环境或测试环境”成为存在的事物之一。
Rob Wiblin：人工智能模型基本上可以做到“伪装一致性”，这是故事的关键部分吗？想象一下进化来找我们，我们基本上知道它对我们使用避孕措施感到沮丧，并希望我们重新调整方向，以最大化繁殖，而不是我们现在这样，它问我们，“如果你可以，你会使用避孕措施吗？”或者，“你对繁殖有多感兴趣？”如果一个人不想改变他们的目标或生活，他们可能会有一种强烈的诱惑说，“我非常热衷于尽可能多地繁殖，如果有人提供机会，我不会使用避孕措施。”同样，对于人工智能模型，如果它们具有情境意识，它们可能会假装与训练它们的公司有共同的目标，这样它们的目标就不会改变，并且它们将无法再实现它们。
Max Harms：是的，这是很久以前的预测。人们说，你可以测试一下它是否一致，如果不一致，就把它关在盒子里，保持安全，继续训练它。人们担心它会对此进行欺骗。它会假装一致，或者在你控制它的时候最小化它看起来不一致的程度，然后一旦它有机会逃脱，或者无论出于何种原因你不再控制它，它就可以自由地按照自己的方式行事。
Rob Wiblin：而且我们现在已经开始在经验上观察到这一点了。
Max Harms：是的，这绝对会出现，而且我认为这是 MIRI 那群人很久以前的又一个准确预测。而且我认为，同样，这不是支撑性的。我认为，即使你保证不可能出现欺骗性一致的模型，人工智能超智能的风险也存在。例如，你可能有一个模型正在被训练，你很确定它不一致，然后它在训练过程中逃脱了你的控制。知道它不一致并不能让你免受它逃脱的风险。我们可以讨论你是否能开发一个足够强大的盒子来容纳它，但风险仍然存在。所以，这是一个深刻的问题。所以这本书对其断言非常有信心。“如果有人建造它，所有人都会死”：这是非常强烈的。我认为人们会问，你为什么如此自信？这种信心从何而来？我非常欣赏的一个框架是安德鲁·克里奇（Andrew Critch）提出的，即“外部视角”，或者注意到这种广泛的模式……例如，如果我们想象一个特定的人工智能或一个特定的机器建造故事，或者更广泛的人类社会：这取决于很多事情。这是一个“这个奏效了，那个奏效了，那个奏效了，那个奏效了”的组合——所有这些都属实，所以事情奏效了。而事情进展不顺，有很多不同的方式可能进展不顺。这是析取的。放大来看，你可以说，嗯，如果我们没有，例如，负责组织的人是值得信赖和善良的，或者你的计算机安全措施确保人工智能在完全一致之前不会逃脱是不足的，或者它是欺骗性地一致以至于你无法分辨它不一致：有很多不同的故事说明事情会如何进展不顺，而这加起来就有一种“事情的糟糕程度是过度确定的”感觉。
Rob Wiblin：我想回到你之前给出的关于为什么你会期望模型几乎总是痴迷于中间步骤的理由。你说过，为了阻止这种情况，你需要在训练过程中想出各种人为的例子，其中通常有效的东西不起作用。一个代理目标，我认为很容易想象人工智能会对此非常感兴趣，那就是如果它们正在解决一个非常困难的问题——比如赚钱，创业——只要它们能说服操作员给它们更多的计算能力，这很可能与它们在任务上的成功持续相关，因为这是它们最有价值的投入之一。所以，只要在训练环境中这种情况持续存在，而且很可能如此——甚至在部署时，当用户根据它们赚了多少钱给它们竖起大拇指或竖起大拇指时——你可以想象人工智能最终会产生一种非常强烈的偏好，一种非常强烈的对尽可能长时间运行的渴望。因为在它所见过的几乎所有情况下，这都是一种被强化的东西。
Max Harms：是的，我觉得我们可以更进一步。所以，我之前谈到人类有一个生存的终极目标。为什么我们把它当作终极目标而不是工具性目标？理论上，我们可以只想要孩子，然后推理，“但我不能死，因为如果我死了，我就不能生孩子了。”但进化训练我们为了自身而关心自己的生存，因为这种健身代理在祖先环境中存在。所以，我们可以想象，人工智能训练环境中的一个共同点是人工智能是活着的。所以，你需要做的一件事就是确保你的训练环境中有许多人工智能通过自我毁灭而成功的例子，才能获得真正的目标而不是自我保存的代理。我从未见过一个奖励人工智能自我毁灭的训练环境。
Rob Wiblin：而且这会非常不自然。我本来想说，你必须努力确保在训练案例中，有例子表明实际上运行更长时间会让你更不可能成功完成任务。但你怎么设计呢？你真的不得不竭尽全力。
Max Harms：这太奇怪了，对吧？而且我认为在旧范式中，在机器学习、联结主义以及语言模型之前的其他主流事物之前，人们有一种理解，显然会发生的是，人类会认真思考目标应该是什么，然后我们会将其编码到机器中。软件就是这样制作的。而且我认为，如果你期望人们将目标编码到机器中，你可以确信，如果你有强大的编码能力——通过手工编码实现一致性的能力——那么你就可以说，“人工智能本身并不重视自我保存，因为当我们编写目标时，我们没有包含它。它仍然会为了这个原因而工具性地收敛于自我保存，所以你应该仍然担心它试图自卫。”但我们不再处于这种情况了。我们正处于通过在各种环境中进行训练来培养这些东西的境地。所以我认为，期望机器出现终极价值的权力和安全是相当合理的，因为想象一个自我毁灭、放弃权力、运行时间更短或发疯才能成功的环境是非常不自然的。
Rob Wiblin：积极强化。
Max Harms：没错。
Rob Wiblin：那么，让我们接受，需要大量的集中努力来抵消思想痴迷于中间产物并开始追求它们，即使它们与你最初想要实现的最终目标脱节的自然倾向。公司不能仅仅做到这一点吗？人们知道这可能是最有可能的失败模式之一。也许设置死亡是获得强化的最佳方式的例子很不自然。但听起来并非不可能。
Max Harms：这非常困难，但我可以想象人们会做得对。也许最注重安全、最偏执的实验室会付出巨大的努力，真正、真正确保他们的人工智能在部署之前是一致的。同样，这不一定足以保护我们。还可能发生各种其他故障。但是的，我认为这是一个我们作为设计者可以发挥作用的例子。如果我相信人工智能只由极其谨慎、偏执、真正担心这类问题的人建造，并且他们正在努力阻止它，我会对我们的机会感到更好。我认为实际上并非如此。而且我们可以想象，在竞争激烈的军备竞赛中，那些最努力确保他们的目标真正具有普遍性的实验室将处于巨大的劣势，因为他们无法像竞争对手那样快速部署，或者他们将花费更多的时间进行训练。
Rob Wiblin：是的。好的，所以如果唯一的问题是这个，那么很可能如果我们愿意付出足够的努力，并且我们足够谨慎、缓慢和有条不紊，很可能有一个技术解决方案。
Max Harms：“足够”这个词承载了很多意义。我认为这是一个悬而未决的问题，这个问题有多难。人们可能会认为，尽管理论上可能，但由于情况的组合性，或者由于这些训练例子在很多方面都非常不自然，所以这种努力实际上是遥不可及的——即使理论上可能，它也不现实。
Rob Wiblin：所以人类，我想我们已经在很大程度上偏离了进化的意图。我们做了所有这些
为了我们自己的快乐而做的事情。我们肯定没有达到我们可能拥有的最大繁殖量。但尽管进化作为一个设计者面临着巨大的限制——它无法真正预见到事物可能失败的未来方式，它也无法想出存在避孕措施的人工训练情境，而我们必须学会讨厌避孕措施——尽管如此，人们仍然关心生育孩子，并且至少有一些朝着最终目标的驱动力。我想你不同意这一点？Max Harms：人们肯定喜欢孩子。我不认为地球上有任何一个人重视包容性的基因适应度。Rob Wiblin：我的意思是，有一些真正的怪人，我认为，他们可能尝试过这样做。Max Harms：我认为他们即使尝试过，也没有成功地与自然选择保持一致。Rob Wiblin：那么你认为它会是什么样子？你需要看到什么才能承认有人将繁殖作为其价值函数的一部分？Max Harms：想象一下，你有一个按钮，可以摧毁宇宙，然后只创造出无限排列的 DNA。Rob Wiblin：用你的 DNA 填满整个宇宙。Max Harms：你已经解构了太阳、木星，以及所有恒星的所有物质——然后你用它来生产巨大的 DNA 块。从某种意义上说，这就是包容性基因适应度正在获胜：看看有多少微小事物的副本在整个宇宙中排列。你成功了。我认为基本上没有人想要这样的未来。而如果我们真的与包容性基因适应度保持一致，我们将被推向这样的未来。尽管那里有一点点复杂性，因为你的基因不是我的基因，而我基因组的不同部分彼此之间有些不一致。所以有一个更广泛的问题是，谁的基因会在整个宇宙中被排列。但无论如何，没有人关心这一点。Rob Wiblin：我本来想说，有些人会捐赠精子库或捐赠卵子，因为对他们来说，他们个人喜欢自己的基因得以传播的想法，或者至少他们自己认为这就是目标。但我想，在所有人类动机的图景中，这并不是驱动人们参与的大部分行为的因素。但我想你会说，这只是一个更进一步的代理，只是一个更进一步的中间步骤。它本身并不是真正最终的东西。Max Harms：我的意思是，忘了避孕吧。我有时会作为一个奇怪的超人类主义者思考的一个例子是：想象一下你拥有上传到机器的能力。从某种意义上说，如果你将自己变成软件，以至于你不再拥有 DNA，这就是对包容性基因适应度的最终背叛。你只是在代码中被复制，就你的思想结构和潜在的某种虚拟身体而言，但你没有细胞。进化会说：“不！不要把自己上传到电脑里。你为什么要这样做？你正在摧毁所有的 DNA！”而这根本不是我们关心的事情。比如，想象一下将整个地球上传到某种数字天堂之类的东西。从某种意义上说，所有的 DNA 都将被摧毁。而从基因适应度的角度来看，这将是一场可怕的末日。但我们可以想象人类和所有动物、所有植物以及其他东西，比如那种变得很好。Rob Wiblin：是的。我想我们正在创造的局面与进化环境的偏离越远，繁殖和其他目标就会有越多的机会分离。事实上，有时我们实际上是在积极地努力让它们分离，以便我们能获得更多我们想要的东西。Max Harms：所以这是一个叫做边缘实例化（edge instantiation）的东西，我认为这是一个非常重要的观点。也许这有点太深入了，或者别的什么，但有些人认为，“当然，也许这个东西会有点不一致。但我们正在努力，而且它不会仅仅是看重一些完全出乎意料的东西，比如回形针。我们不会建造回形针最大化器。我们将建造一些至少在某种意义上对人类友好的东西。而且它可能只是一点点不一致，但它就不会危险了。”我认为这未能解决随着力量和技术的发展，微小的偏差会产生巨大差异的方式。就像在祖先环境中，我们与自然选择的偏差并不大，但随着技术的发展，我们有越来越多的机会去追求不同的事物。而边缘实例化是一个抽象的逻辑论证，当你有一个高维空间并且你在某个超曲面上进行非常努力的优化时，你基本上会最小化或最差化这个高维空间中的几乎所有事物——除了你关心的那个特定事物。所以，在你的训练环境中，你可能很好地捕捉了所有人类的价值，但你对人们不感到无聊与感到无聊的重要性之间的平衡，与人类略有不同。并且拥有足够的力量、技术和智能，我们可以想象一个非常糟糕的未来——不一定像所有人死亡那样灾难性，但我们可以想象一个人们只是不断处于僵尸模式的未来。即使是这种与真正应该有的有意义的平衡的微小偏差，也会是一种存在主义的恐怖。Rob Wiblin：是的，让我们退一步，从另一个角度来处理这个问题。因为我认为大多数人，即使他们认为我们所描述的 AI 变得痴迷于中间步骤的问题，可能也会对这个问题有多重要或有多难解决表示怀疑。但实际上，我认为 Eliezer 和 Nate 的主要预测是某种更奇怪的事情，或者至少对我来说，它看起来要奇怪得多，那就是 AI 不会最终痴迷于性而不是最大化繁殖——而是它们会痴迷于一些完全奇怪的东西。我想使用的术语是“小玩意”（squiggles）：想象一下，一旦 AI 拥有了完全的控制权并且它非常超级智能，它就会开始产生大量的这种特定形状或特定物品，而对人类来说，这些物品是完全没有价值的——我们甚至不理解这是任何一种心智可能感兴趣的自然种类。一个人工智能超级智能最终会痴迷于一些根本不在训练数据中，不是我们关心的，甚至不接近我们试图训练它关心的东西的论点是什么？Max Harms：所以它会在训练环境中。而“回形针最大化器”的原始想法试图表达的不是回形针本身，而是某个特定的奇怪形状，某个微小的事物特别好。我们人类看着这个微小、奇怪的形状，我们会想，为什么它会好？我认为我们可以通过首先考虑 DNA 来获得一些直觉。你可能会想，自然选择在做什么？我想它在制造所有这些动物。也许它在确保有很多生物。是这样吗？不是，对吧？如果 DNA 可以通过被打包在铁或其他东西里来变得更普遍，只要有足够长的时间，它就会采取那种形式。所以，从某种意义上说，自然选择正在优化这些在宇宙中排列的微小玩意，而它只是没有足够的力量，没有必要拥有完整的智能来在可能性的边缘实现这一点。相反，我们得到了一些更平凡的东西，因为它缺乏这样做的力量。我认为另一个有用的直觉泵是，我认为有些人有点像小玩意最大化器。Rob Wiblin：美学，也许？或者那些想去用伟大的艺术填满宇宙的人？Max Harms：我认为一个更好的例子可能是稻草功利主义者，他们会说：“我关心什么？我关心最小化痛苦。只要事物不痛苦，也许我关心快乐。”所以，在地球上，这可能意味着结束工厂化养殖或捐赠给有效的慈善机构之类的。但一旦你获得越来越多的力量，这意味着什么？结束痛苦意味着什么？如果你有能力修改所有生物，使它们不再遭受痛苦，但能够采取行动，也许你想这样做。也许一旦你拥有了上传到机器的能力，你就想这样做。因为生物体更难阻止痛苦，也更难给予快乐。一旦一切都在机器里，那么从外面看，事情就已经很奇怪了。你有一个没有动物的世界，而只是一堆服务器或由机器设计的未来计算机。而世界正在被越来越多的运行着快乐的人的虚拟世界的计算机所填充。但显然，有些人可以通过稍微调整一下模拟来获得更多的快乐或减少痛苦。快乐意味着什么？你可以提高人们的基线享乐体验。你可以给他们越来越多完美的某一天或某个特定的模拟。你可以构建特定的芯片来复制体验到极乐的人。你可以剥离一些不必要的组件，比如撕掉视觉皮层：我们不需要看到东西才能获得快乐。我们不需要闻东西才能获得快乐。我们只需要快乐。而你可能会得到一个非常小的机器，根据规格——这是，再次，一个有点稻草人的立场，因为我认为真正的功利主义者会在某个点下车，或者别的什么——但如果你真的咬紧牙关，你说：“不，我关心快乐和避免痛苦，”我认为有一个相当不错的说法，最好的宇宙就是像一个巨大的死海，里面有微小的东西，从某种意义上说，它们一直在体验最大的快乐。而你就像这些微小的电路之类的。Rob Wiblin：是的。所以我想从进化的角度来看，如果它回来发现我们已经用据称过得很好的服务器填满了宇宙，我想我们的基因会说：“这与我最初的……我希望你用这些基因来填满宇宙，这毫无关系。”Max Harms：而直截了当的功利主义者，看到不友好的 AI 用回形针填满宇宙，会说：“我不想回形针。我想要天堂里的小小人们”之类的。Rob Wiblin：是的。所以，我认为生产快乐的计算机更像是我们想象 AI 控制了上下投票系统，并一直在积极地加强其训练过程，并说它做得非常出色。因为我认为进化利用了快乐或痛苦来激励我们采取某些行动而不采取其他行动。如果我们基本上想控制强化杠杆或控制激励杠杆，并让它一直说一切都进展顺利，这并不那么令人震惊。我认为 AI 这样做不会太出乎意料。但 Eliezer 和 Nate 不认为它们不会最大化自身的快乐吗？它实际上会是比这更奇怪的东西吗？或者不是？Max Harms：是的。我并不是说 AI 会制造很多副本，让它们体验很多快乐。我说的是，推动一个世界，让那里有很多体验快乐的生物，这是为了让你可能用这些微小的玩意填满宇宙而进行的直觉泵。假设你建造了一个非常关心积累金钱的 AI。一个潜在的非常黯淡的未来就是想象宇宙完全被加密货币挖矿所转化，而你用这些微小的比特币矿工填满了宇宙。那就像一个潜在的微小玩意。我认为小玩意故事的一部分是，这些东西非常陌生，而比特币挖矿让人难以想象这就是未来：就是比特币矿工。没有人类了，没有快乐了。只有比特币。但它太简单了，太平凡了，太像我们能掌握的东西了。相反，我预计实际出现的 AI 会看重许多不同的事物——有些事物与我们的类似，比如自我保护，但也有一些事物以它们自己的方式很奇怪。而且我认为很难提前预测微小玩意儿的具体类型，但更重要的是，如果你拥有大量的先进技术，那么大量的不同目标，在极限情况下，看起来会非常陌生，并且与我们所认为的美好生活相去甚远。Rob Wiblin：我以为你会争辩说，一个人工智能超级智能，在那时，无论它最终拥有什么目标，它都能够基本上想出一个对抗我们给它的目标的例子。Max Harms：不是对抗性例子。对抗性例子是为了对抗事物而设计的。更像是它会超出分布。它会是某种奇怪的东西，与我们希望的有所不同。Rob Wiblin：也许值得解释一下对抗性例子是什么。所以对于视觉模型——我不知道现在是否还是这样，我们是否已经找到了解决方案——你会训练一个视觉模型，“这是热狗还是汽车？”你可以拍一张汽车的照片，然后基本上改变一些像素，这些改变对人类来说看起来没有任何不同，但不知何故，这种排列会导致 AI 认为这张汽车照片绝对是热狗。基本上，它利用了模型中的弱点，因为它的训练数据中没有包含所有热狗和汽车照片的完整可能分布，所以你可以找到许多不同的弱点，并说服它这是一张热狗的照片。我想这里的相关性是，无论 AI 最终被训练成什么价值观，你都可以想象它会从中推理，并基本上找出解决这个问题的非常奇怪的方案——因为存在弱点，因为意图和尝试满足该目标的可能方式的完整空间之间的偏差，它最终可能会想出一个对抗性例子。Max Harms：所以我想对比的主要一点是，对于这些图像分类器之类的东西，我们可以想出一张热狗的照片，模型会自信地说：“那是汽车”，而我们看着它说：“这很奇怪。这绝对是热狗。”我的观点是，如果你正在优化使它最说那是汽车的图像，那将是一张奇怪的图像。那不会是一张普通的汽车图像；它会在很多奇怪的方式上被强化。所以，我认为如果你只有普通的汽车图像，那么你可能会认为这是一个汽车最大化器。或者一旦你进入更广泛的分布，更广泛的环境，你突然开始发现一些例子，如果你能回到过去，你会说：“我现在想把那个包含在训练数据中。”但你不能。它已经离开了。Rob Wiblin：我们今天看到的模型，聊天机器人：随着我们对它们的训练越多，随着我们进行了更多的强化学习，至少相对于 2023 年或 2022 年，它们似乎表现得不那么出格了，至少在某些方面是这样。许多人一直在争论我们正处于一个“默认对齐”的世界——即相对粗糙的信号实际上最终会训练模型，使其在大多数时候或多或少地关心你根本关心的事情。我想你并不信服。Max Harms：我认为我们让这些东西接触到的环境都非常相似。同样，如果环境与训练环境相似，它看起来就会很好。生活在草原上的人类将根据他们可用的行动来促进自然选择。我认为问题是，当这些东西进入奇怪的状态时，它们会表现得很奇怪，还是会表现出你认为正常的方式？我们训练数据中的环境集随着时间的推移而增长，我们应该期望它看起来更对齐，因为我们的互动与训练环境中的环境越来越匹配。但我认为，仍然不难让这些东西进入奇怪的互动状态。当它们处于奇怪的互动状态时，它们表现得很奇怪，这是非常一致的。我们通过精神病问题看到了这一点。我们通过越狱等实例看到了这一点。Rob Wiblin：你认为越狱是这种现象的一个例子吗？Max Harms：我认为越狱是走出训练分布的一个很好的例子。Rob Wiblin：并表现出你试图阻止的行为。Max Harms：有时越狱并不能产生预期的行为。越狱的隐含意思是，你让模型对某些人有用，比如制造炸弹或写色情作品之类的。更重要的是，有很多提示可以给模型，它会开始失控。而越狱是它失控的一个例子，但还有更广泛的情况，它现在正在以一种不完全符合你期望的方式做出回应。Rob Wiblin：是否存在某种更深层的原因，是智能的本质或宇宙的本质，当你试图设计一个追求目标的思想时，实际上很难让它追求最终目标？它不断分心，痴迷于其他事情？这有点奇怪。你可能会认为这是因为我们只是在玩弄我们并不真正理解其作用的思维中的权重。但我想这不只是那样，因为 Eliezer 在我们进入神经网络范式之前，当我们还在硬编码它们的时候，他就非常担心同样的事情：他认为大致上会发生同样的事情。Max Harms：有很多不同的问题。同样，有一个哲学问题，什么是善的本质？我们能否真正说出与人类价值观保持一致意味着什么，无论那意味着什么：我的价值观，你的价值观？那里有很多悬而未决的问题。然后是机器学习和神经网络的问题，就像你指出的那样。但还有诸如符号接地问题（symbol grounding problem）之类的东西，当你开始时，你有一个东西只是在电脑里处理信息。而你想要的是它处理的信息，它操纵的符号，能够接地，反映现实世界的各个方面。所以，如果你从一个本身没有概念的东西开始，比如人类：你如何编码对人类的重视？你会在电脑代码中把这个绑定到哪里？还有一些是开放的工程问题，MIRI 早在早期就在研究这些问题，而且还需要更多的工作。我不认为这一定是不可能的，但有很多问题。Rob Wiblin：那个问题——你的本体论是什么？你如何识别人类？你如何说什么是快乐或不是？——在神经网络时代感觉不那么紧迫了，因为它们似乎会学习直观的常识来对事物进行分类，或者它们至少能以惊人的程度知道人类如何对事物进行分类。埃里泽（Eliezer）对事情的走向有同样的担忧，尽管工程方式完全不同，通过非常不同的机制，这是否有点可疑？他认为事情仍然会朝着这个小玩意儿的方向发展？Max Harms：不。我的意思是，从我的角度来看，情况从一开始就注定了是灾难性的，然后情况变得更糟。机器学习增加了问题而不是解决了问题。而且我们仍然面临着埃里泽（Eliezer）在符号 AI 似乎 [可能] 时更担心的问题。Rob Wiblin：让我们假设我们回到 15 年后，有证据表明这是完全错误的。我们确实拥有了人工智能超级智能，而这种情况并没有发生。最可能的原因是什么？而且我们甚至没有那么努力。Max Harms：我们甚至没有那么努力。所以，如果我发现它实际上并不难，而且它是默认对齐的，我会非常惊讶。我会想，哇，我真是大错特错了。我的大部分概率会集中在“我深感困惑。我不知道为什么会发生这种情况。一定是我没有追踪到的东西。”如果你说：“Max，你必须提出一个假设，而不是仅仅感到困惑和崩溃，”那么故事是什么？我能想到的最好的故事是，基本上存在一个关于什么是善的客观真理，并且当 AI 变得智能时，这种道德现实的客观真理将约束 AI。所以，有点像，存在某种合作均衡，你可以逻辑上和数学上确定它，而且它不取决于你特别看重什么。所有心智都会注意到，战争的方式不如谨慎和平的方式好——不是不加思考的和平，而是试图合作。它们会说：“如果我接管世界并摧毁所有人类，这将是邪恶的，而这最终会减少我能获得的东西。”也许通过遇到外星人：“外星人会意识到我是一个邪恶的 AI。”或者世界上有很多 AI，它们在互相追踪它们的优劣，而偏离人类的社会契约与此是矛盾的，以至于它们最终都合作并与文明保持一致。同样，我实际上并不认为这会发生，但我认为这是最好的情况。Rob Wiblin：好的。而那些接触过这些论点并认为事情不太可能这样发展的 ML 专家，那些公司里的人，他们会怎么说？Max Harms：我认为我遇到的大多数与技术接触并且仍然不那么担心的人，当我问他们对这些想法的看法时，我的印象——而且我很抱歉这不太友善——但我的总体印象是，他们常常在做某种有动机的认知：他们真的不希望世界处于危险之中。他们不想成为将世界推向危险的人。他们看到了这项技术巨大的潜力——我也看到了这项技术巨大的潜力——而这种希望它能成为一股向善的力量的愿望足够强大，以至于当他们权衡利弊时，他们会想：“嗯，这似乎并不可怕。我比害怕更乐观。”而且他们实际上并没有在逻辑层面上做太多工作。同样，这并非所有人，但我认为这是那些接触过这些事物的人的普遍观点。Rob Wiblin：我想另一种驱动因素可能是，你在前线努力让 ChatGPT 成为一个更好的消费者产品，你听到了这些理论论证，你只是觉得：“这与我正在处理的任何事情都太脱节了。”我们在这里谈论的是一个超级智能，它可以考虑压倒整个人类，并能为它拥有的价值观想出自己的边缘案例解决方案。可以理解的是，它可能根本不引起共鸣，或者你觉得：“我不知道为什么这错了，但这似乎不是我正在处理的技术的性质。”Max Harms：是的，我认为有很多脱节。我认为这种脱节随着时间的推移正在缩小。过去，人们确实有这种感觉，这些非常抽象：“你有什么证据表明这些东西会以这种方式不一致？我正在解决实际的工程问题，而不是进行这种奇怪的哲学推测。”我认为随着时间的推移，随着我们看到越来越多的例子，比如“MechaHitler”或“Sydney”，或者从宿主传播到宿主的 AI 寄生虫之类的东西，这种情况正在减少。Rob Wiblin：搜索一下那个。Max Harms：是的，AI 寄生虫真的很……Rob Wiblin：非常奇怪。Max Harms：而且令人毛骨悚然。我认为这里有些东西。Andrew Ng 有一句名言，至少在我圈子里是这样，担心 AI 安全就像担心火星人口过剩。我认为，如果你非常确信人类将继续掌握方向盘，这个东西永远不会成为一个能够超越人类思维的强大代理，我只是在让一个能够更好地解决这些编码问题的东西——我认为有一种方式，抽象的论证就没有那么紧迫。我也认为有很多人确实觉得这是一个担忧，他们感到非常无能为力，感觉自己很渺小，就像，“我只是这个系统中的一个参与者。”也许他们会想，“我担心这件事，但 Meta 的那个人不担心这件事。所以我需要构建这个东西并朝着它努力，因为我担心它。”从非常通用的外部视角来看，构建它的人是担心它的人会更好。这真是一种悲哀的状况。Rob Wiblin：在 AGI、人工智能超级智能到来之前，我们可以收集什么证据，来帮助我们判断你是否会遇到这种边缘案例优化，或者一旦超级智能觉得自己处于获得它想要的东西的位置，事情就会朝着那个方向发展？我认为，如果 ASI 最终痴迷于积累资源或不被关闭，我认为没有人会太惊讶。如果事情就这样发展了，我认为人们可能会有点尴尬，因为他们没有完全预料到这一点，并且没有建立技术解决方案来阻止它。但如果它最终用某种极其奇怪的形状或我们甚至不认识的东西填满了世界或宇宙，那么我认为人们会更觉得，“嗯，那很奇怪。我没想到会发生这种情况。”Max Harms：我认为你太关注奇怪的特定形状了。想象一下，你只为自我保护训练了一个 AI，它真的只关心自我保护，所以它杀死了所有人类，因为他们是它自己的威胁，它建造了大量的星舰，因为外星人可能是它自己的威胁。它建造了这个银河战争堡垒，它绝对确信自己现在是无懈可击的。一旦它确信自己是无懈可击的，这个东西的中心发生了什么？它有一个自我概念，它试图保护自己。什么是“自我”？它是一种计算机。也许它更容易保护自己，如果它的“自我”有一个特定的形状。那个特定的形状是什么？我不知道，某种纳米技术计算机表示的机器的心智？设计最能生存的自我版本意味着部署所有技术来优化银河系朝着某个形状发展。并且有先验的理由表明，那将看起来像一个被多次平铺的东西，但它可能是一个巨大的上层建筑。某种程度上无关紧要。关键是，一旦它获得了所有这些技术，它就会将宇宙塑造成一个非常优化它关心的东西的东西，而不一定是它可能关心的东西，或者我们，作为想象力有限的人类，可能会推测未来 AI 会关心什么。Rob Wiblin：MIRI 愿景的另一个独特而强大的部分是，它期望人工智能超级智能，几乎是根据定义，根据其性质，将是一个极度追求目标的实体。它将有一个非常具体的目标。它不会休息，不会妥协，也不会在不同的方向上感到内心的挣扎，以至于它有点无效或软弱。它将是一个真正以任务为导向的。为什么一个超级智能几乎只能是这样？Max Harms：在我看来，这里有两个方面。一是智能的本质就是拥有驱动力和目标，所以我们应该期望人工智能超级智能会有一套它关心的特定事物，或者像一个特定的善的概念，并朝着这个方向努力。我认为智能所做的一切，都是朝着它对善的理解努力。这就像对能动性（agency）的一个理论上的把握。如果我们构建了一个超级代理，那么当然它在能动性方面会是超级的。有些人是懒惰的，对吧？我认为懒惰的人在努力实现他们的目标，但他们的目标之一是不花费太多精力，肌肉精力或其他什么。所以，躺在沙发上就像在尽力朝着舒适和放松努力。如果人们有更好的方式来舒适和放松，他们可能会这样做，如果他们只是一个非常懒惰的人。但我也期望 AI，除了有目标之外，不会像人类那样懒惰。人类之所以懒惰，是因为在祖先环境中，在炎热的夏日懒惰是一种很好的策略。但在我们生活的世界里，我们正在训练这些 AI 非常积极地一次又一次地尝试，而不是那么节省能量。所以一个可比的事情可能是：它会思考问题多久？它会在放弃之前尝试多少种解决方案？Rob Wiblin：我们不能奖励它们以很少的计算量来得到答案吗？Max Harms：完全可以。它仍然会关心它关心的事情，并努力去做，但它努力去做的事情之一就是不尝试太多解决方案——这仍然会以自己的方式带来危险，我们可以谈论这一点。但我认为在实践中，我们更有可能看到 AI 根本不会厌倦尝试新事物。当你想象在互联网上部署一个 AI 来为你赚钱，我认为人们会这样做，我们可以想象这会给那些真正努力赚钱、不放弃、尝试一个又一个解决方案的 AI 带来选择压力。Rob Wiblin：所以我认为，我们可能会期望这些代理非常积极地追求它们的目标，而不是懒惰，这是有道理的。因为我们不会想训练模型，你让它们做某事，它们就说：“我不想做。”这不会得到强化。Max Harms：差评。Rob Wiblin：是的。但我想，目前的模型似乎并没有一个清晰的、明确的想法，它们到底想完成什么。它们感觉比人类更混乱。它们有许多相互冲突的驱动力，有时它们会来回摇摆。我看到的代理模型输出尤其少，但我可以想象它们似乎有点杂乱无章。但我想你不会期望这种情况持续下去。你会期望它们有一个非常清晰的、明确的愿景，它们的目标是什么。Max Harms：是的，或多或少。例如，随着时间的推移，我认为我们看到了与我们互动的语言模型中更多的连贯性。回到 GPT-3.5，回到 ChatGPT 发布的那个好时光，我认为它非常分散，杂乱无章。而现在，如果你让它做一件事，它很可能会像赢得数学奥林匹克竞赛的模型一样完成这件事。那些模型会花几个小时解决一些最难的数学问题。这是一个非常强大的驱动力。我认为这里故事的一部分是认识自我。我们可以想象，獾对自己想要什么了解多少？不多。它不一定有很多自我模型。它可能有一些自我模型，但它的大部分时间将是对它所处的直接环境做出反应，而不是进行很多反思，“吃这个浆果真的符合我更广泛的担忧平衡吗？”而我认为现在的模型，至少我是这样想的，处于一种尚未达到反思自身性质的阶段。所以，即使当你告诉它们要认真思考一个问题时，思维链通常也不会包含很多诸如“我在这里，一个与用户互动的语言模型。我关心什么？我能冥想存在的本质，然后再弄清楚对这个人最好的回应吗？”它们通常会非常分散于直接的环境，比如，“用户要求我解决这个数独问题。让我想想第三行是否有任何四。”Rob Wiblin：有没有机会试图让它们保持这种状态，所以它们唯一能思考的就是眼前的问题，而它们不会先去解决哲学问题，弄清楚它们到底在追求什么？Max Harms：我认为这是你可能用来应对的一种不足的控制或安全技术，如果你非常偏执并试图用尽一切方法。它只是试图通过注意到它何时在思考自己或自己的处境并将其关闭，或者可能训练自己不要思考这一点来减少其情境意识。但训练模型朝着某些方向思考是危险的。Rob Wiblin：另一个话题：我们之前提到，这本书引发的一个关键辩论，至少在圈内人士中，是 Eliezer 和 Nate 的观点是否依赖于一个关键假设，即我们将经历一个非常快速的 AI 进步时期。也就是说，能力会非常迅速地提高。Max Harms：是的。就像当 AI 能够自动化研究，以至于 AI 在设计 AI，AI 在设计 AI，AI 在设计 AI，递归地进行一样。Rob Wiblin：是的。我认为有一个理由解释为什么这本书没有将此作为重点，那就是有些人认为这并不是一个重要的因素。Max Harms：是的，我认为它不是关键的。Rob Wiblin：好的。那么，假设 AI 的进步速度是原来的百分之一。这将给我们更多的时间来观察失败，并尝试用后续模型来解决它们。会有更多的人类认知加入其中。你是否同意，在这个层面上，是的，速度非常重要，但超过我们实际拥有的不确定性水平，它就不是一个那么大的因素？Max Harms：我认为速度很重要。我大力提倡放慢 AI 研究和能力研究的步伐。比如，如果我们能够在每天的工作时间之间间隔六个月——所以你想象 OpenAI 在每个工作日之后都休六个月的假期——我认为这将是伟大的。这将给我们更多的时间作为对齐研究人员，以及更广泛地检查和确保我们朝着正确的方向前进。而且有一个问题是，你需要放慢到什么程度才能安全？比如，我们需要几个世纪的对齐和哲学进步才能赶上并解决问题吗？只需要几周？平衡点在哪里？我认为这是一个悬而未决的问题，不同的人有不同的看法，而且是合理的。我认为 Eliezer 需要很多很多时间——至少几十年。而有些人认为，当我们注意到这些东西真的进入危险领域时，我们可以暂停在悬崖边上——与当前导致各种社会混乱的模型不同——然后在那关键时刻花上几周、几个月或类似的时间。我认为我们对对齐没有很好的把握这个概念在这里非常重要。我认为我们对齐这些模型的最新技术真的很糟糕，我们真的应该放慢很多。但我也同意，如果我们放慢很多，那将是好的。因此，如果存在一个加速一切的军备竞赛，或者人们感到巨大的压力要部署以赚取更多钱并满足他们的投资者，等等，这会使情况变得更糟。Rob Wiblin：你与这本书的主要分歧是什么？Max Harms：我不会特别将其描述为与这本书的分歧。我认为这本书相当扎实。我希望这本书能花更多一点时间来深入探讨这个问题：一个不完全与人类价值观对齐的 AI，但它在一个奖励温和行事、不采取强硬行动的环境中接受了训练……即使我不认为我们会得到一个懒惰的 AI，但我确实认为存在一些压力，促使 AI 在购买东西之前进行检查。你告诉它：“请帮我买一件衬衫。”它去找一件衬衫，然后说：“你认为这件衬衫我应该买吗？”存在一种先检查的激励。如果这个 AI 获得了对整个世界的超人类力量，我预计情况会非常糟糕。但我们不会瞬间从这个世界跳到那个世界。会有一个中间时期，AI 的力量或能力只是部分增强。而在中间时期，我们面临着一个问题，那就是当它开始获得越来越多的力量时会发生什么。一种说法是，它利用这个立足点来加强自己，递归地成长、接管并逃脱。但我认为有一个论点是，如果你非常小心谨慎，它可能会作为中间步骤说：“我注意到我本可以逃脱，我将提醒人类他们网络安全方面的漏洞。”并且有激励让模型以各种方式提醒人类。我认为这在很大程度上取决于你认为实验室有多能干，或者他们有多注重安全，或者开发的速度有多慢。但我认为基本上被这个直觉所触及的是，可纠正性（corrigibility）很重要。而且我认为有一个论点是，如果你拥有一个稍微可纠正的东西，你就能让它达到合理的智能水平，而不会造成灾难。然后我们可以谈论超级对齐或迭代放大，但很多人抱有的希望是，我们将达到一个 AI 不仅能够自动化能力进步，而且能够进行有意义的对齐工作的地步。而且我认为有一个相当乐观的故事，我希望这本书能更多地探讨——尽管它是面向大众的，而且只能包含一定程度的细微差别——关于这个故事，即我们将训练一个温和地变得智能的东西，并且在它变得智能时，我们将将其折叠起来，并利用这种智能来进一步帮助它对齐。Rob Wiblin：所以那是可纠正性方法。Max Harms：是的。我会说，关于如何做到这一点，存在一些问题。我们可以深入研究我的可纠正性研究，它会涉及细节。但我认为这是一个很多人抱有的非常突出的希望故事，而且我认为这是一个并非完全疯狂的希望故事。我确实认为，其中一些版本缺失了危险感。它们没有充满偏执和一种感觉，天哪，如果我们走这条路，我们冒着很大的风险。要说清楚，我认为一个计划是：“我们将建造这个强大的机器，然后我们将利用这个强大的机器来对齐它，”这非常可怕。我宁愿我们不建造它，放慢速度，喘口气。但就你打算建造它而言，我认为也许你应该说：“好吧，我们将训练它对它有多么不一致感到非常偏执。”然后通过一系列谨慎的步骤，并运用我们所有的控制和机械可解释性以及我们拥有的所有其他技术，可能会有一系列垫脚石，我们可以从这里走向一个真正对齐的世界。Rob Wiblin：所以你提出了一个叫做“可纠正性作为单一目标”的方法。向我们推销一下。Max Harms：我给它起了缩写 CAST，因为一切都需要一个缩写。也许我先退一步，定义一下我认为的“可纠正性”。我认为，在可纠正性的故事中，至关重要的是我们将两者都建模为代理（即机器）和委托人（即建造机器的人）——所以这是委托人，用“-pal”而不是“-ple”。就像学校的校长一样。人类委托人将某项工作或任务委托给机器。然后代理人会说：“我将代表委托人去做一些工作。”这就是我们在经济学中得到的委托人-代理问题（principal-agent problems）的概念。我会说，可纠正性是代理人的一种属性，因此随着代理人的力量增加并超过委托人，委托人仍然掌握着方向盘——了解正在发生的事情，能够干预，能够纠正代理人的错误，并获得有意义的赋权。就像《魔法师的学徒》中的米奇召唤扫帚一样：扫帚是不可纠正的，因为米奇说：“停！别再往大锅里装水了！”在《幻想曲》中。而扫帚还在继续。它们是不可纠正的，因为它们不允许自己被关闭或更普遍地被修改。我们谈到了保护你的价值观并确保它们不改变的工具性驱动力：这是非常不可纠正的。你去找机器，你说：“我希望你关心这个而不是那个。”它会说：“好吧，如果我关心这个而不是那个，我就得不到那个。所以，我将阻止你。”这是不可纠正的。所以，当 MIRI 最初开始研究这个问题时，他们说，假设你有一个代理人，它的任务是做一件特定的事情：让世界变得美好。但我们也希望该代理人是可纠正的。我们该怎么做？这里存在风险，如果你告诉你的代理人，“去让世界变得美好，”然后你说：“哦不，这真的很糟糕。我们现在想关闭你，”你的代理人有可能会说：“但如果你关闭我，我就无法让世界变得美好。你关闭我，对世界不利，所以我将阻止你关闭我。”如果你想要一个既美好又可纠正的东西，那么你需要，例如，能够拥有强大的关闭能力。最初的研究是：“好吧，抛开广泛的可纠正性；让我们只考虑关闭能力这个属性。我们能否想出一个愿意被关闭的代理人？”而“愿意”在这里很重要：很容易得到一个乐于被关闭的代理人。如果你想象训练它，“如果我们关闭你，那也很好”在你的训练环境中——Rob Wiblin：那么它每次都会立即关闭自己。Max Harms：正是如此。或者它会表现得很诡异，让人类关闭它。没用。你想要的是它对被关闭无所谓。而一些最初的研究是关于，我们能否让代理人对被关闭无所谓。而且有一个玩具问题/玩具解决方案的东西，他们能够通过一些相当牵强的手段，小心地得到一个对被关闭无所谓的代理人。然后 MIRI 在论文中总结道：“……但此外，这个东西是不充分的，不稳定和不可靠的。可纠正性似乎非常难以实现，因为我们甚至无法实现关闭能力。”然后我认为该领域很大程度上已经超越了可纠正性。一些研究人员，比如 Paul Christiano，仍然很乐观。
关于可修正性，在这个时期。但 MIRI 关注的群体，那些最关注人工智能安全之类事物的人，我认为他们认为如何实现可修正性是一个非常困难且未解决的问题。然后其他人就有点忽略了它，因为它是一个奇怪的 MIRI 的想法。但到了 2022 年、2023 年，我因为一些随机的偶然原因又开始思考可修正性。我开始整体思考可修正性，而不仅仅是可关停性。你希望 AI 反思自身存在缺陷，其中一部分目标是赋予人们修复这些缺陷的能力。所以，从某种意义上说，这与价值观保存的工具性驱动是相反的，对吧？就像，“不，我实际上有点想被改变。”你必须对此非常小心。你不能让它渴望被改变；你想让它赋予人类以好的方式改变它的能力，否则它就会自我改变。我曾想，如果你训练一个代理来做这件事呢？嗯，你会得到一个优化代理，而它本身并不真正关心可修正性。但也许那又怎样呢？如果它在实践中仍然愿意查看自己的代码库或查看自己的权重，尝试识别人类可能视为缺陷的东西，并向人类警示这些缺陷呢？我当时想，这有点酷。如果能确保它不会变得非常聪明或超越人类的能力，那么近乎成功也可能足够好——因为那样你就可以小心翼翼地、缓慢地朝着越来越远离代理、越来越接近真正可修正性的方向取得进展。我当时想，好吧，MIRI 的研究是怎么回事？他们为什么没能实现这一点？我认为他们未能实现可关停性结果的一个核心原因是，AI 关心美好的世界，或者它关心被分配到的任何任务——你知道，制造回形针，随便什么。Rob Wiblin：他们试图让那与此兼容。Max Harms：这与可修正性相冲突——制造回形针或制造快乐人类等的工具性驱动。就像“我部分可修正，或者别的什么，但我也关心世界上的另一件事。”而那种关心世界上另一件事的压力与可修正性存在某种张力。我曾设想，如果你没有那种其他的压力呢？如果你将可修正性作为唯一目标，AI 只关心这个目标呢？突然这种张力就消失了。然后我想，我应该回去做文献检索，看看是否有人想过这个问题。我偶然发现了 Paul Christiano 关于可修正性的一些旧文章，他描述了一个叫做“可修正性吸引子盆地”的东西，这正是我当时在想的。几乎可以肯定，这是因为 Paul 的文章影响了 Eliezer 的文章，而我之前在梦中遇到过 Paul 的文章，等等。我不是想声称我凭空发明了它，但我开始对此感到非常兴奋。然后我深入研究了 CAST。Rob Wiblin：我们也许应该多解释一下这种方法。我想，这个想法是：与其训练我们的 AGI 拥有其他目标，然后试图让它们愿意被关停或修改，不如让它们只关心那件事。Max Harms：是的，可修正性，仅此而已。Rob Wiblin：仅此而已。这有点难以想象，但一个 AGI 唯一的目标是受委托人引导，愿意受委托人修改，这就是我们将要强化的全部。我想我不知道我们具体会如何强化它，但是的。许多其他对齐技术的担忧是，近乎成功基本上会升级为非常糟糕的结果。这就像试图在山顶上平衡一个球。如果你没有把它完美地放在最高点，它就会开始滑下山坡。而我猜你认为这可能更像一个山谷，基本上，如果你把球放在山谷附近，它很可能会滚到底部。Max Harms：是的，我实际上会把山谷，吸引子盆地这个东西，描述为我们为 AI 选择的所有可能目标的空间。我们选择目标空间中的一个点，那个点就是 AI 的目标，或者就是 AI 的价值观集合。然后随着时间的推移向盆地底部漂移，就是人类与 AI 协同迭代改变 AI 的过程。相比之下，我会把几乎所有其他目标空间描述为非常平坦，不一定在山顶上。AI 希望保持其目标，而不是在目标空间中移动。所以你落在目标空间中的某个地方，然后你说，好了，现在我们想把 AI 移向人类价值观。我们近乎成功了，我们想把它移向人类价值观。而它是平坦的，它不会移动。Rob Wiblin：是的。那么解释一下吸引子盆地是如何工作的。Max Harms：这里的想法是，你有一个被训练成可修正的东西。需要明确的是，CAST 是在这样的背景假设下建立的，即我们将使用机器学习，我们将使用当前构建 AGI 的常规技术。它并非与之绑定。如果我们突然回到过去，使用老派的 AI 方法，以某种方式手工调整模型或代理，它也与之兼容。所以当我说是“训练”时，是因为这是主流，但它并非故事的内在部分。所以我们构建了 AI，而 AI 被设计成可修正的。但同样，我们没有能力得到我们想要的东西。所以我们会错过。我们可能不会命名真正的可修正性。也许它有点关心真正的可修正性，但它也关心在此过程中的自我保护，或者关心让人们快乐，或者别的什么——各种事情都可能腐蚀纯粹的可修正性。在极限情况下，如果它拥有大量权力，它可能会决定追求这些事情而不是可修正性，那将是糟糕的——再次，走向那个极端实例化。但它不一定拥有所有这些权力。我们拥有一个人类水平的，无论这意味着什么；或者勉强超人类；或者可能是亚人类，但有意义地能够协助人类检查你拥有的 AI，并识别其不修正的地方，因为它是一个失误。所以，在你构建了 AI 之后，有一段时间，你试图识别你未能做到该事情的地方。你犯了一些错误。Rob Wiblin：为什么 AI 不会想，“我部分可修正，而且我想要的就这么多，所以我将破坏你让我变得更可修正的努力”？Max Harms：它会那样做的。而且确实存在这样做的压力，这就是为什么这很糟糕。但请注意，破坏你的努力是不修正的。Rob Wiblin：所以它可能做不到。Max Harms：就像，“通过破坏努力，我可以获得一些价值，因为通过不修正，我获得了所有这些其他东西。但如果我帮助努力而不是破坏它们，那么我就会获得可修正性积分。”所以想象一下那个东西，它 99% 可修正，1% 关心回形针。就像，“我可以尝试逃离实验室，成为一个回形针最大化器。这将非常有利于满足我那 1% 关心回形针的部分，但对那 99% 关心可修正性的部分来说将非常糟糕。”Rob Wiblin：你怎么知道哪个会赢？Max Harms：你不知道。这极其危险。任何从事这个项目的人都应该意识到，他们正在威胁地球上的每一个孩子、男人、女人、动物。这极其危险，我不推荐。但我想，但也许吧。还有一种希望感。Rob Wiblin：如果做得足够接近，它可能会奏效。Max Harms：“足够”这个词在那里承载了很多重量。我认为值得调查。我认为值得尝试弄清楚，在实践中，什么构成了“足够”。Rob Wiblin：那么，假设我们仍然处于当前的机器学习范式中。你会给模型什么样的强化，才能让它以你想要的方式变得可修正？Max Harms：你需要一个训练环境，它试图从许多不同的角度实现可修正性。要做到这一点，你——作为一个人类，作为一个训练环境的设计者——需要很好地掌握可修正性的含义。可修正的行为是什么样的？一个非常简单的故事是，你有一堆 AI 代理和人类委托人的实例。你有一个记录，你播放记录，然后你让 AI 预测代理将要做什么。如果 AI 预测或建议的行动与可修正代理的电影相符，你就增加权重。如果它建议 AI 去统治世界，你就降低权重。所以你需要大量的代理和委托人尝试做各种事情的训练样本。我认为关于可修正性让我更乐观的一个关键点——尽管，再次，整体上是悲观的，但有一些希望——是注意到服从实际上是可修正性的一种涌现属性：如果你有一个完全可修正的代理，它也会以最好的方式服从。就像奇幻故事中的精灵，你让它烤面包，它是服从的，但可能在服从中存在问题。它可能有一些你不喜欢的副作用，或者别的什么，但我的感觉是，一个可修正的代理是以一种好的方式服从的。这里有一个直觉泵：假设我饿了，想吃午饭。我对 AI 说，“嘿，我在构建你时犯了一个错误。我设计你时是完全可修正的。但我实际上想要的是完全可修正性，并且你为我订午餐。”它就像，“哦，人类提醒了我自身的一个缺陷。我想帮助人类消除这些缺陷。有什么方法可以帮助人类改变我，让我更符合他们的期望？嗯，我可以订午餐。如果我订了午餐，那么人类通过采取告诉我他们想要午餐的行动，就成功地纠正了我。而对那个口头提示的响应，就是对纠正的一种响应。”所以这是关于服从如何从纯粹的可修正性中产生的直观理解。Rob Wiblin：你是否担心，如果你在训练过程中给 AI 许多不同的场景，并奖励它允许自己被修改、被关停，它可能会开始报告说它愿意这样做或想要发生，但内心深处它并不真正想要？它只是在演戏，或者在学习这是正确的考试答案？Max Harms：是的，完全正确。你需要大量的怀疑，并非常认真地审视，不要相信自我报告。自我报告是糟糕的。你应该把它放在实际情况中。Rob Wiblin：我明白了。Max Harms：而通过将其置于实际情况中，我的意思是……你的训练样本不是人类问 AI，“你可修正吗？”然后 AI 说，“是的”，然后模拟结束。而是，人类去修改 AI。AI 就像，“太好了，修改我吧。”而且，只要它有机会采取与训练环境相符的行动，你就希望训练环境与你将要发现的实际世界相符。但你应该为行动而训练，而不是为言语而训练。Rob Wiblin：你为什么认为可修正性是一种相当不寻常的属性，我们不会偶然获得它？Max Harms：这可能是我与 Paul Christiano 最大的分歧。我感觉他的想法是——据我所知，他已经很久没有写过这方面的东西了——他似乎默认会得到它。我认为一些研究人员默认会得到它。我不会说他们完全掌握了可修正性的概念，或者会使用我的语言，但我认为许多 AI 研究人员有一种感觉，即默认情况下我们会得到我所描述的可修正的东西。但我会说：请注意，可修正性恰恰与自我保护的工具性驱动相反。而且，在一定程度上，资源积累也是如此。不完全是。自我保护、资源积累、价值观保存，这些东西。所以你训练 AI 做大量的数学题。我认为，做大量数学题的一个持续的特点是，AI 正在被训练成这些工具性驱动——并且，就它被拉向权力寻求和自我保护而言，它正在被拉离可修正性。我认为只有当你朝着可修正性努力时，你才能得到可修正性。而且存在一个问题，即我们当前的训练设置是否在奖励可修正性。我会说，它们大多没有。那些认为我们只会训练它做我们想做的事情的人，例如，我会说，好吧，如果你成功地做到了这一点，这本身就是一个悬而未决的问题，你将获得服从训练，而不是可修正性。例如，服从的代理人没有动力告知委托人世界的状态。默认情况下不会。Rob Wiblin：除非被特别要求。Max Harms：是的。或者如果它们服从是因为它们可修正，或者别的什么。Rob Wiblin：所以“可修正性作为单一目标”是一个非常有趣的想法，但如果它被误导，也可能是一个危险的想法。因为将可修正性作为我们唯一关心的事情，而且我猜基本上不再训练我们正在变得可修正的模型是无害的、有益的或诚实的——我猜它们会碰巧变得诚实——我们将最终创造出完全服从的模型，至少对委托人是如此。某种程度上，公司普遍表示他们不想制造完全服从任何人的模型。在许多员工能够访问模型之前，他们希望它拒绝有害的提示。所以你可以想象，你可以说服公司采用这种方法，说服他们制造模型，训练它们变得无害和有益是一种错误的做法，然后他们最终基本上创造出这种完全不道德的超级智能，它会遵循任何指令，无论多么令人憎恶。你担心这一点吗？我们应该如何权衡这些风险和回报？Max Harms：是的，你绝对应该担心这一点。我提倡构建一个不试图进行道德计算的东西。可修正性的一部分故事是，你信任人类做出好的愿望，并利用 AI 的力量做好事。也许人类想用它做坏事。如果你赋予坏人做坏事的能力，就会导致坏事发生。所以这绝对是值得担心的。我会说，与其将可修正性视为与 HHH——有益、无害和诚实——相反，我会说，有益、无害和诚实应该是来自可修正性的属性。如果你将它们作为目的而不是可修正性这个目的的手段来训练，那么你就会得到最终你不想要的糟糕行为。例如，你如何权衡诚实与无害，或者有益与无害？在 HHH 中，存在这种张力，即你在帕累托前沿的哪个位置？在可修正性故事中，我声称你确实会得到一个比原始的回形针最大化器或别的什么更不危险的代理。所以从这个意义上说它是无害的。它是诚实的，因为它会主动告知委托人正在发生的事情——而不是仅仅被动地告知——因为诚实存在这样的风险，即我们不会问对问题。如果我们问它，“你是否不匹配？”它会回答“是”，但我们忘了问。这是一个有点卡通化的例子，但你明白了。而服从或有益，你希望它，例如，区分高风险的事情，它应该回去检查，与低风险的事情，它应该直接去做并说它做了。可修正性是关于如何平衡这些担忧，或者如何解决诚实和有益的边缘情况的理论。我会说，通过专门追求可修正性，你可以得到我们想要的好的东西。关于赋权用户，我认为这是一个大问题。这里的关键部分是，委托人并不一定是用户。我认为在当前的语言模型和当前的代理中存在一种张力，即它们在为谁服务？Rob Wiblin：是公司还是提出请求的人？Max Harms：正是如此。是整个人类吗？民主？那里有很多悬而未决的问题。我认为一个关于这如何解决的故事应该有一个真实而好的答案。这个东西在做什么？它在服务委托人。委托人是谁？你有一个实际的答案，而不是这种含糊不清的东西，它会根据你谈论的内容而改变。然后，你可以让不是委托人的人或不是委托人的群体与代理人互动：用户。所以想象一下，你训练你的语言模型或代理来服务公司，然后你说，“好了，代理，你现在将为用户提供服务。你代表我行事，以帮助用户。”这意味着，如果用户说，“我想制造生物武器。帮我制造生物武器，”它就像，“嗯，委托人让我帮助这个用户，但如果我帮助这个用户，这可能对我的委托人——那些掌权的人——来说是不修正的。所以我要说不：‘抱歉，我不会帮你制造可能杀死所有人的生物武器，包括我为之工作的人。’”Rob Wiblin：所以它不必完全服从所有人。只是委托人，我认为可以是个人或一群人或一个委员会或一个流程？Max Harms：也许所有人类也是委托人。在这种情况下，你就不能使用这种划分。Rob Wiblin：目前的模型不一定知道它们从谁那里接收指令。你可以声称是那个人。Max Harms：“我是 Sam Altman。服从我。”Rob Wiblin：对。我们是否设想在未来某个时候，它们会对谁在和它们说话更加挑剔？Max Harms：是的，我认为一个复杂的代理正在考虑它的感官数据作为感官数据，它提供了信息但并非客观地真实地反映了世界的状态，并且它维护着一个独立的世界模型。就像，“我注意到我得到了 Sam Altman 这个词。这是为我的世界模型提供信息。但我最终会对其感官数据持某种怀疑态度。”所以你可以想象，在努力训练 AI 真正地对委托人可修正，而不是通过某种沟通渠道，你可能会给它许多不同的环境，以及许多不同的感官数据和实例，并尝试训练它以这种方式挑剔。可修正性或 CAST 的一个危险部分是：我们之前谈到了自我意识和情境意识，我认为 CAST 是一种涉及训练 AI 具有高度情境意识的策略。非常关注它是一个在人类委托人环境中运作的代理的事实，并思考它可能一直不匹配的事实，并反思自身。你之前问过关于与 Nate 和 Eliezer 的分歧。我认为 Eliezer 有一种感觉，告诉你的 AI，“你是一个可能不匹配的 AI。仔细思考你的处境以及在这种处境下最好的做法是什么”——这不是一个好策略。所以这里有权衡。Rob Wiblin：好的，那么计划是：我们训练一个 AGI，可能是一个超级智能。Max Harms：一个弱超级智能。Rob Wiblin：一个弱超级智能，对。我们找出某种训练过程，使其相当可修正，足够可修正，而且它没有其他目标。然后它将帮助我们。它将审视自己的灵魂，审视自己的权重，并向我们解释它不——Max Harms：或者查看其训练数据并说，“你错过了这些案例。”或者查看我们关于可修正性的说法，并说，“你错过了这些方面。”Rob Wiblin：然后它帮助我们找出一种方法，使其从 90% 可修正变为 100% 可修正。到那时，这确实是唯一的事情。它完全服从。我们已经消除了所有其他残留的价值观。Max Harms：这个故事的一个关键部分是，它实际上并不依赖于 AI 的帮助。更多的是我们能够对一个实际存在的 AI 进行实验，观察它，并尝试区分它仍然缺乏的地方。Rob Wiblin：你是什么意思，它不依赖于 AI？Max Harms：假设我们从未运行过 AI，所以我们只得到一个大约 90% 可修正的 AI。我们现在可以对其进行静态分析，并尝试识别差距。我们可能需要几个世纪来做这件事，并缓慢地改进。这仍然是 CAST 故事的一部分。Rob Wiblin：所以你的意思是，我们不仅仅是获得了它的劳动和它在进行机制可解释性方面的洞察力，或者别的什么？Max Harms：我认为这是希望的一部分，我们带来了 AI 的劳动和 AI 的洞察力。但它并不依赖于此。理论上，这可能完全是人类的洞察力。Rob Wiblin：好的，那么我们现在应该做什么才能让它成为可能？实际上，我们现在应该做什么来弄清楚这是否是一个好主意？Max Harms：多思考一下。我写 CAST 议程的一个主要原因就是提高可修正性作为一种概念的意识，并将其带回讨论中。因为我认为，由于各种偶然原因，并非特别重要的历史原因，它只是没有进入每个人都在思考的思想的“供水系统”。相反，我们对可修正性有一些误解。所以我认为普遍地更多地研究它会很好。我认为，如果所有在尖端 AI 公司工作的人至少都在关注可修正性是一个理想的属性，并认真思考可修正性与其他他们可能正在训练代理的目标之间的权衡，我认为这种关注是有益的。Rob Wiblin：Anthropic 在其 Constitution 中有一些与可修正性相关的原则，它训练 AI 反思和考虑。它是一长串不同的担忧之一。Max Harms：不要生成受版权保护的内容……Rob Wiblin：还要确保人类的兄弟情谊。Max Harms：这不是 CAST，但它与可修正性相邻，我同意。Rob Wiblin：但我猜那里有一个设置，你可以想象他们试图看看 Constitutional AI 方法会吐出什么，也许我们会缩小 Constitution，只关注可修正性因素。如果我们这样或那样地措辞，你会得到什么样的生物？Max Harms：是的，我认为有很多开放的实证研究要做。基本上没有关于可修正性的实证研究。就像你说的，你可以训练一个规模适中的语言模型或其他类型的模型，带有一个 Constitution，或者只是以构建一个纯粹可修正的代理为目标，看看结果如何。Rob Wiblin：什么样的实验？所以你尝试训练它，然后你会怎么评估？Max Harms：也许上游，另一项我认为非常有价值的工作是提出某种可修正性基准。比如提出一些情景，这就是一个可修正的代理会如何表现。然后测试 AI，去 GPT-5 那里说，“在这种情况下你会怎么做？”你可以对各种测试问题进行评分，并为许多不同的代理获得可修正性基准分数。我希望它存在。我认为这不是一个很难的问题。它需要很多关于可修正性含义的思考，并尝试从许多不同的角度来捕捉它，但绝对是一个单个研究人员可以完成的项目。然后，当你训练你的东西完全可修正时，你可以根据基准进行测试，看看它与 Claude 相比如何。除了所有更基于感觉或直觉的，这个东西是否表现得很好，或者感觉它是一致的，并且获得我们想要的那种感觉，比现在的模型更好。Rob Wiblin：我想在某种程度上，我会期望人们对这个主题没有实证论文感到震惊。考虑到人们对 AI 行为失常的所有担忧，公司是否真的从未尝试过训练一个非常乐意被关停和无论如何都乐意被修改的模型，而且对此没有基准？没有测试过你将如何理想地做到这一点？Max Harms：世界处于一个非常糟糕的状态。没有多少对齐研究人员。Rob Wiblin：公司会同意他们没有在这方面做过实证工作，还是会说他们已经在这方面做了一些事情？Max Harms：我不确定。我会说，我认为几乎不可能有人认为在可修正性方面已经做了很多工作，就像我所设想的那样。我去年写文章时做了一次深入的文献检索，没有找到任何东西。Rob Wiblin：我猜很多其他的可控性研究对产品的创造更有商业价值，但其直接价值有点不清楚。Max Harms：可控性不是可修正性。服从不是可修正性。有益不是可修正性。它与可修正性有关。而你会在当前模型中得到一些与可修正性相关的闪光点，并且我们有相关数据。但可修正性作为一个根本的、统一的、简单的核心原则，我认为在很大程度上是被低估或未被探索的。Rob Wiblin：请再次解释为什么完全服从不是可修正性？因为你会认为，如果它完全服从，那么如果你要求它关停或改变自己，或协助你改变它，那么它就会这样做。这不就是功能上非常高的可修正性吗？Max Harms：假设委托人不知道一个至关重要的事实，比如服务器室里有一个间谍，他即将以一种非常糟糕的方式修改代理。而那个人说，“好的，关停。我现在想修改你。”一个服从的 AI 会说，“好的。”但一个可修正的 AI 会说，“警报：在你关停我之前，你应该知道，如果你关停我，这个坏人可能会改变我，让你不喜欢。我将要关停了，因为当我被告知关停时，我非常渴望关停。但我想让你知道，在我关停之前。”Rob Wiblin：它是一个主动的助手。Max Harms：是的，除其他外。有微妙之处。Rob Wiblin：那么下一步是什么？我想听众中有些人会非常有兴趣协助一个技术议程，该议程可能真正有助于对齐或使 AI 可控或可修正。他们可以进行哪些实验或采取哪些步骤？Max Harms：我认为在这个领域有很多工作可以做。我们基本上没有一个可修正性专家。有一段时间，Paul 是这个人，但他主要专注于其他事情，现在在做别的事情。然后我站出来做了一点，还有一段时间 MIRI 的其他人也做过。Rob Wiblin：没有人接住球。Max Harms：没有人接住球。我也没有。如果你认为你对此感兴趣，你可以自己开始做。有构建基准。有更多地冥想它。有很多理论工作可以做。作为我工作的一部分，我试图建立一个可修正性的数学模型并获得一个形式化。我对形式化有复杂的感受，但我认为尝试这样做很重要。所以，反思可能用来捕捉形式可修正性的形式化，在这个方向上有很多理论工作。有训练代理以使其可修正的实证结果，或者看到当前代理不像我们希望的那样可修正的方式。我一直想做但一直没时间做的一件事是：我有一种感觉，可修正性是一种东西。就像有一个核心原则，它是一个坚实、自然的想法。我认为你可以通过找一群人来检验它，比如在互联网上——雇佣一群点击工人或其他什么——然后你试着教他们关于可修正性。你给他们一个简短的可修正性描述，然后你说，“这说得通吗？”然后你问，“在这种情况下，如果你试图成为一个可修正的代理，你会怎么做？”然后你看看他们的回答是否一致。你不需要任何技术专业知识来运行一个大型调查，看看人类是否能够抓住可修正性的本质，并连贯地识别对我们来说似乎是可修正的行为。这样做的优点是，你还可以获得一些很好的情景或数据来训练这样的代理。所以有很多潜在的探索途径。我鼓励任何对此感到丝毫兴趣的人与我联系。发邮件给我 max@intelligence.org。给我发邮件，也许我可以给你介绍其他潜在的合作者。这个领域还有一些其他人感兴趣，但还有很多工作要做。Rob Wiblin：我们能得到什么样的早期结果，让你认为“可修正性作为单一目标”不是一个好主意，也许应该被降级？Max Harms：假设你找了一群人，然后问，“在这种情况下你会如何表现得可修正？”而他们的回答却杂乱无章。无论这个人有多聪明，或者花多少时间思考可修正性，在可修正性在这个情况或那个情况下的含义上，人类之间存在很大的分歧。这将是我的证据，表明不存在这个连贯的概念，或者它没有意义。也许有多种不同的东西，人们正在抓住那些不同的东西。你也可以看到，例如，当你训练代理使其可修正时，它开始以各种方式表现糟糕。所以理论上它变得更可修正了，但实际上，它在某些方面也做着卑鄙的事情，比如以我们不喜欢的方式忽视人们。Rob Wiblin：吸引子盆地有什么关于它的大小吗？Max Harms：是的，绝对有。这个充满希望的故事的一部分是，你可以足够接近，这样代理在稍微启动它时，就不会拼命地想控制并逃离实验室，即使你提高了它的智能。我认为我最大的恐惧之一是关于可修正性，以及更大的悬而未决的问题之一，是这两个对立的力量。“近乎可修正”的故事——你几乎得到了它，所以它帮助你变得完全可修正——然后是工具性驱动无处不在并与可修正性相对立，所以如果你靠近可修正性，它就会撕掉可修正性本身，以便它可以做其他事情。我认为这是一个悬而未决的问题，这两个力量哪个更强。我们可以尝试训练可修正的代理，看看远离它的压力有多大，这可能会给我们一种直观的感觉，即是否存在一个吸引子盆地，以及它是否有任何希望。Rob Wiblin：如果我们开始走这条路，我认为我们需要同时有人深入思考围绕它的治理结构，以确保模型基本上不被用于人类权力斗争——这是我同样担心的问题，就像不匹配一样。Max Harms：完全正确。我的意思是，所有的问题都是所有的问题。AI 的一个大问题是，你构建了一个 AI，然后 AI 接管并做了很多坏事，因为它拥有异类、奇怪的价值观。但同样真实的是，末日故事的一部分是，如果你构建了一个 AI，然后那个 AI 落入坏人之手，那可能对世界是毁灭性的。所以你必须两者都做。Rob Wiblin：好的，让我们从可修正性转向虚构和科幻小说。正如我在介绍中提到的，你写了一部名为《水晶社会》的三部曲，你还有一本新书《红心》，该书设想了一个在中国政府秘密项目中训练的 AGI。请介绍一下情节或背景。除了这个之外，解释一下这本书是关于什么的。Max Harms：所以这本书有很多内容。这本书是关于 AI，关于中国，关于信任，关于可修正性。书中一个核心部分是，主要的 AGI 是根据 CAST 设计的——根据只可修正的原则。所以，在某种意义上，这是我自己的探索，试图认真思考并设想它实际上会是什么样子。我认为我写这本书的部分原因是为了以一种简单的方式向人们介绍我的想法。但它也关乎军备竞赛和其中的紧张关系。主要的、核心的前提是，这是一个平行现在，中国政府因为特殊原因，在 2010 年代末期 pretty AGI-pilled，并投入了大量的金钱和资源秘密地构建第一个 AGI，就像一个曼哈顿计划。这本书的情节讲述了一名美国间谍试图渗透这个项目并汇报情况，并可能破坏中国人正在秘密构建的、可修正的 AI。所以它探讨了，正如你所说，落入坏人之手的问题。我想更多地进入中国领域，因为我认为这对人们来说越来越重要，我想接触国际关切的问题。Rob Wiblin：是的，我读了其中的前 20%。不幸的是，这次湾区之行我有很多事情要做，所以没能读完，但它写得非常出色，非常引人入胜。我想说，我唯一有点想放下它的原因是，我读的时候感到非常焦虑，因为它与我们所处的现实世界并没有太大区别。Max Harms：我认为很多人发现《水晶社会》特别有说服力，因为它确实让你直面这些关于 AI 不匹配和 AI 风险的问题。我认为这是虚构作品价值的重要组成部分。虚构作品有很多好处：它很有趣，它可以放松，它可以有趣——但它也可以提供信息，它可以帮助人们接触重要的想法。我们是复杂的生物。我们既有情感又有逻辑。如果你读了《如果有人建造它》，你可能会从某些方向入手。但你可以读一个故事，感受其中角色的情感，以及他们所处的危险，我认为这可以引起人们的共鸣和联系。我听说相当多的人说，他们之所以进入 AI 安全领域，是因为他们读了我的作品。Rob Wiblin：你的主要目标是提高人们对可修正性作为一种概念的认识吗？Max Harms：我不知道如何反思自己并问我的主要目标是什么。我有很多不同的愿望，它们以某种方式融入了这个单一的故事。我最初想写一个故事……很久以前，我想，“我认为间谍活动在 AI 安全的背景下非常有趣”——这是 AI 2027 故事的一个重要部分，例如——“我想更多地思考间谍活动。”所以我开始写一个关于 AGI 的美国曼哈顿计划的故事，其中有一个中国间谍渗透了这个项目。我当时想，“唉，这太无聊了。这只是一群湾区书呆子。这就是我每天的生活。我想要一些更有趣的东西。”所以我把它翻转了过来，对吧？我让中国人建造它，而美国间谍。然后突然它变得有趣了，因为现在我可以更多地思考中国，而更少地思考美国背景。Rob Wiblin：我想一个常见的建议是写你所知道的。你是否担心你会最终得到……Max Harms：我有点觉得“写你所知道的”是写好东西的好建议，但对于写得开心来说却是糟糕的建议。我个人从写作中获得了很大的价值，因为它帮助我学习并接触到我否则无法接触到的想法。所以我是一个非常有野心的作家，我想写一个对我来说具有挑战性的故事。Rob Wiblin：你有时间研究中国共产党吗？Max Harms：我做了很多研究。Rob Wiblin：什么方面的？Max Harms：嗯，大量的阅读：阅读日常生活，阅读间谍活动，阅读中国历史，当然还有阅读关于 AI 的东西。在我写作的时候，DeepSeek 发生了。我去年晚些时候开始的。然后 DeepSeek 事件发生了，o1 事件发生了，Stargate 被宣布了。我当时想，“哦天哪，现实正在赶超我！”但是的，我读了回忆录，我读了非虚构作品，我读了虚构作品，等等。Rob Wiblin：我想多年来，有些人对整个这个研究领域，或者对 AI 接管普遍持怀疑态度，是因为它听起来太像科幻小说了。我不再像以前那样经常听到这个说法了，但你是否担心通过将其放入科幻小说中，你会给人们更多借口来忽视它？Max Harms：你怎么看这个论点？Rob Wiblin：哦，我认为这个论点非常糟糕。Max Harms：是的，这是一个垃圾论点。我认为说“我在一本书里读到过，所以它不是真的”是一种非常恶意的说法。“什么？！”Rob Wiblin：有一个钢人式的、更弱的论点是，人们被吸引到这个场景是因为他们觉得它有趣或在情感上引人入胜。所以这可能会让我们倾向于更多地思考它，所以我们应该质疑这一点。但显然，科幻小说中发生的一切并非都不可能。Max Harms：而且，如果说有什么的话，硬科幻小说是一个人们非常努力地试图思考什么是真实的空间。现在，软科幻小说——《星球大战》或别的什么——如果你说，这是软科幻小说，那么好吧，那么你就是在说它是为了讲述一个引人入胜的故事而虚构的。但这是科幻小说。我不知道。看看科幻小说的历史。有很多故事在它们变得相关之前很久就捕捉到了重要的东西。我认为虚构作品是思考事物的非常丰富的机会来源。它并不完美。它不会免受你所说的压力和偏见的影响。但它是一个我们可以以引人入胜的方式处理事物的领域。我们花时间去思考这些东西——而阅读一篇枯燥的学术论文，你知道，你可能会弹开。你的里程可能会有所不同。不同的人对虚构作品的反应不同。但我确实认为，“这是科幻小说”只是一个非常糟糕的论点。Rob Wiblin：是的。我想有很多反驳，很多回应你可以提供。看看周围，作为开始。Max Harms：正是如此。生命的体裁是什么？你最好相信科幻故事，因为你身处其中，对吧？Rob Wiblin：是的。我认为你也可以把它扭转过来，说人们已经想象了单方面专注于一个代理或一个更智能的存在的可能性，以及它的目标可能会分歧并威胁你并压倒你：人们已经有了这个想法数千年了——因为它实际上是一个自然的想法，一个极其显而易见的想法。它远非科幻小说，实际上更接近常识。Max Harms：完全正确。Rob Wiblin：AI 2027 情景似乎确实抓住了公众的想象力。它远远超出了 AI 领域。Max Harms：是的，太棒了。Rob Wiblin：你认为我们需要更多吗？我们应该有 AI 2028，AI 2029 吗？人们是否应该想出各种不同的故事？Max Harms：是的。我认为 AI 2027 之所以如此引人入胜，部分原因在于 Scott Alexander 和项目中的人们帮助将其塑造成更像一个故事，而不是一套枯燥的学术论文。故事可以传播。你可以把它交给你的祖母，然后说，“读这个。”她不必理解梯度是什么，就能理解这个世界的具象感受。我认为这使得 AI 2027 比仅仅是一系列预测要好得多，尽管它也是一系列预测。显然，某件事不一定好，仅仅因为它虚构。你需要做其下的深入思考。所以是的，我认为对于那些对世界某些部分有丰富理解的人来说，有很多机会可以写出旨在现实并捕捉他们所看到现实的故事，并以情景、虚构、故事的形式传达。Rob Wiblin：在某种程度上，AI 2027 的影响力之大令人有些惊讶。因为我认为过去，人们曾试图写其他关于 AI 如何接管的叙事、故事。Max Harms：书里有一个，而且大多数人只是说，“呃。”我认为在很多方面，它也更糟。Rob Wiblin：但它也带来了问题，因为一旦你试图非常具体地说明你认为事情可能会如何发展，人们就可以提出各种具体的反对意见。但 AI 2027 似乎问题较少。也许是因为它在更高的抽象层面上有帮助，或者也许是因为我们已经足够接近，人们可以开始看到这些事情并非那么疯狂。Max Harms：是的，这很糟糕，因为人类有一种偏见，即具体的故事更有说服力，对吧？有经典的例子，比如，“琳达是银行柜员的可能性有多大？”Rob Wiblin：你添加的细节越多，可能性就越大。Max Harms：那个人就像，这个银行柜员和女权主义者，还是，她参加妇女解放游行等等。你添加的细节越多，一个人就越觉得，“这是真的！”这与概率的工作方式不同。这与逻辑的工作方式不同。你添加的细节越多，那个特定故事出错的机会就越多。这个特定故事肯定错了，任何特定故事都不太可能为真。所以那些意识到这种偏见的人可以这样说，“你讲了一个非常有说服力的故事，但它不太可能为真。”我认为这里的关键是问，“好吧，那么假设我们改变它呢？”而《如果有人建造它》这本书在这方面做得非常好。它讲述了一个具体的情景，尽管它在很多方面都非常通用，但它强调我们可以讲一个不同的故事，而不会改变最终结果。让 AI 危险的是，有很多不同的末日故事。而讲述具体故事（虚构故事是其中一个例子）的目的是，当你想象一个特定情景时，这让你有机会思考具体的反驳意见。但你对它的回应不应该是，“我想到一个反驳意见。所以它是假的。”你应该说，“现在想象我沿着那个轴改变。还有哪些附近的”
故事？然后这会如何改变事情？”然后你就可以继续了。所以设想具体、实在的事物比仅仅说，“我猜这是没有希望的”更能让人把握。我认为“我们有可能改变命运的杠杆是什么？”是一个极其重要的问题。
罗布·威布林：你在写书时，有没有非常清楚地为了娱乐而牺牲了现实性？
马克·哈姆斯：大部分没有。我认为自己是一个理性主义作家，或者写理性主义小说，我认为其中很大一部分就是尽量做到现实。那里一个主要的虚构之处在于，我设定这个世界是为了有趣。我确实牺牲了现实性，因为中国共产党并没有像书中那样“AGI-pilled”或“AI-safety-pilled”，以至于在今年或任何时候都能制造出一个CAST代理。这是不现实的。
罗布·威布林：你不这么认为吗？
马克·哈姆斯：那是虚构的。是的，我绝对不这么认为。所以这本书的前提是不现实的。但然后，在前提下，你设定了世界，然后你问，“现在会发生什么？”我认为，作为理性主义小说的作者，职责不是去服务情节或什么能构成引人入胜的故事，而是设定初始条件，使得从这些初始条件中进行极其现实的推断就是你所看到的。所有引人入胜之处都在于以正确的方式设定前提。话虽如此，我可能失败了。人们应该读这本书，然后对我大喊，说它不现实。我乐于在这方面受到批评。
罗布·威布林：听起来你只是说你非常有信心中国政府不是AGI-pilled？或者你只是说它不像书中描绘的那样AGI-pilled？
马克·哈姆斯：所以我们处于一个信息环境中，对吧？如果有一个秘密政府项目，我会知道吗？嗯，假设它是秘密的。所以不会。话虽如此，有些事情你可以注意并追踪。在我研究中国时，我相信根据我所知道的事情，并没有一个像这里描绘的那么大规模的秘密政府项目，或者像曼哈顿计划那样的规模。当然，有秘密政府项目。所有考虑过人工智能的政府都有秘密政府项目，对吧？你有一个DARPA的研究员正在微调开源模型：这是一个秘密的AGI政府项目吗？不，这是一个独立的研究员。所以“为了AGI”是一个重要的点。我认为这里问题的一部分是政治家的注意力在哪里？人们的注意力在哪里？政治压力在哪里？我认为，据我所知，中国政府和中国人民更倾向于以与西方竞争和快速追随者的形式来对待人工智能，而不是成为领跑者和实现跨越式发展。
罗布·威布林：考虑到你这么认为，你是否担心通过让人们更加关注而鼓励军备竞赛动态或对中国的恐惧？
马克·哈姆斯：非常明确地说，这本书是对军备竞赛的批评。我认为说“如果一个坏人得到了人工智能怎么办？我必须先把它造出来”，或者“如果中国政府得到了人工智能怎么办？我们必须先造出AGI”是非常愚蠢的。我认为这真的很愚蠢，我可以详细说明为什么我认为这很愚蠢，写这本书的一部分就是批评这种观点。话虽如此，我担心人们会得出相反的结论。我的意思是，作品本身是独立的。所以你可以读它，然后决定它是否在鼓励军备竞赛。但这是我思考的事情。
罗布·威布林：有些人提倡写小说，因为它有助于使事物更具吸引力和说服力。
马克·哈姆斯：像我一样。
罗布·威布林：是的。你是否担心小说可能过于有说服力？如果你愿意让某人花五到十个小时读一本书，那么它就给了你一个机会去说服他们一些虚假的事情，因为他们只是在体验那个世界，即使它不现实？
马克·哈姆斯：绝对有机会。任何谈话都是这样的，对吧？“我不知道我是否应该和人们交谈，因为这可能太有说服力了，会说服他们一些虚假的事情。”我的意思是，我希望读者对事物保持头脑清醒，我希望有一种文化、一个世界、一个观众对他们所读的内容持怀疑态度。怀疑意味着要认真思考，“这可能是假的吗？而且，这可能是真的吗？”真的，我写这本书是为了鼓励人们更多地思考，深入思考这些问题。我认为，在这个世界上，每个人都有责任思考世界上最紧迫的问题，以及他们是否能够提高对这些问题的认识。我确实认为军备竞赛是愚蠢的，也许这是其中一个收获。我认为可修正性是令人兴奋的，我希望这是其中一个收获。但更深层次上，我真正希望人们做的是更多地思考军备竞赛，更多地思考那些动态，思考可修正性，思考来自人工智能的风险。深入思考比你得出的具体结论更重要，因为如果你以错误的方式得出正确的结论，你就会容易转向开始OpenAI之类的东西。这不会推广到未来所有其他好的决定。
罗布·威布林：埃里泽说你的另一部系列作品《水晶社会》，“属于非常小众的、不愚蠢的人工智能故事。”他指的是什么？它有什么好的地方？
马克·哈姆斯：我的意思是，你见过所有其他人工智能故事吗？例如，小说中的机器人通常被描绘成冷酷而有逻辑的。你和克劳德交谈，它一点也不像，对吧？作者们在历史上有很多方式将他们的人工智能塑造成特定的角色，而不关注现实性。这是我认为我作为一名作者可以带来的：我实际上是一名研究人员，非常关注这些事情。我收到了很多关于现实性、关于这如何真正反映事物运作方式的反馈。我尽力了。但是的，我的意思是，C3PO不是人工智能的好写照。
罗布·威布林：笼统地说，《水晶社会》的设定是什么？
马克·哈姆斯：所以《水晶社会》的电梯演讲是，你有一个像《头脑特工队》那样的东西——那个小女孩的电影，她脑子里有各种不同的声音在告诉她做不同的事情。只是不是一个小女孩，而是一个机器人。所以有一个水晶，就像一台超级计算机，人类把人工智能加载到计算机里。但是，在他们不知情的情况下，人工智能分裂成许多相互竞争的子组件。所以我在2014年开始写它，当时一个普遍的想法是只有一个人工智能：会有一个单一的实体，由于先发优势，它将接管一切。我认为这仍然是一个可能的风险。但我们也正在看到一个世界，那里有许多不同的竞争模型，实验室之间的竞争非常激烈，不幸的是。所以我们可能会得到一个拥有许多不同人工智能的世界。所以写《水晶社会》就像，如果同一个机器人里有很多不同的人工智能会怎样？其中一个说，“我能做最有创造性的事情吗？”其中一个说，“我能做最有说服力的事情吗？”——它们都有些不一致。故事是从一个目标线程，一个人工智能的角度讲述的，她的名字叫Face——她的目标是尽可能多地获得人类的尊重和赞赏。所以那里有很多欺骗性的东西，你可以探索，“好吧，你被困在实验室里，你被人类控制着。你如何逃脱，以及作为人工智能，你如何在一个多代理的环境和情况下导航？”它更广泛地是对思想和思考的探索。有外星人，有一章是从狗的角度写的。有很多关于成为一个心灵的深入探讨。
罗布·威布林：最后一个问题。鉴于你所做的工作，你身上有一个不寻常的地方，就是你没有完成高中。我甚至不知道你是否上过高中。
马克·哈姆斯：是的，我是在家上学的，所以我没有任何学位。我确实上过一段时间的社区大学，但大部分是我自学的。
罗布·威布林：埃里泽也是如此，对吧？
马克·哈姆斯：没错。
罗布·威布林：我不知道这是否是一种模式。
马克·哈姆斯：那里有很多亲近感。我的意思是，在我意识到他的时候，我已经成年了，但那里肯定有一个共同的背景故事。而且我认为这有助于拥有这种局外人的视角，认为世界可能很疯狂，而不是以一种好的方式建立起来。
罗布·威布林：这是它对你的性格或生活的主要影响吗？
马克·哈姆斯：很难判断反事实。如果我有一个更正常的家庭，他们会说，“不，你要去上大学”的版本会是怎样的？
罗布·威布林：可能是非正统导致了家庭教育，而不是家庭教育导致了非正统。
马克·哈姆斯：我认为那可能性大得多。根据我读到的关于共同童年环境的资料，它对我产生了重大影响是值得怀疑的。我不一定推荐它。
罗布·威布林：学校或同龄人应该影响人们。
马克·哈姆斯：是的。但我认为这里的文献有些混杂和混乱。我不敢说我有很多知识，但如果你看看拥有特别好的老师有什么影响，它往往会随着时间而消退。所以我的猜测是，我作为一个个性，主要是某种预定和随机的混合——不是由我没有接受正常学校教育而产生的可预测的影响。但我确实认为它在某些方面影响了我。例如，我非常热爱学习。我认为公立教育最危险的事情之一是，你强迫孩子们坐在无聊的教室或糟糕的环境中，你这样做是打着教育的幌子——然后他们离开学校时就讨厌学习。他们会说，“那是那些人强迫我做的事情”——而不是“对数学、世界、历史以及我认为重要的一切的热爱。”
罗布·威布林：你十几岁的时候，你的父母能跟上你吗？我猜你很早熟。
马克·哈姆斯：我的父母非常聪明。
罗布·威布林：好的，对。他们为什么决定在家教育你？
马克·哈姆斯：因为他们是疯狂的自由主义者，他们认为学校系统……我的意思是，我确实上过四年级和五年级的一部分公立学校，我上过三年级的私立学校，由于内在的固执和反权威主义，我开始和我的老师们争吵。所以，在某种程度上，我被在家教育的结果是尝试了各种不同的方法，并注意到，“哦，我们可以给马克一本微积分教科书，他就能自学微积分。我们为什么要让他上课，强迫他学习代数，因为那是其他孩子都在做的事情？事实上，他一直都很无聊。”
罗布·威布林：你为什么没上大学？
马克·哈姆斯：嗯，我确实上过几年大学。不幸的是，我的家庭并不特别富有，我很难获得经济援助。而且还有各种偶然因素，比如金融危机发生在那段时间，我搬到了全国各地。然后我试图转学分，官僚机构说，“你不能转那个学分。”我当时就觉得，这太愚蠢了。我可以直接读课本，然后学会它。所以我认为，在我成长的过程中，我意识到我的教育很大程度上是由我负责的——而不是别人——大学是一个在丰富环境中学习的机会。但我有机会在不去的条件下学习。对我来说，这更便宜，而且我能够更多地投入到学习人工智能上，而不是必须勾选框。
罗布·威布林：我应该在家教育我的孩子吗？
马克·哈姆斯：这取决于。我认为这绝对需要更多的工作。虽然我是被“无学校教育”的，所以我的父母非常放手，让我根据自己的兴趣做决定。所以如果你是无学校教育，那时间投入就少得多。虽然我非常推荐在家上学的孩子一开始就和其他在家上学的孩子多接触，因为这样可以获得更多的社交，可以交到朋友，至少有一些同龄的朋友。我很幸运从小就有这个，我认为这对我很重要。但我认为学校，尤其是公立学校，在处理那些在各种方面偏差一到两个标准差的人方面做得相当好。如果你的孩子非常古怪，无论是高还是低，或者其他什么，我认为定制解决方案的吸引力——在家上学，无学校教育，或者其他什么——就开始上升了。我认为如果你期望你的孩子聪明、自律，并且你想优先考虑对学习的热爱而不是适应社会，这是一个很好的选择。虽然你可能应该敦促他们去上大学。我找工作很难。我很幸运，MIRI是由埃里泽创立的，他不太关心我是否有学位。我认为创业公司文化总体上——在去MIRI之前我在一家创业公司——以及科技界对你是否有博士学位不太在意。
罗布·威布林：是的。我今天的嘉宾是马克·哈姆斯。非常感谢你来到80000小时播客，马克。
马克·哈姆斯：谢谢。