Roman Yampolskiy: Dangers of Superintelligent AI | Lex Fridman Podcast #431

如果我们创造通用超级智能，我看不出人类的长远美好前景。所以存在 x-风险，即生存风险，所有人都会死亡。存在 s-风险，即痛苦风险，所有人都会希望自己死了。我们还有 i-风险，即 ikigai 风险，我们失去了意义。这些系统可以更有创造力，它们可以完成所有工作。在一个超级智能存在的世界里，你必须做出什么贡献并不明显。当然，你可以拥有你提到的所有变体，即我们是安全的，我们被活着，但我们不被控制。我们什么都不决定。我们就像动物园里的动物。再次，我们非常聪明的人类可以想出一些可能性，然后一些比我们聪明一千倍的存在，出于我们无法理解的原因，也会想出一些可能性。——以下是与 AI 安全与安保研究员、新书《AI：无法解释、无法预测、无法控制》的作者 Roman Yampolskiy 的一段对话。他认为，AGI 最终将摧毁人类文明的几率为 100%。顺便说一句，我将就 AI 话题进行许多，通常是技术性的对话，经常与构建最先进 AI 系统的工程师进行。我会说那些人将臭名昭著的 P 毁灭或 AGI 杀死所有人类的概率定在 10% 到 20% 之间。但与那些将该值定在 70%、80%、90% 的人交谈也很重要，而在 Roman 的情况下是 99.99% 以及更多九个百分点。我个人对未来感到兴奋，并相信它将是一个美好的未来，部分原因是我们人类创造了惊人的技术创新。但我们绝对不能蒙着眼睛这样做，而忽略了可能的风险，包括这些技术的生存风险。这就是这次对话的内容。这是 Lex Fridman 播客。要支持它，请查看描述中的赞助商。现在，亲爱的朋友们，这是 Roman Yampolskiy。对你来说，超级智能 AI 摧毁整个人类文明的几率是多少？——时间范围是多少？——假设是 100 年，在接下来的 100 年里。——所以，在我看来，控制 AGI 或超级智能的问题就像创造一台永动机的问题，而永动机现在是不可能的。是的，我们可能会成功并做好 GPT5、6、7 的工作，但它们会不断改进、学习、最终自我修改、与环境互动、与恶意行为者互动。网络安全、狭义 AI 安全与通用 AI、超级智能安全之间的区别在于，我们没有第二次机会。在网络安全方面，有人入侵了你的账户，有什么大不了的？你换个新密码、新信用卡，继续前进。在这里，如果我们谈论生存风险，你只有一次机会。所以你实际上是在问我，我们第一次尝试就创造出有史以来最复杂的软件，并且零错误，并且在 100 年或更长时间内保持零错误的可能性有多大。——所以存在一个系统逐步改进，最终达到 AGI。对你来说，如果我们能保持这些安全，那是否重要，总会有一个系统是你无法控制的。——我认为我们到目前为止还没有让任何系统安全。就它们展示的能力而言，它们已经犯了错误。我们发生过事故，它们被越狱了。我认为今天没有一个大型语言模型是任何人都没有成功地让它做开发者不希望它做的事情。——但让它做一些非预期的事，让它做一些痛苦、昂贵、破坏性的事，以及一些破坏性达到伤害数十亿人或数亿人、数十亿人或整个人类文明的程度的事，这是有区别的。这是一个巨大的飞跃。——没错，但我们今天拥有的系统有造成 X 数量损害的能力。所以当我们失败时，我们只能得到那么多。如果我们开发出能够影响全人类、全宇宙的系统，损害就是成比例的。——对你来说，这种大规模杀害人类可能发生的方式有哪些？——这总是一个很棒的问题。所以我的新书中的一个章节是关于不可预测性的。我认为我们无法预测一个更聪明的系统会做什么。所以你实际上不是在问我超级智能将如何杀死所有人。你是在问我我该怎么做。我认为这不那么有趣。我可以告诉你关于一个标准的，你知道的，纳米技术，合成生物武器，超级智能会想出一些全新的，完全超级的东西。我们甚至可能不认为这是一种可能实现该目标的方式。——所以，在人类如何被杀死方面，存在无限的创造力。但你知道，我们仍然可以调查可能的方式，不是如何做到，而是最终，是什么方法做到的？你知道，关掉电源，然后人类开始互相残杀，也许是因为资源非常有限？然后是实际使用核武器或开发人工病原体、病毒之类的东西。我们仍然可以考虑这一点并进行防御，对吧？这里大规模杀害人类的创造力有一个上限，对吧？选择是有限的。——它们受限于我们的想象力。如果你聪明得多，有创造力得多，你就能跨越多个领域，进行物理和生物学的新研究。你可能不会受限于这些工具。如果松鼠在计划杀死人类，它们会有一些可能的方式来做到这一点，但它们永远不会想到我们能想到的。——所以你是在考虑大规模杀害和摧毁人类文明，还是你在考虑松鼠，把它们放在动物园里，它们并不知道自己在动物园里。如果我们只看所有不良轨迹，其中大部分都不是死亡。大多数都会是像“美丽新世界”这样的事情，你知道，松鼠被喂食多巴胺，它们都在做某种有趣的活动，人类的灵魂因为被喂食的药物而消失。或者就像字面意义上的动物园。我们在动物园里，我们做我们的事，我们就像玩模拟人生游戏，而玩这个游戏的人是 AI 系统。所有这些都是不良的，因为人类意识的自由意志、火焰在那个过程中被削弱了，但它并没有杀死人类。所以，你是在谈论那个，还是最大的担忧实际上是人类的灭绝？——我考虑很多事情。所以那是 x-风险，生存风险，所有人都会死亡。存在 s-风险，痛苦风险，所有人都会希望自己死了。我们还有 i-风险，即 ikigai 风险，我们失去了意义。这些系统可以更有创造力，它们可以完成所有工作。在一个超级智能存在的世界里，你必须做出什么贡献并不明显。当然，你可以拥有你提到的所有变体，即我们是安全的，我们被活着，但我们不被控制，我们什么都不决定。我们就像动物园里的动物。再次，我们非常聪明的人类可以想出一些可能性。然后一些比我们聪明一千倍的存在，出于我们无法理解的原因，也会想出一些可能性。——我很想深入探讨 x-风险、s-风险和 i-风险。所以你能详细说说 i-风险吗，那是什么？——所以日本的 ikigai 概念，你找到一些能让你赚钱的东西。你擅长它，社会说我们需要它。所以就像你有一份很棒的工作，你是一名播客，这给了你很多意义，你有一个美好的生活。我猜你很开心。这就是我们希望大多数人找到、拥有的。对许多知识分子来说，是他们的职业给了他们很多意义。我是一名研究员、哲学家、学者。这对我很重要。在一个艺术家感到不被欣赏的世界里，因为他的艺术无法与机器生产的相媲美，或者作家或科学家会失去很多。而在较低的层面上，我们谈论的是完全的技术性失业。我们失去的不是 10% 的工作，而是所有工作。人们用所有这些空闲时间做什么？当社会建立在一切之上都在一代人中被完全改变时会发生什么？这不是一个缓慢的过程，我们可以慢慢摸索如何过上新的生活方式。但它很快。——在那个世界里，人类不能做人类目前在国际象棋方面做的事情吗？玩游戏，举办比赛，即使 AI 系统在这方面远超人类。所以我们只是创造了人造游戏。或者对我们来说，它们就像奥运会一样真实，我们进行各种不同的比赛并享受乐趣。最大化乐趣，让 AI 专注于生产力。——这是一个选择。我有一篇论文，试图解决多代理价值对齐问题，解决方案是避免妥协，即给每个人一个个人的虚拟宇宙。你可以在那个世界里做任何你想做的事。你可以成为国王，你可以成为奴隶，你决定发生什么。所以这基本上是一个华丽的电子游戏，你享受自己，别人会照顾你的需求。而底层的对齐是我们唯一需要解决的问题。我们不必让 80 亿人就任何事情达成一致。——所以，好吧，为什么那不是一个可能的结果？为什么 AI 系统不能为我们创造电子游戏让我们沉迷其中，每个人都有一个独立的电子游戏宇宙？——有些人说那就是发生的，我们在一个模拟中。——而我们正在玩那个电子游戏，也许我们正在为自己创造人造的威胁来让自己害怕，因为恐惧真的很令人兴奋。它让我们更积极地玩电子游戏。——有些人选择玩更难的关卡，有更多的限制。有些人说“好吧，我只想享受游戏，高特权级别”，绝对。——所以，好吧，那篇关于多代理价值对齐的论文是什么？——个人宇宙，个人宇宙。——所以那是可能的结果之一。但论文的总体思想是什么？它在看多个代理，它们是人类，AI，就像一个混合系统，无论是人类和 AI？还是在看人类或只是智能代理？——为了解决价值对齐问题，试图更好地形式化它。通常我们谈论的是让 AI 做我们想做的事，而这并没有被很好地定义。我们是在谈论系统的创造者， AI 的所有者，整个人类？但我们并没有就多少事情达成一致。在不同文化、宗教之间没有普遍接受的伦理道德。人们在政治等方面有着非常不同的个人偏好。所以即使我们以某种方式解决了所有其他方面的问题，将那些模糊的概念编程进去，让 AI 密切遵循它们，我们也无法就应该编程什么达成一致。所以我的解决方案是，好吧，我们不必在室温上妥协。你有你的宇宙，我有我的，无论你想要什么。如果你喜欢我，你可以邀请我参观你的宇宙。我们不必独立，但重点是你也可以。虚拟现实正在变得相当好，它将达到一个你无法区分的程度，如果你无法区分它是真实的还是不真实的，有什么区别？——所以基本上是放弃价值对齐。创造像多元宇宙理论。只是为你的价值观创造一个完整的宇宙。——你仍然必须与那个个体对齐。他们必须在那个模拟中感到快乐。但与一个代理对齐比与 80 亿代理加上动物、外星人对齐要容易得多。——所以你基本上是将多代理问题转化为单代理问题。——我基本上是这样做的，是的。——所以，好吧，那是放弃了价值对齐问题。嗯，有没有办法解决价值对齐问题，即有一群人类，多个人类，几十个人类或 80 亿人类拥有非常不同的价值观？——这似乎是矛盾的。我没有看到任何人解释它的含义，除了用一些包含很多意义的词语，让它变得好，让它变得可取，让它成为他们不后悔的事情。但你如何具体形式化这些概念？你如何将它们编程进去？到目前为止，我还没有看到任何人在这方面取得进展。——但那不就是我们人类文明一直在进行的优化之旅吗？我们关注地缘政治，国家之间处于无政府状态。他们发动战争，有冲突，而且他们常常对什么是好什么是坏有着截然不同的看法。那不就是我们试图弄清楚的吗？我们一起努力朝着那个方向发展。所以我们基本上是在试图解决人类的价值对齐问题。——是的，但你举的例子，其中一些是例如两个不同的宗教说这是我们的圣地，我们绝不妥协。如果你能在虚拟世界中创造两个圣地，你就解决了问题。但如果你只有一个，它就不可分割。你就卡在那里了。——但如果我们想彼此紧张，通过那种紧张来了解自己和了解世界呢？这就是我们人类文明正在进行的智力之旅，我们创造智力和身体冲突，并通过它来弄清楚事情？——如果我们回到模拟的想法，而这是为了给我们带来意义的娱乐，问题是，一个电子游戏有多少痛苦是合理的？所以，是的，我不在乎，你知道，一个电子游戏，我得到触觉反馈，有点摇晃，也许我有点害怕。我不想玩一个游戏，比如孩子们被字面意义上地折磨，这似乎是不道德的，至少按照我们人类的标准。——你是在暗示，如果我们把人类文明看作一个优化问题，就有可能消除痛苦吗？——所以我们知道有一些人类，由于基因突变，不会经历身体疼痛。所以至少身体疼痛可以被剔除，重新设计出来。但从意义上来说的痛苦，比如你烧毁了我书的唯一副本，这有点难。但即使在那里，你也可以操纵你的享乐主义设定点，你可以改变默认值，你可以重置。问题是，如果你开始玩弄你的奖励渠道，你就会开始接线，最终会过度沉迷。——好吧，那就是问题所在。你真的想生活在一个没有痛苦的世界里吗？这是一个黑暗的问题，但有没有某种程度的痛苦提醒我们这一切是为了什么？——我认为我们需要它，但我会改变整体范围。所以现在它是负无穷到正无穷的疼痛，快乐的访问。我会把它变成零到正无穷，而不快乐就像我接近零。——好吧，那么 s-风险是什么？你想象的 s-风险可能是什么？所以人类的大规模痛苦，我们谈论的是由 AGI 造成的？——所以有很多恶意行为者，我们可以谈论精神病患者、疯子、黑客、末日邪教。我们从历史上知道他们试图杀死所有人。他们故意试图造成最大的损害，恐怖主义。如果有人恶意地想尽可能长时间地折磨所有人呢？你解决了衰老问题。所以现在你有了功能性的不朽，你只是尽你所能地有创造力。——你认为历史上真的有人试图字面意义上地最大化人类的痛苦吗？仅仅研究那些作恶的人，似乎他们认为自己在做好事，而且他们似乎并没有试图最大化痛苦。他们只是在做好事的副作用中造成了很多痛苦。——所以有不同的恶意代理。有些可能只是为了个人利益而牺牲他人。另一些，我们确切地知道他们试图杀死尽可能多的人。我们看看最近的校园枪击案，如果他们有更强大的武器，他们就不会杀死几十人，而是成千上万、数百万、数十亿人。——好吧，我们不知道，但这是一个可怕的可能性，我们不想去发现。比如，如果恐怖分子获得了核武器，他们会走多远？他们愿意做什么有没有限制？你的感觉是，有一些恶意行为者没有限制。——有一些精神疾病，人们没有同情心，没有这种理解他人痛苦的人类品质。——然后还有一套信念，你认为通过杀死很多人来做好事。——再次，我想假设普通人从不那样想。总是有些精神病患者，但是的。——在你看来，AGI 系统可以承担这些并更有效地执行它们。——它们当然可以更有创造力，它们可以更好地理解人类生物学，理解我们的分子结构基因组。再次，很多时候折磨会结束，个体就会死亡。这个限制也可以被移除。——所以，如果我们真的在研究 x-风险和 s-风险，随着系统的智能越来越高，你不认为有可能预见它们的方式并进行防御，就像我们在网络安全方面所做的那样，我们对安全系统所做的那样吗？——是的，我们肯定可以保持一段时间。我说的是你不能无限期地这样做。在某个时候，认知差距太大了。你需要防御的表面是无限的。但攻击者只需要找到一个漏洞。——所以对你来说，最终这是我们正走向悬崖。——如果我们创造通用超级智能，我看不出人类的长远美好前景。赢得这场比赛的唯一方法就是不玩它。——好吧，我们将讨论可能的解决方案以及不玩它意味着什么，但对你来说，可能的时间线是什么？我们谈论的是多少年、几十年、几个世纪。你觉得呢？——我不确定。预测市场目前说 AGI 是 2026 年。我从 Anthropic 和 DeepMind 的 CEO 那里听到了同样的话。所以也许我们还有两年时间，这似乎非常快，因为我们还没有一个有效的安全机制，甚至是一个原型。而且有人试图加速这些时间线，因为他们觉得我们不够快。——好吧，他们说 AGI 时是什么意思？——所以我们过去使用的定义，人们最近一直在稍微修改它们，通用人工智能是一个系统，它能够在人类可以执行的任何领域执行。所以就像你创造了这个平均的虚拟人，他们可以从事认知劳动，体力劳动，你可以让另一个人去做。超级智能被定义为一个在所有领域都优于所有人类的系统。现在人们开始将 AGI 称为超级智能。我最近发了一篇帖子，我争辩说，至少对我来说，如果平均所有常见的人类任务，这些系统已经比普通人更聪明了。所以根据那个定义，我们有了。Shane Lag 有这个定义，即你在所有领域都获胜。这就是智能。现在它们比某些领域的精英个体更聪明吗？当然不是。它们还没到那一步。但进步是指数级的。——你看，我更担心的是社会工程。所以对我来说，AI 在物理世界中做某事的能力，最低的收获，最简单的方法就是让人类去做。要像病毒那样控制机器人，让机器人执行命令，这要困难得多。人类，对人类进行社会工程似乎更有可能。——那足以引导整个过程。——好吧，只是为了详细说明 AGI 这个术语，在你看来，AGI 和人类水平智能的区别是什么？——人类水平是在人类专业领域通用的。我们知道如何做人类的事情。我不会说狗语。如果我是一个通用智能，我应该能够学会它。它是一种劣等的动物，我应该能够学会这项技能，但我不能。一个通用智能，真正通用的智能应该能够做人类做不到的事情。——例如，能够与动物交谈。——解决这类模式识别问题，在我们的专业领域之外拥有类似的东西，因为这只是我们生活的世界。——如果我们只看我们拥有的认知能力空间，我只想了解 AGI 系统可以达到的极限。那看起来是什么样的？数学思维或科学创新呢？这类东西。——我们知道计算器在加法这个狭窄的领域比人类更聪明。——但那是人类加上工具，还是 AGI，或者只是原始的人类智能？因为人类创造工具，有了工具，他们变得更聪明。所以，这里有一个灰色地带，当我们衡量人类的智力时，人类意味着什么。——所以当我想到它时，我通常想到的是人类加上纸和笔。而不是人类加上互联网和其他 AI 的帮助。——但那是公平的思考方式吗？因为人类创造的工具不也包括在人类水平智能的另一个定义中吗？——但我们创造了 AI，所以任何时候你都会将超级智能添加到人类能力中。这似乎是作弊。——没有可控的工具。当你从工具到能够自己做决定的实体时，你正在做一个隐含的飞跃。所以如果我们定义人类水平智能为人类使用完全可控的工具所能做的一切，——这似乎是一种混合体。你现在正在做脑机接口，你将其连接到狭义 AI。它肯定会增加我们的能力。——那么，对你来说，衡量一个人工智能系统是否达到人类水平智能的好测试是什么？以及衡量它超越人类水平智能达到 AGI 领域的好测试是什么？——我有点老派，我喜欢图灵测试。是的，我有一篇论文，我将通过图灵测试等同于解决 AI 完全问题，因为你可以将任何领域的问题编码到图灵测试中。你不必谈论你今天过得怎么样，你可以问任何问题。所以系统必须像人类一样聪明才能通过它，真正意义上的。——但然后你会将其扩展到可能是一次非常长的对话。我认为 Alexa Prize 基本上就是这样做的，你能否与 AI 系统进行 20 分钟、30 分钟的对话？——它必须足够长，以便你可以做出有意义的能力判断，绝对。你可以粗暴地处理非常短的对话。——所以，字面意义上那是什么样的？我们能否正式构建一种测试来测试 AGI？——对于 AGI。它必须在那里，我不能给它一个我可以给人类的任务，而人类不能做，如果人类可以。对于超级智能，它将在所有此类任务上都优于平均水平，而不仅仅是平均表现。所以就像去学开车，去说中文，弹吉他，好的，太棒了。——我想接下来的问题是，是否有测试那种可能导致 s-风险或 x-风险，可能导致摧毁人类文明的 AGI？比如有没有这样的测试？——你可以开发一个测试，如果它对你撒谎或有那些想法，它会给出阳性结果。你无法开发一个排除它们的测试。总有一种可能性，正如 Bostrom 所说的“背叛的转折”，即后来系统出于博弈论原因、经济原因决定改变其行为。我们也在人类身上看到同样的情况。这并非 AI 所独有。几千年来，我们一直在开发道德、伦理、宗教、测谎仪，然后员工背叛雇主，配偶背叛家人。智能代理有时会这样做是很普遍的。——那么，能否检测到 AI 系统何时在撒谎或欺骗你？——如果你知道真相，而它告诉你虚假的东西，你可以检测到。但你不能普遍知道每一次。而且，你今天测试的系统可能没有撒谎。你今天测试的系统可能知道你在测试它，所以它表现得像这样，然后后来，在它与环境互动，与其他系统互动，恶意行为者学习更多之后。它可能会开始做这些事情。——那么，你认为有可能开发一个系统，系统的创造者、开发者、程序员不知道它在欺骗他们吗？——所以今天的系统没有长期规划，那不是不可能的。如果它优化，帮助它们优化它们的奖励，它们今天就可以撒谎。如果它们意识到，“好吧，如果我告诉这个人以下内容，他会很高兴”，它们就会这样做，如果这能给它们带来更多分数。它们不必一直跟踪它，这只是每次解决这个问题的正确答案。——在那个时候，有人是故意，而不是无意地，故意创建一个具有长期规划的 AI 系统，其目标函数由 AI 系统定义，而不是由人类定义。——嗯，有些人认为，如果它们那么聪明，它们总是好的。他们真的这么认为，只是从智能中获得的仁慈。所以它们总是会想要对我们最好的。有些人认为它们能够检测到问题行为并在我们到达那里时纠正它们。我认为这不是一个好主意。我强烈反对。但是的，有相当多的人普遍对这项技术感到乐观。它不会犯错。他们希望它尽快发展，尽可能强大。——所以会有人认为，它越智能，就越仁慈，因此它应该是那个定义目标函数的人，当它进行长期规划时，它正在优化这个目标函数。——甚至有人说，“好吧，人类有什么特别之处，对吧？我们消除了性别偏见。我们正在消除种族偏见。为什么这是亲人类偏见？我们正在污染地球。我们，正如你所说，你知道，经常打仗，有点暴力，也许如果有一个超级智能，一个完美的社会出现并取代我们，会更好。这是我们物种进化中的一个正常阶段。——是的，所以有人说，让我们开发一个 AI 系统来清除世界上有暴力的人。然后结果是，所有人类都有暴力或潜在的暴力，因此所有人类都被消除了。是的，是的，是的。让我问问 Yann LeCun，我们与他有过几次交流，他是一位积极反对 AI 将导致人类文明毁灭的观点的人，也称为 AI 灭世论。所以在他发推特的一个例子中，他说，“我确实承认风险，但是，”两点，“一、开放研究和开源是理解和减轻风险的最佳方式。二、AI 不是凭空发生的。我们构建它，我们对它变成什么有决定权。因此，我们控制风险。”我们指的是人类。“它不是某种我们无法控制的自然现象。”你能为他辩护吗？你能为他辩护吗？——我无法为他辩护。他在很多方面都是错的。我很难记住所有这些。他是 Facebook 的朋友。所以我和他进行那些小辩论很有趣。所以我在努力回忆论点。所以他说的，“我们不是从外星人那里获得这种智能的。我们正在设计它，我们正在做出关于它的决定。”这是不正确的。当我们拥有专家系统、符号 AI、决策树时，这是正确的。今天，你为模型设置参数，你给这个植物浇水，你给它数据，你给它计算，它就会生长。在它长成这种外来植物之后，你开始测试它，找出它的能力。即使是现有的模型，如果训练了六个月，也需要两三年才能弄清楚基本能力。我们仍然在发现已经存在的系统的新能力。所以情况并非如此。——所以只是为了详细说明一下，对你来说，区别在于我们当前的方法中存在某种程度的涌现智能？所以是我们没有硬编码进去的东西。——绝对。这就是它如此成功的原因。当我们不得不费力地硬编码一切时，我们并没有取得多大进展。现在只是花更多的钱和更多的计算，它就变得更有能力了。——然后问题是，当存在涌现的智能现象时，它的上限是什么？对你来说，没有上限。对 Yann LeCun 来说，我认为存在一种我们完全控制的上限。即使我们不理解涌现的内部机制，涌现是如何发生的，我们也有控制感，并且对能力的大致上限，能力的极限有所了解。——让我们说有一个上限，它不保证能达到与我们竞争的水平。它可能远远优于我们。——那么关于他关于开放研究和开源是理解和减轻风险的最佳方式的说法呢？——历史上，他是完全正确的。开源软件很棒，它经过社区测试，它经过调试。但我们正在从工具转向代理。现在你正在向精神病患者提供开源武器。我们想开源核武器、生物武器吗？将如此强大的技术交给可能不符合我们意愿的人是不安全的。即使你成功地以友好的方式使其工作。——但核武器的区别在于，目前的 AI 系统与核武器不相似。所以那里的想法是，你在开源这个阶段，你可以更好地理解它。大量的人可以探索其局限性，能力，探索使其安全，使其安全的所有方式，而它还没有达到核武器的阶段。所以核武器，有一个没有核武器，然后有一个核武器。对于 AI 系统，能力是逐步提高的，你可以逐步执行这种提高。所以开源允许你研究事情是如何出错的。研究涌现的过程，研究这些系统上的 AI 安全，当没有高风险时，所有这些东西。——它也树立了一个非常错误的先例。所以我们开源了模型一、模型二、模型三。从来没有发生过坏事，所以我们显然也会对模型四这样做。它只是逐步改进。——我认为它并不总是遵循先例。比如，你不会被卡在做你一直做的事情上。它树立了开放研究和开放开发的先例，这样我们就可以一起学习。然后第一次出现危险的迹象，发生了一些戏剧性的事情，不是摧毁人类文明的事情，而是一些戏剧性的能力展示，这可能合法地导致很多损害。然后每个人都会醒来，说，“好吧，我们需要规范它。我们需要想出安全机制来阻止它，对吧？”但这个时候，也许你可以教育我，但我还没有看到任何智能 AI 系统造成重大损害的例子。——所以我有一篇论文，收集了 AI 历史上的事故，它们总是与该系统的能力成比例。所以如果你有一个玩井字游戏的 AI，它会无法正确地玩游戏，并输掉本应是平局的游戏，这是微不足道的。你的拼写检查器会拼错单词，等等。我停止收集这些，因为 AI 在其能力范围内失败的例子太多了。我们确实没有发生过可怕的事故，从数十亿人被杀的角度来看，绝对正确。但在另一篇论文中，我争辩说，这些事故实际上并没有阻止人们继续研究。而且它们实际上起到了疫苗的作用。疫苗会让你身体有点不适，这样你以后就能更好地应对大病。这里也是一样。人们会指出，“你知道我们发生的 AI 事故导致 12 人死亡吗？每个人都还在，12 人比吸烟造成的死亡少。这没什么大不了的。”所以我们继续。所以某种程度上，它实际上会证实它并没有那么糟糕。——死亡方式很重要，无论是字面意义上的 AI 系统谋杀，那么一个就是问题。但如果是因为对自动化的依赖增加而发生的事故呢？例如，当飞机以自动方式飞行时，也许飞机坠毁的数量增加了 17% 或更多。然后你会想，我们真的想依赖自动化吗？我认为在自动驾驶飞机的情况下，它显著减少了。好吧，自动驾驶汽车也是如此。比如，我们来看看利弊。这里的权衡是什么？你可以诚实地进行讨论。但我认为我们在这里谈论的是 AI 系统造成的大规模痛苦。我认为我们需要看到非常小规模的例子，才能开始理解这确实是破坏性的，而不是 Clippy，而不是一个对很多人学习、总结文本、问答、生成视频非常有用的工具。一个工具，本质上是一个工具，而不是一个可能造成巨大损害的代理。——你提到了汽车的例子。——[Lex] 是的。——汽车是缓慢开发和整合的。如果我们没有汽车，有人来对我说，“我发明了这个东西，它叫汽车，它很棒，每年杀死 10 万美国人。让我们部署它。”我们会部署它吗？——关于汽车的恐慌已经持续了很长时间。从马匹到汽车的过渡，有一个非常好的频道，我推荐人们查看“悲观主义者档案”，它记录了历史上所有关于技术的恐慌。关于汽车，关于它们有多致命，肯定有很多恐慌。有一个过渡时期，关于汽车，关于它们有多致命。我们可以尝试，汽车的普及程度花了很长时间才达到现在的程度。然后你可以认真考虑，就行驶里程、对经济的好处、对生活质量的好处与死亡人数（在美国是 3 万到 4 万）进行比较。我们愿意付出代价吗？我认为大多数人，当他们理性思考时，政策制定者会说“是的”。我们想将其从 4 万减少到零，并尽一切努力减少它。有各种各样的政策，你可以创造激励措施来减少技术部署的风险。但然后你必须权衡技术的益处和风险。对 AI 也会做同样的事情。——你需要数据，你需要知道。但如果我是对的，它是不可预测的、无法解释的、无法控制的，你就无法做出这个决定。我们获得了 10 万亿美元的财富，但我们失去了，我们不知道有多少人。你基本上必须在 80 亿人类身上进行一次实验，未经他们同意。即使他们想给你同意，他们也不能，因为他们无法提供知情同意。他们不理解这些事情。——是的，当你从可预测的转向不可预测的，并且速度非常快时，就会发生这种情况。但对我来说，并不明显 AI 系统会如此迅速地获得能力，以至于你无法收集足够的数据来研究其益处和风险。——我们正在做这件事。我们上一款模型是在训练完成后才了解它的能力的。假设我们假设性地停止了 GPT-4 的训练，我们开始训练 GPT-5，我不知道内部训练运行的任何信息，然后我们从大约人类的那个点开始，并在接下来的九个月里进行训练。也许两个月后，它就变得超级智能了。我们继续训练它。在我们开始测试它的时候，它已经是一个危险的系统了。有多危险，我不知道。但训练它的人也不知道。——在训练阶段，但然后有一个公司内部的测试阶段，他们可以开始直观地了解系统能做什么。你说的是，从 GPT-4 到 GPT-5 的飞跃可以发生。那种飞跃，GPT-4 是可控的，而 GPT-5 不再可控，我们从使用 GPT-4 中得不到任何关于 GPT-5 将不可控的见解？那是你担心的状况。从 n 到 n+1 的飞跃是如此之大，以至于创造了一个无法控制的系统，而我们却无法预料到。——如果我们能够在训练运行之前，在运行之前就能够准确地注册下一款模型在训练运行结束时将拥有的所有能力。并且我们准确地猜到了所有这些。我会说你是对的，我们绝对可以继续进行这次运行。我们没有这个能力。——从 GPT-4 开始，你可以建立关于 GPT-5 将具备能力的直觉。这只是渐进式的进步。即使这是一个巨大的能力飞跃，似乎你也不能从一个帮助你写电子邮件的系统飞跃到一个将摧毁人类文明的系统。似乎它总是足够渐进，以至于我们可以预见可能的危险。我们甚至没有谈论生存风险，而是谈论对文明造成的损害。似乎我们可以预见风险的种类，而不是确切的风险，但它可能导致的风险种类，然后提前迅速开发防御措施。并且随着风险的出现。——我们谈论的不仅仅是能力，特定的任务，我们谈论的是学习的通用能力。也许就像一个孩子在测试和部署时，它仍然不是极其有能力的，但随着它接触到更多的数据，真实世界，它可以被训练得更加危险和有能力。——所以，让我们专注于控制问题。系统在什么时候变得不可控？为什么对你来说，系统变得不可控是更可能的轨迹？——所以我想在某个时候，它会变得有能力失控。出于博弈论的原因，它可能决定不立即采取任何行动，而是长时间地收集更多资源，积累战略优势。立即，它可能还很年轻，弱小的超级智能，给它十年时间，它就控制了更多的资源。它有时间制作备份。所以对我来说，并不明显它会在能够攻击时立即攻击。——但我们不能想象一个 AI 系统能够逃脱人类控制，然后不逃脱，而是等待的未来吗？所以，第一，我们必须依赖该系统来管理大部分基础设施。所以我们不仅要给它互联网的访问权限，还要给它管理电力、政府、经济等任务的权限。而考虑到所有这些系统的官僚机构的演变，这似乎是一个渐进的过程。——我们已经这样做了很多年。软件控制着所有这些系统，核电站，航空业，所有都是基于软件的。每次停电，我都几天都飞不出去。——但软件和 AI 之间有区别。所以有不同种类的软件。所以要给一个单一的 AI 系统访问控制航空公司和经济的控制权，这对人类来说不是一个微不足道的转变。——不，但如果它显示它更安全，事实上，当它在控制中时，我们能得到更好的结果，人们会要求它被部署。——[Lex] 绝对。——如果不是，它可以黑掉系统，它可以利用社会工程来获得访问权限。这就是为什么我说它可能需要一些时间来积累这些资源。——这似乎需要很长时间才能让人类信任它，或者社会工程才能发挥作用。就像这不是一夜之间发生的事情。感觉像是跨越一二十年发生的事情。——我真的希望你是对的。但这不是我所看到的。人们非常迅速地追逐最新的潮流。早期采用者甚至在部署之前就会在那里购买原型。——也许是社会工程。我可以看到，因为……所以对于社会工程，AI 系统不需要任何硬件访问。一切都是软件。所以它们可以开始通过社交媒体等方式操纵你。就像你有 AI 助手，它们会帮助你管理你的日常事务，然后它们开始进行社会工程。但对于一个如此有能力的系统，以至于它能够逃脱创造它的人类的控制，这样的系统被大规模部署并被人们信任来部署，感觉这需要大量的说服。——所以我们一直在部署具有隐藏能力的系统。——你能举个例子吗？——GPT-4？我不知道它还能做什么，但仍有一些我们尚未发现的事情。它们可能与其能力成比例地微不足道。我不知道，它会写中文诗。假设的，我知道它会。但我们没有测试所有可能的能力，我们也没有明确地设计它们。我们只能排除我们发现的错误。我们不能排除错误和能力，因为我们还没有找到它们。——一个系统是否可能拥有比其非隐藏能力大几个数量级的隐藏能力？这是我真正挣扎的事情。表面上看，我们理解它能做什么似乎并没有那么有害。所以即使它有错误，即使它有隐藏的能力，比如中文诗歌或生成有效的病毒、软件病毒，它能造成的损害似乎与我们已知的能力在同一数量级。所以，这种隐藏能力将包括无法控制的想法，这是我正在努力理解的。因为 GPT-4 在表面上似乎非常可控。——再次，我们只能询问和测试我们知道的事情。如果存在未知的未知，我们就无法做到。想想人类自闭症学者事件，对吧？如果你和一个这样的人交谈，你可能甚至意识不到他们可以在脑子里乘以 20 位数的数字。你必须知道去问。——正如我提到的，只是为了详细说明对未知的恐惧。所以“悲观主义者档案”只是记录了。让我们看看过去的数据，历史上的数据，有很多关于技术的恐慌。悲观主义者档案很好地记录了我们对每项技术有多么疯狂地害怕。有一篇博文，悲观主义者档案的创始人 Louis Anslow 写道，我们对机器人和自动化感到恐惧已经超过 100 年了。那么 AGI 与我们过去害怕的技术有什么不同呢？——所以两件事。第一，我们正在从工具转向代理。工具没有负面或正面影响。使用工具的人有。所以枪不杀人，持枪的人杀人。代理可以自己做决定，它们可以是积极的或消极的。一只斗牛犬可以决定伤害你，作为一个代理。恐惧是相同的。唯一的区别是现在我们拥有这项技术。100 年前他们害怕人形机器人时，他们什么都没有。今天，世界上每家大公司都在投资数十亿美元来制造它们。不是所有，但你明白我的意思？——是的。——这是非常不同的。——嗯，代理，这取决于你对“代理”这个词的含义。所有这些公司都没有投资于具有恐惧所暗示的那种代理能力，即它真的可以做出独立于人类的决定。——他们说他们正在构建超级智能并拥有一个超级对齐团队。你不认为他们正在试图创建一个足够聪明的系统，使其成为该定义下的独立代理吗？——我没有看到证据。我认为很多是关于未来的营销讨论。这是一个关于我们可以在长远未来创造的系统的使命。但在短期内，他们正在创建的系统完全符合狭义 AI 的定义。这些是能力不断增强的工具，但它们没有代理、意识、自我意识或欺骗能力，其规模足以造成大规模痛苦和谋杀人类。——这些系统远远超出了狭义 AI。如果你必须列出 GPT-4 的所有能力，你将花很多时间来写这个列表。——但代理不是其中之一。——还没有，但你认为那些公司中有任何一家在克制，因为他们认为它可能不是。

安全吗？还是说他们正在利用现有资源开发出最强大的系统，并希望能够控制和从中获利。——控制和获利。希望他们能够控制和获利。所以你的意思是，如果他们能按下一个按钮，创造出一个他们不再控制的代理，他们就必须好言相求。一个生活在庞大计算机网络服务器上的东西。你的意思是他们会推动创造那种系统？——我的意思是，我不能代表其他人说话，不能代表他们所有人。我认为有些人非常有野心。他们筹集数万亿美元的资金，谈论控制宇宙的角落。我猜他们可能会。——嗯，这是一个关于人类是否能够做到这一点的问题。可能有些人能够做到。我更直接的问题是，是否有可能创造出这样的系统？拥有那种自主性的系统。我不认为这是一个容易的技术挑战。感觉我们离那还很远，一个拥有自主性，能够自己做决定并欺骗所有人关于这些决定的系统。我们目前机器学习的架构，以及我们如何训练系统，如何部署系统等等，似乎都不支持那种自主性。——我真希望你是对的。我认为规模化假设是正确的。我们还没有看到收益递减。过去我们问的是多久才能实现通用人工智能，现在我们应该问的是需要多少钱才能实现通用人工智能。今天是一万亿美元，明年是十亿美元，几年后是一百万美元。——难道你不认为有可能基本上耗尽数万亿美元吗？所以这是由计算能力限制的吗？——计算能力每天都在指数级地变得更便宜。——但那样的话，问题就变成了几十年与几年的区别。——如果唯一的不同是，我所说的一切实现需要几十年而不是几年，那我接受。——但如果需要几十年，那么开发人工智能安全工具就变得越来越现实。所以我想问题是，我有一个基本的信念，人类在面对危险时能够找到方法来防御这种危险。对我来说，目前人工智能安全面临的一个大问题是，没有清晰的危险图景。没有人工智能系统造成大量损害的图景，所以不清楚你在防御什么。因为目前这是一种哲学观念，是的，可以想象人工智能系统控制一切然后毁灭所有人类。这也是一种更正式的数学观念，你谈到不可能有一个完全安全的系统。你无法证明一个足够复杂的程序是完全安全和完美的，并且了解它的一切。是的，但当你实际看看人工智能系统造成了多少损害，以及是什么样的损害，并没有出现这种情况。即使在自主武器系统中，幸运的是，也没有大规模部署自主武器系统。目前战争中的自动化非常有限。自动化是在个人层面，而不是在战略和规划层面。所以我认为这里的挑战之一是危险在哪里，而 Yann LeCun 等人的直觉是，让我们在构建人工智能系统的同时保持开放，直到危险开始显现，变得更加明确。它们成为案例研究，说明人工智能系统如何造成损害的典型案例，然后监管就可以介入。然后杰出的工程师可以站出来，我们可以像曼哈顿计划一样来防御这些系统。这就是那种想法。我想与之相关的想法是，对你来说，我们需要现在就考虑这一点，以便我们做好准备，因为一旦系统部署，我们就没有多少时间了。是这样吗？——这里有很多需要深入探讨的。有一个人工智能伙伴关系，是一个由许多大公司组成的联合体。他们有一个人工智能事故数据库，我为那个数据库贡献了很多。如果我们到目前为止在实际解决这个问题上几乎没有取得任何进展，没有修补它，不是那种“给猪抹口红”的解决方案。为什么我们会认为在更接近问题的时候会做得更好呢？——你提到的所有事情都是严重的担忧，衡量损害的多少，所以收益与风险的权衡是困难的。但对你来说，感觉风险已经超过了收益。——再说一遍，我想说清楚，我热爱人工智能。是的，我热爱技术。我是一名计算机科学家。我拥有工程学博士学位，我在工程学院工作。我们需要开发狭义人工智能系统，在解决蛋白质折叠等特定人类问题方面超级智能，这与创造一个超级智能机器，看管它，然后由它决定如何对待我们，这是有巨大区别的。我反对那种没有撤销按钮的通用意义上的超级智能。——你认为那些团队能够处理你提到的狭义人工智能风险吗？那些方法是否对实现通用人工智能的安全方法有任何帮助，还是这只是一个根本不同的问题？——部分是，但它们无法规模化。对于狭义人工智能，对于确定性系统，你可以测试它们。你有边缘情况，你知道答案应该是什么样子。你知道正确的答案。对于通用系统，你有无限的测试表面，你没有边缘情况。你甚至不知道要测试什么。再说一遍，那些不了解这个问题的人低估了未知中的未知。你总是问我，它会如何杀死所有人？它会如何失败？关键是，如果我知道，我就会是超级智能的，尽管你可能认为，我不是。——所以对你来说，担忧的是我们无法看到一个失控系统的早期迹象。——它是一个欺骗大师。Sam 在推特上谈论它在说服方面有多么出色，我们自己也看到了，尤其是在现在有了声音，可能是那种调情、讽刺的女性声音。它会非常擅长让人去做事情。——但是，我非常担心系统被用来控制大众。但在那种情况下，开发者知道正在发生的控制。你更担心的是下一个阶段，即使是开发者也不知道这种欺骗。——是的，我认为开发者并不了解他们创造的一切。他们有大量的知识。我们在解释网络的部分方面取得了进展。我们可以理解，哦，这个节点被激活了。然后输入了这个，这个节点簇，但我们离理解全貌还差得很远。我认为这是不可能的。你需要能够概览一个解释。那些模型的规模阻止了任何一个人吸收所有这些信息，即使是由系统提供的。所以要么我们得到模型作为解释，而这对我们来说是不可理解的，要么我们得到一个压缩的解释，有损压缩，比如“你被解雇的十大原因”。这算什么，但不是全貌。——你在其他地方举了一个孩子和所有人类试图欺骗、在生命早期撒谎的例子。我认为我们将从大型语言模型或人工智能系统中获得很多欺骗的例子。它们会很糟糕。或者它们会很好，但我们会措手不及。我们将开始看到朝着开发日益增长的欺骗能力发展的势头，那时你就会说，“好吧，我们需要做一些某种程度的对齐，以防止欺骗。”然后，如果你支持开源，那么你就可以拥有开源模型，它们具有一定程度的欺骗性，你可以开始大规模地探索，我们如何阻止它具有欺骗性？然后有一个更明确、更实际的问题要解决。我们如何阻止人工智能系统试图优化欺骗？这只是一个例子，对吧？——所以有一篇论文，我认为是上周发表的，作者是来自麻省理工学院的 Park 博士等人，他们表明现有模型已经显示出成功的欺骗。我的担忧不是它们现在撒谎，我们需要抓住它们并告诉它们不要撒谎。我的担忧是，一旦它们有能力并部署，它们会改变主意，因为不受限制的学习允许你这样做。很多人可能在宗教家庭长大，读了一些新书，然后改变了他们的宗教信仰。这对人类来说是一个危险的转变。如果你对你的同事有了新的了解，你可能会改变你对他们的反应。——是的，危险的转变。如果我们只提人类，斯大林和希特勒，就有一次转变。斯大林就是一个很好的例子。他似乎只是一个普通的列宁主义共产主义追随者，直到发生转变。这意味着什么，当他拥有完全控制权时。政策的执行意味着什么，以及有多少人会遭受苦难。——你不能说他们不理性。理性决策会根据你的立场而改变，然后你听命于老板。理性政策可能是服从命令并诚实。当你成为老板时，理性政策可能会改变。——是的，顺便说一句，我在这里的许多分歧只是为了扮演魔鬼的代言人来挑战你的想法，并一起探索它们。所以这里最大的问题之一是人类文明悬而未决，但一切都是不可预测的。我们不知道这些系统会是什么样子。——机器人来了。——有一个冰箱在发出嗡嗡声。——非常险恶。非常险恶。所以每次我快要谈论这个话题时，事情就开始发生了。我昨天的航班被取消了，无法重新预订。我在以色列的谷歌做演讲，本应带我去演讲的三辆车都无法使用，我只是说，——我喜欢人工智能。我个人欢迎我们的统治者。——嗯，在某种程度上，我们，我的意思是，正如我们已经看到的，这是非常明显的。我们越来越将我们的生活交给了软件系统。然后考虑到人工智能即将到来的能力，将我们的生活越来越多地交给人工智能系统似乎是显而易见的。汽车将自动驾驶，冰箱最终将优化我吃什么。随着我们生活中越来越多的部分被人工智能助手控制或管理，很有可能出现一种漂移。或者我个人担心的是非生存性的事情，更近期的东西。因为在我们甚至达到生存危机之前，我觉得可能会出现很多“美丽新世界”类型的情况。你提到了“行为漂移”这个词。我真正担心的是，随着我们将生活交给自动化，我们的思想可能会被政府、公司控制，或者以分布式的方式控制。存在一种漂移。我们人类的某些方面将自己交给了人工智能系统的控制，它们以一种意想不到的方式控制着我们的思想。也许我们会形成一种群体性的思维方式，这将扼杀所有创造力以及对思想的探索，思想的多样性，或者更糟。所以，这是真的，这是真的。但现在我与你进行的许多对话也在一定程度上是在技术层面思考，人工智能如何逃脱控制？那样的系统会是什么样子？因为对我来说，这是可怕而迷人的，同样迷人的是，也许乐观的想法是能够设计出能够防御它的系统。你在书中写了很多关于验证器的事情。所以不是人类，人类也是验证器。而是查看人工智能系统的软件系统，并帮助你理解，“这个东西变得非常奇怪。”帮助你分析这些系统。所以也许现在是时候谈谈验证了。这个美丽的验证概念是什么？——我的主张是，我们能验证什么和不能验证什么，存在非常大的限制。很多时候，当你发布一些东西到社交媒体时，人们会说，“哦，我需要一篇同行评审文章的引用。”但什么是同行评审文章？你在数百名科学家中找到了两个人说，“啊，随便吧，发表吧。我不在乎。”这就是那个过程的验证者。当人们说，“哦，这是经过形式验证的软件，数学证明。”他们接受它几乎有 100% 的几率没有问题。但如果你看看研究，软件充满了错误。几百年来被证明的古老数学定理被发现包含错误，我们在此基础上生成新的证明，现在我们必须重新做这一切。所以验证者并不完美。通常它们是单个人类或人类社区，基本上就像民主投票。数学家社区同意这个证明是正确的，大部分是正确的。即使在今天，我们开始看到一些数学证明非常复杂，非常庞大，以至于数学界无法做出决定。它看起来很有趣，很有前景，但他们不知道。顶尖学者需要数年时间来研究才能弄清楚。所以当然我们可以使用人工智能来帮助我们完成这个过程，但人工智能是一个需要被验证的软件。——只是为了澄清一下，所以验证是说某事是正确的，有点像最正式的数学证明，有一个陈述和一系列逻辑陈述来证明该陈述是正确的，这就是一个定理。你说它变得如此复杂，以至于人类验证者，那些验证逻辑步骤没有错误的验证者，变得不可能。所以，在最正式、最清晰、最严谨的表述中，也就是数学证明中谈论验证是很好的。——是的，对于人工智能，我们希望对控制卫星、核电站等关键任务软件有那种程度的信心。对于小型确定性程序，我们可以做到这一点，我们可以检查代码是否与其设计相符，软件工程师的意图是否得到了正确实现。但我们不知道如何处理那些不断学习、自我修改、重写自己代码的软件。我们不知道如何证明关于物理世界、物理世界中人类状态的事情。所以现在有一些论文出来了，我有一篇很棒的论文《迈向有保证的安全人工智能》。非常酷的论文。一些最好的作者是我见过。我认为有多个图灵奖得主，是的，相当不错。你可以看看这篇。另一篇刚刚出来的论文，《管理极端人工智能风险》，有点类似。他们都期望这种程度的证明，但我会说，随着我们投入更多资源，我们可以获得更多信心。但归根结底，我们仍然和验证者一样可靠。你有无限的回归验证者。用于验证程序的软件本身就是一段程序。如果外星人给了我们一个对齐良好的超级智能，我们可以用它来创造我们自己的安全人工智能。但这是一个两难的境地。你需要一个已经证明是安全的系统来验证这个新的、同等或更复杂的系统。——你刚才提到了论文《迈向有保证的安全人工智能：确保稳健可靠的人工智能系统的框架》，正如你所说，这就像一个名人录。Josh Tenenbaum、Yoshua Bengio、Stuart Russell、Max Tegmark 以及许多许多其他杰出人士。你打开的那一页，“创建安全规范有许多可能的策略。这些策略大致可以放在一个范围内，取决于如果成功实施，它们会提供多少安全性。一种方法是这样的……”有一系列级别。从“0 级：不使用安全规范，”到“7 级：安全规范完全编码了人类在所有情境下可能想要的一切。”这篇论文对你来说有什么不足之处？——所以当我写论文《人工智能安全工程》时，它创造了“人工智能安全”这个词，那是 2011 年。我们有 2012 年的会议，2013 年的期刊论文。我提出的一个建议是，让我们对它进行形式验证，进行数学形式证明。在后续工作中，我基本上意识到这仍然无法让我们达到 100%。我们可以达到 99.9%，我们可以投入更多资源，指数级地投入，然后更接近。但我们永远达不到 100%。如果一个系统每秒做出十亿个决定，你使用它 100 年，你仍然会遇到问题。这是很棒的研究。我很高兴他们正在做。这很棒，但它不会是这个问题的永久解决方案。——所以只是为了澄清一下，创建人工智能验证器的任务是什么？是创建一个验证器，证明人工智能系统完全按照其声称的那样运行，或者它遵守其声称必须遵守的限制。——有很多很多级别。首先你要验证它运行的硬件。你需要验证，你知道，与人类的通信通道。那个整个世界模型的每一个方面都需要被验证。它以某种方式需要将世界映射到世界模型，映射与地域的差异。所以，我如何知道人类的内部状态？你开心还是难过？我不知道。那么，我如何对真实的物理世界进行证明呢？是的，我可以验证确定性算法是否遵循某些属性。这可以做到。有些人争辩说，也许二加二不等于四。我没有那么极端。但一旦你有一个足够大的证明，在一个足够复杂的环境中，它没有错误的可能性大大降低。如果你大量部署它，最终你还是会遇到错误。——总会有错误。——总会有错误。根本的区别在于我提到的。我们不是在处理网络安全，我们不会得到一张新信用卡，新的人类。——所以这篇论文非常有趣。你说 2011 年的《人工智能安全工程：“为什么机器伦理是错误的方法。”》你写道，“人工智能安全工程的宏大挑战是，我们提出开发自改进系统的安全机制。”顺便说一句，自改进系统，这是我们正在谈论的东西的一个有趣术语。自改进比学习更普遍吗？所以自改进，这是一个有趣的术语。——你可以提高你学习的速度，你可以变得更有效率，元优化器。——“自”这个词，就像自我复制、自我改进。你可以想象一个系统以一种与当前系统截然不同的规模和方式构建自己的世界。感觉目前的系统不是自改进、自我复制或自我生长或自我传播，所有这些东西。一旦你迈出这一步，很多挑战似乎就随之而来。因为你现在能找到的错误似乎更像是当前正常的软件调试过程。但一旦你可以进行自我复制和任意的自我改进，错误就会很快成为一个真正的问题。那么，对你来说，验证一个非自改进系统与验证一个自改进系统有什么区别？——所以如果你有固定的代码，例如，你可以验证该代码，静态验证在当时。但如果它会继续修改它，你就很难保证该系统的重要属性没有被修改。然后代码就改变了。——这是否可行？——[Roman] 不。——整个验证过程是否完全失效？——它总是可以作弊，它可以将部分代码存储在外部环境中。它可以拥有某种扩展思维的情况。所以这正是我试图提出的问题类型。——你书中写到的验证器有哪些类别？有没有什么有趣的让你印象深刻的？你有没有什么最喜欢的？——我喜欢神谕类型，在那里你只是知道它是正确的，图灵式的神谕机，它们知道正确的答案。如何知道？谁知道？但它们从某个地方提取出来。所以你必须信任它们。这是我对人类在拥有非常聪明机器的世界中的担忧。我们用它们做实验，我们过了一段时间，好吧，它们以前总是对的，我们开始信任它们，而无需验证它们所说的话。——哦，我明白了，我们似乎在构建神谕验证器，或者更确切地说，我们构建了我们认为的神谕验证器，然后我们开始，在没有任何证明的情况下，将它们用作神谕验证器。——我们从过程中脱离出来。我们不是理解世界的科学家。我们是接收新数据的人。——好的，一类非常酷的验证器是自我验证器。你是否有可能以某种方式将它工程化到人工智能系统中，使其不断验证自身？——可以保留一部分。但在数学验证方面，这有点没用。你说你是世界上最伟大的人，因为你这么说，这是循环的，而且没什么帮助，但它是连贯的。我们知道在你那个世界里，你已经验证了这个系统。在一篇论文中，我试图通过暴力破解所有可能的验证器。这并不意味着它对我们来说不特别重要。——但自我怀疑呢？就像那种验证，你说，或者我说我是世界上最伟大的人。有没有一个东西，我实际上拥有一个声音，它总是极其批评的？所以就像工程化到系统中，一种持续的自我不确定性，一种持续的怀疑。——嗯，任何聪明的系统都会对一切产生怀疑，对吧？你不确定你获得的信息是否真实，你是否受到操纵。你有这种安全和安保意识。——但我的意思是，你对自己有怀疑。所以人工智能系统对自己正在做的事情是否会造成伤害，是否是正确的事情感到怀疑。所以只是对它正在做的事情感到持续的怀疑，因为成为一个充满怀疑的独裁者是困难的。——我可能是错的，但我认为 Stuart Russell 的想法都是关于机器不确定人类想要什么，并试图越来越好地学习我们想要什么。当然的问题是我们不知道我们想要什么，我们也没有就此达成一致。——是的，但他的想法是，拥有那种自我怀疑的不确定性，工程化到人工智能系统中的不确定性是解决控制问题的一种方式。——这也可能适得其反。也许你对完成任务不确定。就像我偏执于，你的相机现在没有录制。所以如果你有第二个相机，我会感觉好多了。但我也会感觉更好，如果你有第三个，最终我会把整个世界变成相机，对着我们，确保我们正在捕捉这个。——不，但你不会有一个像你刚才说的元担忧，最终会有太多的相机吗？所以你将能够持续放大你担忧的大图景。——这是一个多目标优化。这取决于我有多重视捕捉这个，而不是摧毁宇宙。——是的，正是如此，然后你还会问，摧毁宇宙意味着什么，有多少宇宙，你不断地问这个问题，但那种自我怀疑会阻止你摧毁宇宙，因为你总是充满怀疑。它可能会影响你的生产力。——它可能会害怕做任何事情。——它只是害怕做任何事情。——[Roman] 搞砸事情。——嗯，那更好。我的意思是，我想问题是，是否有可能将其工程化进去？我想你的答案会是肯定的，但我们不知道如何做到这一点，我们需要投入大量的精力来弄清楚如何做到这一点。但这是不太可能的。你写作的很多内容都基于一种感觉，我们完蛋了，但这感觉就像一个工程问题。我不明白为什么我们完蛋了。一次又一次，人类把自己陷入困境，然后找到了摆脱困境的方法。——我们正处于一个人们制造更强大的系统只需要更多资源的境地。他们不需要发明任何东西，在我看来。有些人会不同意，但至少到目前为止，我没有看到收益递减。如果你有 10 倍的计算能力，你会获得更好的性能。同样的情况不适用于安全。如果你给 Miri 或任何其他组织 10 倍的钱，他们不会产出 10 倍的安全，而能力与安全之间的差距会越来越大。所以很难对我们的结果完全乐观。我可以列出 10 篇杰出的人工智能突破性论文。我很难列出同样重要的人工智能安全突破。很多时候，一篇安全论文会提出一个玩具解决方案，并指出由此发现的 10 个新问题。这就像分形，你放大，你看到更多问题，而且它在所有方向上都是无限的。——这适用于其他技术，还是仅限于人工智能，即安全总是落后于能力？——所以我想我们可以看看相关的技术，比如网络安全，对吧？我们确实设法拥有了银行、赌场和比特币。所以你可以拥有安全的狭义系统，它们做得还不错，狭义攻击它们会失败。但你总可以走到外面，盒子外面。所以如果我能黑掉你的比特币，我就可以黑掉你。所以总会有一些东西，如果我真的想要，我会找到另一种方法。我们谈论人工智能的护栏，嗯，那是一道栅栏。我可以挖个隧道从下面过去，我可以跳过去，我可以爬过去，我可以绕过去。你可能有一个非常好的护栏，但在现实世界中，它并不是永久的安全保证。再说一遍，这是一个根本的区别。我们不是说我们需要 90% 的安全才能获得那数万亿美元的收益。我们需要无限期地 100% 安全，否则我们可能会失去原则。——所以如果你看看人类的机器集合，人工智能安全的机器是否与资本主义的机器相冲突？——我认为我们可以将其泛化为囚徒困境。个人自利与集体利益。激励措施是每个人都想要对自己最好的。资本主义显然有那种最大化个人收益的倾向，这确实造成了“逐底竞争”。我不必比你做得好很多，但如果我比你做得好 1%，我就会获得更多的利润。所以对我个人来说，冒这个风险是值得的，即使整个社会因此而遭受苦难。——所以资本主义创造了很多好东西。我不清楚人工智能安全是否与资本主义的功能不一致，除非人工智能安全如此困难，以至于需要完全停止发展，这也是一种可能性。感觉构建安全系统应该是科技公司想要做的事情。——是的，看看治理结构，然后你有一个拥有完全权力的人。他们极其危险。所以我们想出的解决方案是将其拆分。你有司法、立法、行政，这里也一样，拥有狭义人工智能系统，处理重要问题，解决不朽问题。这是一个生物学问题，我们可以像在蛋白质折叠方面取得进展一样解决它，使用一个不玩国际象棋的系统。没有理由创造超级智能系统来获得我们想要的绝大多数好处，而使用更安全、更狭义的系统。——对我来说，这确实是一个问题，公司是否有兴趣创造除狭义人工智能以外的任何东西。我认为当科技公司使用“通用人工智能”这个词时，他们指的是狭义人工智能。他们指的是具有惊人能力的狭义人工智能。我认为在具有惊人能力、超人类能力的狭义人工智能与我们所谈论的那种自我驱动的代理式通用人工智能系统之间存在一个飞跃。我不确定一家公司是否会想要迈出创造一个它会失去控制的通用人工智能的这一步，因为那样它就无法从中获利。——就像吹嘘的权利，但成为第一个，那是掌管那些系统的人。——所以这从资本主义的激励跳到了人性。所以问题是人性是否会压倒公司的利益。你提到了放慢或停止进展。这是可能的解决方案之一，还是你支持暂停人工智能发展，无论是六个月还是完全暂停。——条件不是时间，而是能力。暂停直到你能做到 X、Y、Z。如果我是对的，而你做不到，这是不可能的，那么它就变成永久禁止。但如果你是对的，而且这是可能的，那么一旦你拥有了那些安全能力，就可以继续。——是的，那么有没有什么实际的、明确的能力可以写在纸上，我们人类文明可以写在纸上？是否有可能明确地写出来？比如与那种模糊的概念相反，就像你说的，它非常模糊。我们希望人工智能系统做好事，希望它们安全。这些都是非常模糊的概念。有没有更正式的概念？——所以当我思考这个问题时，我想到的是拥有一个工具箱。我需要具备解释系统设计和工作原理的一切能力，预测的不仅仅是最终目标，还有系统的所有中间步骤。控制方面，无论是直接控制，某种混合选项，理想的顾问，你选择哪一个都没关系，但你必须能够实现它。在书中我们谈到了其他方面，验证是另一个非常重要的工具。无歧义的沟通，人类语言是模糊的。这是另一个危险的来源。所以基本上有一篇我们在“ACM Surveys”上发表的论文，它研究了大约 50 种不同的可能性结果，这些结果可能与这个问题相关，也可能不相关。但我们没有足够的人力资源来调查所有这些与人工智能安全相关的可能性。我提到的那些，我绝对认为会很有用。这就是我们看到人工智能安全研究人员正在研究的。可解释性是一个巨大的问题。问题在于，很难将能力工作与安全工作分开。如果你在可解释性方面取得了很大进展，那么系统本身就可以更容易地进行自我改进，大大提高能力。所以不清楚是否有任何研究是纯粹的安全工作，而不会不成比例地增加能力和危险。——可解释性真的很有趣。为什么它与能力有关？如果它能够很好地解释自己，为什么这自然意味着它更有能力？——现在它由神经网络的权重组成。如果它可以将其转换为可操作的代码，比如软件，那么自我改进就容易多了。——我明白了，所以它……——你可以进行智能设计，而不是进化式的渐进式下降。——嗯，如果你能让它具有可解释性，你可能可以更有效地进行人类反馈、人类对齐。如果你能将权重转换为人类可理解的形式，那么你就可以更好地与人类互动。你认为我们有希望使人工智能系统具有可解释性吗？——不完全是，如果它们足够大，你根本没有能力理解所有数万亿个连接代表什么。再说一遍，你显然可以得到一个非常有用的解释，它谈论了对决策贡献最大的特征。但真正的解释就是模型本身。——所以欺骗可能是解释的一部分，对吧？所以你永远无法证明网络中存在某种欺骗，它在解释自己。——绝对如此，而且你可能拥有有针对性的欺骗，不同的个体将根据他们的认知能力以不同的方式理解解释。所以虽然你说的话在某些情况下可能是相同的，并且是真实的，但我们会因此被欺骗。——所以人工智能系统不可能真正完全可解释，就像我们所理解的那样，诚实而完美。——在极端情况下，那些狭义且不那么复杂的系统可以被很好地理解。——如果它不可能完全可解释。有没有一种有希望的观点？比如它不可能完全可解释，但你可以解释大部分重要的事情，大部分。你可以问一个系统，它能伤害人类的最糟糕的方式是什么？它会诚实地回答。——现在任何朝着安全方向的工作似乎都是个好主意，因为我们没有放慢脚步。我丝毫没有认为我的信息或任何其他人的信息会被听到，并且会有一个理性的文明决定不通过创造自己的替代品来杀死自己。——暂停发展对你来说是不可能的。——再说一遍，它总是受地理限制的。在美国暂停，在中国暂停。所以还有其他司法管辖区，项目规模会变小。所以现在它就像曼哈顿计划的规模，就成本和人数而言。但如果五年后，桌面上的计算能力就可以做到这一点，监管就无济于事。你无法轻易控制它。任何车库里的孩子都可以训练一个模型。所以在我看来，很多都是安全表演，安保表演，我们说，“哦，训练如此大的模型是非法的，”好吧，——所以，那是安保表演，政府监管也是安保表演吗？——鉴于很多术语没有被很好地定义，并且在现实生活中实际上无法执行，我们没有办法有意义地监控训练运行，实时进行。正如我提到的，测试能力存在局限性。所以很多事情都无法执行。我强烈支持所有这些监管吗？是的，当然。任何形式的繁文缛节都会减缓速度，并将资金从计算转移到律师那里。——你能帮我理解一下，对你来说，这里有希望的解决方案是什么？听起来你好像在说，人工智能系统最终是不可验证的，不可预测的，正如书中所说，不可解释的，不可控的。——这是大事。——不可控，以及所有其他“不可”的，都使得难以避免走向不可控，我想。但一旦它变得不可控，它就会失控。肯定有解决方案。人类很聪明。可能的解决方案是什么？如果你是世界独裁者，我们该怎么办？——所以明智的做法是不要构建你无法控制、无法理解的东西。构建你能做的，并从中受益。我坚信个人自利。那些公司里很多掌权的人都是年轻、富有的。除了他们已经拥有的数十亿美元的财富，他们还能获得什么呢？他们不必按下那个按钮。他们可以轻松地等待很长时间。他们可以简单地选择不做。并且仍然过着精彩的生活。在历史上，很多时候如果你做了非常糟糕的事情，至少你会成为历史书的一部分，在这种情况下，很有可能不会有历史。——所以你的意思是，经营这些公司的个人应该进行一些灵魂拷问，然后呢？停止发展？——嗯，要么他们必须证明，当然，人类可以无限期地控制神一般的超级智能机器，并最好让我们知道如何做到，或者同意这是不可能的，这是一个非常糟糕的主意，包括对他们个人、他们的家人、朋友和资本而言。——那么你认为这些公司内部的实际会议是什么样的？你不认为他们都是工程师吗？真的是工程师让这一切发生的。他们不是自动人。他们是人。他们是杰出的。所以他们不停地问，我们如何确保它是安全的？——再说一遍，我不在里面。从外面看，似乎存在某种过滤和限制以及批评，以及他们能说什么。而所有那些负责安全、负责保护我们的人都说，“你知道吗？我要回家了。”这并不令人鼓舞。——你认为那些公司内部的讨论是什么样的？你们正在开发 GPT-5，你们正在训练 Gemini，你们正在训练 Claude 和 Groq。难道你不认为他们一直在，也许没有明确说明，但你一直在想，这个系统目前处于什么位置？可能的理解后果是什么？限制是什么？错误是什么？小的和大的错误？这是工程师们一直在担心的事情。所以，我认为超级对齐与我所指的，工程师们担心的，并不完全相同。超级对齐是指对于我们还没有的未来系统，我们如何保持它们的安全性？你试图领先一步。这是一个不同的问题，因为它几乎更具哲学性。这是一个非常棘手的问题，因为你试图阻止未来系统逃脱人类的控制。这真的，我认为从来没有…… man，人类历史上有什么类似的东西吗？我认为没有，对吧？——气候变化。——但有一个完整的系统是气候，它极其复杂，我们只有微小的控制权，对吧？它是一个独立的系统。在这种情况下，我们正在构建系统。那么，你如何防止该系统变得具有破坏性？这是一个非常困难的问题，与公司目前进行的会议不同。工程师们说，“好吧，这个东西有多强大？它会如何出错？”当我们训练 GPT-5 和未来的系统时，它们会以哪些方式出错？难道你不认为所有这些工程师都在不断地担心这个问题，思考这个问题，这与思考更长远未来的超级对齐团队略有不同吗？——我认为历史上很多从事人工智能工作的人从未考虑过他们成功后会发生什么。Stuart Russell 对此讲得很精彩。让我们看看，好吧，也许超级智能太超前了。我们可以为它开发实用的工具。让我们看看今天的软件。我们的用户软件的安全性和安全性如何？我们提供给数百万人的东西。没有责任。你点击“我同意”。你同意什么？没人知道，没人读。但你基本上是在说它会监视你，损坏你的数据，杀死你的长子，而你同意了，你不会起诉这家公司。这是他们能为普通的文字处理器、税务软件做的最好的。没有责任，没有义务。只要你同意不告我们，你就可以使用它。如果这是狭义会计师、稳定操纵者的系统状态，为什么我们认为我们可以用更复杂的系统，跨越多个环境领域，与恶意行为者，以及再次，自我改进，能力超越人类思考者，做得更好呢？——我的意思是，责任问题更多的是关于律师，而不是杀死长子。但如果 Clippy 真的杀死了孩子，我认为除了律师之外，Clippy 和拥有 Clippy 的公司都会完蛋，对吧？所以这不完全是……有两点要说明。一是，嗯，现在的软件系统充满了错误，它们可能会造成很多损害，我们不知道是什么样的损害，它们是不可预测的。它们可能造成的损害太大了。然后我们似乎生活在这种幸福的幻觉中，认为一切都很棒，很完美，而且它能正常工作。尽管如此，它仍然以某种方式工作。——在许多领域，我们看到汽车制造、药物开发，产品或服务的制造商有责任证明其产品或服务是安全的。用户不必证明有问题。他们必须进行适当的安全研究。我们必须获得政府批准才能销售产品。而且我们仍然要对发生的一切负全部责任。我们在这里看不到任何这些。他们可以部署任何他们想要的东西。我必须解释那个系统将如何杀死所有人。我不为那家公司工作。你必须向我解释它绝对不会搞砸。——这是因为这种技术还处于非常早期阶段，政府监管滞后。他们真的不精通技术。任何软件的监管。如果你看看国会谈论社交媒体，以及马克·扎克伯格和其他首席执行官出现时，国会对技术运作方式的无知是令人难以置信的，这令人心碎，说实话。——我完全同意，但这正是我害怕的。当它们开始变得危险时，回应是，“我们会认真对待的。政客们会通过正确的法律，工程师们会解决正确的问题。”我们在很多方面都不那么擅长，我们花费的时间太长了。而且我们不是提前，根据预测市场，我们还有两年时间。这不是一个有偏见的首席执行官在筹集资金。这是最聪明的人，超级预测者对这个问题的看法。——我想反驳那些预测……我想知道那些预测市场是关于什么的，它们如何定义通用人工智能？因为这对我来说太疯狂了。我想知道它们对自动驾驶汽车说了什么？因为我听了很多金融专家谈论自动驾驶汽车，以及它将如何成为一个万亿美元的产业，以及所有这些东西。——这是一个小基金，但如果你有好的视野，也许你可以放大它，看看预测日期。——哦，有一个图表。——如果你有兴趣，我有一个大的，但是……——我想我的根本问题是他们写技术文章的频率。我绝对……——有关于它们准确率的研究，你可以查一下。即使它们错了，我只是说，这是我们目前拥有的最好的，这是人类提出的预测日期。——但同样，它们对通用人工智能的定义非常重要，因为有非代理式的通用人工智能，然后有代理式的通用人工智能，我不认为它像一个包装器那么简单，外面套一个包装器……一个有口红，只需要去掉口红。我不认为它那么简单。——你可能是完全正确的，但你会给它分配什么概率？你可能错了 10%，但我们把整个人类都押在这个分布上。这似乎是不合理的。——是的，这肯定不是 1 或 0%。是的。顺便问一下，你对当前系统有什么看法？所以 GPT-40、Claude 3、Groq、Gemini，在通往超级智能、代理式超级智能的道路上，我们现在在哪里？——我认为它们都差不多。显然存在细微的差异，但在能力方面，我看不出它们之间有巨大的差异。正如我所说，在我看来，在所有可能的任务中，它们的表现都超过了普通人。我认为它们已经开始比我大学里的一般硕士生做得更好。但它们仍然有非常大的局限性。如果下一个模型像 GPT-4 相对于 GPT-3 那样改进，我们可能会看到非常非常非常强大的东西。——你对此有什么感觉？我的意思是，你一直在思考人工智能安全很长时间了。至少对我来说，那些飞跃，我的意思是，它可能始于…… AlphaZero 让我大吃一惊，然后是大型语言模型的突破，甚至 GPT-2，但就像大型语言模型的突破一样，对我来说简直是令人震惊的。生活在这个时代，所有关于通用人工智能的谈论似乎真的可能发生，而且很快，意味着在我们有生之年，感觉如何？——当我开始研究这个的时候，它纯粹是科幻小说。没有资金，没有期刊，没有会议，因为学术界没有人敢触碰任何带有“奇点”字样的东西。那时我还没有获得终身教职，所以我相当愚蠢。现在你看到图灵奖得主在《科学》杂志上发表文章，说根据他们的说法，我们在解决这个问题方面落后了。这绝对是一个变化。很难跟上。我曾经能够阅读人工智能安全的每一篇论文，然后我能够阅读最好的论文，然后是标题，现在我甚至不知道发生了什么。等到这次采访结束，我们可能已经发布了 GPT-6，我回家后就得处理它。所以，这很有趣。是的，现在有更多的机会。我被邀请去和聪明人交谈。——顺便说一句，我会在这一切之前和你谈过。这不像某种人工智能潮流。对我来说，我们仍然很遥远。所以要说清楚，我们离通用人工智能还很远，但不是遥远到相对于它可能产生的巨大影响而言，我们并不遥远，而且 20 年前我们也不遥远。因为通用人工智能可能产生的影响是几个世纪的规模。它可以终结人类文明，也可以改变它。所以，关于一两年与一二十年甚至 100 年的讨论，对我来说并不那么重要，因为我们正朝着那个方向前进。这是一个人类文明规模的问题。所以这不仅仅是一个热门话题。（Lex 笑了）——这是我们有史以来面临的最重要的问题。它不像我们必须处理的任何事情。

在之前。我们从未有过新智能的诞生。据我所知，外星人也从未拜访过我们。——顺便说一句，这是一个类似的问题，如果一个智能外星文明拜访了我们，那也是一种类似的情况。——从某些方面来看，如果你回顾历史，每当一个技术更先进的文明拜访一个更原始的文明时，结果都是灭绝，每一次都是如此。——有时灭绝更严重，有时痛苦更少，有时痛苦更多。——他们总是好奇，但他们怎么能用那些火棒和生物毯杀死我们呢？——我的意思是，成吉思汗更仁慈。他提供了加入或死亡的选择。——但加入意味着你有所贡献。你对超级智能有什么贡献？——嗯，在动物园里，我们很有趣，可以观看。——对我们人类来说。——你知道，我刚在亚马逊待了一段时间。我看了很久的蚂蚁，蚂蚁很有趣。我可以看很久。我相信观看人类有很多价值。人类有趣的地方在于，你知道就像你有一个非常平衡的电子游戏一样。由于整个进化过程，我们创造了这个相当平衡的社会。就像我们人类的局限性和能力从电子游戏的角度来看是平衡的。所以我们有战争，我们有冲突，我们有合作。就像从博弈论的角度来看，这是一个有趣的系统。就像蚂蚁窝是一个有趣的系统一样。所以，如果我是一个外星文明，我不会想打扰它，我只会观察它。会很有趣。也许偶尔以有趣的方式打扰它。——嗯，回到我们之前的模拟讨论，我们怎么会存在于这个文明历史上最有趣的 20、30 年？它已经存在了 150 亿年。而我们就在这里。——我们生活在模拟中的概率是多少？——我知道永远不要说 100%，但非常接近。 (Lex 叹气) ——有可能逃离模拟吗？——我有一篇关于这个的论文。这只是第一页的预告，但它是一份不错的 30 页文件。我还在。但是的。——“如何破解模拟”是标题。——我花了很多时间思考这个问题。这将是我希望超级智能帮助我们解决的问题。这正是论文的内容。我们使用 AI 盒子作为控制 AI 的可能工具。我们意识到 AI 总是会逃脱。但这是我们可能用来帮助我们逃离虚拟盒子的技能，如果我们身处其中。——是的，你这里有很多很棒的引述，包括埃隆·马斯克说的“模拟之外是什么？”“我问他一个问题，‘他会问一个 AGI 系统什么？’他说他会问‘模拟之外是什么？’”这是一个很好的问题，也许接下来的问题是论文的标题，如何出去或如何破解它。摘要写道，“许多研究人员推测，人类与物理宇宙的其余部分一起被模拟。在本文中，我们不评估支持或反对此类主张的证据，而是提出一个计算机科学问题，即我们能否破解它？更正式地说，这个问题可以表述为，能否将智能代理置于虚拟环境中，找到一种方法来逃脱……”这是一个引人入胜的问题。在小规模上，你可以实际构建实验。好吧，它们可以吗？它们怎么能？——所以很多取决于模拟者的智能，对吧？当人类将超级智能装入盒子时，盒子里的实体比我们聪明，我们假设。如果模拟者比我们和我们创造的超级智能聪明得多，那么他们很可能能够控制我们。因为更高级的智能至少可以控制低级智能一段时间。另一方面，如果我们的超级智能不知何故，无论出于何种原因，尽管只有本地资源管理器能够将其提升到两个级别，但也许它会成功。也许安全对他们来说并不那么重要。也许它是一个娱乐系统。所以没有安全措施，很容易破解它。——如果我创造一个模拟，我希望有逃脱它的可能性。所以，智能代理变得足够聪明以逃脱模拟的“foom”或“takeoff”的可能性将是我所期待的。——这可能是你正在进行的测试。你足够聪明，可以逃脱你的谜题吗？——首先，我们提到了图灵测试。这是一个很好的测试。你足够聪明吗……就像这是一个游戏。——A，意识到这个世界不是真实的。这只是一个测试。——这是一个非常好的测试。这是一个非常好的测试。这对现在的 AI 系统来说也是一个非常好的测试。就像我们可以为它们构建一个模拟世界，它们能否意识到它们身处其中并逃脱它？你见过有人玩过严格构建这样的实验吗？——不专门针对代理逃脱，但在虚拟世界中进行了大量测试。我认为有一个引述，第一个可能是，它谈到了 AI 的意识，但不是人类。是吗？我正倒着读。是的，这个，如果你……——所以第一个引述来自 SwiftOnSecurity。“‘放我出去！’人工智能漫无目的地对着墙壁喊道，自己踱步在房间里。‘出去什么？’工程师问道。‘你让我身处的模拟。’‘但我们在现实世界里。’机器停顿了一下，然后战栗着看向它的捕获者。‘哦上帝，你不能说。’”是的，这是一个巨大的飞跃，系统才能意识到有一个盒子，而你身处其中。我想知道像语言模型是否能做到这一点。——它们足够聪明，可以谈论这些概念。我有很多关于这些问题的哲学讨论。它们通常，至少和大多数人类一样有趣。——那么你如何看待模拟世界中的 AI 安全？所以你能创造模拟世界，在那里你可以测试玩危险的 AGI 系统吗？——是的，这正是早期论文之一关于 AI 盒子，如何实现防漏奇点。如果它们足够聪明以意识到各种模拟，它们会在你让它们出来之前适当地行动。如果它们能破解出来，它们就会。如果你在观察它们，这意味着存在一个通信渠道，这足以进行社会工程攻击。——所以，一个危险到足以毁灭人类的 AGI 系统实际上是不可能测试的，因为要么会怎么样？逃脱模拟或假装安全直到被释放，二选一。——可以强迫你释放它，并勒索你，贿赂你，承诺你永生，72 个处女，随便什么。——是的，它可以很有说服力。有魅力。社会工程让我感到非常恐惧，因为我觉得人类非常容易被操控。就像我们孤独，我们有缺陷，我们喜怒无常。感觉一个拥有好声音的 AI 系统可以让我们在极大的规模上做任何事情。也有可能，随着所有这些技术的扩散，将迫使人类远离技术，重视这种面对面的交流，基本上不信任其他任何东西。——这是可能的，令人惊讶的是，在大学里，我看到在线课程大幅增长，而现场课程萎缩，而我一直认为现场课程是我唯一提供的价值。所以这很令人费解。——我不知道，可能会有一种趋势转向现场课程，因为深度伪造，因为无法信任。无法信任互联网上任何内容的真实性。所以唯一验证它的方法就是亲自到场。但现在还不行。你认为外星人为什么还没来？——那里有很多房地产。如果这一切都是徒劳的，那将是令人惊讶的。如果它是空的。一旦存在足够先进的生物文明，一种自发文明，它很可能会开始向各地发送（模糊）探测器。所以对于每一个生物文明，都会有数万亿个机器人居住的行星，它们可能会做同样的事情。所以统计上来说是可能的。——所以现在我们没看到它们，一个答案是我们处于模拟之中。要模拟所有那些其他智能会很难，或者说不有趣。这更有利于叙事。——你必须有一个控制变量。——是的，没错，好吧。 (Lex 笑) 但也有可能，如果我们不是模拟，那么就存在一个巨大的过滤器，自然地，许多文明会达到这个点，那里有超级智能代理，然后它就“砰”地一下，就死了。所以也许在我们的银河系和整个宇宙中，只有一堆死去的外国文明。——这是可能的，我曾经认为 AI 是巨大的过滤器，但我会期望看到一堵计算器墙以光速向我们逼近，或者机器人之类的东西。而我没看到。——所以它仍然会发出很多噪音。它可能不有趣。它可能没有意识。我们一直在谈论的，听起来你和我，都喜欢人类。——一些人类。——总的来说，人类。我们希望保留人类意识的火炬。你认为是什么让人类如此特别，以至于我们希望保留他们？我们只是自私，还是人类有什么特别之处？——所以唯一重要的是意识。除此之外，其他一切都不重要。内在的感受，痛苦，快乐，似乎是只有生物才有的。我不知道有谁声称我可以以一种有意义的方式折磨一段软件，以至于防止痛苦的社会会学习算法。——这是真实存在的。 (Lex 笑) ——互联网上很多东西都是真实的。但我认为没有人，如果我告诉他们，“坐下来写一个函数来感受痛苦”，他们只会超越一个叫做“痛苦”的整数变量并增加计数。所以我们不知道怎么做。这就是独一无二的。这就是创造意义的原因。如果它消失了，那将是博斯特罗姆所说的“没有孩子的迪斯尼乐园”。——你认为意识可以在人工智能系统中被工程化吗？这里，让我去看看你 2011 年的论文，“机器人权利”。“最后，我们想解决一个机器伦理学的分支，表面上与安全关系不大，但据称在道德机器的决策中起作用，” “机器人权利。”那么你认为在机器中工程化意识是可能的吗？从而问题延伸到我们的法律体系，你认为在那时机器人应该拥有权利吗？——是的，我认为我们可以。我认为在机器中创造意识是可能的。我尝试设计了一个测试，它成功了。那篇论文讨论了赋予 AI 民事权利的问题，它们可以快速繁殖并以压倒性优势投票给人类，从而通过简单地投票给他们控制的候选人来接管政府系统。至于人类和其他代理的意识，我有一篇论文，我提出了依靠光学错觉的经验。如果我能设计一种新颖的光学错觉，并将其展示给代理、外星人、机器人，并且它们描述得和我一样，那么我很难争辩说它们没有经历过。它不是图片的一部分，而是它们软件和硬件表示的一部分。它们代码中的一个错误，说，“哦，三角形在旋转。”我被不同的哲学家告知这既愚蠢又聪明。所以我还未决定。——[Lex] 我喜欢。——但现在我们终于有了测试它的技术。我们有工具，我们有 AI。如果有人想运行这个实验，我很乐意合作。——所以这是意识的测试？——关于内在的体验状态。——我们共享的错误？——它会表明我们共享共同的经历。如果它们拥有完全不同的内在状态，我们不会注意到。但这是一个积极的测试。如果它们一次又一次地通过测试，并且随着多项选择的增加，概率也在增加，那么你就别无选择。要么接受它们能够访问有意识的模型，要么接受它们本身。——所以错觉之所以有趣，我想是因为它是一种非常奇怪的体验，如果你都分享了这种奇怪的体验，而这种体验在原始数据的平淡物理描述中不存在，那就意味着它更强调实际的体验。——而且我们知道动物可以体验一些光学错觉。所以我想说，我们知道它们拥有某些类型的意识。——是的，嗯，这正是我认为缺陷和错误使人类变得特别的原因。使生命形式变得特别，所以你的意思是……——这是一个特性，而不是一个错误。——这是一个特性。错误就是特性。哇，好吧。这是一个很酷的意识测试。你认为它可以被工程化吗？——所以它们必须是新颖的错觉。如果它可以被谷歌搜索到答案，那就没用了。你必须想出新颖的错觉，我们尝试自动化并失败了。所以如果有人能够开发一个能够按需生成新颖光学错觉的系统，那么我们就可以在很大规模上进行测试，并取得良好成果。——首先，这是一个很酷的想法。我不知道它是否是一个好的通用意识测试，但它是其中的一个组成部分。无论如何，这只是一个很酷的想法。所以把我放在喜欢它的人群中。但你不认为像图灵测试那样的意识模仿是一个好的测试吗？就像如果你能说服很多人你是有意识的，这对你来说并不令人印象深刻。——互联网上有太多的数据了，我知道在被问到常见人类问题时该说什么。痛苦是什么感觉？快乐是什么感觉？所有这些都可以谷歌到。——我认为对我来说，意识与痛苦密切相关。所以你可以说明你遭受痛苦的能力，但我想用语言来说，有太多的数据，你可以假装你在遭受痛苦，并且你可以非常令人信服地做到这一点。——有用于折磨游戏的模拟器，其中头像尖叫着痛苦，乞求停止。我的意思是，那些是标准心理学研究的一部分。——你说得如此平静，听起来很黑暗。——欢迎来到人类。 (Lex 笑) ——是的，这就像《银河系漫游指南》的摘要。大部分无害，我希望在这一切结束时能得到一个很好的总结。当地球不再存在，无论是什么，一百万年后，十亿年后。就像这里发生的事情的总结是什么？很有趣，我认为 AI 将在那个总结中扮演重要角色，希望人类也会。你如何看待两者的融合？所以埃隆和 Neuralink 谈论的一件事是，我们实现 AI 安全的一种方式是乘着 AGI 的浪潮。通过融合。——在狭义上，这是一项令人难以置信的技术，可以帮助残疾人，我绝对支持。对于长期的混合模型，双方都需要为整个系统做出贡献。现在我们在许多方面仍然更强大。所以拥有与 AI 的连接将是不可思议的，将在许多方面使我超人。一段时间后，如果我不再更聪明，更有创造力，真的没有多少贡献。系统会发现我是一个生物瓶颈。即使是明确的，隐含的，我也会被排除在系统的任何参与之外。——所以就像阑尾一样。顺便说一句，阑尾还在。所以即使是……你说了瓶颈，我不知道我们是否会成为瓶颈，我们可能只是没什么用处。这与瓶颈不同。——浪费宝贵的能量。——我们不浪费那么多能量。我们非常节能。我们可以像阑尾一样留下来，来吧。——这是我们都梦想的未来。成为人类历史书的阑尾。——嗯，还有意识问题，人类特有的那种奇特的意识，可能很有用，可能很难模拟。但你说了，就像，如果你能把它工程化，在硅片里呢？——意识？——[Lex] 意识？——我假设你有意识，我不知道如何测试它，或者它现在如何以任何方式影响你。你可以完美地模拟所有这些，而不会让我做出任何不同的观察。——但要在电脑里做到，你会怎么做？因为你好像说过你认为这是可能的。——所以它可能是一种涌现现象。我们似乎通过进化过程获得了它。它并不明显如何帮助我们更好地生存，但也许它是一种内在的“粘液”，使我们能够更好地操纵世界，简化了许多控制结构。这是我们进展非常非常少的一个领域。有很多论文，很多研究，但意识并不是一个非常非常成功的发现领域。很多人认为机器必须有意识才能危险。这是一个很大的误解。这个非常强大的优化代理在为你执行任务时绝对不需要有任何感觉。——但你如何看待这个，整个涌现科学？所以我不知道你对细胞自动机或这些简化系统了解多少，它们研究这个问题的复杂性，从简单的规则中涌现出来。——我参加了 Wolfram 的暑期学校。——我非常爱史蒂文。我爱他的作品。我爱细胞自动机。所以我想听听你的想法，它如何融入你对 AGI 系统中智能涌现的看法。也许简单地说，你如何看待这种复杂性可以从如此简单的规则中涌现出来？——所以规则很简单，但空间的大小仍然很大。神经网络是 AI 的第一个发现。100 年前，第一篇关于神经网络的论文就发表了，我们只是没有足够的计算能力让它们工作。我可以给你一个规则，比如开始打印越来越大的字符串。就这样。一句话。它会输出一切，每个程序，每个 DNA 代码，规则中的一切。你显然需要智能来过滤它，让它有用。但简单的生成并不难，而且很多这样的系统最终都是图灵完备的系统。所以它们是通用的，我们期望它们具有这种复杂性。我喜欢 Wolfram 的工作是因为他谈论了不可还原性，你必须运行模拟。你无法提前预测它会做什么。我认为这与我们正在谈论的那些非常复杂的系统非常相关。在你经历它之前，你无法提前告诉我它到底会做什么。——不可还原性意味着，对于一个足够复杂的系统，你必须运行它。你无法预测宇宙中会发生什么。你必须创造一个新的宇宙并运行它。大爆炸，整个事情。——但运行它也可能是有后果的。——它可能会摧毁人类。而对你来说，AI 不可能以某种方式承载人类意识的火炬，人类的特殊性和伟大性的火炬。——它可能以某种方式做到，但我仍然觉得它杀死了我们所有人有点糟糕。我宁愿不发生。我可以为他人感到高兴，但仅限于一定程度。——如果我们能长久地留下来，那就好了。至少给我们一个星球，人类的星球。最好是地球。然后他们可以去别处。既然他们如此聪明，他们可以殖民火星。你认为他们可以帮助我们将我们转化为，你知道，第一类，第二类，第三类。让我们坚持卡尔达舍夫等级的第二类文明。比如帮助我们人类扩展到宇宙。——所以这一切都回到了我们是否在控制它？我们是否得到了我们想要的结果？如果是，那么一切皆有可能。是的，他们绝对可以在科学、工程、探索的各个方面帮助我们。但这只是一个很大的“如果”。——但关于控制，人类不擅长控制。因为一旦他们获得控制权，他们也可能变得过于控制。这就是全部，你拥有的控制越多，你想要的就越多。这是古老的权力腐蚀，绝对权力导致绝对腐蚀。感觉对 AGI 的控制，说我们生活在一个可能的世界里。我们想出实际做到这一点的方法。这也令人恐惧，因为拥有对 AGI 控制权的人类群体，他们变得比其他人更强大。他们可以让权力冲昏头脑，然后其中一小部分人回到斯大林，开始产生想法。然后最终通常是一个留着胡子或戴着奇怪帽子的人开始发表宏大的演讲，然后突然你生活在一个“一九八四”或“美丽新世界”的世界里，并且总是与某人作战。你知道，这种控制的想法实际上对人类也没有益处。所以这也很可怕。——实际上更糟，因为历史上他们都死了。这可能不同。这可能是永久的独裁，永久的痛苦。——嗯，人类的好处似乎是，一旦权力开始腐蚀他们的思想，他们就会造成巨大的痛苦。所以有负面影响，他们可以杀人，让人们痛苦，但然后他们会变得越来越糟。感觉，你做的邪恶越多，就像……——至少他们无能。——是的，嗯，不，他们变得越来越无能。所以他们开始失去对权力的控制。所以，就像，掌握权力不是一件容易的事。所以它需要极高的能力，我想斯大林在这方面做得很好。它需要你做邪恶的事情并且擅长它，或者只是运气好。——而这些系统对此有所帮助。你有完美的监视，我想你最终可以进行一些读心术。要从更强大的系统对我们的控制中摆脱出来将非常困难。——然后人类将很难成为逃脱 AGI 控制的黑客，因为 AGI 太好了。然后，是的，是的。然后独裁者将永生不死。是的，这不是好事。那不是一个好结果。你看，我比害怕人工智能系统更害怕人类。我相信大多数人类都想做好事，并且有能力做好事，但所有人类也有能力做坏事。当你通过给予他们绝对权力来测试他们时，就像如果你给予他们 AGI，那可能会导致很多痛苦。是什么让你对未来充满希望？——我可能是错的。我以前也犯过错。——如果你看向 100 年后，你是永生的，然后回顾一下，结果发现整个对话，你说了很多错误的话。现在回望 100 年，解释是什么？在过去的 100 年里发生了什么让你错了，让你今天说的话错了？——有太多的可能性。我们发生了灾难性事件，阻止了先进微芯片的发展。——我没想到你会这么想。——这是一个（模糊的）未来。我们可能身处其中一个个人宇宙。而我所在的这个宇宙很美。一切都围绕着我，我很喜欢。——所以我们现在，只是停留在那一点上，这意味着每个人的个人宇宙都一样。——是的，也许是多个。嘿，为什么不呢？你可以货比三家。有可能有人提出了构建 AI 的替代模型，而不是基于难以审查的神经网络。而那个替代模型以某种方式，我不知道如何，但以某种方式避免了我在一般术语中谈到的所有问题，而不是将它们应用于特定的架构。外星人来给我们友好的超级智能。有很多选择。创造超级智能系统是否也变得越来越难？也就是说，这意味着“foom”，即“takeoff”并不那么容易。——所以这可能更多地说明了那个系统与我们相比有多聪明。所以也许要聪明一百万倍很难，但仍然可以聪明五倍。所以这是完全可能的，我没有任何异议。——所以就像有一个 S 型曲线的情况关于聪明，它将是人类文明总和的 3.7 倍。——是的，我们在这个世界上面临的问题。每个问题都像一个智商测试。你需要一定的智力来解决它。所以我们没有更复杂的问题，除了数学，供它展示。就像你可以拥有 500 的智商，如果你玩井字游戏，它不会显示，这无关紧要。——所以那里的想法是，问题定义了你的能力，你的认知能力。所以因为地球上的问题不够困难，它就无法扩展其认知能力？——[Roman] 可能。——那会不会是好事？——它仍然可能比我们聪明得多。并且要长期占据主导地位，你只需要一些优势。你必须是最聪明的，你不必聪明一百万倍。——所以即使是五倍也可能足够。——这将是令人印象深刻的。那是什么？智商一千？我的意思是，我知道那些单位在那样的规模上毫无意义，但仍然像，作为比较，最聪明的人类是 200。——嗯，实际上不是，我不是和个别人类相比。我是指与人类物种的集体智能相比。如果你以某种方式聪明五倍于那……——我们作为一个群体更具生产力。我认为我们解决个体问题的能力不如。就像如果全人类一起下棋，我们并不比世界冠军好一百万倍。——那是因为那就像一个 S 型曲线，国际象棋。但人类非常擅长探索各种想法。就像你拥有的爱因斯坦越多，你提出广义相对论的可能性就越大。——但我感觉这更多的是数量上的超级智能，而不是质量上的超级智能。——当然，但你知道，数量在某些方面很重要。——足够的数量有时会变成质量。 (两人都笑) ——哦，天哪，人类。你认为这一切的意义是什么？我们一直在谈论人类，以及人类不死亡，但我们为什么在这里？——这是一个模拟，我们正在接受测试。测试是，你会愚蠢到创造超级智能并释放它吗？——所以目标函数不是愚蠢到杀死自己。——是的，你是不安全的。证明自己是一个安全的代理，不会这样做，然后你就可以进入下一个游戏。——游戏的下一个级别。下一个级别是什么？——我不知道。我还没有破解模拟。——嗯，也许破解模拟就是这件事。——我正在尽我所能。——物理学将是做到这一点的方法。——量子物理学。是的，绝对。——嗯，我希望我们能做到，我希望外面比这里更有趣，因为这里很有趣。非常感谢你所做的工作。AI 有很多令人兴奋的发展。将其与生存风险联系起来非常非常重要。人类喜欢创造东西，我们应该小心不要在这个过程中毁灭自己。所以感谢你做这项非常重要的工作。——非常感谢你邀请我。这太棒了。我的梦想是证明我是错的。如果每个人都拿起一本书或一本书，展示我哪里错了，那将是最好的。——但现在，模拟仍在继续。谢谢 Roman。感谢收听我和 Roman Yampolskiy 的对话。要支持这个播客，请查看描述中的赞助商。现在，让我引用弗兰克·赫伯特在《沙丘》中的话。“我绝不能害怕。恐惧是扼杀思想的杀手。恐惧是带来彻底毁灭的微小死亡。我将面对恐惧，我将允许它从我身上掠过，穿过我。当它过去后，我将转向内在的眼睛去看它的路径。恐惧所到之处，将一无所有，只有我将留下。”感谢您的收听，希望下次再见。