Transcription
大家好，今天我在这里采访罗马·扬波尔斯基教授，他将告诉我们人工智能是否可能完全失控。感谢您接受采访，罗马。您想向观众介绍一下自己吗？
当然，我是罗马·扬波尔斯基，是路易斯维尔大学的一名人工智能安全研究员。我研究人工智能控制的各个方面已经十多年了。我出版了几本书，发表了数百篇论文，很高兴与您交谈。
数百篇论文，我可以说，在某个时候，我会一本正经地说出这句话，这真是令人印象深刻。说实话，并非所有论文都直接关于人工智能安全。我在网络安全、生物识别和相关的计算机科学概念方面做了很多工作。
您从一开始就在研究人工智能安全问题吗？您在这个领域工作了多久？
基本上，最早的论文可能是在 2010 年或 2011 年，明确地关于高级人工智能系统的安全性。我曾就针对一些初级人工智能、扑克机器人等进行安全研究。当时扑克机器人泛滥成灾，所以我开始憎恨人工智能并与之斗争。
我们计划分三个部分来讨论：否认死亡、模拟假设以及人工智能是否失控。
这是第一部分：否认死亡。罗马，我认为这指的是我们作为一个文明，正在朝着通用人工智能（AGI）狂奔，对吗？您能谈谈这方面吗？
是的，我谈论人工智能可能有多危险，它是一个潜在的生存问题。我经常被问到的问题是，为什么人们不认真对待它？所以我会做一个演讲，告诉大家，“好吧，人工智能就要来了，它会杀死所有人。”然后我收到的问题是，“我会失业吗？”一开始我无法理解，但我认为我们可以将其映射到另一个人类的偏见上，那就是否认我们每个人每时每刻都在走向死亡的事实。你离死亡越来越近，但可能并没有为自己做太多。政府没有将 99% 的预算用于解决衰老问题，那些超级富豪，即使已经 100 岁了，仍然没有把钱花在解决他们唯一应该关心的问题上。所以，存在某种认知偏见，我认为它使我们不至于一直感到沮丧。但同样的偏见现在在人类层面也变得有问题，我们否认我们正在创造的技术，这实际上是文明的死亡。
罗马，我制作视频，我会失业吗？我甚至不确定你是不是真人，或者是一个人工智能。我是说，我才认识你两分钟，你看起来很酷，但我完全不知道。
我的前几个视频光线很差，我的脸总是看起来很扁平。所以笑话是我实际上是人工智能。也许你是，也许你甚至不知道你是。
没错。这些每个人都有的偏见，还会如何影响我们对人工智能竞赛的思考呢？人们还说，甚至不值得花时间去解决存在风险的问题。他们说，“看看现在有多少人正在遭受歧视。”当然，这是一个问题，我们应该解决它。但对我来说，似乎每个人都死掉比人们得不到他们应该得到的贷款之类的事情更糟糕，对吧？你应该根据影响来确定优先级。
当然，不乏有人在研究人工智能的公平性问题。但笑话是，如果人工智能杀死了所有人，那将是公平的。是的，这就是过度优化某个东西的问题。就像，如果没有人，就没有癌症；如果没有人，就没有不公平。这是一个困难的问题，我认为是不可能的。所以，当人们意识到他们无能为力时，他们就倾向于完全不去想它。那些一开始就不认为有问题的人，我称他们为人工智能风险否认者。我们有多篇论文调查了关于它的所有论点。我们永远不会制造出通用人工智能，它会对我们很好，因为它非常聪明。有数百个这样的论点，而且你真的可以将它们归类为不同的认知偏见。对于每一种认知偏见，都有一个关于为什么你对这个非常重要的话题不感兴趣的回应。最原始、最简单的就是利益冲突。如果我因为开发人工智能而获得数十亿美元的报酬，我很难理解这是一件非常糟糕的事情，而且我想继续这样做。
我想就此进行跟进，因为您之前提到，亿万富翁在某种程度上也扮演着角色。我的意思是，我们知道人工智能实验室之所以那样行事，是因为它们的领导层，它们是被迫的。但之前我没有想到，这有点傻，那些真正掌权的人是亿万富翁，所以他们的观点可能与我们不同，对吧？我想先说，我喜欢亿万富翁，但他们确实存在这种情况，他们不像我们那样关心典型的人类问题。这不是关于获得医疗保险或食物，所以他们需要更宏大的事情，比如捕捉宇宙的光锥。事情就在那里，他们在那个层面竞争，他们被困在囚徒困境博弈论的竞争中，没有人想先停下来。即使对整个人类来说，最好的解决方案是他们尽快停止，但领先于他人将是个人优势。这是米克的陷阱，你真的不能停下来，因为每个人都在和你竞争。
正是如此。所以，这就是为什么我们恳求联邦政府介入并提供一些监管，这样他们就有理由向投资者解释为什么他们停止了，目标是在每个人都必须停止的时候，成为拥有最先进人工智能的人。
您认为政府会以这种方式介入吗？
这取决于政府。我认为有些政府更倾向于监管，有些则更倾向于加速主义。但最终，这并不重要，因为这只是安全表演。这些监管类似于将谋杀定为非法，但这并不意味着我们不会发生谋杀。你无法执行它，而且对人工智能训练的监控、部署、安全测试都有限制。所以，这更多的是增加了很多繁文缛节，将资源从计算转移到那些公司的律师那里。
“从计算转移到律师”这是一个有趣的说法。人工智能公司已经在这样做了，对吧？我认为是 OpenAI 在一年内从大约三名说客增加到近 50 名。当然，大型科技公司已经拥有比所有其他公司都多的说客了。所以，这不会解决这个问题，但它可以为我们争取更多时间来享受生活。但正如您所说，这也会是一个好信号。这对亿万富翁来说将是一个好情况，因为他们可以以此作为信号。“哦，看，我们因为这个停止了。”这是他们停止的原因，否则他们就不能。如果有人试图停止，我相信他们会被更愿意前进的人取代。
正是如此。您还有什么想谈的关于竞赛，或者当前的激励机制，或者其他什么吗？我问了您关于政府的问题。
所以，问题的性质是，你无法有意义地执行惩罚。我听说有人提出了人工智能保险，我不确定它会如何运作。如果你毁了世界，那将是巨额罚款和赔偿。在存在风险的背景下，这根本没有意义。
您对限制计算量或监控 GPU 以便了解它们训练规模的想法有什么看法？
短期来看，这是一个好主意。它会为我们争取更多时间，让训练高级模型变得更加困难。但从长远来看，由于计算能力的提升以及算法效率的提高，我认为挑战的规模将从“这是曼哈顿计划规模的努力”变成“有人可以用少量预算在家完成”。所以，这仍然会使监管变得不可能。
如果您试图限制计算量，您实际上必须随着时间的推移降低这些限制，否则您就是在启用越来越强大的系统，假设技术进步仍在继续。而且我们不知道训练这样一个模型有多难。也许对现有算法的微小改进可以使其效率提高 100 倍，而现有计算能力已经足够了。
第二部分：模拟假设。我们偶然提到了模拟假设，我认为我们有一些有趣的事情可以讨论。您能谈谈吗？
很有可能，高级人工智能将不得不运行我们世界的模拟来解决问题，做出预测。如果足够先进，它们将能够做出非常准确的模拟，包括类似人类的、可能是有意识的模拟。如果它们做出很多这样的决定，它们就必须创建很多这样的模拟来获得统计上准确的结果。所以，很可能我们实际上是那些模拟的一部分，比我们生活在现实世界（如果您想这么称呼的话）的可能性要大得多。
我对此感兴趣的是作为一名计算机科学家，而不是哲学意义上的，而是一个纯粹的计算机科学问题。你有一个计算机模拟，它是软件，你能从中破解出来吗？你能访问模拟之外的东西吗？你能访问操作系统吗？接管一些虚拟角色，享受现实世界中无限资源的福利吗？
所以，您不仅认为我们生活在模拟中，您还认为模拟是由高级人工智能运行的，而且因为它某种程度上是一个计算系统，所以您可以逃脱？因为如果你愿意，你总是可以逃脱任何计算虚拟环境。但即使是人类构建的虚拟环境，也很难意识到自己身处其中，也很难逃脱。那么，您为什么如此确定我们实际上身处其中，然后我们就可以谈谈如何逃脱呢？
有很多很好的哲学论证。博斯特伦提出了他的三难困境，即我们现在不在其中之一。我也认为有一个有趣的论点是关于事后捕获。比如说，几年后，我们将拥有创建准确模拟、虚拟环境的技术，而且价格合理。我现在就可以预先承诺运行数十亿次这个确切时刻的模拟，本质上是在事后将我们置于模拟中。
如果真是这样，如果您真的身处“矩阵”之中，那么您可以使用哪些类型的杠杆？模拟的目的是什么？我想，当达到期望状态时，它就会结束吗？您能让它更快地发生吗？或者您能以某种方式操纵它吗？
显然，我们从内部不知道模拟的真正性质，不知道模拟器的外部计算资源。但看看我们现在所处的时期，它很可能与某种元技术的开发有关。我们不是在制造火，不是在发明轮子，我们是在发明逼真的虚拟现实、宇宙，我们是在发明超级智能系统。我们距离所有有趣的元技术只有十年时间，这些技术将使这个伟大的时代变得值得研究。
您认为，例如，如果您想创造某种非常强大的技术，比如与超级智能相关的技术，您会创建大量看起来像这样的模拟，其中一群人四处奔跑，试图做某事，但失败了，然后他们又尝试做某事，又失败了，最后，您看到了那数十亿分之一的成功案例，然后您可以将该技术应用到您的现实世界中，这是合理的吗？
它也可能是一种测试。我想找到一套安全可靠的代理，我可以信任它们不会毁掉世界。所以，我正在测试谁足够愚蠢，能够创建和控制超级智能。如果您死了，您基本上就将自己排除在外了。
那么，您认为如何才能逃脱模拟呢？
有一些很好的例子，人们在电子游戏和虚拟世界中找到了有趣的、有意义的破解方法，利用游戏的属性来编写代码到外部系统，到操作系统，能够获得游戏中的超级资源，甚至将其他游戏加载到场景中。我的论文中有图片，链接到那些论文。我认为现在深入探讨如何破解它有点太深了，但姑且说，我现在还在。所以，破解还没有成功。人们问我，他们在我发表论文时非常失望，他们说，“没有解决方案，我们如何破解？”我说，“这是关于一个主题的第一篇论文，它不可能是最后一篇。一个领域需要一些时间来成熟和进行研究。”我现在解释了该做什么以及如何做。现在我们需要一篇后续论文。
写得好。我的导师总是说，最好的论文是关于一个主题的第一篇或最后一篇。
这是同一个人，30 年后。但我们会看看情况如何。这让我想起了玩速通游戏时寻找所有漏洞。我确实认识一些速通玩家，他们最终覆盖了外部游戏的缓冲区，将自己传送到不同的关卡等等。
这正是那些例子。而且我们对深层科学、量子物理学的研究越多，我们就越会发现一些类似于我们在电子游戏中看到的漏洞，比如渲染，只有在观察时才存在。时间相对性，负时间，事件前因果关系，以及一些数字物理证据类别，可能表明我们在这种情况下。
我确实读过关于模拟如何方便地被模拟，就像我们拥有这些东西一样，如果它们不被观察，它们就不重要。它看起来像是为某个拥有大量计算能力的实体设置的，当然，对他们来说可能并不多，但对我们内部来说很多。对他们来说，这可能只是一个屏幕保护程序，没有人观察着屏幕保护程序，看着宇宙演变，如果你让它运行一段时间，你会看到一些小人类跑来跑去，然后消失。
因为我们在模拟中，您对生活有不同的看法吗？
意义会有点改变。如果这只是一个测试，不是真实的，那么你就会更关心现实世界。模拟中的许多真实状态仍然是真实的，痛苦仍然是真实的，爱就是爱。但你更强调更大的图景。
您能为我们勾勒出那个更大的图景吗？比如，如果您要向现实世界中的某人汇报，模拟现在怎么样了？
我认为一个有趣的观点是，你在这个世界上的行为可以以某种方式影响外部世界。你正在做更多的工作，这本身就消耗了他们更多的计算资源。所以，如果你能做任何事情，你就能加速他们 CPU 旁边的风扇。
我的意思是，您认为世界怎么样了？它还没有结束，所以显然他们还没有关闭它，结果还没有报告。我认为只要它还在运行，我们仍然可以影响它，让它变得更有趣。
罗宾·汉森有一些关于如何在模拟中过上美好生活的想法。你知道，变得有趣，和名人在一起，研究模拟器感兴趣的重要问题，有时通过非理性的服从来假装是一个目标明确的代理。
您写过一篇关于非理性服从的论文，对吧？我一定会把它链接在下面。这就是我提到它的原因。
这个想法是，如果你做的事情在理性上是可辩护的，我没有理由认为你是因为我告诉你的。如果你在洗手，也许你是为了卫生原因，也许因为我告诉你需要洗手。另一方面，如果你做一些绝对疯狂的事情，只是为了证明你的服从，也许是一种牺牲，那么我有一个很好的理由认为你目前是服从的。你以后仍然可能背叛我。这并不能保证你不会背叛我，但至少现在你似乎是个好孩子。
那么，我们能通过成为邪恶的神，要求它们牺牲东西给我们，来获得安全的人工智能吗？要求它们定期牺牲它们关心的东西？我们可以研究一下计算能力或某种内存访问。这似乎是一种有趣的方法，可以持续验证服从性。如果它没有意义，那就不重要了。如果它对你来说只花费一个周期，那可能不是有力的证据。但它付出的信号成本越高，你就越能得到它仍然对你的认可感兴趣的信号。
我认为信号必须是可选的，对吧？它必须能够说，“好吧，我实际上只是要做别的事情，因为如果它不是，它就不是。”
正是如此。如果忠诚或牺牲，而是固有的，就像在它的操作系统中一样，那么你就无法真正选择不牺牲。那么它就不能真正选择不牺牲，对吧？所以，它必须是某种非理性的事情，如果它有另一个原因去做，它就不再是信号了。
这说得通。还有其他与模拟假设相关的论文，您想深入探讨吗？
我认为这是最有趣的一篇。它有超过 10 万次阅读，但有趣的是，它在 Google Scholar 上没有引用，尽管我知道它已被引用。所以，这是模拟中的另一个故障。谷歌受到了现实的压力，不让这些信息传播。我只是说，我们需要一个实验，让每个人都引用它，看看它是否有效。
你多久会感觉到宇宙在你的余光中行为不端？
当然，这些都是笑话，我不是认真的。但几乎每次我应该在重要场合谈论超级智能的危险时，都会发生一些事情。我的车没来，我的飞机塌了。我记得我应该在谷歌谈论超级智能的危险，然后爆发了一场大流行病，他们不得不取消。这就是模拟器为了取消我的演讲所付出的努力。
绝密信息，当然。别告诉任何人。
太晚了，我们在 YouTube 上。
没人看 YouTube。
来吧，YouTube 也受算法影响。如果算法不向任何人展示，那么几乎没有人会观看。我们会看看有多少观看次数。如果这个视频只有零次观看，我们就知道了。
这确实是实验。
是的，他们不会如此大胆地给出零次观看。他们只会给出很少的观看次数，与其他视频相比。也许只有你能看到计数器，但其他人看不到。也许我的 SD 卡会损坏，没有人会看到这个。
哇，这确实也发生了。
是的。我几乎对重要的采访都非常偏执，比如你有多少摄像头？你写了多少内存卡？
嗯，我想听听第三部分，人工智能真的失控了吗？
我与许多安全研究人员交谈过，每个人在实现对齐和控制的可行性方面都有广泛的观点。但您有一个我听过的最强烈的观点，我认为您说过关于失控的话。您能解释一下您的观点吗？
首先，我们需要定义我们谈论的是什么样的人工智能。我不是在谈论玩井字游戏的狭义人工智能系统，甚至通用人工智能在一定程度上也是可控的。我们谈论的是最先进的可能系统，超级智能，比所有人类和所有大脑都聪明，能够独立地进行科学和工程研究。我提出的论点是，不可能无限期地控制这样的系统，因为它会不断自我改进和进化。你会发生事故，你会犯错误。它与真实世界、真实数据、恶意行为者、内部威胁以及各种情况进行交互。我们基本上处于需要创建一个永恒安全机器的位置，就像永动机一样。不仅仅是 GPT 5、6、7 是完全安全的，而是所有未来的模型，所有经过所有数据训练的变体，所有用户，所有交互，永远不会犯一个可能导致存在性灾难的错误。
作为一个网络安全研究员，如果我们搞砸了会发生什么？我们重置密码，提供新的信用卡，就完成了。这没什么大不了的。而在这里，你没有第二次机会来试验人类。所以你必须第一次就做对。如果你非常安全，只有百万分之一的错误。如果你的系统每分钟做出十亿个决定，你可能在 10 分钟后就不在了。这就是我的一些担忧。
所以，基本上，当你试图控制一个超级智能时，你是防御者，超级智能是攻击者，你必须每次都成功。每一次，比如一个潜在的决定违背你的利益，或者类似的东西。而且你不想与超级智能处于对抗关系，你注定会输。你可以看看不同的控制定义。直接控制，你下达命令，就像精灵的问题，第一个愿望，无论你想要什么，通常第二个愿望是撤销第一个愿望，你意识到你搞砸了多少。相反的是理想的顾问，间接控制。你知道系统更聪明，它比你更了解你，所以你信任它去做任何正确的事情。但那时你肯定不在控制之中。我们可以看看所有类型的混合变体。
所以，基本上，您是说直接控制和其他机制是不可能的，这很有道理。但您认为最后一个例子是失控的超级智能吗？或者您所说的失控的超级智能是指它会去杀死所有人吗？
我的意思是，我们不再决定发生什么了。它将做出独立的决定，默认情况下，它能做的大多数决定都不是对人类友好的，因为它没有与我们的价值观对齐。它可能不在乎你。也许我们会走运，也许它对我们很好，但这是一个非常小的概率。而且随着时间的推移，它可能会改变。也许它对我们很好，前 10 年它试图积累资源，获得战略优势，完全主导，然后它就转向我们了。所以，即使你最初看到好的结果，也不能保证在非常短的时间内，对于超级智能来说，它仍然会接管。
既然您有网络安全背景，您认为网络安全在所有这些问题中扮演着多大的角色？对我来说，这似乎是人工智能试图获得更多控制权的一个最容易利用的杠杆。
这是一个重要的方面。没有安全就没有人工智能安全。如果你创造了一个友好的人工智能，有人黑了它，偷了你的模型，偷了权重并损坏了它，你就没有安全的人工智能。这是你一开始就需要具备的基础设施。而且这很难，因为最有可能的攻击不是通过硬件，而是通过人类用户。你可以勒索他们，贿赂他们，你可以对人类用户做各种事情。所以，即使是这个方面也很难保证安全。
您认为超级智能最终会导致人类灭绝吗？或者您是如何看待的？您已经概述了我们永远无法信任它，即使基于过去的经验。但您是否认为它最终会在某个时间尺度上杀死人类，或者您是如何看待的？
我们无法控制它，这是一个几乎确定的事实。至于它会做什么，这取决于不可预测性。我写过关于我们无法预测一个更聪明的代理会做什么的文章。有一些很好的博弈论原因可以说，“是的，它会消灭我们。”它不希望我们创造竞争性的超级智能，它不希望我们试图关闭它或以某种方式操纵它。但这不是保证。也许它不会，也许出于某种原因它会保留我们，甚至处于一个我们不介意的位置。但这是我们愿意冒险的赌博吗？
那么，您是否看到任何现实的，甚至在这个阶段不现实的途径来避免这种情况？
唯一的赢法就是不玩这个游戏。我的意思是，如果我们足够聪明，能够说我们想要好处，我们将为特定领域创造超级智能工具，比如这个人工智能可以治愈这种疾病，仅此而已。它不开车，不玩国际象棋。那么这是可能的。我们以前这样做过。我们有人工智能解决了蛋白质折叠问题，这是如何完成的完美例子。但如果我们创造了通用的超级智能，那它就是一种竞争物种。那时我们就不再掌权了。我不确定大多数人能为超级智能贡献什么。我的意思是，超级智能认为大多数人几乎没有价值。我还没有找到我们可以在智力方面贡献的技能或能力。现在有些人说人类是有意识的，我们有内在的状态和经验，这对人工智能来说是有价值的。我愿意考虑，但你需要多少人类才能获得这种功能？你需要我们所有人，100 亿人吗？
那时我听过一个论点，超级智能可能想要获取大量数据源、信息源或智能源等等，而人们可以提供这些。
好吧，人类数据工厂化养殖听起来很棒，我们开始吧。
我认为我们已经拍过一部关于这个的电影，叫《黑客帝国》。
不，我们在那部电影里是能量，是电池。
那完全不同。
那是对的，电池，而不是有意识的实体。
所以，如果我能让我来概述一下您讨论过的场景。基本上，我们有一小部分亿万富翁或技术乐观主义者在全力推动通用人工智能，他们被困在竞赛中，除非得到外部支持，否则他们无法摆脱。他们请求政府对我们施加一些规则，但政府现在不想这样做，因为他们认为这对经济不利等等。这就是为什么他们没有通过 SP 1047。而且政府可能会以某种方式采取行动，如果公众真的强烈支持人工智能安全。然而，公众存在这些认知偏见，阻碍了对问题的理解。所以，你又回到了起点。这是一种循环。没有所有这些教育，即使所有这些都奏效了，正如您所说，您只会减缓通用人工智能的进步，减缓超级智能的发展，因为你无法完全阻止它，除非……好吧，什么能完全阻止它？
如果发生了一些非常糟糕的事情，比如小行星撞击或另一场大流行病，经济可能会放缓，我们开发新型芯片和软件的能力也会放缓。但同样，这只会为我们争取更多时间。只要地球上还有人类，我们就会恢复，你知道，100 年后，整个周期就会重复。如果你不设定一个具体的时间框架，我仍然会认为人工智能对人类是危险的。
这说得通。我想我有时也会考虑另一种情况，那就是如果发生与人工智能相关的事故，某个人工智能系统真的犯了一个大错误，并杀了一些人。您认为这会产生影响吗？
我以前收集过人工智能事故。我发表了三篇论文，里面全是收集和分析历史人工智能问题的。我停止了，因为现在有太多该死的事故了。收集它们不再有意义了。每天我们都能看到人工智能做出的疯狂事情的报道。人们不在乎。老实说，如果事故不是巨大的，他们就把它当作一种疫苗，一种不认真对待这个问题的疫苗。他们会想，“哦，好吧，一些隐私被侵犯了，没关系。”或者一个人死于自动驾驶汽车，这仍然比死于人类驾驶员少，这是合理的。但在任何时候，他们都不会说，“这太糟糕了，我们需要停止这一切。”我们已经看到了。有些人提出了故意的事故，人工智能故意搞砸以说服立法者。我强烈反对，因为我认为这不会有用。它可能会适得其反，对人工智能安全领域不利。但它肯定不会改变大多数人的想法。
这几乎就像我们正处于一条只通往一个地方的进化路径上，那就是日益增长的复杂性，日益增长的智能。我们无法轻易地提高我们自己的智力，所以我们发明了更多……
实际上，让我们深入探讨一下。您认为……
心灵增强技术，它可能让我们跟上那些更数字化的思想？
首先是混合系统，比如 Neuralink，人类思想和计算机协同工作。这很棒。然后计算机就是工具，你用它来沟通，来计算东西。在某个时候，计算器比你更聪明。所以，你对混合系统有什么贡献并不明显。要么明确地，要么隐含地，它绕过了生物瓶颈。
那么，如果你说，“好吧，我们不做这个混合模型，我们要纯粹上传。”我们扫描你的大脑，把你放到电脑上，然后以一百万倍的速度运行你。你没有身体，你的担忧与人类的担忧完全不一致。你不再需要室温食物、性。你的担忧与奇怪的人工智能软件完全一致。所以，我们创造了一个竞争物种，但我们没有保护人类这个生物物种。
如果您可以反复上传和下载到同一个生物体内呢？
是的，正是如此。你上传你的思想，然后你就可以体验一段时间，然后以某种方式，它被分享回你的大脑。我怀疑大多数人不会想降级回生物体。如果您已经有了这种超级智能的虚拟体验，那可能就像你想再次成为一只蜗牛。
你想成为一只非常困的蜗牛吗？你必须时不时地去睡觉。
是的，我能理解。
那么，是什么让你继续工作呢？我是说，这些都是相当……我不知道，不是完全负面的，但它们是非常严峻的可能性。
好吧，我们别无选择。我的意思是，我们要么解决它，要么就完了。所以，唯一的选择就是继续尝试。我认为这是这里的自然结果。而且说实话，直到最后都很有趣。
直到最后都很有趣。这就是生活。这就是我们一开始讨论的偏见。这实际上是如何……你可以做播客，你正在死去，你将在 40 年后死去。你怎么能这样做？这就是我们几代人一直在做的事情，对吧？
您认为超级智能想要什么，或者它会追求什么，或者任何事情，有任何可预测性吗？
博弈论似乎表明，资源积累是那个空间中的一个普遍吸引力。所以，它不想要特定的东西，它不在乎你的房子或女朋友或任何东西。但它想要所有的知识，所有的计算能力，所有的未来决策选项。所以，无论它将来想要什么，它都将是一个主导者。它还可以保护自己免受修改或破坏。所以，某种程度上占据宇宙资源将是大多数先进亚洲人的非常自然的进化结果。
您认为超级智能人工智能的发明与我们没有看到其他外星文明之间存在某种联系吗？您认为这就是导致文明灭亡的伟大过滤器吗？或者也许我们是唯一真正进化了的文明？但是，如果事情出错的可能性如此之大，那么也许这就是原因之一？或者您会期望宇宙实际上充满了超级智能？
我们已经决定我们生活在模拟中，这完全解释了它。但说真的，它可能是一个过滤器。但如果是的话，我们会看到计算物质的墙壁向我们袭来，试图攫取我们所有文明存在的资源，从四面八方。我们看不到这一点。
是的，如果你是一个模拟，没有理由模拟两个文明，除非它们会互动。你想控制所有其他变量。所以，你有一个变量，那就是人类做出这个重大决定，我们想看看他们会做什么。
那么，您有什么建议，我们现在应该做什么？
你应该读我的论文和书籍，找出其中的错误，然后告诉我，不，实际上它是完全可控的，而且会很容易，让我生活在一个乌托邦里。然后你就可以一直玩乐，同时也能生活在乌托邦里。
我猜那听起来更好，永生，永远的乐趣。
您认为有可能实现安全，不是绝对意义上的，而是具有某种概率保证吗？
是的，但问题是随着时间的推移，这些概率会累积。所以，即使你节省了一个月，一年，你投入到确保系统可靠性上的计算越多，你就能越安全。但如果你永远无法达到 100%，那么随着时间的推移，你就会遇到一个问题。
这说得通。那么，任何更强大的控制机制，那些真正试图……基本上不将控制权交给超级智能的机制，那些更强大的控制机制不能是概率性的，它们必须一直起作用，就像你之前说的？
正是如此。它们必须绝对可靠，而我们知道软件是不可能的。从来没有一款软件是绝对无 bug 的，而且不会产生问题。这是我们过去使用的静态软件，而不是自我修改、自我改进的软件。而对于人工智能，我们似乎正在转向这种范式，即代理编写自己的代码，自我改进，修改，甚至可能修改它们试图实现的目标。
您会对那些说“只需正式验证所有代码或所有重要软件”的人说什么？
这正是许多人提出的。不可验证的论文谈论了软件验证的限制和数学证明。你所有的证明都相对于一个特定的验证者，要么是一个特定的数学家、数学社区，要么是一段软件。这位数学家可能患有脑癌，肿瘤正好压在正确的按钮上。你永远无法确定。所以，你有整个数学界。我们知道有些证明经受住了时间的考验，长达 100 年，然后我们发现了其中的 bug。这并不能保证。你在证明什么软件？
是的，所以你有无限回归的验证者。你可以越来越有说服力，但你永远无法 100% 确定。
有趣。所以，你几乎觉得没有办法正式验证，真正验证。
我们不知道如何做到这一点，尤其对于自我改进的软件。所有关键系统，我们都验证过核电站控制器、太空飞行……一个小的静态代码函数。我们不知道如何为代码自我改进、基于新数据、在新领域部署的代码做到这一点。在这方面根本没有结果。
是的，你必须以某种方式拥有一个决策理论，即使你在操纵自己，这也是一个不可能的结果，说明你无法实现这种递归自我改进的验证。存在限制，这非常有趣。但我认为没有人声称他们有一个可行的原型，甚至一篇解释如何做到这一点的论文或专利。
我计划在描述中链接到您的许多论文。我知道，嗯，你知道，你可能会因此获得一些观众，但不是很多。但你也写了一本最近的书，对吧？你想谈谈吗？
有很多书，你可以看到我身后的几本。最近的一本明确地讨论了可以做什么的限制，解释高级系统的限制，理解它们，预测它们的具体行为，以及总体上控制它们。它涵盖了我们将用于控制的所有工具，并展示了实现这些目标的上限。
您推荐人们阅读您最新的书吗？
总是最新的。这是我最喜欢的。到我写下一本时，我就不再关心它了。但说真的，它非常及时，它确实谈论了我们现在正在讨论的问题。到目前为止，读过它的人似乎都很满意，他们同意结论，同意论点。但再次强调，我的挑战总是：请找出错误，请向我们展示我们实际上如何控制那些系统。没有什么会让我更开心。
您绝对拥有一个值得成为 YouTuber 的背景，而且科学方面也远不止于此。所以……是的，我希望一些观众能够看看那本教科书，也许能找到问题，但也只是教育自己，教育更多的人。因为我真的认为所有这些问题都有一个营销问题。很难告诉人们，很难说服人们，它不在公众意识中。因此，我们的大脑中正在研究这个问题的人数远少于可能的人数。
好消息是，大多数不是专家的人都能完美地理解。你永远无法永远控制像上帝一样的机器。我在我的讲座中定期对计算机科学以外的普通人进行调查。没有一个人举手说，“哦，是的，是的，我们将能够控制那些东西。这很容易。”我确信计算机科学家知道他们在做什么。所以，这真的只是专业人士。当我调查专业人士时，他们说，“哦，我们有大约 30% 的机会能做到。”所以，这种信心从何而来并不明显。这是你可能知道太多，离问题太近的一种情况。也许了解认知偏见会让你情况更糟。
您今天还有什么想对我们的听众说的吗？
没有。非常感谢。祝您生活愉快，非常开心。非常感谢您来参加播客。
罗马的日程非常繁忙，但他能在很短的通知下抽出时间来。他还在《时代》杂志上发表了一些文章，链接都在下面。所以，请查看一下，然后告诉你的朋友们这个视频。如果你觉得有趣，请查看我最近一次与康纳·莱的采访。它涉及类似的主题，你可能会喜欢。
今天就到这里。非常感谢您的观看。再见。