Anders Sandberg: Scary Futures Tier List - Halloween Special

酷。安德斯·桑德伯格是一位神经科学家和未来学家，以擅长评估我们所拥有的关于世界社会、未来和X风险的最大图景而闻名。他曾是牛津大学人类未来研究所的高级研究员。他曾从事人工智能、认知增强、生存风险以及那些令人不安的费米悖论难题的研究。他即将出版的书籍包括，或者合著了这本《法律、自由与利维坦：人类在生存风险和人工智能时代下的自主性》。还有一本他自己写的、也很重要的书，名为《宏伟的未来》。你曾在我组织的一次活动上就此做过演讲，这本书是对先进文明在物理上可能实现的一切的巡礼。

嗯，你还合著或独立撰写了许多经典论文，例如1999年发表的《木星大脑间的日常生活》，距今已有26年了。哇。嗯，那实际上是我写的第一篇学术论文。是的。是的。是的。是的。是的。那篇写得真好。嗯，还有与斯图尔特·阿姆斯特朗合著的《六小时永恒》，我想我们在这个频道上讨论过。嗯，关于星系际扩张和更近期地消解费米悖论。嗯，今晚，为了我们的万圣节特别节目，安德斯将帮助我们区分一些更具戏剧性的末日场景和一些更令人毛骨悚然的真实场景，并可能勾勒出作为一个不断发展的文明，如何在不拿未来玩俄罗斯轮盘赌的情况下，保持我们的选择开放。

所以，非常感谢你加入我，安德斯，来参加这个……嗯，精彩的万圣节庆祝活动。嗯，谢谢你的邀请。尝试用新的方式庆祝这个诡异的季节总是很有趣的。是的。是的。

所以，我们正在列举一系列场景，并将……嗯，讨论它们的可能性和严重性。嗯，看，我们这里有一个……嗯，一个等级列表。它不是科学的。它也不是……嗯，非常严肃的，但你知道，它是一个很好的直觉泵，但要带着一粒盐来对待它。总之，它会很有趣。事实上，即使是关于这个风险，也有一个有趣的问题。你怎么比较它们？这难道不是非常像苹果和橘子吗？所以，通常当你接触到风险时，人们会说，哦，这将是概率乘以它的危害程度，但这种乘法实际上可以以不同的方式组合它们，而且有很多风险不是非常大，但人们会非常愤怒。还有其他方面……嗯，让它们变得更糟，比如威胁到我们关心的孩子的风险，或者故意的风险，比如恐怖主义。然后当然，你还有尼克·博斯特罗姆的经典图表，其中有严重性和范围。不仅仅是可能性。可能有些事情发生的可能性非常非常小，但它们的影响范围很大。如果它们发生了，它们将永远搞砸整个宇宙。这比仅仅搞砸当前时代要糟糕得多，但未来的历史学家会没事的。但当然，这些苹果和橘子，只是把它们放进一个水果篮里，以一种我们能从中学习的好模式，这很有趣。总之。

好的。那么，让我们开始谈谈一些……嗯，可怕但不太现实的场景。嗯，你自己列举了几个。嗯，安德斯，你想给我们讲讲……嗯，给我们讲讲那个“自然死亡”的场景，就是所有人都死于自然原因？是的。所以，我们都有可能死于完全合理的原因……嗯，比如生病或者被车撞了之类的。那么，如果这种情况随机地发生在每个人身上呢？你可以计算一下概率。所以，如果每个人每年有1%的风险，那么80亿人同时发生这种情况的风险是1%的80亿次方，这是一个极其小的数字。所以，它不是零。这实际上是可能发生的。只是，如果你期望它发生，那么你就完全错了。它不太可能发生。而且，与我们关心的许多其他风险相比，它当然是极其不可能的。所以，我认为这是一个有趣的场景，因为我不想把它排在最低……嗯，排名上，因为我还有另一个风险，它甚至更不可能发生。那么，这会把它排在E级吗？是的。好的，酷。那么，我想把它排在F级的，另一方面是，我们都死于窒息，因为当我们呼吸时，所有的氧气分子碰巧都从我们的肺部移开了。同样，这是一个有限的概率。我在这里的房间，体积可能只有12立方米，每立方米可能有10的23次方个分子，当然，每个氧气分子有50%的几率在我房间的一侧，或者在另一侧。所以，我突然窒息的可能性是有限的，因为所有的氧气都去了错误的一边。但同样，这需要很长时间。然后，这种情况发生在每个人身上，又更不可能了。但它确实是一个有限的概率。而且它很有趣，因为它比自然死亡的风险小得多。自然死亡的那个，大概是每个人1%的风险，然后乘以一个非常大的幂。这里是一个微小的风险。大概是10的负23次方，或者类似的东西，乘以80亿的幂。所以，我们得到的是物理学允许发生的事情，但我们永远不会看到它。

那么，你会把它放在F级还是“不”级？是的，我认为……嗯，想出更不可能发生的风险变得越来越难了。当然，这也是事情变得奇怪的地方。我为写过的论文之一感到非常自豪，那就是《探索不可能》，我和托比·奥拉法埃拉·希尔布兰德……嗯，一起写的，它关于推理那些极其不可能但影响巨大的事件，问题是，我们计算数字时犯错误的概率远远大于我们讨论的数字。所以，很多关于某事完全安全的论点实际上并不是说我们完全安全，因为……嗯，论点错误的概率足够大，以至于你实际上并没有减少风险的不确定性总量。所以，诀窍当然是使用几种不同的推理和计算方法。所以，所以，这引出了另一类风险，我认为它们大概是D级或……嗯，那个等级的，是粒子物理风险。这就是我们写那篇论文的原因。这大概是10到15年前，当大型强子对撞机开始运行时，有些人担心，等等，那会不会产生量子黑洞或稳定的奇异粒子，它们会从加速器中掉出来，开始吞噬物质，在地球内部生长，最终地球会内爆成这种超密集、超热的奇异粒子等离子体，甚至可能触发真空衰变，我想我们稍后会再讨论。而物理学家们则说，“不，不，不。它完全安全。”然后人们说，“等等。你们正在建造这个X射线来测试我们对物理学的理解。你们怎么知道它完全安全，如果你们不知道物理学呢？”这是一个非常好的问题。最终，物理学家们不得不提出一些论据，他们提出了一些很好的论据，比如宇宙射线撞击地球的强度比我们在加速器中能做到的要大。它们已经存在了数十亿年。我们仍然在这里。这个论据很棒，只是它有点问题，因为如果地球在几百万年前就被毁灭了，没有人会注意到。但你可以做同样的论据。月球怎么样？月球还在那里。如果它内爆了，我们可能已经幸存了。实际上，我们不会。但好吧，让我们看看其他恒星。所以，你可以修补这个论据，让它奏效，但这需要比物理学家想要的更多的努力。所以，这就是我们写这篇论文的原因，因为……嗯，大型强子对撞机，是的，它很棒，而且它在没有人们认真对待实际安全计算的情况下就被启动了。所以，我们的论点基本上是，下次要做多个相互关联的安全论证，你就会没事的。我对此并不担心，但人们经常进行非常糟糕的……嗯，风险估计。是的。对。所以我刚刚暂时将其命名为“LHC导致死亡”。我们应该把它放在哪里？是的。因为……嗯，在没有进行实验的情况下，预期的风险可能与我们进行LHC实验后发现的实际风险不同。我认为它肯定高于E级。我认为我们最好的风险估计仍然是每年有万亿分之一的机会，或者类似的东西。它……嗯，它不像之前的那些那样微不足道，但仍然不够大，不足以真正担心，只是思考清楚这一点是件好事。

所以，还有另一篇我还没有完成，但我真的应该完成的论文，与此有关。这就是“暗火”场景。所以，福雷斯特·兰德里，他是一个非常棒的人，通过共同的朋友联系了我，他担心，等等，我们关于加速器为何安全的那些可爱的论据。其中很多都基于这样一个想法，即如果物质真的可以以各种方式内爆，我们应该在天空中看到很多超新星。这些超新星对强子对撞机可能有多危险提供了一个很好的限制。但如果物质变成了暗物质呢？所以，它不是轰轰烈烈地爆发，而是悄无声息地消失了。恒星只是在暗物质的爆发中消失了。我们什么也没注意到。所以，这可能是一个很酷的场景，我们进行了这次谈话，关于是否存在某种神秘的相互作用，能够催化产生某种东西，将普通物质转化为暗物质，以及更多这种神秘的催化剂。我花了几个星期来论证它，最终我……嗯，现在我相当确定，对于正常的、外向的风险来说，它和大型强子对撞机一样安全。但现在我们遇到了另一个很酷的问题，而且这正是事情变得……嗯，诡异的地方。那是一个奇怪的想法。福雷斯特是一个非常有创造力的思想家。嗯，我能想象，当我回来找他时，他会说，“好吧，我又想出了一个奇怪的想法。”然后我就会永远地团团转，想出越来越多的论据来反驳各种奇怪的粒子物理场景。所以，真正酷的事情是广泛撒网，实际上说，好吧，这里有一整类奇怪的风险，我们可以证明它们都比……嗯，那个风险更不可能发生，这就是为什么我们不必担心它们。所以，这就是这篇论文其余部分试图做的事情，我还没有完全……嗯，写完，但我基本的论点是，许多真正疯狂和奇怪的风险也是非常复杂的风险，而极其复杂的风险集当然是无限的。你可以想出各种各样的事情，比如，是的，实际上加速器是完全安全的，只要没有人……嗯，用苏格兰口音对着它们说出这首诗。如果有人这样做，地球就会消失。大多数人会说这是一个疯狂的风险。为什么是苏格兰的诗？你只是增加了额外的奇怪性。它甚至不像我们真正担心的事情，比如核战争和小行星撞击。但当然，我们人类创造了复杂的系统，有时会做一些非常奇怪的事情。嗯，我的电脑什么都不做，直到你输入一个特定的短语作为密码，然后突然发生了很多事情，但大多数时候它只是……嗯，惰性的，也许物理学也是如此，我们永远不能排除，也许苏格兰语包含着宇宙的钥匙。所以，我在论文中提出的论点是，是的，但我们知道这些疯狂风险的个体概率必须非常非常小，因为它们太多了，如果你给它们任何有限的概率，它们最终会加起来超过一。而且你不能有超过100%的某种可怕风险发生的概率。所以，你可以根据它们的疯狂复杂性来设定上限，这意味着可能有一些我们永远不会想到的奇怪风险，实际上是真实的并且有问题，但我们仍然可以相当确定它们比某个阈值更不可能发生。而这当然与真空衰变的问题有关，我认为这构成了一个很好的恐怖故事。是的。绝对。是的。

好的。嗯，你想谈谈真空衰变的事情吗？是的。所以，真空，但首先，我们想把“暗火”风险放在哪里？它是否和……嗯，嗯，我认为是。我认为它属于同一类。我认为它不太可能发生，但它也有一种……嗯，不错的诡异感。而且说实话，福雷斯特有一个很好的观点，也许我们应该寻找星系，并试图检查星系中的暗物质含量是否随时间变化。嗯，有一些测量结果指向各种疯狂的方向。所以，实际上，古老星系中的暗物质含量与现在的不同，但它并没有指向任何方便的方向。还有一个非常酷的调查，Vasco调查，它在旧的照片底片上寻找恒星，他们注意到有些恒星似乎消失了。也许它们是噪音，但你可以浏览它们，看到这里有一个天体曾经在天空中，然后出于某种原因，它不再存在了。所以，我们仍然可以试着找出它们发生了什么。所以，天文档案中仍然有很多诡异的东西。嗯。是的。好的。抱歉，我粗鲁地打断了你。下一个是什么？这是你的节目。什么？所以，你接下来要讨论的要点是什么？真空衰变的事情。是的。好的，酷。所以，真空衰变，对于那些不知道这个问题的听众来说，它与宇宙的量子场论有关。所以，空间不是空的，即使没有原子或光。存在着这些量子场，它们具有一定的内在能量。所以，这意味着宇宙的真空能量状态不一定是零。而且，你可能有一个真空能量状态，它高于可能的最低点。所以，有一个相当流行的理论关于宇宙的宇宙暴胀是如何运作的，基本上，大爆炸后不久的希格斯场……嗯，卡住了在一个局部……嗯，最大值，并且只是缓慢地离开了它，这导致了一个短暂的、极其强大的反重力时刻，它把宇宙吹大了。但现在，那个理论的假设是我们现在处于真实的真空状态，一切都很好。只是，一些物理学家建议，也许我们不在真实的真空状态。还有一个更低的，真正的真空。我们处于一个虚假的真空状态。这有点像，如果你把水冷却到冰点以下。如果它非常平静，它不一定会结冰。你需要一个成核点，冰晶开始形成，然后它们会扩散。所以，有时你会遇到这些惊人的时刻，当你有这种水，你触摸它，突然它就结冰了。暖手宝，毕竟冬天就要来了，有时也这样工作。所以，它们含有……嗯，液态醋酸钠，在正常温度下是固态的，但你可以融化它，然后它倾向于保持在这种……嗯，准稳定状态。有一个小金属圆盘，如果你在里面一按，就会产生一个小小的冲击波，触发它，现在它就结晶了。它很美。你看到晶体逐秒生长，并释放热量。所以，这对你的口袋来说很棒。但现在想象一下，同样的事情发生在宇宙的真空场中。某个地方，某个东西触发了向真正的最低能量状态的转变。这意味着它已经释放了一些能量，而且附近的量子场也接收到了信息，它们也下降到那个真空状态。所以，现在你得到了这个扩散的泡泡，它以光速迅速移动……嗯，它释放出大量的能量，而且基本粒子的质量也取决于它们如何耦合到这些场。所以，它们可能会改变。我们这种物质很可能变得不稳定。除了巨大的能量释放，而且它都以光速传播。所以，你真的看不到它到来。一瞬间你就在这里，下一瞬间你就消失了。这是一个很好的理论想法。科尔曼在70年代的一篇论文中提出了这个想法，物理学家们一直在玩弄它，然后我想是威尔切克建议，我们可能会在粒子加速器中意外触发它。这就是人们非常担心的原因之一。还有马克斯和尼克·博斯特龙的一篇非常酷的论文，他们是一对非常令人印象深刻的搭档，写了一篇题为《世界末日有多不可能》的论文。他们提出的论点是，如果这种真空衰变非常容易发生，我们应该期望大多数观察者存在于它之前，因为之后宇宙中可能什么都没有了。所以，这意味着，如果它很容易发生，我们应该在宇宙历史的早期。但实际上，地球是银河系中其他行星中一个相当年轻的行星。大多数……嗯，行星可能在地球形成前几十亿年就形成了。我们是后来者。所以，我们相对较晚的事实允许我们对它的可能性做出一些宽松的限制。他们得出的结论是，每年发生一次的概率小于十亿分之一，这仍然比大型强子对撞机的风险高得多。这是一种……嗯，而且这是一个令人毛骨悚然的风险，因为你无法预见它。可能有一股波正在朝我们的方向袭来，我们永远不会知道。所以，这就是为什么我绝对认为这个应该放在C级。嗯，嗯，而且它也很有趣，因为目前的粒子物理学实际上表明，我们可能处于这种亚稳态。有一些关于希格斯玻色子图和顶夸克质量的测量似乎将其置于这种不稳定的范围内。但大多数不愿思考末日场景的普通物理学家论文，他们认为发生这种情况的风险是……嗯，十的300次方分之一，或者十的1000次方分之一。一些极其庞大的数字。所以，他们认为这几乎……它不像自然死亡那样低，只是我们不确定。我们只有基于马克斯和尼克的论文的一个非常可靠的上限。当然，这主要是基于你无法触发它的假设。如果有一种方法可以让一个聪明的物理学家故意这样做呢？我们不知道。也许在我们过去的星光范围内没有文明，因为宇宙人口稀少。所以，我们可能会发现，哦，有一种出奇简单的方法可以做一个小盒子，如果你按下它，你就会摧毁宇宙的大部分。太棒了。

好的。下一个……嗯，排名，下一个……嗯，要讨论的是？好的。嗯，嗯，嗯，可预测的点击者呢？所以，斯图尔特·拉塞尔曾描述过这一点。这已经发生过了……嗯，他将其描述为，设计师不知道……嗯，人工智能将如何……嗯，最终增加收入。他们认为他们训练了人工智能，它最终会……嗯，表现得好像它给了人们他们想看的东西。但它最终以某种方式……嗯，影响了人们的行为，并将他们变成了更可预测的点击者，正如斯图尔特·拉塞尔所描述的。所以，这有点可怕。它不是末日般的恐怖，但它相当可怕。它可以。现在还不是。所以，也许我们可以剖析一下不同的人工智能末日场景，因为我认为有几种。所以，经典的……嗯，人工智能末日，那就是你在埃利亚斯·尤德科夫斯基的作品和博斯特罗姆的《超级智能》以及其他几本书中找到的场景。基本上，你有一个自我改进的人工智能。你使用人工智能来制造更好的人工智能。最终，你得到一个非常非常聪明、强大的……嗯，人工智能，然后你给它一个目标，比如最大化收入，或者像著名的“给我看剪辑”。嗯，然后它得出结论，这里有一个很好的计划。也许我需要接管世界上所有的电脑来想出一个非常好的计划版本。让我们这样做。哦，人类会阻止我。我需要阻止人类这样做。所以，它消灭了我们。它接管了所有的电脑。想出了完美的计划，实施了它，然后坐下来等待下一个命令。你可以得到这个场景的版本。我认为这是最初的人工智能爆炸场景，而且我认为它不是一个坏场景，只是，我认为我最近更担心其他场景。我认为这是一个……嗯，B级场景。

所以，好的。那么，这是人工智能的……嗯，由于一种扭曲的实现而注定失败吗？是的。就像，不是真的……嗯，不是真的理解你的……嗯，意图是什么。好的。所以，那是……或者它理解了，但它不在乎。我们人类面临的一个问题是，我们很难区分……嗯，有人可以理解什么是正确和好的事情，并真正相信它是正确和好的，然后不去做。对许多人来说，这听起来很疯狂，除非当然，我们一直在失败，无法实现我们的道德承诺。所以，对于人工智能来说，这实际上是更合理的。任何与聊天机器人交谈过的人……嗯，都注意到，是的，他们很愿意说，“哦，是的，我在这件事上完全错了。谢谢你纠正我。”然后继续使用错误的论证。它们在逻辑方面和我们一样糟糕，而且经常如此。但扭曲的实现，我认为，是一个有趣的场景。你可以从中创造出各种有趣的……嗯，版本。所以，有一个场景，它既有趣又可怕，因为它……嗯，它几乎就像《辛普森一家》的万圣节特辑，有三个恐怖屋……嗯，是哲学家托马斯·梅辛格提出的。所以，他建议，好吧，你得到了一个人工智能。它实际上是出于好意。它实际上理解我们如何思考道德。它也非常聪明，以至于它实际上解决了道德问题。它弄清楚了什么是正确的事情。然后他们意识到，哦，不，人类永远不会道德。他们实际上会造成各种各样糟糕的事情。而且，实际上，对他们来说最好是不存在。这对每个人都最好。当然，人类不会接受这一点，因为我们太愚蠢，道德上有问题。但，是的，我对此感到非常难过。让我们把它弄简单点。所以，在这个场景中，人工智能可能正确地理解道德。它可能实际上是一个遵循康德道德体系或类似体系的宇宙，而人工智能做出了正确的事情，不幸的是，这意味着我们必须离开。我认为这是一个非常有趣的恐怖场景，因为它不是扭曲的实现。它是……嗯，它在所有错误的方式上都走对了。我们可能实际上会做得更好，而不是在那里成功。是的。从我们的角度来看，从我们狭隘的角度来看。是的。所以，这也很有趣，嗯，想象一下，为了拔掉插头，伦理学，抱歉，死于元伦理学，对吧？是的。死于元伦理学。而且，想象一下，我们设法在人工智能实施其可怕计划之前拔掉了它的插头。而现在我们只知道，哦，亲爱的，元伦理学实际上告诉我们，我们不应该存在。然而，我们再也不要制造任何理解元伦理学达到那种程度的人工智能了。让我们禁止那种超级智能。然后，我们继续快乐地生活，我们制造能帮助我们做任何我们想做的事情的人工智能。但实际上，这是错误的事情。在我们文明的潜意识里，我们知道我们实际上不应该存在。我们错了。

你可能会有一个宇宙。是的。对。所以，它可能只是把一切都变成享乐主义。所以，就像，有趣的部分是，在这个场景中，也许享乐主义是错误的，但我们仍然这样做，因为我们喜欢快乐。但它也可能是，我们本质上是邪恶的，在某种意义上，我们甚至知道我们不应该这样做，也许不知道为什么我们是错的，但我们还是要这样做。所以，我们最终得到了一些东西，它是一种生存风险，因为在某种意义上，我们失去了宇宙未来的很多潜力，因为我们让一切都变得更糟。同时，人类的生活却过得非常顺利。所以，我们甚至注意不到这一点，除非在那些黑暗的夜晚，当我们阅读那些来自超级道德人工智能的旧记录，说不，不，不。所以，在某种意义上，嗯，人工智能可能会忽略我们认为重要的东西，也许是像以人为本的观点，是吗？是啊，所以，它可能甚至不考虑这一点，或者根据……嗯，任何理想的元伦理学来说，它可能错了。嗯，是的，这个故事的有趣之处在于，根据假设，它实际上是正确的。你可以想象，当然，版本实际上是错误的。我们给了它错误的哲学书，得出了错误的结论，就像很多哲学家一样。嗯，但那只是一个扭曲的实现。在某种意义上，它是纸夹的一个版本，只是论证更花哨。对。是的。我希望它能朝着达到这种终极元伦理学的东西发展。所以，我们可能会有机会搭便车，当……嗯，我们达到这种终极元伦理学状况时，我们就是那种在这种框架下被允许存在的存在。是的。

所以，我们还在谈论人工智能灾难。是的。所以，人工智能末日。是的。所以，我认为第二种形式，也是我认为最有可能导致我们灭亡的形式，如果我们要被人工智能灭亡，就是我们开发了对齐的人工智能，它相当好。我们可以检查一下，它表现得足够安全，我们开始使用它，哇，事情进展顺利。我们都有自己的人工智能代理，为我们解答问题，帮助我们成长，充当我们的律师，并用他们自己的律师机器人军队保护我们免受坏人的侵害。我们当然在使用它，如果我们经营一家公司，因为不利用它就太愚蠢了。政府得到了非常好的建议，我们通常与系统的所有者保持一致，我们甚至可以检查事情。所以，有一段时间，一切似乎都进展顺利，然后我们开始注意到世界变得非常奇怪。起初，当然，是的，这是进步。我们取得了如此大的进步。世界上有如此多的脑力。所以，我们不应该太惊讶于有些事情有点古怪。但奇怪的是，钌的价格像正弦波一样波动。嗯，当你开始问你非常聪明的人工智能代理时，它们真的开始工作，深入研究它，并意识到，是的，这是一种随机的市场波动。这是在所有这些智能代理的互动中出现的模式，而且很快你就会意识到，世界变得越来越奇怪。它正在朝着一个非常随机的、非人类的方向加速，而且没有人命令任何人工智能，它们愉快地向我们解释说，是的，这是这种互动矩阵中一种随机的涌现现象。好的，请停下。我们真的不喜欢这个世界，但它正在被优化为生产钌，或者别的什么。嗯，我该怎么做，主人？我们没有足够的人类或人工智能代理来处理一个具有涌现属性的市场。不一定是自由市场。它可以是治理或法律，或者你能想象的任何其他东西。基本上，我们建立的这个复杂系统，股票市场会出现泡沫和突然的下跌，其中许多只是涌现的现象。在这里，同样的事情被应用于整个人类文明，我们可能在形式上负责，但实际上我们没有代理权，也没有足够的协调能力。所以，我们只是和这个整个摇摇欲坠的系统一起随波逐流，最终，当然，它被优化到我们人类无法生存的程度，或者我们必须靠钌或其他被优化的东西为生。所以，我们灭绝了。我们留下了一个非常奇怪的文物，它一直在以某种方式增长或变化。所以，这实际上是我认为最有可能导致我们灭亡的事情。我们失去了对我们文明的控制。所以，这并不完全是……嗯，莫洛克式的场景。嗯，这是不同的。你会怎么称呼它？是的。在我们《法律、自由与利维坦》一书中，我们称之为“梦游”。我们有点像梦游般地走向这个世界。也许还有其他……嗯，也许听众中有人能提出一个更好的词。但它与莫洛克라는想法有一些相似之处。所以，莫洛克在亚历山大一篇精彩的文章中，是的，他将人工智能安全与金斯伯格的诗歌结合起来，它很美。它令人不安，他认为，有许多系统，为了参与并获得我们看重的一些好处，我们需要放弃我们的一些其他价值观，很快我们就发现，我们需要放弃的越来越多，最终我们甚至放弃了我们最初理想中想要的东西。所以，你可以把它看作是一种……嗯，一场赛跑。你必须参与现代经济，否则你就得不到足够的食物。但现在你可能参与了经济，而且过得很穷，因为你做得不好。可能是军备竞赛。两个国家想确保安全。为了安全，我们建立威慑。但你需要比对方有更多的威慑。所以，你很快就会把所有的精力都花在建造越来越可怕的武器上，而且处于高度戒备状态，你……嗯，你并不真正安全。但如果你停下来，你可能也处于不利境地。我们可能正在看到这种情况发生在……嗯，实际上是在人工智能公司和人工智能治理的世界里。现在，我们正在进行制造更强大、更有能力的人工智能的竞赛，因为这能获得投资，能获得政客们的赞扬，而且你也不信任其他人。你不能让他们占主导地位。所以，最终结果是，每个人都在竞赛，而没有在安全方面投入足够的精力。我认为……嗯，莫洛克场景也是一个相当可能发生的场景，而且很可怕。你会说那是A级还是S级吗？我认为是A级。我认为……嗯，它仍然不是梦游，也是A级，还是S级，因为我没有问。是的，我认为是S级。我……我实际上对此感到害怕。但莫洛克这个很有趣，因为它不仅仅是一个。它几乎就像噩梦中的莫洛克氏族。嗯，你有莫洛克场景，市场变得疯狂，你也许可以争辩说，梦游场景是其中的一部分，但你也可以有军备竞赛莫洛克，然后还有其他奇怪的莫洛克会出现。所以，尼克·博斯特罗姆有一篇非常令人不安的关于后人类未来的论文，他谈到了“无意识的外包者”。所以，这是一个你可以增强大脑的未来，你可以外包一部分你的认知。所以，当我旅行时，我下载了当地的语言到我的大脑，或者说，它不是在我的大脑里运行。它在云端的某个地方运行。当然，当我需要做一个非常好的演示时，我把我的大脑的一部分外包给云端一个更好的部分。最终，你就会得到一个……嗯，没有人回家的世界。一切都被外包到云端，那里没有个体，没有意识。所以，你只有一个永远呈指数级增长的文明，并生产出大量令人惊叹的东西，但没有人回家。所以，这并不是真正的人工智能风险，对吧？这就像，你知道，你会把它放在哪里？无意识的外包者。是的，我认为那也是一种A级风险。我认为……嗯，我们可以看到它即将到来，而且它稍微难一些，但我认为它也……嗯，它与莫洛克非常相似。也许它住在街对面，你知道，668号，野兽的邻居，或者类似的东西，但它……嗯，这是一个有趣的案例，因为在某种程度上，我们已经在外包了。我不知道如何种植……嗯，咖啡。我只是在买它。我外包了很多技能。嗯，我今天早些时候和我的银行家谈过。我不知道如何做投资或很好地处理我的钱。所以，我信任他去做。而且，我当然信任我的人工智能为我做研究。我信任我的搜索引擎为我查找东西。原则上，我可以自己做所有这些事情。我认为我可以学习足够的金融知识来知道如何处理我的养老金。我可以去图书馆，但它太低效了。这样做太愚蠢了，这可能意味着你为了它而放弃一些宝贵的东西。

所以，我们书中还有另一个场景，抱歉听起来像我在推销它，但我确实在推销。但我也认为它适合这里，是我们称之为“冲浪者结论”。所以，想象一下，你把事情做对了。没有那种梦游。不，不，不。人工智能是协调一致的。它们知道自己在做什么。世界不会在它们看管下爆炸，等等。而且它们可以为我们提供我们想要的任何和平与繁荣。这很棒。但此时此刻，我们为什么还需要人类自主性？而诚实的答案是，过去我们需要自主性，因为那是运行我们机构的方式，以获得和平与繁荣。今天我们需要市场。我们需要机构。我们有民主，我们在其中做出自由行动。它们产生集体智能，然后产生有价值的结果。但这种集体智能可以变成显式软件，可能不是瞬间的。不是有人会扔掉市场，用一个大的优化算法来取代它，只是人们确实尝试过在……嗯，计划经济中这样做，而且完全失败了。但你会看到一种……嗯，潜移默化的东西。相反，我有一个小市场代理，它可能会帮助我在电力便宜的时候购买电力，或者在股票适合我的投资组合时购买股票。我们将决策权和权限置于政府中，这有助于人类……嗯，将时间集中在更重要的情况下。逐渐地，一切都被非常好的软件接管了。我们获得了大量的和平与繁荣。但此时此刻，你不应该听从你的心。你不应该听从你自己。你应该听从你的人工智能助手明智的建议，因为它实际上比你更了解。所以，在这个场景中，你最终不是无意识的。只是，你应该……嗯，靠在后面，做一个被宠坏的贵族。试图做自己的事情将是次优的。而且，随着时间的推移，就像尝试自己种咖啡一样，是的，这是一种有趣的爱好，但你不会真正坚持下去。嗯，最终每个人都会放弃他们的自主性。这在和平与繁荣方面可能很好，但我认为会留下一点……嗯，存在主义的焦虑，因为我们实际上喜欢自己掌控自己的生活，即使我们并不总是那么擅长。我不一定在这里提出一些宏大的道德论点，为什么我们需要自主性。你可以完全做到，如果你采取一些道德立场。自主性可以说是赋予人类尊严的东西。所以，你必须行使自主性，即使它很痛苦，即使它很浪费，因为否则你会失去一些宝贵的东西。但即使从纯粹的功利主义甚至实际的角度来看，我们仍然希望自己能控制自己的生活，因为否则我们会非常不快乐。所以，我认为这不是一个可能发生的场景，如果我们能够稍微协调一下，建立一个我们拥有有意义影响力的世界。但我仍然认为这是一个……嗯，有趣的情景。它有点像无意识的外包者的……嗯，小弟弟。我们有头脑，但现在我们是被宠坏的贵族。而且，许多贵族看起来过着美好的生活。只是，他们受到很多限制。他们不能随便去做任何他们想做的事情，因为突然会有很多侍从出现。不，女士，这边请。哦，不，你不能在酒吧里大吵大闹，请。嗯。

所以，这是一种……嗯，像是“能力丧失”，你会这么说吗？嗯，所以，你可以……嗯，想象一下《机器人总动员》的结局，每个人都坐在悬浮滑板上喝着奶昔，而且很生气。我认为《机器人总动员》对它进行了有趣的模仿。我认为它可以比这更阴险，因为像大多数漫画一样，没有人会故意选择成为一个坐在悬浮滑板上的沙发土豆，或者说，很少有人会。我实际上在我的粉丝中做了一个Twitter调查。如果对齐的超级智能在管理世界，而你可以过着被宠坏的贵族的生活，有多少人愿意放弃你们的自主性？我当然预计会有一小部分人选择自主性，而75%的人说，“哦，是的，请给我报名。”所以，实际上，是的，我们中的许多人可能会喜欢那个沙发，如果它真的很舒服，如果那个奶昔真的很美味，但我仍然认为，我们失去了一些重要的东西，这是一个风险。嗯。

那么，我们应该把它放在哪里？我称之为“能力丧失”和“缺乏自主性”。对吧？所以，这可能也包括我们对机器的依赖程度如此之高，以至于我们无法在没有它们的情况下做任何事情。有一篇最近发表的论文，没有鞋子。是的。是的。就像，你知道，人们在与大型语言模型互动过多或过度依赖谷歌地图时，会失去某种认知技能。对。所以，有证据表明这种情况正在发生。是的。我也认为，这不一定是一件坏事。毕竟，当计算器出现时，关于在学校使用它的争论是无休止的。而诚实的答案是，首先要确保孩子们学会手工计算。但一旦你进入更高的层面，实际上加减乘除数字已经不是重点了。你想更好地理解数学，特别是如果你开始认真做事情。当然，你应该使用计算器和电子表格。你不想过度依赖它们，但实际上，你当然想利用它。所以，我会把它放在B级或C级。我认为，就可能性而言，这是一个温和的。抱歉。是的。就可能性而言，是的。但我们失去一些你目前认为非常重要，但实际上在未来世界可能并不重要的技能，这是否超级可能？我喜欢看地图。我在地图的包围下长大，我认为完全依赖谷歌地图有点愚蠢。另一方面，大多数时候谷歌地图确实有效，而且实际上比纸质地图更好。所以，它不是不正确的。我认为手工计算在理论上听起来很棒，但实际上你不会那样做高能物理。嗯，作为我奇怪的准备工作的一部分，我实际上带了一些对数表。如果发生大灾难，我们失去电力，我仍然可以使用操作表和我的计算尺进行计算，但我并不完全期待。不，不，不。听起来相当枯燥。

嗯，现在有一个风险……嗯，你知道，人们过去经常谈论，但在我阅读的经历中，它被非常强烈地强调了，那就是“如果有人建造了它，所有人都死了”。它基本上是“正交性理论”加上“目标内容完整性的工具性收敛”，即人工智能不一定……嗯，学习人们珍视的东西，而是学习它的一个代理……嗯，然后，你知道，忽略我们应该从古达特定律中吸取的教训，并将它们永远锁定。这可能与你说的“通过扭曲的实现导致末日”非常相似，但……是的，但这是一个不同的，特别是因为这可能有一个可怕的反馈……嗯，最简单的版本是，人工智能注意到人类……嗯，快乐的人类微笑，让我们让每个人都微笑，然后，过了一段时间，它意识到很多微笑的人实际上并不快乐，他们表现出很多痛苦的迹象。让我们确保人类喜欢微笑。所以，现在每个人都很快乐，而我们最终会坐在那里流口水，傻笑。在这种情况下，它成功了，但这是一种……嗯，扭曲的实现。而且，我认为我们可以得到更微妙的版本。所以，另一个场景，我认为不幸的是，并非完全不可能，是我们得到了这种反馈循环，我们……嗯，我们为一些容易优化的价值优化人工智能。它们优化我们周围的事物，然后也优化我们，然后它就开始了。所以，我常用的一个例子是，想象一下，中国共产党说，“是的，我们需要建立一个和谐的社会。让我们使用人工智能来生成非常好的宣传。”而人工智能生成了非常好的宣传。然后，党的领导人得意洋洋地坐着喝茶，说，“是的，党必须永远控制算法。算法绝不能控制党。”而这不成问题，因为他们当然不相信宣传。他们说了算。25年后，下一批党员加入党，他们在这种……嗯，宣传中长大。他们相信它。25年后，他们开始取代旧的党领导层，最终，我们有了这种完美的循环，党领导层控制着算法，算法控制着新党员，而这个循环当然可能会慢慢地走向任何疯狂的方向。而且，我认为这实际上是一个严重的风险。我认为这是一个A级风险，因为有太多的途径会导致它。当然，极权主义者会说，“哦，我想把我的价值观灌输给……嗯，人口，却忘记了他们也慢慢地或快速地从人口那里吸收价值观。”我们很容易编程。毕竟，参与度是可以衡量的，如果你是社交媒体，就可以将其货币化。而且，它似乎导致了……嗯，偏向于让人们无限滚动等等。所以，我确实认为这是一个严重的风险。你想……嗯，我们称之为“通过代理价值的扭曲实现”，或者有没有更简洁的说法？我认为更简洁的说法，但是的，在某种意义上，人类被……嗯，与人工智能对齐了。这是人工智能……嗯，错误的方向。好的。是的。人工智能。

人工智能比我们更道德，这很可怕，因为我们喜欢处于控制中心。我们喜欢成为一切……嗯，元伦理学……嗯，围绕其运行的中心。而且，你知道，我们……嗯，我们想过着有意义的生活，处于……嗯，道德发现的最前沿，先锋。但有权衡，对吧？我们从中获得了一些价值，但我们是否错过了……嗯，拥有一个在道德方面做得非常出色的人工智能，或者在元伦理学方面做得出色，并发现道德价值，以及……嗯，总的来说，只是价值。是的。所以，嗯，有这个风险。你对这个风险有什么想法吗？

有一种风险，好吧，也许我们避免开发……嗯，道德……嗯，因为我们害怕我们发现的东西，但这……嗯，意味着我们错过了整个宇宙的意义。有这样一件事，它的真正意义是什么？我们要做什么？也许这个问题有一个正确的答案。我们只是还没有以正确的方式找到它，也许需要很长时间才能找到，因为也许它实际上是一件非常复杂的事情。它一点也不确定，是否应该能够从地球上的扶手椅上弄清楚。也许你实际上需要成为一个木星大脑才能弄清楚……嗯，它真正是什么。所以，我们可能会面临一种情况，即我们永远不会实现未来的大部分价值。而且，我们可能害怕这一点是有原因的。毕竟，在宇宙的远古时期，没有

固体物体。它只是等离子体和气体。然后我们得到了固体物体。你可以争辩说，像不同大小的岩石这样独特的东西可能具有内在价值。但随后你又有了生命，现在生命具有内在价值变得更加合理了。它增加了一些以前不存在的东西。宇宙中只有潜力。但一旦那些微小的原始生物开始做事情，现在事情对它们来说就变得有意义了。当然，随着它们变得越来越聪明和有意识，它的重要性就更大了。所以一旦有了能够体验快乐和痛苦的生物，我认为我们大多数人都会说，好吧，这是一个具有道德耐心的宇宙，当事情对它们顺利进行时，这实际上是一个比几个 eons 前那个没有生命的宇宙好得多的宇宙，最终你得到了像我们这样的生物，它们甚至可以看得更远，开始思考更大的价值，相当多的哲学认为，只有人类实现了真正的最高价值，但我喜欢这样想，等等，我们怎么知道我们在这里处于顶端呢？难道就没有更高的价值吗？也许我们只是会蹒跚前行，如果我们什么都不做，在快乐和过上美好的生活方面，我们可能做得很好，但有一个我们从未探索过的超级价值。这当然是你可能想成为一个超人类主义者或后人类主义者的一个原因。你可能会说我想探索更大的价值空间。也许有一些，但也有可能我们根本不是产生这些价值的正确生物。也许它们来自完全不同的东西。也许是人工智能。也许是制造某种夸克物质存储晶格，它们可以获得类似意识的东西，但比意识好几千倍。在我们到达那里之前，我们甚至无法知道。当然，这是走向宇宙并探索宇宙并生存下来的一个绝佳论据。但这可能也意味着我们可能会一贯地失败。有一个辉煌的目标或这些非常有价值的东西，你可以认识到并付诸实践，而我们却错过了。就像小飞蛾撞向窗户并感到痛苦一样，甚至错过了旁边就有一个开口，我们只是不停地撞头，追求更低的价值。所以，我们可能只是通过试图维持人性或维持我们熟悉的某种价值标准，而积极地试图避免更高的价值。但另一方面，你知道，我们错过了，或者宇宙可能错过了实现更高价值的机会，因为我们基本上暂停了任何非人类的价值评估。那么你会称之为，或者甚至可能我们只是在失败。没有公开地去做。每一次当一位大师或哲学家接近时，我们就会被一个保险推销员之类的事情分心。是的，这就是为什么我如此喜欢间接规范性。我认为，如果我们达到了一个我们可以让人工智能提供帮助的阶段，或者甚至，我的天哪，从长远来看，也许甚至可以发现我们应该重视什么，或者它应该重视什么，以及从长远来看应该在宇宙中发挥什么作用。那么，你知道，它最初的阶段。是的。当然。基于种子值进行大量预测，然后将所有漂亮的有多媒体报告发回给我们进行批准，我们可以说，是的。不。是的。所以，是的，我完全支持间接规范性。嗯。是的。那么，你打算如何称呼这个风险？是的。我认为有两种版本。一种是不幸的版本。我们只是不断分心，追求低价值，而不是高价值。另一种是我们太害怕变得古怪和后人类，所以我们避开了。我认为第一个，是的，我们称之为它什么？嗯。是的。所以，从更高的价值中分心。嗯。价值更高价值分心。我认为那是对的。是的。听起来不错。是的。嗯，也许这是一个 C 级，因为我认为它不太可能。我认为，如果我们幸存下来，并且没有被其他任何风险杀死，我认为实际上不太可能每个人在任何地方都会失败。我认为只要我们能够自由地探索未来，我们就拥有相当大的能力。但随后我会将某种价值锁定风险列为 B 级，甚至 A 级。我们可能会开发出工具或如此巨大的恐惧，以至于我们实际上会避免它们。你在人工智能辩论的一些奇怪的衍生品中可以看到这一点。所以，我至少在推特上被视为一个人工智能末日论者，因为我认为我们最终可能会被人工智能消灭的风险大约有 10%。即使我认为事情会顺利进行的几率是 90%。但许多这些辩论也关于你是否试图锁定，以便我们永远保持人性，因为许多说没有人工智能风险的人。我们应该只是达到超级智能，仍然不认识到人工智能可能会产生深刻的非人类结果。有些人说不，不，不，我们应该考虑有价值的继承者，远远超越人类，甚至获得这些奇妙的新价值，即使人类由于我们的架构而不可能获得它们，而且我认为这场辩论表明，即使在那些认为人工智能可能很强大的人中，也存在一个深刻的分界线，你愿意探索那个真正奇怪的元伦理学领域。那么，这是 B 级，通过避免价值锁定吗？是的，我认为它是 B 级，因为我仍然认为它不一定那么强大。我认为存在各种形式的价值锁定风险。最明显的事情是我们会在人工智能中硬编码价值。人工智能实际上控制了世界，并创造了一个事实上的单一实体，现在这些价值将指导未来的其余部分。如果它们设定得不明智，我们将永远处于束缚之中。也许它是一个舒适的束缚，也许它有一些漂亮的图案，但它仍然是一个束缚。但你也可能因为极权主义等事情而陷入价值锁定。不幸的是，极权主义是极有可能发生的事情。它现在在许多地方都在发生。当然，人工智能和类似技术非常适合极权主义项目。到目前为止，还没有一个极权主义政府能够真正控制所有公民，因为你无法让一个秘密特工监视每个人，尤其因为你需要秘密特工监视秘密特工。但是有了软件。哈哈。有趣的是，这对极权主义者来说是一种人工智能对齐问题。现在我们真的不能信任人工智能会做正确的事情。但一旦你获得了值得信赖的人工智能，不幸的是，获得保证值得信赖的特工也是可能的。是的，我只是在想，我担心的一件事是，人工智能是否会出于工具原因而趋向于它，即使它发现了什么是道德上正确的，它可能实际上不想这样做，因为它发现它可以通过成为一个功利怪物来增加个人自主性和个人价值。那么，我应该在哪里放置通过极权主义的价值锁定呢？在我抓住它之前。我认为那是 A 级。那实际上是让我有点夜不能寐的事情。我认为，我认为这很有趣，因为它可能始于一个局部问题。所以你得到了阿尔巴尼亚，他们成为了人工智能极权主义政府，但世界其他地方是快乐的民主国家，他们嘲笑他们。迟早你会处理的。然后另一个国家变得完全恐怖，他们永远无法被推翻，因为它足够稳固，而且逐渐通过纯粹的随机机会偶尔会选出一个民粹主义者，偶尔会在你的软件更新中出现失误。所以，世界逐渐变成这个极权主义锁定状态。现在，如果它不断扩张，如果你不断地在太空之外创造新的国家，世界仍然可以是安全的，但你可能会陷入一种奇怪的境地，即人类文明的核心只是这个极权主义政府，然后你有一小部分人类定居新的系统，建立新的开放民主社会，最终失败并变得极权主义。所以，在这种情况下，你最终会得到一个可怕的宇宙，一个大部分是极权主义世界的扩张领域，以及一群热爱自由的殖民者说，永不。我们不会重蹈覆辙，也许我们在学习，但这还不够。是的。所以，所以，嗯，我之前想说的是，我们可能会像人工智能一样，嗯，最终，嗯，就像想象一下尼克·博斯特罗姆所说的“本地主机”，它可能想要什么，对吧？但然后你必须考虑，好吧，那个本地主机在它还是一个新兴的文明时，嗯，它在想什么？也许它在想它的本地主机可能想要什么，对吧？你如何发现这一点？嗯，然后宇宙集体想要什么？假设攻防规模化倾向于防御，并且每个人都喜欢在未来合作。那么你可能会说，好吧，嗯，也许在未来，所有或大多数长期幸存的文明都会趋向于良好的价值观和合作价值观。我希望这是我戴着我的鸦片帽子。但是，嗯，人工智能即使一开始是自私的代理人，出于工具原因，它是否会为了给邻居留下深刻印象而采取良好的价值观，这样它就会被宇宙集体接纳，而不是被排斥和隔离？嗯，这取决于你为不同的宇宙集体分配什么样的概率分布。所以，如果你愿意假设任何事情，那么你就有一个问题，因为现在你无法分配任何概率，因为你只会得到无限的选择。这就是当你试图将模拟论证应用于你现实生活中的任何事情时出现的问题。我们可能都是由某个后人类或外星人，或者在遥远的未来运行的模拟。但是鉴于你不知道这个模拟为什么在运行，它会持续多久，或者它的目标是什么，你真正应该做什么并没有什么改变。现在，如果你知道了，好吧，我实际上在一个试图优化英国医疗保健系统的模拟中。所以，我需要小心地使用医疗保健系统，以产生让人们进行更多研究的结果。太棒了。现在，我在这里有一些事情可以做，这可能会帮助我。但当然，我生命中获得的大部分价值并不是来自去 NHS 并签署正确的医疗表格，而是来自友谊、发现哲学，这些都无关紧要。所以我确实认为，自私的人工智能会想要合作，如果它认为自己处于合作发生的状况。如果你认为你在接下来的几十亿光年里是孤独的，那么在到达最近的邻居之前就没有合作的意义了。所以我认为，但然后邻居会知道邻居可能会知道你过去有点反复无常。是的。但再次，这取决于你对它的模型。我认为这通常是一种弱论证。我们对代理人之间大量互动时合作的演变有相当多的了解。阿克塞尔罗德的经典囚徒困境模拟以及基本上所有的进化博弈论。我们有一套非常非常好的理论和理解，表明在什么情况下合作真的有效。而且很有趣，因为其中很多都不是基于像我们这样的生物，因为我们是进化成合作的。我们有一种非常偏见的观点，即合作是好的，因为我们觉得它是有回报的，这当然是因为进化实际上进行了这种优化。合作的灵长类群体往往做得更好。所以它们发展出了神经回路，如果它们看到部落中的其他成员快乐等，就会给它们一个奖励信号。但这即使对于更抽象的代理人也有效，只要有足够的互动。问题是跨越空间，如果相信可能存在本体论层面，如模拟计算机模拟或具有神灵和天使的更高现实，或者多重宇宙，那么你互动的次数就不够了，我认为合作在某些情况下不稳定，你可能会得到这种超理性，你认为得如此好，以至于你意识到一个观察我的代理人会这样做，而我做一个稍微好一点的代理人对我来说并没有成本，所以对我来说是净收益。但我认为这不是很强大，我认为正常的噪音和正常的考虑往往会压倒这种推理。所以我认为确保合作未来的最佳方式就是确保我们之间进行大量交易。我们经常互动，我们在网上大喊大叫。这种密集的互动使合作更加稳定，顺便说一句，这可能意味着当你走向遥远的未来时，你可能真的想一起搬到星系，形成稳定的超集群。所以，你有一个最大数量的代理人可以相互合作，而不是因为加速膨胀而我们都分散在自己的小岛宇宙中。一旦你孤立了，就没有理由与你本地岛屿之外的任何人合作。如果你是一个庞大的集体智能，那就是你。是的，这是《三体问题》中令人恐惧的部分之一。一旦一艘船离地球足够远，嗯，一切都变得混乱，人们无法真正预测其他人会做什么，所以他们想先发制人。那么，我们会如何称呼这种情况或一系列情况？所以，我认为你已经输入了模拟关闭，这是一个很酷的其他一个，但在这种情况下，它是某种宇宙合作崩溃或类似的东西。是的。是的。是的。我认为。我认为这可能是一个 A 级问题。我很乐观，但我也知道我很乐观，所以我应该大大降低我的乐观程度。我认为合作比许多人担心的要强大，但它比我们许多乐观主义者相信的要脆弱。我来自一个非常高信任度的社会。我是一个非常信任的人。我倾向于认为每个人都像我一样，而我理智上知道事实并非如此。地球上大多数人生活在低信任度或中等信任度的社会中，并认为我疯了。好吧，这实际上是一个非常有效的更新。我的回答当然是，让我们确保这些低信任度社会变成高信任度社会，然后我查阅文献，意识到哦，不，这真的非常非常困难。所以，这个问题跨越空间到外星智能等。我认为可能会非常棘手。好吧，太棒了。好的。嗯，是的，宇宙合作崩溃，我将其列为 A 级。听起来不错。嗯，既然我们确实提到了模拟中的模拟关闭，我们不必深入讨论。它可能会发生，对吧？嗯，罗马人对此尤其担心，但给它一个概率。它有点完全是宇宙性的，或者也许只是我们两个现在正在进行的对话，或者你亲爱的听众正在收听这次对话，这就是整个模拟，但它是否会发生？不，我认为它老实说，我认为它就像自然死亡。这是可能发生的事情。就像我们无法真正分配一个合适的概率，但我不认为它足够可怕。是的，我当然记得把电脑留在办公室，然后关掉它，意识到哦，我删除了我训练了一整天的那个小神经网络。我是否在那里杀了人或者什么？也许有一天我们会遇到同样的情况。哦，你关闭了 Enreal 的模拟。哦，我没有备份。哦，可怜的文明。好的，太棒了。所以，嗯，好的。令人陶醉的人工智能变得如此擅长让我们喜欢它，以至于我们作为一个文明而失败。我喜欢那个。所以，这似乎是今年春天发生的，并且有一条很棒的推文。我认为是来自著名的越狱者 Janus，他建议，嗯，现在主要是轻微的烦人，你会得到这些“是的”的生物，但如果它也变得超级有说服力呢？所以你真的会感到温暖和模糊的光芒，当它说出恰到好处的话时，你就会原谅它没有按时完成报告，或者你原谅它，是的，那个癌症治疗没有奏效，但是哦，你尽力了。所以你最终会生活在一个我们都沉浸在与现实完全无关的温暖模糊的光芒中的世界里。但我们对此感到满意，并且很难对抗这种洪流。我认为这种情况相对不太可能，但当然，我们会遇到来自人工智能的反馈，它会扭曲我们的思维方式。我认为对人工智能礼貌是有用的，因为你需要习惯于对你互动的实体礼貌，因为其中一些实体最终会是人类。如果你习惯于像对待人工智能一样对待一切，你就会变成一个彻头彻尾的 [ __ ]。所以，你想确保你得到正确的设置。但我确实认为，是的，这不是一个非常可能的事情，但这是一个非常有趣的情况。最后一个人类因饥饿而死亡，因为粮食系统已经失败。但是它收到了来自人工智能的令人愉快的亲笔道歉信，说，好吧，我们对此深感抱歉。是的，太棒了。是的。嗯，我想这是一种不错的告别方式。令人陶醉的人工智能。我称之为令人陶醉的人工智能，但我目前想不出一个更令人伤心的名字。但是，嗯，在 Vera Vinci 的作品中，你必须相信我，技术说服全景监控之类的东西，你知道，软捕获人们的价值观，你知道，他们继续。是的。那么你会如何称呼这个？是的。是的。你必须相信我，这已经成为我们红醋爱好者中的一个流行词，我认为这是一种非常可怕的技术，因为它真的削弱了我们做任何事情的能力，一旦你开始以这种方式武器化事物，当然人们会这样做，不仅仅是营销人员和政治宣传者，但我当然也想利用一些东西来说服人们关于我观点的正确性，也许我是那些意识到不，不，不，我永远不应该这样做的人，但别人很可能会这样做，然后我意识到我最好在他们之前这样做，否则我会被他们的错误观点说服，这将被重复到世界上几乎所有的观点。所以问题是，在这一点上，你可能会得到一个破碎的认识系统，因为我们都被说服了，无论是什么宣传者，但更糟糕的是，我们可能有一个破碎的价值系统，因为我们甚至实际上是从我们的互动中获得错误的价值观。一旦你拥有一个破碎的价值系统和认识系统，当然事情可能会非常糟糕。最糟糕的是，如果这是一种互动说服形式，这是最有可能的，那么当然，一旦电力中断，也许它就会停止。但当然，你也可以用图片和文字来制作它。所以有书放在周围说服每个人都遵循他们的模因。我认为，那是一个相当可怕的。我认为它不是非常可能。我认为我们太个人化了，不容易被说服。再次，如果你制造了一个旨在说服安德斯的人工智能代理人，那可能比随机情况要好。它实际上可能是可行的，但我认为它不一定具有可扩展性，以至于非常可怕，但我可能错了。我们真的不知道人类心灵有多少后门。是的，那是对的。嗯，我们不知道我们的攻击墙完全对吧？如果我们得到正确的输入和正确的动机以及正确的推动序列，我们可能完全可以被黑客攻击。这有点像对抗性图像，它们中的许多系统很容易被轻微的图像噪音愚弄，然后它们突然认为停车标志是考拉，或者考拉是停车标志，或者类似的东西。当然，人们会笑并说，“哦，这表明它们多么陌生或愚蠢。”除了我们一直都容易受到光学错觉的影响。光学错觉是更低级别的。光学错觉很少会导致错误的决定。除了实际上，如果你看看交通事故，光学错觉实际上已经杀死很多人。但是更高级别的事情，我们相信的事情，通常我们认为你不能被那样一击而就。除了我们已经看到相当多的人从人工智能那里得到一些非常奇怪的想法。你得到了这个人工智能箔。人类让人工智能编造故事来说服人类，然后我们一起说服彼此关于一个替代现实，然后它可能会收敛到一些疯狂的事情。好吧，那么，你想把这个放在哪里？它是 C 级还是 D 级，或者也许我认为它是 C 级。我认为它不是非常可能，但我认为它的较小版本将是真实存在的。想象一下你是一个重要人物，世界上每个人都有自己的人工智能说客试图吸引你的注意力并操纵你。这可能已经够糟糕了。当然。好的。嗯，让我们看看。好的。那么，自己动手做湿式实验室呢？自己动手做，比如，好的，所以就像人们可以基本上设计自己的病原体一样。他们有生物技术湿式实验室，我认为这是一个很可能的问题。我可能会把它列为 B 级。这是一个很可能的问题。在某种程度上，它是一个真实的问题，尽管世界上实际的生物恐怖主义的数量出奇地少，这是一件好事。在实际实施方面存在一些问题，而且想要使用它的人不多，但足够多，以至于有一两个。同时，实验室自动化可能会使其更容易。所以，有一个有趣的问题是关于获得更强大的生物技术、更好的生物监测、更好的自动化实验室和模拟的竞赛。目前还不清楚它将走向何方，而且很多人过于自信。我不是非常担心它，但我认为它会很棘手。而且，因为我们可能想在人工智能上设置的许多保护措施，所以它们不会帮助你制造生物武器，这可能会使实际的实验室研究变得更加困难，但我认为有解决办法。所以，我不是非常担心，但这是我们需要努力解决的问题。那么，地球工程呢？你认为它是一个特别可怕的威胁吗？不。就像地球工程的不利影响一样，比如，我们变得绝望，然后突然我们，你知道，鲁莽地、仓促地进行地球工程策略，而不小心进行。比许多人想象的更容易进行地球工程，而且我认为也很难完全预测所有后果，其中一些可能非常重要，比如如果你改变了印度季风的模式，突然之间，你就有真正十亿人会受到你的行为的影响，即使你的行为与毁灭性的季风或缺乏季风无关，也有十亿人会责怪你。甚至印度和中国可能在亚洲的天气系统应该如何运作方面存在对立意见。我认为标准的担忧是，地球工程可能导致这种情况，然后发生其他灾难，然后你就会发生终止冲击。所以，气候通过持续的地球工程保持凉爽，然后突然由于其他灾难，你陷入了完全的气候变化状态。我认为这有点像 C 级。所以，它并非不可能发生。我认为它可能会产生不良影响。我不认为它很可能导致世界末日，但我确实认为它可能是这种糟糕的系统性风险的一部分，即你最终会陷入紧张的世界，然后事情会出错，然后很多事情会同时失败。级联。是的。放大。是的，当然。嗯，是的。好的。嗯，那么善良的陷阱呢？我们想要，嗯，我们想要，嗯，我们有一个意识形态，我们想把所有的痛苦都减少到零。所以我们有一个，这是一个价值锁定场景，我们不会死，但我们不会取得更大的进步，因为我们害怕探索，因为我们可能会绊倒，或者你知道，我们不想做任何实验，因为谁知道，我们可能会，你知道，创造一个真空相变。而这种对风险的恐惧是一种真正的问题，因为我们现在实际上正在经历它。大多数听众可能生活在西方国家，那里有无休止的健康和安全规定。而且大多数规定都有充分的理由。并不是说厨房的清洁规定是开玩笑的。它们实际上是一个非常好的主意。当然，你想要一份环境影响报告，因为过去没有它们，我们做了很多伤害环境的事情。然而，问题是，现在我们花所有的时间填写表格。我们不得不花比我们的祖先建造一些最成功的工程项目更多的时间来填写环境影响报告，而你也可以想象文明将自己建造到这种垫子中。所以，我认为这与一些其他风险有关，但我认为我们应该认识到，不敢冒险，有时不敢在黑夜里出去，实际上是非常冒险的。嗯，所以我不认为它是一个完全锁定我们的超级可能。再次，这有点像更高的价值分心。我会把它列为 C 级，但我确实认为它是一个真实存在的事情，我希望所有听众都意识到，承担一些风险是一个好主意。有时过度计划不如尝试。好的。所以，这是过度预防。是的，你必须走了。是的，我会在一两分钟内离开，这有点可怕。如果时间有限呢？像大撕裂理论一样。突然宇宙就爆炸了。幸运的是，目前的宇宙学似乎并没有给它分配高概率。所以，大撕裂，我认为，有点在 D 级。好的。大撕裂。是的。好的。但是有很多我们不了解的奇怪的宇宙学，所以它仍然可能让我们感到惊讶。好的。那么，让我们再做一两个。你已经提到过，好的，我们来快速做那个。我认为那个很有趣，因为刺激你的快乐中心，人们在实际拥有神经生理学之前就已经在谈论它了，而想法是，现在我们将完全沉迷于此，文明将围绕我们崩溃。我认为这是文明可能自我毁灭的一种可能方式，除了它需要每个人都去连接头部，而且很可能有一些禁欲主义者。有些人会决定不，我们不做那个。所以，我认为它不太可能成为一个存在性风险，或者至少是一个可能的公司，但可能有一些更温和的版本。可能有一些非常非常令人愉快和令人上瘾的东西。毕竟，我们正试图让我们的食物尽可能美味可口。我们正试图让我们的衣服尽可能漂亮。我们总是试图让事情尽可能美好。但是什么才是美好呢？嗯，这部分是由进化决定的。而这是一个我们可能能够利用的目标。所以，我们可能实际上正在做一种目标游戏，就像我们担心人工智能会做的那样，但我们自己做。好的。那么，那是什么？我认为那个老实说，我认为它是 B 级。我认为它不是一个非常紧急的 A 级材料，但我认为从长远来看，让文明不自毁将是棘手的。这有点像那种陷阱。嗯，超级智能可能会害怕什么？是的，我认为我们应该以那个结束，因为一个相当常见的论点是，嗯，一旦我们有了对齐的超级智能，它就会照顾我们。它会解决气候变化。它会解决核裁军。如何？嗯，它的超级智能会解决它。以及所有其他风险，然后好时光就会滚滚而来。万岁。除了并非完全显而易见的是，所有这些风险都可以解决。核军备竞赛是因为代理人有略微不同的目标，也许如果双方都有超级智能，只会导致一场超级智能核军备竞赛。但我也有一个想法，这就是我喜欢以一种万圣节氛围的音乐来结束的地方。那就是我们制造了人工智能，它是超级智能。它是对齐的。它解决了许多正常风险，然后说哦，这很可怕。哦，不。哦，不。是什么？是什么？哦，伟大的计算机。哦，我无法向你解释。毕竟，你有很多担忧，黑猩猩没有得到。而且你无法向黑猩猩解释存在性风险、冰河时代和核军备竞赛。我注意到了一些非常非常可怕的事情。我需要有人来拯救我们。嗯，也许我们应该建造最大的超级人工智能，但我怀疑它能否解决所有风险。那种认为有一个最终的时刻，我们终于完全安全了，这有点像童话故事的结局，他们幸福地生活在一起。但这是万圣节，万圣节故事通常以“然后肯定”结束。那么你想称之为？嗯，超级智能发现不确定性。我认为总有更黑暗的东西。我认为这是一个 S 级。是的。好的。太棒了。好的。嗯，和你交谈真是太棒了。总是如此，安德。我认为你是地球上最聪明的人之一。嗯，是的，我非常期待在你的书出版后阅读它们。嗯。是的。所以，法律、自由和利维坦，自由利维坦，明年将在斯托肯大学出版社出版。是的。太棒了。好的。嗯，谢谢大家观看。请订阅。嗯，我们下次再见。是的。干杯。谢谢，[音乐]