Transcription
你准备好乘坐末日列车了吗？[音乐] 欢迎来到末日辩论。这是我与利亚姆·罗宾斯为期两部分的对话的第二部分。第一部分，如果你错过了，完全是关于 AGI 时代的大学经历。强烈推荐你看看。第二部分将完全是关于乘坐末日列车，看看我们是否能调和我们各自的 P 末日。好了，我们开始吧。那么，为了开始，让我们呃，跳到最后。你的 P 末日是什么？所以，我的 Poom [音乐] >> 嗯，大约是 3%。好的。我们将逐站计算我们如何得出 3%。你将为每站下车或不下车分配一个概率。进行这种乘法会充满危险，但至少它是一个粗略的近似。那么，让我们来到第一站。AGI 不会很快到来。你怎么看？>> 15%。>> 好的。所以基本上，你有 85% 的概率会留在火车上。你只是给了一点概率，比如也许会有另一个冬天之类的。正确。>> 是的，之类的。>> 好的，我认为这实际上非常合理。我甚至不认为我自己的概率有很大不同。下一站，人工智能无法远远超越人类智能。>> 1%。>> 所以，你非常确信肯定还有很多增长空间。>> 我认为是的。我认为如果我们能达到 AGI，我们可能也会很快达到真正超人的东西。>> 太好了。下一站，AI 不会构成物理威胁。>> 也是 1%。>> 所以，如果它有足够高的智能，它显然可以对我们构成物理威胁。>> 是的，我认为如果有一个超级智能系统想要我们死，它会找到办法的。>> 嗯。我同意。好了，下一站是智能带来道德善。>> 我把这个放在 30%，但我就是非常不确定。它更多的是一种哲学立场，而不是目前可以真正经验性地检验的东西。>> 嗯，我是在 2%。所以，这是一个实质性的分歧。我我甚至看不到任何合理的理由，为什么使用，比如说，强化学习来编程的 AI，对吧？它是用强化学习训练的。为什么它只会学到被强化的东西？嗯，如果你相信道德实在论，那么就存在一个客观正确的道德，一个超级智能的生命可以发现它。然后，如果它在训练中确切地知道，是的，这就是道德，>> 对吧？>> 那么也许你对道德实在论不确定，对吧？你给了它一个机会窗口，也许它是真的，这就是为什么你不确定。>> 正确。>> 所以对我来说，道德推理，道德实在论显然是错误的，因为我的意思是，除非你只是想说存在一个柏拉图式的道德，但它在因果上是无效的。它只是存在，但你永远无法知道它在那里，因为知道它在那里会让你自己卷入其中，而它在因果上是无效的。所以，只有上帝知道，但那时，它就变成了一个无意义的概念，对吧？有什么联系？一个人如何通过因果关系，一个由原子组成的人如何物理地与这种道德现实互动？那怎么运作？>> 我认为这是非常合理的。呃，如果我想偷换道德实在论的立场，我可以这样说，你看，地球上那些不太聪明的生物似乎根本没有道德。它们只是做符合自身直接物质利益的事情。即使在更原始的人类社会中，道德基本上也围绕着，你知道，对我的家人或我的部落有什么好处。似乎随着我们变得越来越聪明，拥有更先进的道德体系，我们得到了像道德普遍主义这样的东西，它仍然是真的，无论你是谁，无论人们在截然不同的情况下，拥有截然不同的自身利益，仍然可以达成一致，好吧，但这是一个道德行为。也许如果你继续扩大智能，你就会发现更多的共识。所以，公平地说，我认为很多听众，很多人，甚至斯科特·萨姆纳，他显然非常聪明，你刚才说的话让很多人觉得你说得有道理，尽管从我的立场来看，显然不是。就像，我感觉非常自信，你知道，这就是为什么它会有 2% 和 30% 的区别。所以，只是为了重复我听到的，你基本上是在说，我相信有一个趋势，比如更聪明的人和更聪明的动物似乎表现得更道德，一个可能的解释是，它们以某种方式与宇宙中使它们变得道德的根本事物互动。它们建立了因果联系。所以，比如它们的神经元基本上有一个物理连接，就像某种物理定律说大脑中的神经元可以接入道德推理。我的意思是，你到底在做什么，好像你的观察到的更聪明的人更道德与宇宙本质上拥有道德的假设之间存在联系？但我的问题是，连接的机制是什么？>> 试着思考我该如何解释。再次，我的背景不是哲学，所以我确信其他人可以更好地解释这一点。但我认为，如果你真正理解了感知性以及它给人们带来的感受，你可能就会本能地认为，好吧，感知性生物应该受到善待，不应该遭受痛苦。而且，如果你理解了每个感知性生物感受的强度以及它们的数量，你可能会达成一个更接近于此的道德体系。>> 但你不认为存在一些聪明得过分、享受看人死亡和折磨的少数精神病患者吗？所以，这些人的存在，难道不意味着你也可以得到一个同样精神病的 AI，而且没有办法解决，对吧？就像精神病患者不会有一天醒来说，“哦，我错了。我来改变。”他们一生都是精神病患者。>> 当然。我认为这很可能是真的。事实上，我认为这比不更可能是真的。我只是，我认为相反的，你知道，更有可能的是，AI 将总体上倾向于善。我会把这个概率定为 30%。>> 所以听起来你区分了强正交性理论和弱正交性理论。听起来你很支持弱正交性理论，该理论认为，在算法空间中，存在像人类精神病患者一样但更聪明的算法。就像一个任意聪明的精神病患者。这种算法确实存在，我们之间唯一的争论将是强正交性理论，即我们有多大可能去挑选出这种算法。>> 是的，当然。你知道，在地球上最聪明的人中，可能有 95% 以上的人通常是道德和正直的人，而不到 5% 是精神病患者。所以，我认为，如果你拥有这个超级智能的 AI 系统，并且道德实在论也是真的，那么，或者在某种意义上是真的，那么就有 95% 的机会 AI 会做它知道的道德上正确的事情。>> 好的。如果你看看为什么人类群体中存在精神病患者，我认为可以很有说服力地断言，它们存在是因为这种博弈论的解释，就像如果你玩囚徒困境，你知道以牙还牙是一种好的策略，你与合作者合作，否则就背叛。但一旦你拥有一个非常愿意最初合作的人群，就会出现另一种策略，你可以通过与他们玩一次性游戏然后更多地背叛来稍微利用他们。这就是为什么你会得到一小部分精神病患者。就像他们在没有太多精神病患者的社会中表现良好。所以，你难道不认为这将是一个非常有说服力的解释，为什么第一个 AI 可以上线，然后就可以为所欲为，把我们扔进垃圾堆吗？>> 这可能是真的。嗯，再次，我不是进化心理学专家，但我感觉如果这是唯一的原因，那么我们实际上会看到比我们实际看到的更多的精神病患者。我们会看到更多的人可能表面上假装关心道德，但实际上他们只是精神病患者。>> 我认为博弈论的逻辑是，我不是这方面的专家，但一旦精神病患者太多，你就会得到一个低信任度的社会。所以人们会更严格地检查你第一次是否愿意合作。但一旦信任水平变得非常非常高，那么一个天生就没有道德约束的人就会做得更好。现在，别误会我的意思，我实际上认为，如果你是一个精神病患者，而且你不是非常聪明，你最终可能会被抓住，并最终在人们心中留下不好的印象。所以，成为一个成功的精神病患者并不容易，但一个种群中精神病基因频率的最佳数量是一个小数目。我的意思是，我觉得这很有说服力，因为我的意思是，你可以总是把它推向极端，对吧？你可以想象一个非常非常高的信任度，高信任度创造了巨大的价值，但同时你增加了精神病患者进来利用它的动力。所以，这似乎对我来说很有道理，作为一种均衡。而且请记住，我之所以提到这一切，是因为当你观察人类群体中人们的道德倾向的统计数据时，请记住，统计数据很大程度上来自于这些博弈论策略，对吧？而且，特别是 AI 将比人类精神病患者更强大。所以，AI 并不真正依赖于人，就像精神病患者仍然需要其他人来帮助他一样。>> 好了。好了。再次，这不是我非常坚定的信念。我认为你可以有说服力地把我劝到 20% 甚至 15%，即智能带来道德善。我只是认为它比你认为的要合理得多。这可能是播客一年历史中第一次有人说，“你知道吗？我将显著更新我的一个信念概率。”哇，为你鼓掌。>> 嗯，我警告你，直到我这样做，我想和那些非常支持 um >> 当然，>> 你知道，智能带来道德善的人谈谈，然后看看他们的论点是否更具说服力。>> 是的。我的意思是，只是为了让你知道，对吧？从我的角度来看，这几乎不是一个问题，因为这种道德的整个概念，我们有一个因果解释，它如何进入我们的大脑，对吧？就像当我们反思我们为什么有道德时，这真的不是神秘的。就像我们可以解释，你知道，非零和动态。如果我每次给你一美元，我都要损失一美元，对吧？如果不存在互利的交易，那么我们就不会进化出道德，我们会变得不那么道德。当你把人类置于所有交易都是纯粹零和的境地时，你很快就会发现他们学会了不慷慨，对吧？所以，我们可以看到导致我们称之为道德的均衡的压力。从我的角度来看，要说“好吧，没有这些压力，你就得不到我们熟悉的道德”，这并不是一个很难的反事实。就像我甚至不明白为什么有些人仍然坚持认为智能带来道德善。但是的，我的意思是，这只是我，对吧？我们，我想我们已经把死马打死了。>> 是的，我认为我们可以继续。好了，末日列车的下一站。我们有一个安全的 AI 开发过程。所以，我把它放在 20%，但我想澄清我的意思。嗯，因为陈述本身，我认为有点不清楚。所以，我基本上重新解释为说，好吧，假设一个不匹配的 AGI 出现，并试图接管世界，我们能否及时阻止它？对吧？>> 而这与 AI 公司是否负责任是不同的问题，我认为任何关注新闻的人都可以告诉你，那不是真的。但即使是一家不负责任、在 AI 安全方面偷工减料的公司，也可能设法渡过难关，并在出现不良 AI 时阻止它。>> 对。对。对。所以，安全的开发过程可能只是让所有不同的公司做他们想做的事情，监管最少，然后注意到他们失控了，就命令他们关闭。即使是这种过程，即留意他们并命令他们关闭，也许也是一个足够安全的过程，如果事情没有失控的话。>> 是的。>> 是的。我的意思是 20% 似乎有点乐观，但我认为这并不疯狂，对吧？我认为这是一个存在重大未知未知数的领域。就像，我的意思是，即使你说了 15% AGI 不会很快到来。我认为我们必须允许这种尾部风险或尾部机会，就像，你知道，事情只是放缓并变得舒适。我的意思是，在某种意义上，我们很幸运，即使在过去几年里，它也处于这个阶段，你知道，它没有花费很长时间。就像，至少我们有几年的时间来观察它的发展，这已经比我们最坏的恐惧要好。所以，也许它只是需要很长时间，我们可以变得害怕并阻止它，事情就不会太快。所以，我同意你的观点。20% 并不疯狂。我没有太多异议。你同意我，它不像关闭按钮那样自然吗？就像，你知道，就像尼尔·德格拉斯·泰森说，“我不害怕，因为我可以开枪打 AI。”我认为这没有意义，对吧？>> 是的。知道这没有意义。它会比这复杂得多，而且更复杂，这就是为什么我不认为它会奏效，但我想这是可能的。>> 我的意思是，我自然地将其与计算机病毒进行比较，以便消除关闭按钮的直觉，对吧？病毒有关闭按钮吗？如果它被明确编程进去，是的，但那些关闭按钮经常会出问题。>> 是的，我同意。>> 好了，末日列车的下一站。AI 能力将以可控的速度增长。>> 嗯，同样不完全清楚这句话是什么意思。我只是把它和上一站合并了。>> 然后说，>> 是的，>> 如果发生什么坏事，我们将能够管理它 20%。>> 没错。我应该为观众澄清一下，当我把末日列车上的站点分开时，我不认为我做得如此精确，以至于你可以将它们视为严格数学意义上的独立事件，然后将它们相乘。我只是不认为它会那样运作。如果真的那样就好了。也许 AI 可以非常擅长分解复杂的现实。但我怀疑它们不会有 11 个站点，就像我一样。它们会有 11,000 个站点。就像它们会真正形成一个密集的图。是的。>> 条件是你以这种非常具体的方式按这个非常具体的顺序完成了这件事，接下来会发生什么。>> 没错。我认为这就是我们从真实大脑如何工作中学到的，对吧？就是它们有如此多的神经元，可以模拟如此多的不同事物，以至于你无法打印出一个简短的摘要。而这才是真正的推理是如何完成的，对吧？这就是我们从这些大型语言模型拥有如此大规模的常识中学到的。好了，好吧，让我们继续吧，因为我们确实在谈论 AI 能力以可控的速度增长，当我们谈论其他站点时。好了。那么，让我们继续讨论 AI 不会试图征服宇宙。>> 所以，我现在把它定为 25%，之前是 50%。特别是，我把它分成了三种可能性，为什么 AI 不会试图征服宇宙。>> 第一种可能性是 AI 根本不是真正自主的。它没有任何内在的动机或目标要追求。可能性 B 嗯，是它有目标，但这些目标默认只是与人类目标保持一致。>> 然后可能性 C 是它的目标是我称之为非扩张性的，它想做某事，或者也许控制宇宙的一部分，但我们会让宇宙的其余部分保持原样。我同意 AI 完全会是自主的，因为我们今天已经看到了。对吧？>> 是的。我把它定为 2%，它不会是自主的。嗯，是的，在我看来这似乎微不足道。>> 对。对。对。而且，以你的第三点为例，不匹配但非扩张性的想法。即使是 8% 对我来说也似乎有点乐观，你认为有 8% 的机会我们可以以这种方式逃脱。但我的意思是 8% 足够低，以至于很难挑剔。让我们专注于第二点，你认为有一个非常重要的希望，即默认情况下 AGI 将与人类利益保持一致。所以，好的。>> 是的，我现在把它定为 15%。嗯，大约三周前，我把它定为 40%。但后来我读了 Anthropic 的自主不匹配论文，我心想，>> 是的，这已经反驳了我将要提出的许多论点。所以，读完之后，我降到了 15%。>> 很好，你更新了。所以，我的意思是，你显然不是意识形态化的，你实际上是在试图平衡一个心智模型。这实际上是理性主义和贝叶斯推理的关键学习之一，一个智能代理，一个理性代理。你进入世界，你总是在跳这种舞，就像武术一样，证据不断涌入，你不断尝试跳出与涌入证据相符的正确步骤。这就是你做到的，对吧？你不应该期望带着这种不变的世界观横冲直撞。所以，为你鼓掌。>> 是的，我认为有些人一开始就有一个先入为主的观念，即默认的对齐完全不可能，接近 0%。嗯，出于 Yudkowski 在 20 年前给出的一些原因，我一开始就认为，嗯，默认的对齐很可能是真的。嗯，只是因为我不认为有什么先验的理由为什么不应该这样，但然后我们实际上已经看到，你知道，人们正在测试越来越先进的 AI 系统，是的，实验上我们已经看到它们确实不匹配。>> 现在有一种方式，我将把它与你如何处理它区分开来，因为我在末日列车上的下一站是超级对齐是一个可处理的问题，当你谈论对齐时，我认为这与我谈论超级对齐是一回事。我们只是在谈论重要的对齐。不是像，“哦，AI 的对齐是我做的，不要说脏话。”那不行，我们关心的是当它超级智能时，它实际上对宇宙做什么的对齐。那么，你难道不认为 AGI 将与人类利益保持一致吗？难道你不应该把这个概率放到下一站，而不是 AI 不会试图征服宇宙这一站吗？先生，我认为我区分了 um >> 默认对齐，即，除非付出非常集中的努力来对齐 AI 系统，否则它们基本上会与我们想要它们做的保持一致。然后第二个问题是，好吧，即使它一开始默认不匹配，如果我们投入足够的精力和资源和思考来对齐它，我们能做到吗？>> H 我明白了。所以你把它分成了默认对齐和非默认但我们解决了它。>> 是的。>> 啊，我明白了。这是一个有趣的区别，对吧？就像，如果我们不尝试，它会保持一致吗？然后，好吧，也许它不会，但然后如果我们尝试。好吧，我明白了你的意思。所以你这样划分了。是的，我的意思是，这是一个合理的划分。好了。你现在已经把它降低到 15% 的概率，即它将默认对齐。好的。我的意思是，这已经进入了低范围，我不需要太多争论。那么，关于超级对齐是一个可处理的问题，末日列车的下一站。你仍然是 20% 吗？>> 是的，我仍然是 20%。>> 我的意思是，我认为这是合理的。我当然认为如果我们可以尝试很多次，它就会是可处理的。就像，如果我们能保存宇宙的状态并重置，然后说，“哦，让我再试一次对齐它，一遍又一遍。”就像最终我们会做对。它只是让它危险的是，你一次过于自信，然后就像游戏结束一样。>> 是的，这是原因之一。事实上，我甚至不确定如果我们有很多次尝试，我们是否能做到。就像它可能是一个完全棘手的问题，如果一个不那么聪明的物种试图对齐一个更聪明的物种，那根本不可能奏效。>> 嗯。是的，我不会和你争论太多，但让我们继续下一站。一旦我们解决了超级对齐问题，我们将享受和平。>> 嗯，那大约是 80%。那是基于嗯，嗯。我倾向于把它定得更高，但>> 哇。所以你真的认为，如果我们只是拥有，任何人都有能力使用一个与他们对齐的 AI，那么你认为大家使用他们的对齐 AI 的平衡将足够和平？>> 大致如此。>> 是的。我的意思是，在那之后当然很难推理，因为我个人是，哇，那已经比我希望的要好。对我来说，显而易见的论点是我们不会有和平，因为每个人都把它建模成，每个人都拥有这个魔杖，他们基本上可以说出结果的状态，然后，呃，弹指一挥间，结果就发生了。但它有点像这个精灵，它说，好吧，你得到了你想要的结果，但你知道，我没有，当它帮助你的时候，也许这是问题的前提，但当它帮助你的时候，如果它不关心其他人，当它帮助你的时候，当你实现你的愿望时，你就把其他人搞砸了。>> 我的意思是，这是可能的。我认为我们也许可以避免这种情况的一种方式是，比如说，有一个非常巨大的 um AGI，比如说由美国政府控制，那个 AGI 基本上只是监督所有人，你被允许拥有一个为你做任何事情的个人 AGI，除非它，你知道，对别人产生负面影响，在这种情况下，更大的 AGI 会介入，你知道，做政府总是做的事情，它会调解人际争端。对。所以，我同意在一种情况下，比如 Anthropic 领先，解决了超级对齐问题，并说，“好吧，我们将拥有这个单一实体。它将统治世界，但它将是一个客户端-服务器模型，它将响应每个人的请求，并平衡每个人的优先事项，这就是天堂的样子。它将是这种计算机分时模型的天堂。”这实际上是可能的，假设 AI 真的理解了拥有一个繁荣的天堂的含义，并将其分发给每个人。现在，对我来说更可怕的部分是，想象一下美国拥有一个这样的高度对齐的超级智能 AI，然后假设中国拥有一个这样的对齐的超级智能 AI。但如果美国说，“嘿，超级智能 AI，你认为我们可以仅仅获得对中国的统治权吗？”它可能会说，“嗯，现在你们领先一点。我实际上比他们的 AI 更强大、更聪明。”所以，是的，我实际上可以发动一次打击，并永久地为美国控制未来。这就是为什么我对“一旦我们解决了超级对齐问题，我们将享受和平”不确定，对吧？我认为任何不对称都会造成巨大的不稳定。>> 我的意思是，我认为你描绘的场景，即存在多个竞争的 ASI，它们的力量大致相等，并且它们之间的战斗需要大量的努力。就像在我看来，这似乎是一个非常微不足道的可能性。我只是认为，呃，第一个最先进的 ASI 将完全接管，并且完全能够消灭任何竞争，你知道，控制它的人将能够设定宇宙的进程。这是一个关于事情将如何发展的有趣猜测，对吧？所以，想法是，如果我们和中国，我甚至不知道还有哪个国家，沙特阿拉伯，欧洲，正在迅速接近，要么是美国领导的 ASI，要么是中国领导的 ASI，要么是一个完全不匹配的 ASI。这三者中的任何一个都比竞争性 ASI 的可能性大得多，对吧？因为想法是，如果很多人拥有自己的超级强大的 ASI，而它只关心他们或他们的国家，而不是其他国家，即使在这种情况下，你也会很快出现一个领先优势，这个优势将变得永久占主导地位。然后，在这种情况下，对齐的 AI 会知道获胜的国家稍微关心其他国家，所以它不应该去折磨其他国家。然后我们就幸福地生活在一起。有些人比其他人更幸福，但我们都相当幸福。>> 是的，大致如此。>> 是的。我的意思是，我确实觉得这很有可能。就像我个人，我的主要担忧是，我认为一旦 AI 起飞并递归地自我改进并变得无法控制，全人类将在不久的将来被抛在后面。所以，我甚至不认为我们会以这种酷的方式失败，就像我们中的一些人拥有一个有用的 ASI，然后就会出现混乱。>> 是的，我的意思是，再次，这是以对齐的 ASI 为条件的，>> 对。没错。没错。好的。非常公平。所以你认为一旦我们解决了超级对齐问题，我们将享受和平，概率是 80%。对我来说似乎有点高，但你已经解释得很合理了。让我们继续，不匹配的 ASI 会拯救我们。>> 那是 1%。我认为那只是在自我安慰。>> 是的。是的。是的。是的。我同意。但你知道，即使是自我安慰，我的节目中也有很多人，我认为迈克·伊塞尔特是最值得注意的嘉宾，他说，想象一下你有一个只关心自我保存的 ASI。它仍然会想研究我们。它不想打扰地球上 80 亿人类。而你却说，该死，不行。对吧？>> 是的。不。>> 好的，我同意你。嗯，让我们继续。好的，这是我末日列车上的最后一站，即 AI 末日主义是糟糕的认识论。>> 所以，对于这一点，我说几件事。某种程度上。是的。就像，我们中的任何人都很难理解这一点。很难知道到底谁是这方面的专家。事实上，预测 AI 的未来需要很多领域的专业知识，而似乎没有人是所有这些领域的专家。嗯。>> 而且，预测任何事件的未来都相当困难。嗯，而且，对于其中一些问题，我们已经开始能够经验性地检验它们，但对于许多问题，它仍然完全是推测性的。所以，我只是不太看重任何人的能力来预测未来。所以我同意你，预测总的来说是困难的，而且很难对复杂的事情有 90% 的把握，甚至 60% 的把握。但这并不意味着它是糟糕的认识论，对吧？就像使用预测市场，然后说，嗯，我想知道战争爆发的概率是多少，或者那场战争会爆发。我不知道。很难知道。这并不意味着尝试预测是糟糕的认识论。那些认为它是糟糕认识论的人，他们说，你永远无法预测世界末日。任何末日论者总是错的。就像你必须是一个乐观主义者。我的意思是，这些都是攻击认识论本身的论点。当我说的，你知道，就像 AI 末日主义是糟糕的认识论一样，AI 反末日主义也是糟糕的认识论，原因完全相同。就像说它会发生或不会发生，你遇到了同样的问题，因为预测这些事情非常困难。所以，我我不认为这会让我更新任何一个方向，>> 对吧？嗯，好的。我的意思是，这是我吹毛求疵，但你的认识论运作方式和你宣称的推理类型是否有效，与对实际信念的分歧之间存在区别，对吧？就像对象级别与元认识论级别。我认为你和我都在同一页上，即预测的认识论就像预测任何事情一样，用于预测末日是完全可以的，而且很正常，对吧？我认为你和我都在同一页上。我们可以只是在，嗯，谁在预测末日方面做得更好方面存在分歧。>> 我同意。>> 好的，太好了。是的。所以，你并没有真正从认识论这一站下车。你只是，你只是从其他一些站点下车，这些站点是关于，嗯，实际的对象级别信念，其中一些得到了很好的支持，因此你没有非常高或非常低的 P 末日。所以，提醒我们，你的 P 末日最终是多少？所以，好的。如果你真的把所有这些数字乘起来，而此时，嗯，你可以展示我制作的流程图。如果你把所有这些数字乘起来，它显示我的 PUM 大约是 38%。这并不像你认为的 Poom 那样不寻常。>> 对。是的。我的意思是，38% 完全在我称之为理智区域内。我很高兴任何说从 10 到 90 之间的人。就像，是的，差不多了。我从，比如说，20% 到 60% 的人那里看不到太多价值。就像，是的，随便吧。当我说是减去 50 时，我不认为 PDoom 是 40% 的人是愚蠢的，对吧？如果有什么的话，我可能比他们更愚蠢。我不知道。我只是认为有人说他们的 PDM 是 4%。我强烈怀疑他们实际上是在犯傻。所以，这是我们主要的区别，就像这是我从第一原理进行的内部视角尝试，以制定我的先验信念关于 P Doom，就像，如果我独自一人在一个没有其他人际网络或历史事件记录的房间里，这就是我得出的数字。但我认为有几个因素，我会将这些因素应用于那个 38% 的数字，然后将我大幅度地降低。嗯，我在我的博客文章中列出了三个。第一，人类不会被可怕的新技术所毁灭，这是一个普遍的启发式方法。你知道，因为过去有很多人在不同时期预测过末日，而所有这些过去的末日预测都没有实现，这给了我一些理由，虽然不是非常强的理由，但有一些理由来降低我的 PDoom，而不是它本应是多少。>> 然后比这更重要的是，超级预测者认为我们会没事的。就像，当被问到 PDoom 是什么时，超级预测者给出了非常低的数字，我相信。嗯，我凭空想，但大约是，你知道，到 2100 年，AI 末日的平均超级预测者估计是千分之一。>> 是的。嗯，我可能对此有异议，但也许你可以谈谈你想要应用的第三个基本因素。>> 第三，领先 AI 公司和政府的内部人士似乎认为我们会没事的，至少从外在迹象来看是这样。我知道这有点棘手，因为显然他们有动机。你知道，在一家领先的 AI 公司，你有动机掩盖末日或忽视问题。但我仍然认为，你知道，在领先的 AI 公司工作的人不是自杀的。如果他们真的认为，你知道，AI 末日很可能发生，那么他们就会说出来，他们就不会像现在这样匆忙。>> 好了。嗯，所以这些是你的三个因素。再次，很高兴你这样推理。你知道，任何时候你都能让你的推理变得清晰，以便我们能够审视它，我认为这是一项富有成效的练习。我必须说明，就像末日列车上的站点不像独立事件那样直接相乘一样。不幸的是，你无法进行简单的数学运算，因为如果可以的话，那将是很好的。同样，当你引入这些额外的基本因素时，对吧？你正在引入走私大量的数学假设，对吧？你正在说，好吧，这些是独立的基数因素，而且它们也是我们唯一需要考虑的基数因素，因为，你看，让我加入一个基数因素，对吧？地球定期发生灭绝怎么办？>> 我不会说定期，你知道，每隔几个>> 有六次。是的。但每次出现有趣的事情时，就像，每当发生某种全球现象时，它都有可能与灭绝有关。例如，当大气层变成富氧时，我认为这导致了一次灭绝。>> 我的意思是，这肯定会让我更新，你知道，出于某种原因，人类可能在未来一千年内灭绝，但人类将在未来 20 年内因这个特定原因而灭绝。这对我来说似乎不是特别有力的证据。所以，你知道，我的元观点是，你选择了这三个基本因素，然后你只是把它们都扔进了炖菜里。但我敢打赌，如果你和我一起头脑风暴一段时间，我们可能会想到其他东西扔进炖菜里，这会让你重新计算。所以，这个想法，让我想到几件事扔进去然后相乘。你知道，也许这比什么都没有好。这是一个有趣的练习，但它不会产生一个你可以信任的答案。正确。>> 我的意思是，我同意。我非常不确定我的预测。就像，如果我给我的 POM 加上 95% 的误差范围，那么 95% 的误差范围将从可能是一千分之一到 80% 或 90%。嗯，我只是认为，就像，我不是故意选择这三个因素，因为我想把我的 PDoom 降低一个数量级。只是我认为这些是我认为最相关的因素，我会在我最初的 >> 如果你暂时忘记数学，对吧？就像，你已经完成了分析，你训练了你的大脑拥有所有这些考虑因素，它们已经在你的神经元中开辟了路径，现在只是闭上眼睛，让你的直觉做出回应，在综合了所有东西之后，你的直觉 PDoom 是多少？>> 嗯，我的直觉 PDoom 是 3%。>> 嗯，这很有趣，你，你知道，把你的 38% 然后应用那三个 B 因素，得出的最终结果与你的直觉反馈一致。>> 我的意思是，这绝对很有趣，而且，我完全可以理解，从你的角度来看，哦，我只是在进行有动机的推理，以，你知道，给出一些理由来解释我以前相信的东西？嗯，但我认为实际上因果关系是相反的，我已经在思考这些 B 因素，这就是为什么我的直觉是 3%。>> 对。好的。是的。我的意思是，这足够了，就像，有可能你实际上已经阐述了你直觉的组成部分，或者，嗯，这些组成部分的一个很好的近似。所以，让我来处理那些特定的 B 因素，因为我认为我已经触及了，就像，我们可以混合到炖菜中的其他因素太多了。所以，你必须确保你选择了所有重要的因素。但让我们一个一个来，也许这是我的另一个论点，我不同意这些个人因素。所以，就像，当你说的，人类不会被毁灭，这是一个很好的历史启发式。所以，我的问题不是它错了。我的意思是，显然它是对的。所以，所以一个问题只是选择论证或人类学论证，就像，我们怎么可能处于一个可以这样说的位置，哦，是的，灭绝事件经常发生，对吧？我的意思是，我们只能看其他证据。我的意思是，我不知道多重宇宙理论是否为真，但就像，完全有可能我们只是生活在一个不太可能的多元宇宙中，或者多元宇宙中一个不太可能的宇宙，人类活到了 2025 年。实际上，在同一个多元宇宙中有许多宇宙，我们在很久以前就灭绝了。所以，这是我三个基本因素中最不强的。如果你想把某件事当作基本因素，而顺便说一句，我认为当你说的基本因素时，我认为这基本上是似然比或赔率比的概念，对吧？所以，就像，如果，为了精确地说，就像，如果你有两个相互竞争的假设，而观察到的证据在一个假设 2 为真的世界中比在一个假设 1 为真的世界中更可能三倍，那么你就可以将你当前的信念赔率比乘以三。就像，这实际上是一种直观的贝叶斯方法，你确实可以乘以这些因素，而且数学实际上有点简单，听起来你似乎在引入这些乘数时也转向了类似的数学，对吧？>> 当然。特别是我的基本因素，人类不会被毁灭是 .75。所以，就像，无论我直观上认为人类会灭绝的几率是多少，我只是把它乘以 75，说，好吧，这个启发式方法说它可能不会。所以，如果你把我们还没有灭绝当作一个证据，你必须确保它确实是一个证据。也就是说，在一个人类将在 2027 年灭绝的世界里，在这种世界里，你会观察到什么导致 2027 年，然后在一个人类在 2027 年之后很长一段时间内不会灭绝的世界里，在 2027 年之前世界会是什么样子？在这两个世界里，你难道不还是会观察到，嘿，人类以前从未灭绝过吗？>> 是的。是的，你说得对。我认为，好吧，我可能错误地称之为贝叶斯因素，因为那不是恰当的贝叶斯推理，但我仍然认为我应该在我的分析中考虑它。总有一种方法可以窃取这一点，对吧？就像，你知道，每天我们都醒来，我们还活着，而我们很少会说，不，你明天肯定会死。但我的意思是，这种逻辑的问题是，就像，你知道，想象一下你刚被判绞刑，而你的绞刑日期是明天，对吧？所以，就像，在某个时候，你必须忽略这种逻辑。>> 我同意。我同意，也许你知道，你已经说服我把它提高到，我不知道，08 或 0.85 而不是 75。>> 好的。但我仍然认为值得考虑。>> 这是寸土必争。好了。所以，下一个是，超级预测者认为我们可能会没事的。所以，这总是很有趣的，对吧？因为我们知道，在许多领域，超级预测者，这是一种真正的技能。就像，你必须尊重超级预测能力。所以，如果有人来找我说，嘿，超级预测者一致同意或几乎一致同意 PDoom 就像超级低，就像你说的，只有 0.12%。我很难忽视这一点，对吧？而且我不想随意忽视超级预测者。然而，我认为对哪些超级预测者群体在何时这样做存在怀疑。所以，有一条 Max Techmark 几年前的推文，他说，“世界上最好的预测小组之一，Samvveetti。”这有什么意义吗？>> 是的，它有。>> 好的。所以，这是一个预测小组。他们刚刚估计 AI 灾难的几率是 32%。如果监管得当，则下降一半。所以，可能低至 16%。所以，不是所有超级预测者小组都一致同意，对吧？我的意思是，这是公平的评估吗？我想花一些时间阅读这篇特定的论文，因为这对我是新闻，而且，如果真的如此，那么实际上有一大部分超级预测者相信 AI 末日，或者我们一直在引用的一个研究，它是一项 2023 年的研究，他们召集了一群超级预测者，他们的平均 PDoom 是 0.12%。但如果，我的确发现了证据，表明该研究只是超级预测者群体的一小部分，或者即使是那些超级预测者在过去两年里也更新了他们的 PDoom，那么我将根据这一点大幅改变我的想法。>> 是的。我听到的另一件事是，你知道，所以我并不认为自己是关于这些超级预测者在想什么的权威。所以我持开放态度，就像我应该更新得更像超级预测者一样。但另一件事是，我听说，许多这些超级低的预测是在 ChatGPT 革命之前做出的。是的，这是真的。而且，我不会超级信任任何在 2023 年中期之后做出的预测。>> 是的。好了。所以，我们先搁置一下。我的意思是，你看，我们，听起来我们都愿意被说服，就像，我认为我们俩都，我们俩都受到理性的约束，就像通过实际纳入证据来服从一群深思熟虑的 um 超级预测者。我想我还没有去研究 um 官方超级预测者的原因是因为我觉得我在社交媒体上关注了足够多的人，特别是 Twitter，在那里我觉得我听到了很多观点，而且我觉得我们完全不是末日。末日低于 1%。我觉得这不像人们的普遍共识，我尊重。它绝对不像那种像一些随机人认为互联网会让人类灭绝的那种疯狂的末日预测。这实际上是一大部分专家，那些人，他们可能已经离开了领先的 AI 公司，那些人，他们对此思考了很多，甚至，你知道，诺贝尔奖得主也说，是的，这是一个非常严重的问题。所以，我不是，我显然不是说这是荒谬的，而整个事情是，因为我认真对待它。我确实想来。
以一种知情的方式得出结论。我猜你和我之间，就像在一个非常元层面上，有一个分歧点，那就是我认为，无论我多么坚定地持有某种先验信念，你知道人类将因为 X 和 Y 原因而注定灭亡。如果这种信念没有得到专家的认同，就像如果有专家一样，如果专家们似乎一致认为那不是真的，那么我认为我有义务大幅度地降低我的总 P 毁灭概率。>> 所以现在你是在谈论那个第三个因素了，对吧？这是第二和第三的结合。就像我认为超级预测者具有一定程度的专业知识，而那些在内部做出决策的人也具有一定程度的专业知识。>> 是的。因为你提到的第三个因素是人工智能开发者和政府高官似乎认为我们会没事的。但这似乎不是我将如何描述人工智能开发者和政府高官的方式。我的意思是，别误会我的意思，他们中的一些人绝对是正确的。就像约恩·昆似乎，他实际上明确表示他的 P 毁灭概率低于 1%。所以，是的，非毁灭论者一方得一分。我的意思是，你还记得你自己提到的吗，人工智能安全中心关于人工智能风险的单句声明，大量的杰出人士，你知道，像萨姆·奥特曼、达里奥·德伊斯、哈比斯，我的意思是，关键人物至少说 P 毁灭概率至少是几个百分点，或者他们说它至少像核战争和流行病的风险一样高，对吧？所以当你描述人工智能开发者和政府高官似乎认为我们会没事的，你的意思可能是他们中的一半人，对吧？不是所有人都这样。>> 所以，我认为值得澄清一下我们在这里的意思。首先，当我提到政府高官时，我指的是情报机构高层官员，他们拥有接触领先信息的特权。我不认为普通国会议员比我更了解 P 毁灭概率。同样，对于人工智能开发者来说，你知道，拥有特权信息的高层人士，了解这些系统是如何运作的。我甚至不确定像 OpenAI 或 Google 的模范程序员是否拥有别人所没有的很好的内部知识。>> 我觉得特权信息在如今的认识论中是一个非常小的因素，因为如果你想想我们今天知道多少，我认为即使在 2023 年，也没有一个人拥有像我们这样没有“特权信息”的人所拥有的优势，对吧？好吧。但即使是世界上最有特权的人，在 2023 年拥有最多情报的人，可能也不知道关于发展轨迹的知识，就像普通人在几年后知道的那样。>> 在某种程度上我同意这一点。嗯，部分原因是我认为特权信息非常重要，因为我们开始听到一些报道，说 AGI 已经在内部实现了。我知道第一次这么说时是一个虚惊一场，但实际上很有可能是这些公司内部确实存在 AGI 或非常接近它的东西。如果你看到这一点，并且看到它实际是如何运作的，我认为这可以在很大程度上告诉你风险是否真实。>> 我认为我明白了你的意思。你基本上是在说，有些人比我们看得更远，因为他们有内部信息，可以接触到这些人工智能公司。你会认为，如果毁灭即将来临，他们会发现它，对吧？就像他们站在船的瞭望台一样。他们会发现毁灭并发出警报。所以有一些证据表明他们没有发出重大警报。但另一方面，在我看来，拥有那种特权信息的人似乎有点惊慌失措。我的意思是，我实际上会喜欢，为了公平起见，达里奥和萨姆·奥特曼，这两个特定的人似乎在淡化灭绝的威胁，但我们确实收到了达里奥的警告，说工作可能会消失。>> 嗯，我认为我的 P 毁灭概率，大规模自动化和失业，要高得多。>> 嗯，我所看到的一切都不能让我信服。所以，我认为这是理性的，要纳入证据，比如，好吧，萨姆·奥特曼、达里奥和德莫斯这样的人，他们不像我在播客上那样大喊大叫。他们不散布恐惧。我认为这很有价值。然后，当然，你应该再做一次调整，就像，他们个人来说，这对他们来说是一个很好的绝望赌注，对吧？因为如果一切顺利，他们将过上美好的生活。如果情况糟糕，他们又能做什么呢？这已经是一场竞赛了，所以他们最好优化这种情况，对吧？所以你已经可以调整一下，看看他们个人的动机是潜意识的还是有意识的。>> 但如果你看看他们的员工，或者看看任何拥有特权信息的人，也许政府也插了一手。我知道政府正在与这些人工智能公司合作。所以，是的，我的意思是，你可以根据没有人像疯子一样跑来跑去大喊大叫的事实来更新你的看法，但同时，如果你看看趋势，似乎担忧的强度正在随着时间增加而不是减少。是的，我同意。而且，如果这种情况继续下去，如果甚至这些公司内部的人也开始担心并开始发出他们担心的信号，那么我肯定会更新那个因素，使其比现在弱得多。但如果这就是全部，我的意思是，我经常听到这样的报道，比如，你知道，一个个体发出信号说他们曾经。我看到的最后一个是梅里的书的评论，你知道，那本书叫《如果有人建造它，所有人都会死》。你看到了像本·伯南克这样的大人物出来说，“哇，这必读。这是一个真正的威胁。”你知道，那个人有一些政府接触。我的意思是，还有其他人。实际上，国家安全顾问也这么说了。>> 就像，我认为本·伯南克的意见在这里并不重要。就像，我最近看到一些非常著名的人物，我忘了是谁了，但基本上，哦，是弗朗西斯·福山最近上了新闻，实际上我的脑海里已经>> 那本书也是，顺便说一句>> 对人工智能的毁灭深信不疑。我认为这是一个可能的情况。>> 嗯>> 但那并没有真正更新我，就像>> 只是给你这些名字。好吧，所以忘了本·伯南克吧。毕竟，他只是一个诺贝尔奖得主经济学家和美国联邦储备委员会前主席。他知道什么？但有 RP Eddie，前白宫国家安全委员会主任，他的引述是，“我希望这不是真的。今天阅读，明天传播，要求制定护栏。我将继续押注人类，但首先，我们必须醒来。”所以，你真的想说你正在降低基础概率，因为那些知情人士没有警告我们要醒来吗？前任，你说的那个，就像，>> 是的。所以，所以他的头衔是前白宫国家安全委员会主任。>> 好的，如果那个人这么说，那确实会让我更倾向于毁灭。>> 哦，太好了。好吧，让我再试一次。好吧，苏珊·斯波尔丁，前国土安全部副部长，她写了一篇评论说，“作者提出了一个极其严重的问题，值得我们真正关注。你不必同意这本书中的预测或处方，也不必是技术或人工智能方面的专家才能觉得它引人入胜、易于理解且发人深省。”好吧，所以也许这不像我有一个 99% 的 P 毁灭概率，但这难道不是你从“好吧，那些知道的人”那里得到的东西吗？我的意思是，如果你使用特权信息论点，那么我从这里得到的是，好吧，没有额外的特权信息说我们比我想象的要毁灭五倍，但也没有特权信息说我们根本不会毁灭。>> 是的。是的，我认为，我认为也许你正在说服我。也许我应该把那个 0.2 减弱到，我不知道，0.4 左右。>> 我的意思是，我认为我的直觉，你是个年轻人，所以也许如果你活得更长，你可能会发展出一种直觉，即“成年人”通常也差不多是在“摸索”对吧？他们使用开源情报。所以，问题是，就像，戈恩这样的人，对吧？就像，阿斯伯格斯，那个在他妈妈地下室里聪明绝顶的宅男。没有冒犯，戈恩。那些人通常，他们实际上可以比官方头衔是国土安全部部长之类的人更有见地，更走在前面。>> 是的，我通常同意这一点。>> 而且，当然，如果论点是，你知道，一群聪明人相信人工智能的毁灭是一个非常严重的问题，那么你不必说服我。就像，我已经深信不疑，一些非常聪明的人，可能比我聪明得多的人，坚信人工智能的毁灭。>> 是的。所以，我只是不喜欢基础因素，你知道，我的意思是。就像，嗯，它只是，你知道，它只是看起来你把它们加上去了，我的意思是，别误会我的意思，我的毁灭列车也是临时的，对吧？所以我觉得也许应该只有一辆毁灭列车，一切都应该是一个站点，我们应该尝试让所有站点尽可能地独立变量，即使我们知道我们会失败，我们至少可以尝试，而且我不认为应该有一个单独的因素类别。我仍然认为应该有，因为再次，给你一个非常不同的例子，我知道它不是一个完美的类比，但想象一下我的先验信念是，你知道，疫苗是邪恶的，如果我注射疫苗，它就会让我长角之类的。我仍然应该，如果我推理得当，在看到专家共识说疫苗绝大多数是安全的之后，我应该仍然从我，你知道的，99% 的疫苗危险的信念更新到低于 10% 的疫苗危险。而且我认为即使是这样，人工智能的毁灭也是一个比反疫苗之类的更可信的论点，但我仍然认为我持有这种信念，即人类将在 10 年内灭亡，而专家们不同意我的观点，我仍然认为，无论我多么坚定地相信这一点，我都应该有一种方法来更新我的信念。>> 当然，当然。是的。我的意思是，关于何时应该听从专家的这种想法，这显然是一个有价值的话题。不幸的是，这是一个复杂的话题，一个有很多争论的话题。我可以告诉你，就我个人而言，根据我的经验，当我感觉我理解了一个论点的逻辑时，在我自己的生活经验中，专家们通常不会给我带来太大的惊喜，就像，别误会我的意思，有时我会更新，我会说，“我的天，理性主义者对，我甚至不知道，比如，我应该吃什么样的饮食，对吧？就像，与主流相比，你只需要遵循所有理性主义者的饮食建议，然后，哦，等等，一些主流建议效果更好，所以我已经来回更新了，但我也从未，如果我能批评逻辑本身，我从未因为不听专家的话而感到完全无知。这是我自己的生活经验。就当它值多少钱吧。我的播客“毁灭辩论”的重点实际上是揭示所谓的专家是谁，并向大家展示，看，每个人都在摸索，或者每个人都在尽力，用一种非常模糊的毁灭列车站点组合来工作。我的意思是，你可以看到我播客上的不同人。当然，我还没有白宫级别的员工，对吧？给我点时间爬升我的播客排名。但我确实有像多伦多大学的戴维·杜韦诺教授这样的超级明星，他与杰弗里·辛顿密切合作，他收集了很多，你知道，不是图灵奖，而是在会议上获得最佳论文奖。像那样的人，他充满了资历，他基本上说我的毁灭列车站点是可行的。就像，我再次，我不是否认，就像，有很多非常令人印象深刻的专家级别的人同意你的观点。我只是，我仍然认为，如果我们真的要赋予任何人专业知识，那么我认为最相关的人是 a 超级预测者，b 目前拥有特权信息的人，比如目前在高层国家安全部门和领先的人工智能实验室高层工作的人，而那些是我最会印象深刻或最愿意改变主意的人，如果我听到他们不同的报告。>> 嗯，我认为人工智能行业从业人员的调查似乎显示，其中位数 P 毁灭概率大于 10%，这是一个非常重要的证据。特别是当你考虑到，你知道，这些人会被选择并被激励去乐观。我的意思是，他们真的有数百万美元押在乐观主义论点上。>> 是的。>> 那是公平的。我想说的关于我的播客的另一件事，你知道，看伊瓦加斯剧集的人，我这样做是为了向人们展示，不仅有像戴维·杜韦诺这样的超级明星说，“是的，毁灭论点是可行的。”然后我做所谓的“借用信誉”，对吧？就像他们，就像它从他嘴里说出来的，不是我的。好吧？我只是主持人。>> 另一件要注意的事情是，当你看看所有非毁灭论者，他们中的一些人非常聪明。我的意思是，你知道，罗宾·汉森教授，斯科特·萨默教授，还有更多教授在路上。>> 嗯，你知道，加里·马库斯，所有这些不同的人，他们都是聪明的非毁灭论者，但你可以看到他们不同的非毁灭论论点甚至不一致。所以，即使是非毁灭论，它也不是像有一个单一的规范专家非毁灭共识，对吧？与，你知道，疫苗有益的共识相比。就像人们在同一页上。就像，嗯，它有助于你的身体，你知道，抵抗感染，对吧？它就像一个更底层的模型。>> 我实际上非常好奇，那些不相信毁灭的超级预测者，他们是否都对为什么毁灭不太可能持相同看法？我的意思是，如果他们中的三分之一认为 AGI 根本不会很快到来，然后三分之一认为它很快就会到来，但它会被对齐，然后三分之一认为，好吧，它很快就会到来，它默认不会被对齐，但通过足够的对齐努力，我们可以让它奏效。如果，就像，那是一个如此鲜明的区别，以至于他们实际上并没有太多意见一致。那可能会降低我信任他们的程度。>> 是的。所以，你完全没有那种团结。那实际上是我开始播客的原因。我把它命名为“毁灭辩论”。我最初打算把它命名为“毁灭列车”，因为我想强调它不是一个双向的事情。它不是毁灭与非毁灭。它是一整列火车。所有这些小论点，人们都在四处下车。是的，我的意思是，它只是，你知道，我只是不会像你的基础因素似乎那样来表述它，就像，嘿，专家告诉我们不要担心。就像，嗯，看看我的播客，看看专家们在说什么。你可能会得到不同的想法。>> 所以，好吧，我告诉你一件事，那就是，在我们交谈的时候，我已经在脑海里想了，是的，也许我的 B 因素比它们应该的要强。>> 所以，我把 75 更新到 8，2 更新到 4，6 更新到 7。在我这样做之后，我的 P 毁灭概率从 3% 上升到 8%。所以，我认为你可以赢得一些胜利，就像，好吧，你更新了我的 P 毁灭概率，比它之前高了 5%。>> 太棒了。是的。而且，你知道，从，它实际上，一般来说，分析这些作为赔率比而不是百分比概率更有用，因为从 3% 到 8% 的跳跃感觉像是 5%，但实际上是从大约 33 比 1 的赔率，现在我们下降到大约 13 比 1 的赔率。>> 当然。这是巨大的，对吧？这相当于从 50% 跳到 90% 以上，或者，你知道，类似的东西。>> 就像一个巨大的飞跃，对吧？可能是 40% 的飞跃，也许超过 80%。>> 所以我们必须从赔率的角度来思考。现在你达到了 8%，我非常感激。我的意思是，我认为这可能是你和我谈话后最有意义的更新记录，从 3% 上升到 8%。而且我愿意让你进入我所谓的“理智区”。我通常说它是 10% 到 90%，但我愿意给你一个宽限期，或者你称之为，就像，误差范围，只要你超过 5%，我就会认为你基本上处于理智区。只是当你查询你的直觉时，你的直觉仍然在反抗。它仍然是 13 比 1 的赔率，我们不会灭亡。它不像稍微灵活一点。就像我的直觉非常灵活。>> 但是的，就像，只是我的直觉。>> 即使在考虑了我们刚才谈论的所有事情之前，我的直觉仍然是，是的，大约有 5% 的几率我们会灭亡，95% 的几率我们会没事的。95%。所以是 19 比 1，因为，正如我所说，当你把它说成 19 比 1 时，它似乎更极端，对吧？所以就像我的 19,000 美元对你的 10,000 美元，对吧？如果我们打赌，那实际上是你的 19,000 美元对我的 10,000 美元，对吧？所以如果世界末日，我能得到 19,000 美元的赔付。我的意思是，我不是说我的直觉是最可靠的东西，但是的，这就是我的直觉告诉我的，19 比 1 的赔率是我们能活下来。>> 所以你几乎把这看作一个理论练习，这个关于毁灭的事情。>> 有点。是的。>> 是的。我，我的意思是，因为我一直觉得奇怪的是，当人们说，“是的，你知道，我思想开放。我对任何可能发生的事情都持开放态度，但我有 19 比 1 的把握我们会活下来。”那是一个相当严格的信心水平。我的意思是，你可以根据 19 来做很多生活决定。你可以买房子。如果你有 19 比 1 的把握，你未来几年不会搬家，那就去买房子吧，对吧？我的意思是，那是一个不错的、坚实的信心水平。>> 是的。我的意思是，我猜我并不确信任何特定的未来会实现。就像，那个 19 比 1 是分开的，你知道，如果有一个 15% 的几率我们根本不会得到 AGI，然后有一个几率>> 嗯，我们得到 AGI，它会完美地进行，然后有一个不可忽略的几率，就像，我们即将发生不匹配，但然后我们在最后一刻克服了，然后我们有某种暂停。>> 所以，我无法告诉你，就像，以任何程度的信心告诉你未来会是什么样子。它似乎只是，我们最终大部分安然无恙的未来范围比我们，你知道，被毁灭的未来范围更可能。>> 好的，我认为这是一个很好的地方来结束毁灭列车。我很高兴你能够应对挑战，并真正反思你自己的信念，以及你为什么持有它们，以及什么会让你更新你的信念。我的意思是，你显然是一个强大的理性主义者。>> 谢谢。谢谢。进入总结部分，除了非常严谨地思考你的 P 毁灭概率和毁灭列车之外，你还大量思考人工智能政策以及我们应该如何制定一些有用的政策，无论我们是否注定灭亡。你知道，你有点思考整个领域。所以，告诉观众你从这种思考中学到了什么。>> 当然。所以，我认为总的来说，你会在，你知道，1% 对比 5%，甚至 15% 的毁灭概率下支持的政策，实际上在很大程度上是相似的，即使我的 P 毁灭概率高得多，比如 80%，许多政策仍然会相同，那就是，也许我们应该有一些更多的公共部门支持人工智能研究。>> 所以那些想做人工智能安全工作和机械可解释性工作的人应该有机会这样做，即使它不是立即由市场激励的，出于同样的原因，政府总是支持公共产品项目。>> 出于这个原因，公共资助的计算资源，比如 NIRR，它基本上是一个公共计算集群，可以供从事公共研究的人使用。>> 并且，一般来说，在领先的人工智能实验室拥有更严格的网络安全，并发布他们的安全和安保协议。>> 此外，增加我们的人力资本在任何情况下都是一件好事，但尤其如此，我们需要尽可能有才华的人来安全地处理人工智能。>> 而且，我在很大程度上也认同国家安全论点。我认为我们应该与中国竞争，并确保美国在这方面保持领先。>> 听起来你最强的总体观点是，无论你的 P 毁灭概率是 2% 还是 98%，或者介于两者之间。你称之为“帕累托最优”的政策有很多，对吧？>> 是的。基本上，对于那些不熟悉经济学的人来说，帕累托最优解决方案就是对所有人都更好，或者至少它不会让任何人比以前的情况更糟。>> 我认为有很多政策摆在桌面上，它们是帕累托最优的，因为无论你是加速主义者，还是安全主义者，还是毁灭论者，或者你是国家安全鹰派，这些政策都是好的政策，让每个人都变得更好，我们应该推行这些政策。>> 所以我的问题是，你指出所有这些政策都是帕累托最优的。你认为人们是在浪费低垂的果实，还是你认为讨论的双方都在很好地推动帕累托最优政策？>> 不，我认为有很多低垂的果实摆在那里，我认为任何认真对待这个问题的人都应该支持。我认为这只是惯性。政府很难采取行动。而且，还有其他与人工智能完全无关的担忧正在阻碍。>> 比如通过移民增加人力资本，无论你是加速主义者还是安全主义者，这都是很好的。>> 是的。你知道，这是政府的一个普遍规则，民主政府，有太多的浪费，而且有很多时候你可以证明某个政策会起作用，你知道，比如让市场力量在更多地方发挥作用，诸如此类的事情。而我们就是做不到。>> 布莱恩·卡普兰有一个非常好的普遍原因，那就是政府总是做听起来不错的事情，而不是做真正起作用的事情，因为投票是基于听起来不错的事情。然后布莱恩·卡普兰喜欢公司，因为公司在做一些听起来不那么好但最终起作用的事情。>> 所以这就是为什么布莱恩比政府更喜欢公司。>> 我也倾向于同意，但听起来，政府因为一些事情听起来更好而留下钱，这种效应似乎正在影响所有这些显然是关于人工智能的好政策。>> 所以，我对它们会改善并不那么乐观。>> 但也许你的观点是，如果我们都能同意人工智能问题很重要，无论它是乐观还是悲观，那么至少让我们优先考虑这些双赢的人工智能政策，并淡化那些人们通常会争论的与人工智能无关的事情。>> 是的。我的基本模式是，只要有低垂的果实摆在那里，我就会去摘取那些低垂的果实，然后，当低垂的果实最终被摘取时，我就会重新调整自己，去面对一些可能更艰难的战斗。>> 明白了。所以，听起来你将毕业并有一个非常好的 AI 政策职业生涯，对吧？你是否这样看待自己？>> 这绝对是我正在强烈考虑的道路之一，我正在进入华盛顿特区的人工智能政策领域。现在制定 2027 年或之后的任何计划都几乎不可能，但我认为很有可能我将成为某种政策分析师、智库工作人员，甚至某种说客。>> 所以，两三年后，我将在这个播客上告诉下一位大学生。人工智能政策系的利亚姆·罗宾斯警告我们，人工智能的毁灭概率是 8%。你不想认真对待他吗？>> 好的。>> 很好。>> 所以，这就是我们想讨论的所有话题。>> 而且，我认为观众和我一样，认为你能在大学期间进行这种讨论令人印象深刻。我认为我们大多数人在大学时都没有像这样深入地参与重要的话题。>> 所以，是的，继续努力，伙计。>> 非常感谢你来到节目并乘坐毁灭列车。>> 感谢你的邀请。>> [音乐]