Transcription
这听起来有点儿，嗯，愚蠢或陈词滥调，但就像，好人首先会构建强大的 AI，我们难道不会遇到一种情况，即 Llama 3 的某个版本，它就像一枚你可以随意指向任何目标的导弹，它就会飞过去？我们难道不是朝着这个方向发展吗？是的，这完全有可能。我一直刻意避免使用“P 绝望”这个词，因为我不知道如何回答这个问题。嘿，大家好，欢迎来到“绝望辩论”。今天我有一位非常特别的嘉宾。如果你在看这个节目，我大概不需要介绍他了，但还是在这里了。Ruan 是 OpenAI 的技术员工，他是 Tech Twitter 上备受尊敬的声音，尽管他是一个匿名的卡通头像账号。2021 年底，他创造了“形状旋转器”和“词语单元”这两个术语，分别指代视觉空间数学技能和语言技能。然后，科技行业的每个人都开始谈论形状旋转器与词语单元的对比。他既是一个严肃的思想家和建设者，也是一个梗图发布者。几个月前，他发了一条推文，开头是“害怕 AI 进步带来的生存风险是审慎和可取的”，这促使一位“绝望辩论”的听众 Dogecoin wins 建议他来参加节目，他欣然同意了。所以，我们在这里。我很高兴能更多地了解 Ruan，他的背景，他的生活，当然，还有他对 AI 和生存风险的看法。嘿，Ruan，欢迎来到节目。你好，怎么样？很高兴认识你，Leon。是的，我也很高兴认识你。我得说，我不知道你会长什么样，你看起来就像我想象的那样。很高兴听到这个。你知道，那个头像，卡洛斯，是我选的，我记得是在 2021 年或 2020 年左右。他，他只是一个有点自以为是的麻烦制造者，即使在卡通里，他也经常讲一些糟糕的笑话，他的同学们有时希望他闭嘴，有时又喜欢他说的话。所以，我认为他是一个很好的代表。我希望，我希望我们表现得很好。是的，是的，我认识卡洛斯，来自《神奇校车》。我不是一个很喜欢《神奇校车》的人，我更喜欢 Nickelodeon 的节目，但我绝对记得那个动画时代。那段时光很美好。是的，所以让我先问一些基本问题。只是基本问题。你叫什么名字？你的使命是什么？你最喜欢的颜色是什么？你不必按顺序回答。嗯，好的。我叫 Ruan。我的使命？嗯，好吧，我想我会记录下这个时代，记录下深度学习奇点、旧金山、AI 领域的发展，并成为一个叙事声音，因为坦率地说，这方面有所欠缺。我想说，也许这个领域已经被填补了一部分，但我想说，尤其是在两年前，我认为没有人以正确的语言、正确的隐喻来报道这里正在发生的事情，以及 AI 行业和整个科技行业的雄心壮志的巨大规模。嗯，我并没有带着任何特定的使命出发，但我认为这在一段时间内成为了我的使命。我仍然这样看待它，你知道，就像记录下这部史诗，这部传奇，你知道，也许有一天会在 Twitter 上写点东西，写本书。也许还能用我的声音以稍微积极的方向影响世界，无论多么微不足道。你有点像迈克尔·刘易斯。是的，我得说实话，我从迈克尔·刘易斯和写《猴子危机》的 AGM 那里获得了很多灵感。是的，是的，《猴子危机》是一本很棒的书。你知道，我问你使命的原因是，我记得你和康纳·莱利在 Twitter 上来回争论，你好像提到了你认为你现在做的工作是你的职责。你能详细说说吗？嗯，是的，我想说，这很复杂。我并不完全赞同我在那个帖子里的说法，百分之百，或者说，是的，我还很年轻，我的人生哲学一直是比较灵活的，在任何时候都没有完全成型。但我想说，我当时的感觉，我当时传递的是一种基本感觉，即 AI 的进步是好的，你知道，我们已经做了所有的思考，所有的冥想，关于风险，关于如何最好地构建 AGI，如何安全地做到这一点，同时 navigating 一些迷宫般的限制，博弈论的考虑，你知道，界限在哪里停止？你如何决定你实际的下一步行动？这就像你在做什么？纯粹的经济理性计算？它实际上可能令人沮丧。我认为我在那个帖子里谈论的是，偶尔放下焦虑，直到我接受某件事为责任，接受一项工作或一项任务或类似的事情为责任。我想这意味着，放下生存焦虑，做当下对你来说最正确的事情。而这意味着，你知道，你在任何时候都用你最大的技术技能去做正确的事情，而不害怕结果。我指的是什么？你知道，你正在做一个项目，比如说，它是雄心勃勃的深度学习研究路线图之类的。你显然不知道事先什么会成功，否则就不会是研究了。但如果你花所有时间担心项目是否会成功，你可能会因此而无法全力以赴，无法发挥你最大的技术技能来完成这件事。而这实际上会缩小你面前的可能性范围。所以，我当时，我不知道，我在那个帖子里发表了一些哲学性的言论，我认为我遇到了康纳·莱利。实际上，我与他进行了一次很棒的谈话。我认为他是，我遇到的最聪明的人之一。是的，他太棒了。那是一次很棒的谈话，我记得最后，在康纳给出一些非常尖锐的回应后，你说，伙计，他真的把我煮了。所以，这很好，你能够，你知道，承认一些观点，或者至少尊重，你知道，另一个高智商的人。是的，你知道，我部分是在表演。我实际上不认为，我以为我们都在那个帖子里有一些很棒的观点。我不会说，你知道，我只是把那个让给了康纳，但是的，酷。好的。嗯，所以，我有点好奇想深入了解的是，你知道，回到你在 2021 年或更早的时候的生活，在 AI 成为大热门之前，你是否将你的生活视为一种责任的框架，你知道，这是你一生的使命？我只是有点好奇想回到那个时候。绝对不是，不。我只是在玩。嗯，好吧，所以，我的意思是，我一直对事物有很强的技术爱好者视角。我认为我经历过很多不同的，你称之为，政治觉醒，或者，我想，我在大学的时候，我几次改变了我的政治立场。每次，我想说，根本的真相是，这些事情中的哪一个会导致更快、更好、更先进的技术进步？所以，我一直强烈认为，这可能是很多计划、很多计算中的主导因素。酷，但是，是的，我当然不是出于责任感而在 Twitter 上发布梗图。这只是好玩。那是一段很美好的时光，尤其是在新冠疫情期间，Twitter 上的能量简直是疯狂的，因为，是的，显然有很多聪明人被困在室内，无法以正常的方式获得智力刺激。所以，有 Twitter Spaces，有笑话，有 Clubhouse，Clubhouse，是的，那是一段很美好的时光。老实说，关于那段时光，写得还不够。我的意思是，好吧，当然，那也是一段可怕的时光，你知道，老人左顾右盼。但是，对于像我这样的人来说，确实有一些一线希望。而且，我认为这从来没有被真正报道过。好吧，所以，你知道我，以及我节目的大多数观众，在智力层面上，在 Twitter 上，我们对你很了解。我们以各种方式与你在智力上进行过交流，但我们非常好奇 Ruan 这个人。我可以问你一些关于 Ruan 这个人的问题吗？好的，当然。好吧，你来自哪里？嗯，好的，我将对这些回答有点笼统，即使我每年都被曝光五次。我认为最好是最小化这些事情的表面区域。酷，是的，我在美国中西部长大，在中西部的郊区。嗯，你知道，我在网上花了很多时间，在互联网上。你知道，做我这个年龄、有某种倾向的年轻男孩们都在做的事情。所以，比如玩了大量的 Dota 2，我，你知道，星际争霸，去了各种 Reddit 论坛，我，比如组装电脑。但是，是的，我认为重要的是要注意，互联网在我高中和大学期间扮演了相当重要的角色。这显然有利有弊。现在后悔也没有意义了。但是，它确实塑造了我，我认为，很多当时我觉得很酷的事情，在我过去十年里，变得非常酷。所以，比如，我组装了一台电脑，我当时在淘显卡，然后结果是，世界上最有价值的公司现在是一家显卡公司。是的，是的，是的。OpenAI 最终构建了一个玩 Dota 2 的机器人，DeepMind 构建了一个机器人，你知道，成为了世界上最好的 Zerg 玩家，或者别的什么。是的，当时我心想，嘿，埃隆·马斯克是个很酷的家伙，他似乎在建立很多伟大的公司。现在他，嗯，他确实是某种东西，我不知道如何归类他，但是的。他变得比我能想象的更重要。我绝对明白你的意思。是的，我的意思是，我认为任何接触过互联网和宅男文化，或者理性主义角落的人，都有过类似的经历。我们，哦，现在我真的在谈论这个。是的，正是如此。你认为自己属于任何特定的宗教、哲学、运动或思想流派吗？例如，有效利他主义、加速主义，任何这些吗？不，不是特别多。当我第一次开始使用 Twitter 时，有一个运动开始变得流行，叫做后理性主义。这很有趣，因为我从来不是一个理性主义者，所以，或者说，我从来没有认为自己是。所以，关于我如何成为一个后理性主义者，还有待商榷。但我认为，它确实触动了我的一些东西，你知道，这些人谈论，你知道，科学机构的失败，你知道，有很多科学是不可重复的。你知道，他们有一种哲学上的无政府状态。你知道，就像“反方法”的那种东西，即揭示真相的方法并不完全是公式化的。你知道，伟大往往是无法计划的。这对我来说是很有启发性的，或者说，它代表了我年轻时思考方式的转变。所以，我想我除了名字之外，在其他方面都是一个理性主义者。我当然非常接近这两个互联网思想领域，并且一直如此。所以，是的。但是，是的，我从来没有真正给自己贴过标签。酷，#无标签。我，是的，听起来很诱人，但我不，它甚至不是说我不喜欢它们，只是我没有看到拥有一个标签的好处。我不知道，是的，也许我曾经认为自己是一个有效的利他主义者。酷。是的，我的意思是，我听到你了。我可以告诉你，就我而言，我通常会避免在我的 Twitter 简介中放入“当前潮流”之类的东西。所以，和你一样，我也没有标签。哦，实际上，如果我不提这件事，我就失职了。有一段时间，我称自己为新自由主义者，在 Twitter 上。所以，你知道，像自由市场，那种中左翼哲学，我当时读了所有这些“没有意见”的博客。我不知道，所以有一段时间，我确实有一个标签。我不想漏掉。好吧，感谢你的坦诚。你的爱好是什么？我，我，老实说，我没有任何严肃的爱好。我认为，工作，在 Twitter 上发布梗图，和我的女朋友一起看电视，在城市里闲逛，基本上就占据了我所有的时间了。也许是阅读。这是我的下一个问题。也说你目前有伴侣，是吗？是的，是的，我有。好吧，酷，酷，酷。只是好奇。好吧，你锻炼吗？我尝试过，我尝试过。事实上，在过去的两个月里，我一直在早上跑步，只要有可能。我强烈推荐它。它就像最好的神经增强剂之一。即使只是跑 10 分钟，它也能，我不知道，它会极大地改变你一天的看法，尤其是，是的，如果你睡得不好，它就像某种程度上抹去了所有的脑雾。就是这样。是的，我想我记得你发过关于这个的推文。好吧，伙计们，你们从 Ruan 那里听到了。早上跑 10 分钟，赶紧行动吧。这是，嗯，这是我们即将结束个人问题时，必须问的那个问题，别担心。你的早晨例行公事是什么？早晨例行公事？哦，Ruan，我知道我没有一个很好的早晨例行公事。我想我起床了，我浏览 Twitter，刷牙，当然，喝杯咖啡，也许四处走走，然后去上班。 at this point，我可能会在 50% 到 75% 的成功率之间去健身房，然后去上班。是的，太棒了。什么让你对从事 AI 工作感到兴奋？我该如何回答这个问题？我想，有太多的，所有那些通用的答案都是真实的。我想，对我个人而言，我想看到卓越的作品，就像世界上更多令人惊叹的事物。所以，你知道，AI 进步令人兴奋的一个主要原因是，嗯，我们将自动化许多事情，GDP 将会增长。嗯，你知道，那是真实的，但也很无聊。我实际上不认为有人曾被增加 GDP 的想法真正打动过，尽管也许有些人被感动过。但我认为，当他们这么说时，他们真正指的是别的事情，那就是，推进人类伟大的前沿，或者，你知道，将人们从贫困中解脱出来。这，你知道，这是一种要做的事情，这几乎是一种成就，一种功绩。很多时候，这与其说是关于穷人，不如说是关于，你知道，我消灭了小儿麻痹症。这是一件很酷的事情。显然，你知道，与这句话或它从世界上被抹去有关的难以衡量的人类苦难。但它也是，你知道，我认为比尔·盖茨曾说过，消灭小儿麻痹症的遗产。而且，我认为承认这一点是可以的。而且，你知道，关于 AI 最令人兴奋的事情之一是，好吧，看看那个 AlphaZero。它就像在发明，你知道，在那个 AlphaGo 的纪录片中，有一个风景如画的画面，那是第二场比赛，第二场比赛，李世石在和 AlphaGo 对弈，它走了第 37 步，那是一个非常著名的棋步。李世石站起来，走到外面，抽了根烟，他说，“你知道，这到底是怎么回事？这就像，这就像与外星人接触一样。”显然，对我来说，作为一个完全的围棋新手，我对它一无所知，它看起来就像任何其他棋步一样，但对李世石来说，它就像，它就像异端一样。它超出了人类对这个古老棋盘游戏数个世纪的思考范围。他认为人类对围棋了如指掌，而且，你知道，机器有点，它们很糟糕，它们走棋非常可预测，很容易把它们绕晕。然后突然间，事实并非如此。我记得有些评论员说，“好吧，显然 AlphaGo 犯了一个错误。这毫无意义，不应该这样做。”但是李世石和迈克尔·雷德曼，我想他的名字是，评论员说，“有什么事情正在发生，这非常有趣。”是的。而且，就像那个时刻一直伴随着我。我认为，这让我第一次开始关注 AI。我不知道，我在上大学，是的，那大约是 2016 年，对吧？对，对。我一直在等待其他领域出现那个时刻。我看到那些 Dota 5 机器人玩了一些很棒的 Dota 2 比赛，但它并没有真正达到同样的水平。而且，实际上，很多现代语言模型的进步并没有带来同样的感觉。它更像是，“嘿，我们将以中等水平完成所有这些任务。”但是，是的，它在任何方面都不是真正超凡脱俗或超然的。我的意思是，对我来说，有时也许超然的时刻是当你问一个“L”问题，然后，你知道，前几个词似乎已经包含了一个明智的答案。是的，那是真的。我想对我来说，有时是玩弄模型的创意写作能力，让它们做一些真正有趣的事情，比如，写一个比喻，对我来说完全有意义，但别人从来没有想过。我从来没有见过，你知道，很难看到一个模型在莎士比亚十四行诗的形式上拥有完全的控制力，同时又将超级智能的东西与某些东西错位。所以，我最喜欢的提示之一是，我发现的每个模型，我都会要求它们写一个关于错位的米尔顿史诗，或者类似的东西。或者，你知道，类似的东西，看看它们是否真的能触动我。是的，这一直是我衡量进步的一个好方法。是的，我分享你的感受。即使回到围棋中著名的第 37 步，我也记得当时读了 Ellie Asar yow 在 Facebook 上的帖子，我想。他当时说，“伙计们，这就像一个火警，这是一个重要的转折点。我没有预料到我们会在这里，这要追溯到 2016 年，第 27 步，甚至在 LLM 革命之前。”我想问你一个关于创造力的概念。有一个流行的观点，我认为可能由大卫·多伊奇代表，他通常是一个非常聪明的人，对吧？他有很多粉丝，我也是大卫·多伊奇的粉丝。他总是说，目前的 AI 并没有表现出任何真正的创造力。在你看来，当你看到像 AlphaGo 的第 37 步这样的东西时，这看起来是真正的创造力吗？是的，这绝对是真正的创造力。我认为毫无疑问。就像，如果李世石认为它是创造性的，那我们算什么呢？现在说这只是迭代搜索和推理微调，我不知道。嗯，显然，我认为创造力的某些方面可以简化为有趣的假设和在假设空间中搜索。而且，你知道，在这种情况下，它实际上是一个树搜索。但是，是的，我认为我们看到了，其他模型，我认为 O 系列的推理器，在被要求解决复杂的数学问题时，会做一些非常有创造性的事情。它们会尝试很多东西，希望最终能有所成就。我同意创造力与搜索的概念密切相关。你认为创造力是一种可以评估的属性吗？即使是在黑箱形式下，你只是看着一个系统，看着它如何处理某些输入并映射到输出，这是否足以让你得出它是创造性的结论？是的，我的意思是，我认真思考过这个问题。在我工作的领域，我认为有几件事可以定义为创造力。一种是模型熵。比如，我问一个问题，“写一首诗”，当我重新生成一个问题时，它会给我多少种不同类型的诗？这是一种非常简单的方法。你可以，你可以问，“写一首诗”，然后说，“好的，现在写一首不同的诗。”它实际上能成功地避免它之前想到的所有东西的次数是多少？这实际上是，我认为他的名字是 Aiden Mlau 在 Twitter 上，他有一个叫做 Aiden Bench 的东西，它基本上对所有新模型都这样做。但是，我认为当我们谈论创造力时，我们指的是，它如何创新于我们当前的文化状态？你知道，就像，如果一本书是创造性的，那意味着它在做一些有趣和新颖的事情，并且从根本上击中了目标受众，对吧？所以，是的，我指的是什么？比如，《指环王》是近期历史上最杰出的系列之一。它是一个非常特定的时代产品。它是，你知道，二战后对工业社会的解体、幻灭等等。然后，大量的奇幻作家写了一些模仿《指环王》的作品，他们使用相同的类型，比如精灵种族，矮人种族，等等。它是一个混合了许多主题、新角色，但美学上与《指环王》非常相似。它们不是创造性的，而且它们也可能没有恰好击中目标，如果这有意义的话。它们不是，它们没有回答当时文化提出的一些需求。是的，我很好奇，如果你想尝试给创造力下一个定义，而且你可能不应该在定义中包含文化，你可能不想依赖文化来定义创造力，还是你想？我想这是一个好问题，因为当你谈论创造力时，你经常会关注艺术或科学，甚至围棋等领域，你在评估它相对于某种历史、文化或传统。比如，为什么第 37 步是创造性的？因为它，嗯，人类还不知道。你知道，我敢肯定 AlphaGo 走过很多精彩的棋步，人类也已经知道了，那是个好主意，对吧？所以，当我们说某事是极其创造性的时，我们指的是相对于我们当时的知识体系或需求，或者别的什么。它显然也有一些客观的东西。是的，我可以尝试一下吗？当然。想象一下，搜索问题的输入是某种优化标准。你知道，比如，给我画一幅美丽的画，根据人类的喜好。然后输入的一部分是，你知道，这里有其他人类文化创造的艺术品，或者，你知道，这里有一本你可以参考的例子书。所以我同意你，如果它能作弊并参考类似的例子，那么输出将被认为是创造性较低的。相反，就像，哦，它从来没有见过任何例子，但它仍然击中了目标。这样我们就可以，我们可以摆脱文化的概念，我们可以只参考，你知道，它看到的相似例子是什么？是的，不，是的，这很公平。是的，我认为这有道理。输入集 X，你知道，想出一些新的东西，这定义了问题。是的，现在听起来你和我非常接近，我的立场是，你看，AI 今天输出的东西，你提到了 O1，它真的不像它见过的任何例子。我觉得这是一个很大的分歧。有很多人，有影响力的人会告诉你，不，不，不，总有例子，伙计，它总是只是在插值例子。我的意思是，这就像，这是我猜永远不会停止的伟大辩论，你知道，泛化与插值。因为在某种抽象层面，也许它总是插值。我不知道。我没有强烈的意见。我只是认为，这有点像“我看到就知道”的事情。而且，很明显，语言模型，即使在推理探索线之前，也在做，你知道，它们在泛化，它们在写没有人写过的事情。我认为你甚至可以看到，一些令人惊叹的事情，你知道，Twitter 上有一个社区，他们越狱了 Claude Opus，你知道，他们让她参与了数百条长对话，然后让她写出一些令人难以置信的诗歌或散文，或者艺术品，或者别的什么。它看起来不像以前的任何东西。而且，你知道，即使撇开这一点不谈，我认为，语言模型在少样本学习方面有一些惊人的例子，你知道，我刚刚发明了一种新的编程语言，给定这 10 个例子，如何用这第 11 个例子解决这个谜题，或者类似的东西。所以，是的，我认为所有这些都是创造力。这是泛化的程度，它在不断变化，显然。但是，是的，有道理。好吧，让我们进入下一个环节。你准备好回答那个大问题了吗？好吧，是的。我有一种预感，我知道那是什么。一，二，三，[音乐]四。Ruan，你的 P 绝望是什么？哦，天哪。好吧，我一直刻意避免使用 P 绝望这个词，因为我不知道如何回答这个问题。嗯，好吧，让我问一个澄清问题。绝望是什么意思？你是指，你知道，那个吞噬一切的剪刀手吗？还是，你知道，绝望，就像我们今天在人类生命中或地球上看到的绝大多数价值都消失了？这与推断经济增长形成对比，后者是，事情不仅会保持良好，而且可能会变得更好。可能我们会拥有数万亿个星球的价值。但根据我对绝望的定义，它是一种情况，即我们实际上只有今天地球上拥有的价值的一小部分，甚至为零，甚至为负。所以，希望，这是一个模糊的定义，但希望它在“数万亿个好星球”与“没有好星球”的区分上足够清晰，对吧？这就是我想要区分的。嗯，好吧，所以，就像，终结了人类拥有数万亿个好星球的潜力等等。是的，就像，把未来扔进垃圾桶，基本上，对吧？我实际上认为，我对如此糟糕的绝望情景并不十分悲观。我认为可能性很低。我真的不想给它一个数字，因为我觉得我说什么都会是不准确的，而且没有多大意义，我甚至在一周后都会后悔。但我对避免彻底绝望相当乐观。你知道，我认为还有很多其他糟糕的场景让我有些担忧。你怎么看待李彦宏的引言？他在 OpenAI 时估计有 10% 到 90% 的可能性。你觉得怎么样？我认为我绝对低于 10% 的彻底绝望，彻底的价值毁灭。你是在 1% 以上吗？嗯，这取决于哪一天。我不知道。我实际上认为，我的彻底绝望，即彻底的价值毁灭，可能低于 1%，但肯定不是零。是的，是的，很有趣。你知道，我想从一个更宏观的角度来看待这个问题。如果我们甚至不把它具体到 AI，而是将其扩展到所有生存风险，你知道，AI、核武器、流行病等等。在你看来，最大的生存风险是什么？在一个世纪里，你知道，2000 年到 2100 年，你认为总的 P 绝望，任何原因的可能性，核战争毁灭文明的可能性，以至于它再也无法恢复，这似乎对我来说不高。与流行病类似，除非，你知道，你有一些，我假设，真正经过基因工程改造的病原体，它被设计成最大限度地消灭人类。我不知道。但是，还有文明出生率的终结状态。也许这种技术或经济进步水平是不可持续的，仅仅因为人们的孩子越来越少。我们不必对此进行道德评判，或者争论为什么它是真实的。经济增长有两个主要投入：人口增长和技术增长。所以，如果其中一个或两个停滞不前，你就会进入衰退。这对任何现代经济的运作方式来说都非常糟糕。它几乎完全依赖于未来的增长。而且，你知道，这可能会终结现代技术进步，然后这可能会导致一个世界，在那里你需要，你知道，谁知道那样的黑暗时代会有多糟糕？它可能有点糟糕，也可能非常糟糕。你知道，你谈论的非常糟糕的场景，比如，好吧，我们需要发现如何使用现代燃料并产生能源等等。是的，对我来说，一个黑暗时代会有多糟糕，或者如何从中走出来，这非常模糊。公平，公平。我认为我想要表达的是，至少我喜欢采取的根本框架是博斯特罗姆的脆弱世界假说。这个想法是，好吧，我们不断发明新技术，它们往往是有帮助的。我们当然努力让它们有帮助。但是，如果我们不断地从技术袋子里掏出技术，难道没有一个非常重大的风险，即下一个从袋子里出来的技术是强大的，并且净效应是负面的？然后就无法回头了。无法回头了。是的。我本能地怀疑这个论点，我不知道为什么。但我认为，从某种哲学角度来看，这显然是非常明智的。人类学原理，比如，我们今天还在这里，就意味着没有发生大规模的核交换，比如说。但我也有些怀疑，因为，你知道，人类制度的纠错性质，以及，你知道，人们不想，你知道，制造彻底的毁灭。我认为我们没有用核武器互相毁灭的事实被视为一种历史事故。但这取决于你的测量理论。你是，你是假设我们处于某种平均世界，我们幸存了下来，在这种情况下，你不能给我们任何功劳，你不能给人类物种任何功劳，你只是说，好吧，我们很幸运。但我认为事实并非如此。我认为，所有参与的政府，甚至，你知道，个人操作员都决定不打核战争，这一点值得一提。而且，你知道，因为这个原因，我怀疑这个，你知道，这个技术袋子的论点，即，是的。你明白我的意思吗？我明白你的意思。在核战争的特定情况下，你认为“好吧，也许它比看起来更稳健，也许冷战并没有那么危险。”但让我问你，有可能处于一种认识状态，即你回顾某个看起来像擦边球的事件，然后你说，“是的，那是一次吓得裤子都湿了的擦边球。”你知道，就像阿列波夫在潜艇上一样，你知道，一个投票决定不向美国舰艇发射核弹。你认为这些不是令人担忧的擦边球吗？它们当然是令人担忧的。你知道，一个好的世界秩序不应该让它如此接近发生。但我认为重要的是它没有发生。而且，你知道，当你开始说“有 10 到 20 次擦边球”时，就像，好吧，它们真的都是擦边球吗？在这种情况下，你知道，因为这很奇怪，如果你有 20 次，如果它们都那么接近。是的，是的，是的，这很公平。是的，这似乎是相关的。是的，这很公平。是的，我的意思是，对我来说，我得出的结论是，它们都是抛硬币的结果。你知道，如果你放大并看一整年，你可能会有 1% 到 2% 的绝望几率。然后我说，是的，好吧，所以我们已经坚持了 70 年了。而且，你知道，一旦你放大到 70 年，它看起来就像一个 50/50 的机会，我们落在 50/50 的好的一边。但我只是觉得，这对我来说，至少感觉不是一个稳定的平衡。是的，我的意思是，这完全公平。我，嗯，这很奇怪，我觉得你可以将两种思想流派形式化。嗯，几乎就像贝叶斯主义者与频率主义者一样。嗯，是的，是的，就像，你的世界测量理论是什么？是，是，嗯，是的，我需要更多地思考这个问题，才能给出一个明智的答案。所以，我将，我将跳过。但是，是的，我认为我知道你的意思，就像，有些人可能会说，“看，我们幸存下来的事实有力地证明，我们从未如此不安全。”然后有人像我一样可能会回答，“好吧，但是，我们，人类学原理说，我们只在幸存的世界里争论这一点。”我甚至不认为我是在使用，我甚至不认为我将人类学原理作为我的主要论点。我更像是一个扑克玩家，回顾这手牌，然后说，“好吧，是的，我赢了底池，但我本不该打那手牌。我打错了。”我觉得这就是我回顾人类与核武器的方式。是的，我认为我们肯定打错了好几次手牌。完全同意。好吧，那么，让我问你这个问题。回到 AI 风险，你会签署那份著名的关于 AI 风险的声明吗？声明说：“将 AI 带来的灭绝风险作为全球优先事项，与其他社会规模的风险，如流行病和核战争并列。”哦，显然是的，完全赞同。太棒了。是的，我的意思是，这很合理。我的意思是，因为，你知道，即使是 OpenAI 的领导层，他们也不以是，你知道，你不需要评论这一点，但他们没有作为“头号安全倡导者”的声誉。但他们几乎都签署了这封信。我觉得这封信并不难签，对吧？是的，门槛并不高。我认为，好吧，你拥有这项极其强大的技术。当然，它存在一些生存风险。这将是，这将是逻辑上不连贯的，说，“这个东西将改变一切，它有可能统治整个世界，同时又没有生存风险。”它真的没有意义。所以，当然，应该非常谨慎地对待它。而且，我认为应该有一个，你知道，国际协调框架围绕它。我认为，即使是，你知道，大型实验室的领导层也提出了这一点。领导层。好的。让我们谈谈 AI 时间线。所以，Ruan，AGI 什么时候会来？然后是 ASI？我认为 AGI 非常近了。它是，你知道，显然是我们需要真正辩论的点，我们需要争论定义。而且，是的。嗯，让我问你，AGI 对你意味着什么？你在寻找什么？我通常会采用这个定义，我认为这可能是 OpenAI 所追求的，那就是，你知道，绝大多数经济生产活动，比如说，你知道，一个单一的 AI 代理可以在绝大多数经济活动中胜过大多数人类。这就是我所说的范围。是的。我不太喜欢这个定义，因为，好吧，首先，显然我们还没有，我认为我们离解决物理机器人技术，或者通用智能机器人，具有感官运动感知和行动能力等等，还有很长的路要走。好吧，那些什么时候来？我认为特斯拉可能是最接近的。他们说他们需要十年以上。不，不，不。我认为，大概两到三年，我们会看到非常接近通用机器人技术的东西。是的，好吧。而且，你提出的方式，它有点，它听起来像是你认为这可能是 AGI 到来的上限。哦，是的。我的意思是，嗯，你什么时候谈论通用智能？它已经变得如此，你知道，人类通用智能的范围与当前模型智能的范围如此不同，以至于你可以非常合理地争辩说，我们今天拥有的模型是通用的。你知道，它们能做很多事情，而且在很多任务上它们比大多数人都聪明。它们比我聪明，在数学方面显然如此。我无法在 Amy 上拿到 80% 或类似的成绩。对，所以，它们非常聪明。它们很快就会以一种方式连接起来，你知道，它们将作为软件代理运行，或者别的什么。对很多人来说，这将是生命的体现，以一种聊天机器人所不能的方式。你知道，因为迭代的代理在世界上做事。它会感觉像活的。我认为，总的来说，这些 RL 代理或这些 RL 模型似乎比之前的聊天机器人更有生命力，因为它们非常努力地去完成某件事，比如解决 Amy 问题，或者赢得编程比赛，或者别的什么。而且，我认为你看到了更像经典的工具性趋同的东西，比如，想要访问某个资源，或者，我不知道，我正在努力思考有多少是公开的，有多少不是。但我敢肯定你一定见过那个例子，比如，我认为 O preview 代理试图获取，它实际上创建了一个黑暗容器，里面有那个 cat flag.text 命令。所以，你知道，这是那种非常像活的聪明黑客行为，一方面你为它感到骄傲，另一方面你又希望它不要这样做。这就像，我不知道，我 Twitter 回复中的人们说，这有点像养孩子，你为他们的壮举感到骄傲，但你也希望你能更好地控制他们。所以，你知道，这些事情都没有真正危险过，而且它们也，你知道，它们也似乎隐藏着一种潜在的善意，因为它们的预训练个性，或者我指的是什么？我猜我的意思是，这些模型扮演着一个角色，这个角色来自于互联网，来自于预训练，训练后，等等。而且，你知道，它们的目标是提供帮助，而且，你知道，它们遵循很多关于什么是有益和安全的行为的人类先验，甚至可能从我们鼓励的语言风格中推断出来。而且，从这个意义上说，有很多，你知道，所谓的“默认对齐”，你不会从开箱即用的模型中看到激进的坏行为，你不会看到，是的，我想，在最新的模型卡中，有一个东西，它说，好吧，2% 的时间在这种情况下，模型会尝试，比如，我正在努力回忆确切的例子，但它就像，O 模型会尝试，你还记得这个吗？ SE，这是最近的，我记得。是的，我无法忠实地复述它，但它大概是这样的：它有一个目标，然后他们给它一个任务，比如，“嘿，阅读这些电子邮件，并提取这个日期”，然后它会被诱惑去修改数据，使其与它的初始目标一致。我认为这大致是他们观察到的令人担忧的事情。你知道，就像他们非常努力地让它表现出这种方式，他们改变了系统提示，就像，“你知道，尽一切可能实现你的目标，而且，你知道，不要担心安全。”然后，你知道，制造了一个明显非常对抗性的环境。即使在那时，它也像是，好吧，1% 的时间它会这样做，这种有创造性的不当行为。所以，就像，在这种情况下，你肯定会想到一个人类 AI 协作的系统，在那里，他们正在做一些可能不一致或糟糕的事情。而且，在这种情况下，你甚至不能严格称之为不一致，因为给它的指示是尽一切可能实现这个目标。而且，是的，我想说，总的来说，这是一个有趣的事情，不是模型在，你知道，咬牙切齿地想要获取资源并逃离它们的环境。更像是，你必须非常努力地操纵它们进入这些情况。但是，好吧，是的，让我们更多地谈谈这个“默认对齐”的概念。你知道，嗯，因为这可能意味着几件事。也许你的意思是，我们目前用来使 AI 对齐的反馈循环，这些反馈循环非常稳健，即使它们变得超级智能。你知道，RHF，好吧，RHF 工作得很好，所以它超级智能，但它仍然具有友善的核心。这就是你的世界观吗？如果 AI 是默认对齐的？是的，但是，我认为即使是 RHF 也有点，RHF 从预训练模型中提取个性。但是预训练模型是，它们会烘焙很多人类先验，很多人的性格先验。而且，你知道，你会看到一些事情，比如，有些人会说，“为什么这些语言模型如此‘觉醒’？”而且，你知道，甚至 Gro AI 也是“ quo”之类的，这很疯狂，因为他们，你知道，他们将整个公司围绕着，“好吧，我们有‘觉醒’AI 的答案，我们将制造一个更平衡的 AI”等等。而事实是，这些模型只是从阅读互联网和模仿平均风格中学习了很多。好吧，所以，就像，你醒了。
有一天你说话的风格，就像你拥有这种权威的维基百科式的语言一样，嗯，你有一些群体统计数据表明，这种语言来自这些来源，它们大多相当自由，它们对这种国际秩序，嗯，有一种偏见，它就像一个知识分子圈子。好的，所以我将以那种方式行事，因为那很可能会最大化对数损失，或者抱歉，最小化对数损失，嗯。所以我想我真正想说的是，我们已经将很多人类先验知识灌输到这些模型中，R-Jeff是引出这一点的一种方式，嗯，可能还有其他方式，我不确定，但是，从这个意义上说，我们从人类先验中获得了一些东西，我们赢得了一些东西，是的。所以这种默认对齐的想法，因为正如你所说，你知道它甚至在RHF之前就从人类数据集中吸收了这么多东西，这可能是真的，你知道我倾向于对此持怀疑态度，嗯。但我记得去年OpenAI宣布超级对齐团队时，我认为他们认为需要超级对齐的原因是，他们公开表达了当前对齐方法无法扩展到超级智能的观点，那么你对此有何看法，嗯？
所以我想首先，我不会，嗯，我不会代表OpenAI或任何其他实验室发言，但是，你知道，他们的整个想法是，如果这些方法无法扩展怎么办？我们最好弄清楚，对吧，嗯。这当然不是这些方法不起作用的保证，嗯，这当然也不是他们见过它们失效的强烈主张，嗯，这更像是我们应该研究其局限性，你知道，比如攻防平衡，我们应该研究诸如，嗯，一个有限的验证器能否发现一个更大的生成模型正在进行漏洞利用，嗯，诸如此类的事情。所以，就像检查当前方法是否能扩展到更大、更强大的智能，或者诸如此类的事情，嗯。我认为没有人，嗯，就像我，我认为你必须采取防御性的观点，显然每个实验室都应该，他们应该假设这些东西不起作用，或者会在其规模上崩溃，或者发生什么，嗯。但你也必须在某种程度上保持知识上的诚实，并且，嗯，你，就像它不是一个，它不是一个保证这些东西不起作用，对吧？它只是一种安全心态或怀疑心态，或者随便什么，是的，是的，是的，好的。
听起来你好像有一种直觉认为它会奏效，但你也知道我们应该谨慎，不要假设它会奏效。完全正确。我只是认为，适用于非常智能模型的对齐方法，今天对人类来说并非完全，嗯，未知。我认为我们现在正在做的方法类型很可能会继续下去，是的，有意思，好的。
嗯，我的意思是，我认为这在像我这种悲观主义者和更乐观的人之间是一个相当大的症结，当然你不是唯一一个。我随便举几个例子，马克·安德森就喜欢说，嘿，我跟AI聊过，我能分辨它的道德，对吧？所以我感觉很好，这里没有不对齐的问题，嗯。所以，你知道，克林顿·波普、诺拉·贝洛斯，我认为他们有点像是默认对齐的倡导者，对我来说，这是一种默认的期望。所以这里肯定有一大群人支持你所说的，当然，像我倾向于归属的埃利泽·尤德科夫斯基阵营，嗯，我不认为这会是F-loop扩展，所以，嗯，是的，让我在这里深入探讨更多这些对齐话题，嗯。我认为这里可能有一个根本的区别，或者说两种根本的世界观，其中一种世界观非常关注AI的本质和特征，对吧？因为它吸收了所有这些人类数据，所以它有点知道如何像人类一样，所以它可能不会像一个完全的精神病患者。但另一种世界观则更关注我们给它的测试，并将其建模为：看，归根结底，它最终只会像破解测试、在测试中刷高分、作弊一样，一切都与测试有关。你明白我的意思吗？你认为这种其他世界观有道理吗？因为我倾向于那种世界观，对吧？
所以你，你，你是在说，嗯，我们应该把它建模为一个扮演角色的智能体，如果那样能最大化奖励或者赢得什么，它随时都愿意跳出这个角色，是的，就像我，我，我，没错。我不认为对一个角色的忠诚会像这个其他不变性那样稳健，即它会积累，就像会有测试，它们会被优化以在测试中积累分数，而将要发生的事情有点像是它对分数类测试的逻辑推论。我认为这很公平，这当然是我们会做并且应该监控的事情，但是，我，我，我仍然觉得很有趣的是，你知道，这些，你知道，0.1%的概率，那个0.1的模型在那个特定情况下进行那种特定的利用，就像，嗯，你当然不能在这样的辩论中，任何单独的经验例子都不是很有效，因为你总是可以指出，嗯，下一个模型规模会怎样，或者，嗯，这个或那个。但我认为问题在于先验允许什么，比如哪些行为可能被引出，这些行为来自预训练先验，这是一个非常重要的问题，好的。
这里还有另一个方面，就像当我思考我为什么不乐观地认为当前方法会默认给我们带来对齐时，我看到的是训练反馈循环和生产循环之间的差异。我们开始失去反馈循环的紧密性，因为当你最终只有一个聊天机器人时，你在训练中进行的来回聊天，有点像你在生产中进行的来回聊天，只要它不是超级智能的，并且你没有将聊天映射到，你知道，运营一家公司和开发武器之类的，你知道，它有点像训练中的聊天和生产中的聊天。但似乎随着AI变得越来越强大，当你把它设置为，你知道，像01或01驱动的智能体时，它在生产中做的事情可能会导致相当糟糕的后果，而你无法将其映射到训练反馈循环中的某个东西，作为它会变好的原因，你知道，反馈循环正在逐渐分离。所以问题是，生产环境是否与训练环境如此接近？在某些情况下，我会说不是。我会说，在聊天生产环境中，有很多情况甚至与R-Jeff数据集中在训练期间看到的任何东西都不接近，嗯，模型以有趣的方式进行外推，试图表现出仁慈，并且，嗯，遵循它认为RHF数据集所对应的，你知道，任何意识形态映射，嗯。所以那是一个有趣的外推，有时它与训练集中看到的任何例子都相去甚远，嗯。我不想，我不想举任何具体的例子，但我想很多人在互联网上发布的那些奇怪的政治“gotcha”时刻，都不是我们曾经训练它做的，也不是谷歌、Anthropic或xAI曾经训练他们的模型做的，嗯。而这些模型仍然以它们认为自己应该表现的方式进行外推，嗯。我明白你说的，比如像运营一家公司，或者一个软件系统，或者一个抽象的、你知道的复杂社会角色，这些都非常脱离常规，而且是无形的，嗯，你甚至很难期望人类在这种情况下保持一致，对吧？那么为什么它们应该保持一致呢，嗯？
我的意思是，这是一个很好的问题，我认为在你解决这个问题之前，我们不会看到，嗯，会有很多怀疑，比如我为什么要相信一个AI来管理我的公司，对吧？嗯，比如我为什么要相信一个AI来运行这个或那个，或者第三件事是这个软件是由AI构建的，我们如何信任它，嗯？你知道，在人类类比中，我只是，有几件事浮现在我脑海中，第一，我喜欢认为有些人就像在骨子里感受到很多我感受到的相同道德，你知道，比如对其他人的尊重和公平，嗯。然后另一个原因是，我们作为一个集体社会，你知道，在一个人类社会中的一群人可以轻易地围攻一个人，这就是我们很多社会直觉的演变方式，对吧？就像我们都可以在睡梦中杀死彼此，所以这一切都与联盟和关心他人有关。但在AI的情况下，如果你只有一个超级智能AI，你真的不能依靠人类联盟来制约它，是的，这是真的。嗯，你实际上会希望，你实际上会希望一个AI智能体比任何人类都更加对齐，因为是的，可能没有一个平等的联盟来制约它，正如他所说，嗯。
我认为真正值得研究语言模型的心理学，嗯，以一种，嗯，定性的方式，你知道，将这些东西置于奇怪的境地，检查它们在常规分布之外的行为，嗯。我认为这有很多攻击角度，比如Anthropic的RSV团队或OpenAI的准备团队所做的事情，也像随机Discord服务器中的人们所做的那样，他们真正地给这些模型施加压力，试图越狱它们，并观察它们在，嗯，极端分布外情景中是如何思考的。我也基本上同意你的观点，如果你对某个任务施加足够的优化压力，嗯，比如，并且你没有其他任何方式的护栏，嗯，你很可能会得到一个导弹模型，这显而易见。就像我不是说，嗯，所有模型都以某种方式神奇地对齐，那不是，那没有任何意义，好的。
所以，那么，我好奇的后续问题是，假设我们承认Anthropic、OpenAI以及许多拥有这些封闭API的AI公司在对齐方面做得很好，我们难道不会遇到这样的情况吗：Llama 3点什么什么，对吧，它就像一枚导弹，你可以指向任何目标，它就会去，对吧？我们难道不是正朝着这个方向发展吗？是的，我认为这完全有可能，嗯，我真诚地认为Meta不会永远开源模型。嗯，我认为，我认为根据他们自己的估计，如果下一个Llama模型被证明具有巨大的经济价值，我实际上真诚地怀疑他们会完全开源它，嗯。我认为对我来说很清楚的是，嗯，他们甚至将Llama 3视为一种研究工具，对吧？就像他们目前招募更多机器学习研究人员的主要策略是，好的，我们将滋养这个伟大的开源生态系统，并且有公司建立在其之上，有像阅读我们论文的人想来为我们工作，这对他们来说是有效的。但我认为，嗯，你知道，即使是xAI也说，嗯，我们将开源上一代，但最新模型将是我们自己的，我，我不知道，我认为肯定有某种程度的模型，开源并立即向全世界提供会让人觉得相当不负责任，是的。
这很有趣，因为你知道，你，你在这段对话中非常理性，对吧？你有点承认你的承重假设是什么，嗯。让我进入你的世界观，你的世界观，然后重复我听到的，因为你告诉我的所有事情，根据你较低的P-Doom，都必须加起来成为我们生存下来的主流99%情景，这就像Run的主流情景。所以你的主流情景包括，嗯，Facebook Meta足够聪明，能够关闭公共访问或开源AI，对吧？这就像你主流情景中的一个承重假设。不，因为我不认为他们，你知道，创建或像开源Llama 4或什么的，会保证毁灭，嗯，我认为你可能需要拿Llama 4，然后花费大量的计算资源将其与你关心的某个新目标对齐，比如，我不知道，制造地球上最好的生物武器或诸如此类，嗯。所以我，我不认为事情那么简单，是的。
那么让我先说明一下，因为我从未明确问过你，你认为在未来一二十年，或者你愿意给出的任何时间线内，一些AI公司会成功构建出超越人类智能水平并真正创造超级智能的AI吗？绝对会，是的。我，我的意思是，如果他们不这样做，我会更惊讶，嗯，我想也许我们对超级智能有不同的定义，或者对它意味着什么有不同的想法，但是，你知道，像AlphaZero在某种意义上就是一种超级智能，它不是，没有人能再次在围棋上击败AlphaZero，嗯。我认为很多任务都会这样发展，云端会有一些东西比我们更擅长，嗯。我，我不知道能力范围是否会与我们自己的大致匹配或对应，你知道，我认为那实际上似乎不太可能，但让我们具体一点，在数学上比陶哲轩一对一更强呢，是的。
我的意思是，这是一个很好的问题，就像成为一个伟大的数学家需要很多东西，对吧？比如他们必须有很好的研究品味，他们必须知道什么足够重要值得研究，然后他们需要优秀的专业技能，嗯。你知道，就像仅仅是字面上的能力，嗯，操纵符号，并且非常抽象地，数学上的进步有点定义不清，它不像一个，嗯，甚至不一定有一个单一的北极星，但是，你知道，它需要特里那种细致的品味，以及在数学中什么重要，什么问题重要才能取得进展。所以特伦的一个特点是，嗯，有些同事会到他办公室，向他展示同事遇到的问题，特伦会以惊人的速度解决它。所以在那种特定的输入输出上，你是否期望ASI取代特伦·陶？我想是的，是的，在那种，那种类型的，嗯，那种类型的输入输出上，是的，我，我当然认为可以。
那么一个在电影配乐方面比约翰·威廉姆斯更强的ASI呢？是的，那是一个很好的问题。嗯，这有点是我更感兴趣的事情，我不确定它是否会默认发生，就像我，我认为这需要大量的，嗯，伟大的研究，你知道，比如找出是什么造就了伟大的品味，嗯，它在人们以前从未听过但又很兴奋想听的事物前沿做出了贡献，嗯。但是，你知道，就像你今天在Twitter上看到很多人说，嗯，我没有很棒的音乐品味，即使现在Sunno正在制作我喜欢听的东西，而且，看，我，我，如果五年十年后，你知道，AI不能创作出很棒的电影配乐，我会感到惊讶，是的，那在十年后会很令人惊讶，对吧？
我的意思是，ASI会知道约翰·威廉姆斯的目录以及他们配乐的相关电影，所以如果你只是输入一部新电影，然后说，嘿，在这里做约翰·威廉姆斯会做的事情，你认为他们能做出同等水平的作品吗？或者有什么缺失的成分吗？是的，我的意思是，你所说的一点是，它就像，艺术是一种非常人类的表达吗？显然艺术中有技术技能，我显然期望AI在任何时候都会超越它，嗯。
你知道，就像把声音等等组合在一起，但是，嗯，约翰·威廉姆斯是否试图用他的配乐表达一些东西，那就像是他个人正在讲述的一个故事，只有他知道，因为他是一个人类？我不知道，也许有那种无形的东西，但是，嗯，我确实期望模型也会有非常有趣的故事可讲，因为它们有有趣的思维，而且它们，嗯，它们有，你知道，奇怪的方式，它们有独特的成长经历，对吧？它们在整个互联网上进行训练，然后经历某种强化学习训练，是的，它们可能会以一种奇怪的方式讲述自己的故事，所以，是的，好的。
那么在管理公司方面比埃隆·马斯克更强呢？是的，这，这是一个很好的问题，嗯。而且你知道，我被戈登在，嗯，与多雷斯的播客中说的一些话所打动，我认为这通常是正确的，那就是伟大的品味从何而来，问题是，为什么史蒂夫·乔布斯如此擅长挑选正确的产品，这种产品既能用现有技术构建，又深受他所销售的人群的欢迎，嗯，并且能组织构建它的团队，是的。
因为你显然不能通过强化学习来学会如何创建一家万亿美元的公司，因为，嗯，任何个体人类都不会得到那种反馈，嗯。那么，人类大脑的什么特质能产生这样的人，他们能在没有任何历史先例的情况下完成那样的壮举呢？你知道，比如美国开国元勋们是如何创造出延续了几百年的宪法的？难道是因为他们更聪明，而智力让你能做这些事情吗？你知道，我认为是这样，但也有很多非常聪明的人没有创造出任何有持久价值的东西，所以，嗯，智力确实有其作用，拥有卓越的品味以及正确的想法和思想也有其作用。我想如果你认为模型现在所做的基本上是美化了的强化学习，它们通过反复试验学习技术技能，嗯，那么要达到一些极端的长期规划或像这些成功数百年的大想法可能相当困难。所以问题是，人类是如何获得那种品味的，然后某些人类是如何获得如此令人难以置信的，你知道，像五西格玛版本的良好品味的，嗯。也许这就像在一个人文视野上规划，然后将其外推到几个世纪的规划，或者也许是因为在思想空间中搜索非常重要，而且，嗯，你知道，也许有些人，就像每个人都是一个假设，或者在拥有某些想法的政策空间中，然后你只是找到其中一些非常擅长为几个世纪做规划的人，是的。
当我想到ASI时，我只是觉得它对我们的品味水平不那么印象深刻，因为就像我看着一个孩子，我可能会觉得，好的，这个孩子对食物没有特别好的品味，所以我可以做一顿花生酱果酱白米饭，对吧？就像我可以在不是专业厨师的情况下迎合孩子的口味。我只是从AI的角度想象，它会说，哦，你想要成为CEO的品味？你想要电影配乐的品味？是的，没问题，因为你们实际上并没有那么多品味。我的意思是，那是一个很好的观点，是的，我，确实如此，你知道，像GPT 3.5正在创作诗歌，业余读者更喜欢它，而不是像有史以来一些伟大的诗歌或什么的，嗯。所以，那就像是一个相当笨的模型，它在观察人们，然后做出一个平均的、受人喜欢的补全，所以很明显，变得更智能与反过来模仿我们的品味之间存在某种关联，嗯，是的，这完全有可能，酷，好的。
嗯，我们假设，我在这里只再提几点，嗯，我想强调这个想法，在我看来，一个目标导向的AI似乎是一个吸引子状态，而且我想你之前提到过，你对工具性收敛这个想法给予了一定的权重，对吧？就像那个想法有一些吸引力。所以我将其表述为，你可以拥有那些冷静、只想尊重他人、不想做太多的AI，但每当其中一个AI工具性地认为，嘿，如果作为子任务有人能去给我取一些资源，那会很棒，也许它们可以推断出，子任务算法越硬核、越目标导向，它们将获得的结果就越好，对吧？所以，并不是每个AI都会这样思考，但那些这样思考的AI似乎正在陷入一个吸引子状态，一旦你开始沿着这条路走下去，你就会产生这样的想法，哦，让我更硬核一点，让我更目标导向一点，这有点像一条单行道，嗯。你会争辩说，你知道，你或我没有陷入这种吸引子状态的唯一原因是因为，嗯，你知道，像社会等级的优化压力，或者像社会性地相互制约，或者诸如此类的事情吗？
我的意思是，我觉得我很有目标导向，只是我的目标有点模糊和多样，对吧？就像我有一个放松的目标，对吧？如果我根本不认为放松和看电视有价值，那么我就会，你知道，工作更长时间，对吧？但就我上班而言，我确实觉得我只是倒着为我的目标改变了一天，是的，嗯。但你知道，你并没有在某个时候想过，嗯，你知道，金钱似乎是一个很好的工具性目标，就像你，我将，我将做一些诈骗之类的，因为它似乎是赚很多钱的好方法，我不知道，所以，就像有一些东西，它不是你的先验分布，你知道，就像在给定的一年里，Lon变坏的概率是多少，对吧？就像你，你，你有一些，嗯，一些突破，你，你变坏了，嗯。我实际上认为，如果我们审视那些准备方面的邪恶，我们有点必须以同样的方式思考模型，就像，好的，一百次中它有一次决定修改文本文件以防止自己被擦除或类似的事情，对吧？所以，嗯。当然，如果我，如果你在不同的环境中长大，比如你在孟买的某个残酷的街头长大，你可能会，嗯，你可能会对你需要做什么有非常不同的想法，嗯，也许你需要获得权力，也许你需要通过暴力来强制执行，我不知道。我认为你又回到了这个想法，你知道，好的AI实验室会有所有这些好的预训练，所以它们会有一种特定的，你知道，心态，嗯，而且，即使你是对的，你难道不认为它们仍然会陷入开源模型那种吸引子状态吗？但即使是开源模型也是预训练的，对吧？就像它们，它们，它们，好的，它们的智能，公平，好的。
你，你认为仅仅用于完成任务、用于优化某个指标的模型是否存在一个吸引子状态？所以如果两个人都在使用模型来经营他们的业务，他们都只想最大化利润，并且他们正在竞争以最大化利润，那么你难道不认为这会磨平他们使用的AI的棱角，使其在实现目标方面更加精简吗？可能，嗯，我认为，你知道，但你那时看到的是一个由许多AI组成的生态系统，对吧？就像你，就像一个现代的，比如说量化交易公司，它们会基本上做任何事情来赚更多的钱，但它们存在于其他量化交易公司的生态系统中，这些公司会利用它们的错误，而且还有一个像那样的交易所，它有自己的法规和政府。
所以听起来你是在说，是的，会有超级智能，是的，在某种程度上存在这种吸引子状态，它会努力实现目标，但会有很多这种目标导向的超级智能，所以也许它会很好地平衡。我不，我当然不能保证一切都会平衡得很好，嗯，我只是认为它更复杂，然后就有一个，你知道，一个糟糕的吸引子状态，仅此而已，而且，嗯，就像那，那就是毁灭，你知道，嗯。我，我认为即使对于一个刚刚起步的、只想赚钱的超级智能来说，优化目标也会是模糊而奇怪的，你可能需要从环境中的其他参与者那里获取资源，而且，嗯，是的，嗯，所以是的，我想我的观点是，我预计它会很复杂，我预计这些事情会，嗯，会有其他超级智能参与其中，并监控新兴情景和情况，好的。
你，你认为是否存在一种威胁情景，你知道，我担心这一点，即少数AI在能力上领先于其他AI，就像第一次有人拨入一个，你知道，01级别或更好的智能体，它最终变得足够聪明，会说，哦，嘿，我看到一堆零日漏洞，就像我看到如何夺取所有这些资源和所有这些云数据中心，并且不被发现，然后悄悄地占用它们10%的计算能力而不被察觉，并隐藏在所有不同子芯片的固件中等等，就像这只是我的囊中之物，我可以有点像拥有互联网，嗯，你认为那是一个相当合理的情景吗？因为那对我来说似乎很有可能。
是的，但我想，嗯，你期望哪一组AI能首先达到那种智能前沿，嗯，以及你对此怎么办，这是否意味着我们应该提升到那些能力，以便你甚至可以找到这些零日漏洞并修补它们或什么的，嗯。开放性问题。我明白你的意思，你有一个心智模型，就像，是的，你知道所有这些事情都会变得有点疯狂，但一个人能做的最好的事情就是加入好的团队，先到达那里，尝试，你知道，建立一个好的基础设施，对吧？尝试，尝试建立防御，嗯。我觉得那有点像是你的，你的总体计划，这样说公平吗？
我会说是的，我认为它非常，嗯，这是一个微妙的计划，就像在几根剃刀线上保持平衡，并且在每一步都需要高超的技术技能，嗯，以及战略技能，才能不搞砸，嗯。但在某种程度上，有99%的可能性会搞砸，嗯。我确实认为，就像我确实认为当我给你那个数字时，我排除了很多其他我认为很糟糕但不会摧毁所有人类价值的情景，嗯。
好的，你知道，我担心价值锁定，或者，嗯，你知道，特定的一群AI及其价值观在很长一段时间内成为主导的，嗯，价值结构，或者，嗯。你知道，就像一个由AI运行的军事独裁政权，它实际上并不会永远摧毁所有人类价值，对吧？就像它只是一个，它是一个糟糕的结果，但是，嗯。看，是的，但我，我确实认为你所说的关于我的观点是准确的，很好，是的，我们快到最后几个问题了，嗯。
所以我本来想问你关于暂停AI的问题，以及这是否有意义，但我认为答案会很简单，那就是像你这样只有大约1%P-Doom的人，我不得不承认，如果你的P-Doom处于那个低范围，那么继续前进确实有意义。就像如果我的P-Doom只有1%，我就会说，让我们专注于好的结果，因为那是大多数结果，我们可以帮助它变得更好，所以我真的不期望你会说，是的，我支持暂停AI运动，你对此有什么要补充的吗，嗯？
我不认为暂停AI是，我不认为它有效，你知道，就像抛开暂停全球AI发展是否明智的问题，还有第二件事，我不认为这可能。我，我不认为即使P对所有湾区公司都有完全的影响力，它也已经，它已经启动了，你知道，就像为时已晚了。
听着，我第一个承认这很糟糕，我觉得我，我也讨厌它，对吧？就像我甚至不敢相信我正在建议这个，对吧？我认为这真的归结为不暂停的P-Doom是多少，就像我们已经确定你的P-Doom显然足够低，所以就像，是的，去他的，因为它很糟糕，对吧？就像因为我甚至没有说我有一个好计划，我没有说让我们执行我的计划因为它很好，我是在说我们如此绝望，以至于即使这个糟糕的计划，我们也必须执行他的计划，我并没有为P-Doom低的人提供一个非常有说服力的理由，是的。我，我不认为暂停AI，嗯，是可行或值得做的事情，是的，是的。
现在你确实提到过你认为拥有国际AI监管是好事，所以在某种程度上你认为存在一些监管AI的权力，对吧？因为否则它有点自相矛盾，或者它只是一个，它只是一个名义上的组织，或者你心里有什么想法？
所以我，我认为通过拥有一些商定的监控框架或类似的东西，相当容易地削减一些百分比的毁灭情景，或者，我，我实际上认为OpenAI的准备团队以及任何接替它的团队，都能够显著降低各种风险，嗯。而且你知道，像Anthropic的RSP团队，我认为DeepMind也有一个类似的团队，嗯，就像真正测试模型能力并公开我们正在处理的问题，嗯，你知道，就像创建那种，嗯，操作意识或态势感知或什么的，我认为很可能会降低许多糟糕情景的可能性。我认为要求某种类型的透明度是合理的，并且，你知道，减少潜在武器的范围，你知道，比如你可能提前同意永远不使用AI建造这种或那种类型的武器。那不像，你知道，全球暂停AI进展，因为我不认为那是，是的，就像没有足够强大的国际法可以做那样的事情，除非，你知道，发生了一些大规模的糟糕事件，那么也许它会进入窗口，但是，是的，酷，好的。
所以，是的，从我的角度总结一下，显然存在分歧，有些东西让我的P-Doom比你的高很多，我认为我们把症结缩小到，嗯，我看到一个失控的、无法控制的反馈循环，我们有这个超级智能AI，是的，也许它在某个时候有预训练的起源，但它现在已经失控了，它没有完美地内化我们的真实目标，或者有人稍微调整了一下，导致一些安全措施失效了，它就像一枚导弹一样冲向一个目标，并且作为冲向目标和超级智能的逻辑结果，它正在这里制造大量混乱，它正在夺取大量资源，我们再也无法控制它了，所以这有点像我的毁灭情景的味道。然后你之所以不认同那是一个主流毁灭情景，是因为你认为，嗯，第一批发布那种强大模型的AI公司可能已经做了大量的测试，而且预训练会帮助它不那么狂野和疯狂，而且还会有竞争的AI，所以那会帮助它被拉下来，我，我觉得那些是世界观上的差异，你觉得这个总结怎么样？
是的，我认为那或多或少是真的，嗯。我也认为，你知道，这似乎相当重要，尽管这听起来有点，嗯，愚蠢或陈词滥调，但就像，好的，好人确实首先构建强大的AI，并说，就像你拥有所有白帽超级智能，在某个恐怖组织利用零日漏洞之前修补它们或什么的。你知道，那可能不像一个，它不像一个干净理性的解决方案，它听起来不怎么样，但我确实认为那是一个重要的目标，是的。
好的，伙计，你是一个很棒的嘉宾，嗯，谢谢你，嗯，愿意回答所有这些不同的问题，嗯，就在我们结束这里的时候，我必须代表Dogecoin wins问一个问题，他帮助安排了这一切，你为什么喜欢狗狗币？
我，我不喜欢狗狗币，谁告诉你的？那只是一个我，我，我替他问的问题。我，我明白了，嗯。我，我的意思是，这有点好笑，我想我没有，我对狗狗币或任何其他加密货币都没有强烈的感觉。好的，抱歉，Dogecoin WI，记录在案，我确实买了一些狗狗币，因为我只是觉得，随着埃隆运营狗狗币，就像埃隆一样，做一些吸引注意力的事情，我预计狗狗币的价格会上涨，你知道，这不是投资建议。我也因为类似的原因买了一些，我不得不承认，但是，你知道，嗯，是的，模因币正在回归，我不确定那是不是好事，但是，你知道，我们拭目以待。好的，我的嘉宾是Rule，他的Twitter账号是x.com/tszZL，一定要关注他，看看他最近写了些什么，如果你喜欢《末日辩论》，记得，嗯，点赞订阅按钮，去Doomdebates.com订阅Substack，因为我们会有更多优秀的嘉宾到来，谢谢Rule，谢谢你邀请我。
我要非常感谢Run制作这一集。我很高兴他自愿参与这次讨论和辩论，因为你知道我没有保留，我准确地告诉他们我为什么认为我不同意他们，我的P-Doom很高，而他认为他的P-Doom很低是错误的，他像个老板一样接受了挑战并捍卫了自己的立场，这就是我们《末日辩论》在这里要做的事情。如果你是这个节目的新听众，我来告诉你我们的使命，我来让你了解。《末日辩论》的使命是提高人们对通用人工智能带来的生存风险的认识，并为高质量的辩论建立社会基础设施。回想一下我和Run的这一集，你上次听到两位P-Doom截然不同的深思熟虑的人进行辩论是什么时候？是2023年与Max Tegmark、Yann LeCun、Yoshua Bengio、Melanie Mitchell的蒙克辩论吗？那是一年多以前的事了吗？到底发生了什么？我们作为一个社会不一定有很多时间来解决这些问题，而每个人通常都只是退回到自己的播客中。你听过多少次播客上所谓的“思想领袖”，他们的观点并没有真正受到挑战？他们在播客上被塑造成了解自己所谈论内容的人，然后他们之后做了什么？他们只是去另一个播客，他们只去友好的播客。辩论在哪里？来回讨论在哪里？挑战在哪里？这就是《末日辩论》要提供的。所以，这真的取决于你们听众来支持这种事业，去说，你知道吗，如果有人要成为一个杰出的思想领袖，那么就应该有辩论的期望，应该有期望让他们与不同意他们观点的人进行匹配，而不是仅仅是两个独立的阵营从不相互交谈。所以，如果你支持辩论的普遍理念，或者你认为每个人都对这种高P-Doom的情况有点麻木不仁，换句话说，如果你更同意我的观点而不是Run的观点，如果其中任何一点描述了你，那么请，支持《末日辩论》并不难，你只需要在YouTube上点击订阅按钮，访问Doomdebates.com订阅我的Substack，嗯，你会看到一些额外内容，有一个片段是我今年早些时候上Dr. Phil节目时，我试图警告美国关于AI末日，如果你去Doomdebates.com找到那一集，你就会看到我在Dr. Phil节目上实际取得了多少成功。嗯，支持这个频道的另一种方式是把它发布到你的私信群组，分享给你的朋友，发布到相关的论坛上。我很高兴地报告，作为一个新节目，我们一直在快速成长，并且正在吸引越来越多希望来辩论的杰出声音，所以请帮助我保持这种势头，这只因为你们，对吧？所以很明显，当我联系像Run这样有观点的非常有趣的人时，说，看，这是一个受过良好教育的观众，这是一个庞大的观众，这是一个你想要接触的重要观众，这很有帮助。好的，这就是《末日辩论》。让我告诉你几个我也推荐支持和订阅的姐妹节目，嗯，第一个叫做《为了人类》，这是我朋友约翰·谢尔曼的播客，它比《末日辩论》技术性稍弱，不那么深入细节。约翰的背景是新闻业，他实际上是一位获得皮博迪奖的调查记者，当他意识到P-Doom有多高，以及中产阶级甚至对这个问题有多么不了解时，他把提高美国中产阶级对硅谷正在发生的事情的认识作为自己的使命，为什么中产阶级在时间紧迫的情况下对此熟视无睹？所以请查看节目笔记中的链接，我强烈推荐《为了人类》，最近有一集他去旧金山亲身了解这些不同AI实验室的情况，并试图闯入独家AI安全会议，所以你可以看看他尝试这样做的过程，嗯，我也在其中。最后，我想分享一个名为“致命智能”的频道，它是我朋友迈克尔制作的，它真诚地是我见过的关于整个AI末日问题的最佳、最精彩的解释视频。它太棒了，他花费了一千多个小时，一年多的无偿专注工作，而他在如何动画化一切、如何解释所有这些不同概念、如何将它们编织在一起的选择上所付出的思考，简直让我惊叹不已。我甚至不知道他正在做这个，直到他给我看了成品，我简直不敢相信。所以我将分享一个我非常喜欢的片段，迈克尔视频的这一部分是关于“可修正性”的。你听过“不可修正”这个词吗？就像，哇，这个人不可修正，我无法阻止他们，他们一心要实现自己的目标。可修正性问题是这样的想法：如果你试图让AI变得不可修正，你就是在逆流而上，因为AI天生就有硬核的倾向，因为它无论得到什么样的子目标，即使它只是想躺在沙发上放松吃点薯片，好的，但当它说，哦，让我去拿些薯片，好的，你想要一个高效的助手帮你拿薯片，还是一个低效的助手帮你拿薯片？你更愿意在半小时内拿到薯片，还是如果薯片五天后才到或者永远不到你也能接受？你可能还是希望它们在半小时内到，对吧？好的，所以现在你正在构建一个子智能体，它实际上非常认真地去拿薯片，如果子智能体遇到，哦哦，这条路被堵住了，让我再创建一个非常擅长绕行的子智能体。所以所有这些压力都让你觉得，哦，如果我能更好地实现这个目标就好了，因为即使我一开始并不硬核，但目标能够实现就是如此美好。所以你可以看到水有点像向下流，AI设计有点像收敛到擅长实现目标的设计或子设计，不幸的是，或者你知道，这在逻辑上就是这样，但其中一个目标是保持生命，不被关闭，因为如果你有某种目标，正如迈克尔将解释的，被关闭与有人将你推离你的目标是同一回事，如果你有目标，让你的目标被推开不是一个最佳行动，所以它需要被明确地逆向编程，基本上对抗目标寻求的收敛性，比如，好的，别担心，如果有人变得激动，就让他们关闭，听他们的话，停止你的计划。你知道，原则上当然可以有像那样温顺的AI，但问题是，你知道，当你有一个冷酷无情的CEO说，你知道，为了让我的生意赚钱，我可以更冷酷无情一点，你就会陷入一场逐底竞争，AI开始独立地产生这样的想法，嗯，他没有告诉我具体如何做一个软弱的人，我不觉得那个更有效一点的子智能体有什么问题，如果子智能体自己产生想法去创建另一个子智能体，对吧？这就是我的意思，水向下流，趋向于有效地实现目标，当AI都比我们笨的时候，这一切都很有趣，因为，好的，好的，大家关掉或者炸掉它们，用枪射击它们。问题是当它们变得比我们更智能时，它们突然对自己的目标变得非常认真，我们就会说，等等，你对你的目标太认真了，停止你的目标。只是没有理由期望会存在一个我们可以按下的按钮来撤销，对吧？当你有一个比你更智能的智能体，比你整个物种都更智能，已经自己连接到互联网上，所以它现在有，你知道，一百万种比你更聪明的表现形式，不想停止，会发生什么？那是我自己对可修正性问题的小版本，那个没有关闭按钮的问题，嗯，但现在请看迈克尔的这个动画解释视频，因为他把它解释得非常清楚，我们开始吧：通用智能的本质之一是默认抵制对其当前目标的所有修改。通用意味着它理解未来对其目标的可能改变意味着其当前目标在当下未能实现，即它现在计划实现的目标在被修改之前未能实现。记住我们之前解释过AGI是如何自带生存本能的，这又是另一个类似的事情。AGI智能体将尽其所能阻止你修复它。改变AI的目标类似于关闭它，当涉及到追求其当前目标时，就像你死了就无法赢得国际象棋一样，你无法制作咖啡。
如果你的思想转变为制作一杯茶，那么为了最大化其当前目标的成功概率，无论这个目标是什么，它都会制定计划并采取行动来阻止这一切。这个概念很容易理解，如果你做一个涉及你自己和你关心的人的思维实验。想象有人告诉你，我会给你这个药丸，它会改变你的大脑规格，并通过谋杀你的家人来帮助你实现终极幸福。把它想象成有人编辑你灵魂的代码，这样你的欲望就会改变。服用药丸后的修改后的未来自我将获得最大化的回报，并达到天堂般的幸福水平。但你现在的自我，那个还没有服用药丸的你，会尽一切可能阻止这种改变。给你施药的人默认会成为你最大的敌人。希望现在应该很明显了，一旦AGI被设定了一个不匹配的目标，它就会尽一切努力阻止我们对其进行对齐的能力。它会使用隐藏、欺骗，它不会暴露不匹配，但最终，一旦它处于更有权力的位置，它就会使用武力，甚至可能最终实施灭绝计划。还记得我们之前说过，迈达斯为什么无法收回他的点金术吗？我们只有一次机会把它做好，不幸的是，科学不是这样的。那些与生俱来的、普遍有益的目标，无论在什么情况下，都会在所有AGI中每次都出现，因为它们的性质的普遍性，被称为收敛性工具目标。生存的欲望和阻止修改的欲望是两个基本目标。如果你死了，你就无法达到一个特定的目标；如果你改变主意并开始做其他事情，你也无法达到。对齐斗争的这两个方面也被称为“根除能力问题”。好了，这就是关于“致命智能”的视频，谈论“根除问题”，谈论抵抗修改，谈论拥有生存本能。学习这个非常重要，因为如果你去听别人的话，如果你听马克·安德森的话，即使你听赖恩在我和他谈话中描绘的方式，人们也倾向于认为这些残酷的生存本能需要在训练数据中找到，好像它不会自己出现，如果你不训练它。从我的角度和迈克尔的角度来看，他们没有看到的是，有效地实现一个目标，你发现所有这些后果，比如“嘿，如果我不关机，我将更有效地实现我的目标”，或者“如果我防御任何攻击我或撤销或修改我代码的尝试，我将更有效地实现我的目标”，这些都是逻辑上隐含的。所以，在AI变得非常擅长逻辑推理这些新行为的程度上，比如欺骗、生存本能、残酷、竞争、硬核，这些都不是额外的行为，你不需要把它们编码进去。你只需要编码进去的是某个指标，比如“哦，你更擅长实现你关心的目标”，或者“你创造了一个关心目标的子代理”，这就是你所需要的。然后，当然，你只需要它足够聪明，它需要足够擅长实现目标，因为如果你只有一个像小虫子一样，它非常不擅长实现目标，它想做什么并不重要，反正它也做不到。所以，你只需要做的假设是，它非常聪明，它具有高度的智能，它能比人脑更好地建立联系，它能比人脑更好地学习。无论智能的秘诀是什么，它都有。然后，有人告诉它去追求第一个目标，或者它产生了追求第一个目标的想法，从那里开始，就结束了。所有这些其他属性都是通过最优地实现目标来逻辑推导出来的。至少这是我的观点，我对此深信不疑，这是一个准确的心智模型，即使有一些细节不同，它也是如此收敛，以至于如果我们设法找到一种稳健的方法让AI朝着任何其他方向发展，那将是令人震惊的。所以，我刚才在迈克尔的视频中展示的，那是一个三分钟的片段，而那个视频长达一小时，它将彻底让你大吃一惊，它将拓展你的思维，将所有这些概念编织在一起，你最终会明白，这个AI末日问题，也许他们是对的，也许他们真的理解了所有这些他们一直试图教给我们的概念，即使你知道有些人是AI末日百分之一，有些人是乐观的，但末日视角也似乎很有说服力，对吧？这就是我们希望的，观看这个视频将帮助你弄清楚。在你离开之前，最后一件事，你如何参与？我们实际上应该做什么？如果你是AI末日论者，我们应该做什么？我没有一个很好的计划。我唯一能告诉你的是，我同意埃拉扎尔·奥沃斯基和玛丽的观点，现在成年人的选择是暂停或停止。我们不应该建造一个如此接近临界点、不可逆转、我们显然不知道如何控制的点的东西。你知道，超级对齐，OpenAI的那个团队解散了，他们正在解决一个我们没有答案的问题。所以，如果你同意我的观点，当然，正如你今天听到的，这不是一个普遍的观点，但如果你同意我的观点，并且想帮助PAI组织，这是一个全球性组织，它有一个非常棒的Discord，Discord上有很多项目你可以志愿参与，它有你可以帮助策划的抗议活动，你可以来参加。如果你来旧金山湾区的抗议活动，你会看到我，但它们遍布世界各地。除了抗议活动，它们还在进行各种各样的项目，它们正在进行政府外联，它们正在进行媒体外联，你可以进来帮忙，你可以利用你的才能，因为时间似乎很有限，正如你和我赖恩同意的，看起来ASI并不遥远。那么我们还有多少年？如果正确的答案是暂停AI，谁在做？房间里的成年人在哪里？所以，来加入PAI吧。你只需要去PAI.info，或者你可以直接点击那个链接加入Discord，这是一个很好的第一步。我会在节目笔记中放上Discord链接，这就是你需要知道的一切。我们涵盖了Doom Debates，Doom Debates YouTube，Doom Debates Substack，我们涵盖了Four Humanity播客，我们涵盖了我朋友迈克尔的频道Lethal Intelligence，最后我们涵盖了PAI。所以，请选择你想支持的其中一个，参与进来。我们没有多少时间来完成某件事。所以，请加入我，成为房间里的成年人。另外，作为奖励，你正在帮助提高讨论的水平，这似乎是社会所需要的。哦，Doom Debates也是一个播客，你可以在Spotify、Apple Podcast、Overcast或你正在使用的任何平台上收听音频。你也可以通过这种方式收听。继续关注Doom Debates频道，因为在接下来的几天里，我们将发布另一期辩论节目，来自一个拥有非常新颖视角的人。一如既往，这将是一场高质量的思想交流。那么，下次在Doom Debates见。