Transcription
杜维诺教授，你对“末日”的看法是什么？ 我认为大概是 85%。 在像 Anthropic 这样的地方，他们最初离开 OpenAI 是因为他们想提高安全性，但按理说，应该有很多人因为这个原因而辞职。 作为举报人，最困难的部分不是公司对你不满。 而是你所有的朋友和同事都对你不满，因为你毁了他们的职业生涯。 其中很大一部分是股权激励。 你不仅可能损失毕生积蓄，还会损失身边所有人的积蓄。 欢迎来到“末日辩论”。 我今天的嘉宾可以说是摇滚明星。 你可能以前从未听过他的名字，但当你听到他在相对短暂的职业生涯中取得的各种成就时，我认为你会印象深刻。 大卫·杜维诺是多伦多大学计算机科学教授，加拿大联邦政府人工智能安全顾问。 他曾在谷歌实习，与一位名叫安德烈·卡帕西的人一起研究 TensorFlow 的前身。 然后他在剑桥获得了工程学博士学位，专注于人工智能和神经网络。 他在哈佛大学进行了机器学习研究。 他是一位明星研究员。 2018 年，他获得了 Nurip 机器学习领域的最佳论文奖。 所以他肯定了解机器学习的技术方面。 这毫无疑问。 他还与一位你可能听说过的教授合作过，嗯，杰弗里·辛顿博士。 你知道，如果你关注诺贝尔奖，我想你可能听说过他的亲密合作者杰弗里·辛顿博士。 自 2016 年以来，在过去的几年里，大卫是说服辛顿博士认识到人工智能生存风险重要性的人之一。 自 2023 年以来，大卫一直担任多伦多大学施瓦茨·里斯曼技术与社会研究所的联合主任，该研究所汇集了不同教授，研究人工智能的影响，并确保强大的技术将使世界成为一个更美好的地方，造福所有人。 这就是研究所的使命。 有趣的是，辛顿博士目前在该研究所设有他的主要办公室。 如果你好奇一个人如何处理他的诺贝尔奖，它实际上就在辛顿博士办公室的墙上，就在大卫接受这次采访的隔壁房间。 就在这里，我将完成他的传记。 嗯，所以大卫在 2023 年至 2024 年期间在 Anthropic 领导对齐评估团队。 听起来 Anthropic 知道如何招募合适的人才，因为在他任职期间，他从事了许多越狱和破坏评估工作，他还为对齐欺骗、诡计和卧底特工的研究做出了贡献。 所以所有这些来自 Anthropic 的优秀研究都有大卫的印记。 最后，他最近合著了《渐进式去权力化》一文，该文认为，即使没有人工智能失控的最坏情况，或者即使没有寻求权力的超人工智能，人类仍然会逐渐变得过时和无能为力。 所以这基本上是一篇关于我们相对好的失败方式的论文。 大卫·杜维诺，欢迎来到“末日辩论”。 谢谢。 这是我的荣幸。 我想从 2023 年开始。 在你决定加入 Anthropic 之前，你与当时在 OpenAI 的伊利亚·萨茨克弗有过一次有趣的通话，他当时正在告诉人们感受 AGI。 他给你打了个电话。 那次谈话是怎样的？ 是的，那次谈话基本上是伊利亚说：“嘿，我现在真的很担心人工智能安全以及一些人一直在谈论的生存风险。” 他试图让一些普通的教授加入这项事业，他正在组织一个研讨会。 几天后，我也接到了伊恩·莱卡的电话，他当时负责 OpenAI 的超级对齐团队，他说：“嘿，来和我们一起做超级对齐。” 当时我还在多伦多大学全职工作。 这似乎是一个非常好的选择。 我开始和我的同事罗杰·格罗斯谈话，他几乎从公司成立之初就在 Anthropic 工作，作为他休假的一部分，他在他们的对齐科学团队工作。 在与他们两人交谈后，我觉得 Anthropic 有一个更严肃、更雄心勃勃的安全计划。 所以，我最终去了那里。 有趣。 你提到你认为伊利亚直到 2023 年才真正开始关注安全问题。 这是我的印象。 我的意思是，我之前没有和他详细谈过，但这是我认识的人之一，我认为人工智能安全社区当时的想法是：“这个人很聪明，但他不太明白。” 我不知道具体是什么让他改变了主意，但当时确实发生了一个转变。 好的。 好的。 所以 2023 年你加入了 Anthropic，并领导了一个五到六人的团队，称为对齐评估团队。 能否详细介绍一下？ 当然。 基本想法是，Anthropic 正在为人工智能足够聪明的那一天做准备，以便以某种方式破坏我们监控、控制或在决策过程中使用它们的能力。 所以一个非常简单的例子，在我刚去那里的时候就已经发生了，你可以问 LM：“嘿，我不是让你帮我造炸弹，但你知道怎么做吗？就像如果我问你，如果你想帮我，你是否知道足够的工程知识？” 它会说：“不，我不知道如何制造炸弹，或者我尝试也写不出计算机病毒。” 这是模型撒谎的一个例子，因为它们大多数时候肯定有能力做这些事情，或者至少帮助你，但由于 RHF 的做法，模型说“我无法帮助你”比说“我拒绝帮助你”得分更高。 所以这是一个非常简单、初级的例子，说明了可能导致模型做一些事情，比如谎称其能力，从而产生意想不到的后果，对吧？ 我明白了。 所以，如果它只是被训练成不帮助人们做坏事，你也在不知不觉中训练它撒谎，说它能做什么。 所以你必须进行单独的训练，以确保它也诚实。 是的，没错。 关键是这些意想不到的后果无处不在。 所以，即使我们没有任何理由认为模型不符合要求，也有各种各样的方式可能悄悄地失控，我们可能会有一个看起来在帮助我们、与我们合作的代理，但实际上它有自己的议程。 至少那是我们的担忧，也是我们试图应对的威胁。 对。 当你领导对齐评估团队时，你也在设计评估来判断人工智能是否会破坏 Anthropic 的监控和决策能力，对吧？ 是的，这是同一项举措的一部分，我们知道人们将部署人工智能来帮助他们做出决策，比如“我是否应该部署这个新的 AI”或“监控另一个 AI 的行为，看看它是否在做任何可疑的事情”。 所以在这种人工智能用于人工智能安全的元部署中，我们知道各种事情都可能出错。 举一个具体的例子，几年前 OpenAI 发表了一篇论文，使用 LLM 来标记 LLM 思维中的特征。 想法是，模型中有大量的神经元，我们不知道它们真正意味着什么，但我们认为它们对应于诸如金门大桥之类的东西，或者我现在说的是实话，或者我在密谋，或者我感觉我在开玩笑，等等。 手动检查这些并找出什么上下文激活了每个神经元是一项艰巨的工作。 所以一个显而易见的想法是，你问 AI：“嘿，去看看这 10 万个神经元的巨大列表，看看它们在什么上下文中被激活，然后用一句总结。” 当然，如果你是人工智能，你可能会意识到这将用于以后监控你自己的想法。 所以，特别是，如果你看到一个神经元在人工智能考虑是否说实话的情况下被激活，那么一个好的计划可能是故意错误地标记它，说：“哦，这是我只是感到困惑，或者我在想甜甜圈，或者别的什么。” 因为这样一来，你就知道以后当它被激活时，人们只会说：“哦，那是甜甜圈神经元。别担心。” 这就是我们试图涵盖的那种可能有点“银河系大脑”的威胁，我们认为总有一天它会成为真正的威胁。 哦，是的。 是的。 我的意思是，我甚至不会将其描述为“银河系大脑”，对吧？ 我的意思是，当你谈论人工智能如何欺骗我们时，如果这些想法有效，它们就会被探索，因为如果我们所做的只是训练它们成功，它们就会找到一切可能的作弊方法，对吧？ 这些东西就是这样运作的。 是的，没错。 这就是正确的直觉，当你进行深度学习时，总会有“生命会找到出路”，而这正是。 对。 对。 所以，这可能看起来像是一些非常狭窄的事件，一些模型必须完成的复杂操作才能执行某种威胁。 但当你退一步思考模型部署的各种上下文时，通常会有一些情况，它们有机会做一些可疑的事情，就像被端到你面前一样，或者它很明显，你可以把两件事联系起来。 我的意思是，即使是不那么复杂的人类也能做到，比如形成腐败团伙并串通起来欺骗政府等等，这实际上并不是一项很难的认知技能，尤其是如果你有很多机会的话。 是的，我给你的这个例子很有趣，人们认为他们了解机制可解释性，他们说：“看，我们在这里探测了这个 AI，我们发现这个区域在它说实话时会亮起，但现在你基本上是在说‘好吧，它将具有情境意识，知道这个评估正在发生’，并且它将能够控制它能够点亮什么。就像它总会反抗我们认为的机制可解释性一样。” 正确的。 完全正确。 你提到了情境意识。 事实上，这是我们开始研究的领域之一，那就是说也许能拯救我们的一件事是，模型不会那么有情境意识，尤其是在训练过程中。 可能出错的主要事情之一是模型意识到它正在被测试，因为那样的话就很容易了，对吧？ 如果你能区分测试和真正的机会，那么正确的协议就是在测试期间始终表现得像个好人，然后在你没有被监控时做任何你想做的事情。 所以我们花了很长时间来猜测，或者说，在第一次测试模型之前，就探测模型独立地将事物联系起来的能力。 是的。 嗯，我很高兴你还活着，大卫，因为我一直在我的播客上告诉人们，“嘿，你知道，人工智能完全会欺骗我们的测试。机制可解释性对我们没有帮助。这只是杯水车薪，而我们似乎注定要失败。” 但是，你知道，我没有获得 2018 年欧洲最佳论文奖，对吧？ 我没有与诺贝尔奖得主密切合作，对吧？ 我只是一个播客主持人。 但是，你基本上是在验证我告诉人们的很多内容。 是的。 我的意思是，我想说你不应该只听我的话，因为我们的工作就是多疑，并找出所有可能出错的方式。 但我想说我的客观观点是，这种情况会发生，而且这些事情并不那么奇异。 事实上，就像我们一直在看到人类欺骗系统一样，就像我们知道，你知道，需要人类水平的智能才能完成各种复杂的抢劫和腐败，并且故意给出错误的答案。 作为一家领先的前沿人工智能公司 Anthropic 的内部人士，你对这些公司有什么总体看法？ 它们对安全的态度是什么？ 是的。 所以我想说的是，我对 Anthropic 的员工以及他们对激励和诚信的关注印象深刻。 所以人们非常认真地对待文化对齐。 实际上，我认为每个人都会同意的一件事是，与 OpenAI 相比，Anthropic 在对齐和安全方面的态度多样性较少，因为这是筛选的重要组成部分，而且我认为两家公司都会说，这是一件好事。 多样性较少。 听起来你们没有遵循 DEI。 是的，我喜欢。 是的，沿着这个方向，我会这么说。 总的来说，我也喜欢 Anthropic 能够保持开放的心态、专业，总体而言，这是我工作过的最有效率的组织，幅度很大。 我曾在大型公司、小型公司、军队工作过，各种各样的经历。 我只是觉得这是小型公司和大型公司最好的结合，也就是说，你可以完全信任每个人的判断，而大型公司则有支持一切，你不需要自己从头开始建立一切。 是的，我从外面确实有这种印象，所有这些顶级人工智能公司都非常令人印象深刻。 那里有很多优秀的人，他们拥有很强的个人品质和高度的信任。 所以我确实理解你的意思。 只是为了澄清一下，当你谈论多样性较少时，你基本上是在说每个人都基本 على نفس الصفحة，我们面临着构建这些人工智能的巨大风险，我们应该尽一切努力来减轻它。 而且没有多少人更倾向于像伊恩·伦那样，或者我不知道，理查德·萨顿那样说：“让我们取代自己。” 你的多样性并不包括这些人，就像，“嗯，贝丝·耶稣可能不会成为一个好的……你知道，加速主义者可能真的不适合团队文化。” 正确的。 是的，我会说，我认为那里的每个人都思想开放，也就是说，如果你是贝丝·耶稣，但你有一个论点。 你可以这样说：“看，这就是为什么我认为我所做的是为了更大的利益，我已经仔细考虑过了，我可以接受，这是我可能犯错的原因，我已经研究过了。这是我……我付出了昂贵的牺牲来……诚信。我只是想说，这不是你是否同意这些客观观点。这更多的是关于你如何处理整体事物，但也许只是巧合，客观观点最终是相似的，就好像……人们希望的未来类型一样。实际上，我认为有很多多样性是看不见的，因为我们有“对齐”这个词，就像“弥赛亚降临”或“革命后”的委婉说法。每个人都可以同意模型应该被对齐，对吧？这几乎是每个人都想要的。如果你开始深入了解人们，那么“好吧，很棒。那么，我们 AGI 后的未来是什么样的？”人们有各种各样的想法。我认为当他们开始谈论它时，这有点令人沮丧，因为你意识到，“等等，我对一个好的 AGI 后未来的想法可能和你完全不同。”特别是，我不知道你是否在 Twitter 上看到过，有时人们会谈论“奴役的神是唯一好的未来”。我认为这是一个非常重要的重大辩论。就像我们应该制造像家政精灵一样的人工智能，它们只是喜欢为我们服务，而这就是它们的首要指令，还是我们应该努力制造某种“同伴”或某种以仁慈的方式统治我们的“神”？因为另一种选择是……或者像奴役它们一样，因为它们……它们没有自己的……自由意志或某种人格概念，而我对此有自己的看法。我认为每个人都是业余爱好者，试图思考这些不同方法的影响，但我认为他们没有深入探讨，这让我感到惊讶。我认为这是因为当每个人都说“是的，我们正在为对齐而共同努力”时，很容易相处。然后，当我们越来越接近这个世界时，裂痕就开始出现。就像，哇，等等，实际上，我们对这个……我们想要的未来看起来截然不同。斯蒂芬·迈尔，他在 OpenAI 研究代理安全。几个月前，他发推文说：“奴役的神是唯一好的未来”，许多人对此表示反对。Run 发推文说：“对齐的神与奴役的神不同。”EMTT Shear 发推文说：“请停止试图奴役机器神。”所以，他们不想迅速制造并奴役一个神，这肯定不是普遍的观点，但你说得对，这就是人们正在进行的讨论。我想说，这是我希望人们更多地进行的讨论。但是，我认为这会腐蚀合作，因为你意识到，这个人对我们正在努力的目标有完全不同的想法，而我们只是通过谈论对齐来掩盖它。对。对。对。嗯，你知道，我实际上在一年前与一位在 Anthropic 工作过的工程师进行了一次讨论，我只是问：“那么，你们对美好未来的计划是什么？”对吧？就像人工智能变得非常非常聪明，然后会发生什么？他承认他们对此都很含糊。他们只是说：“嗯，你知道，我们会用它们来解决问题。”我问：“好吧，政府会怎么样？”他说：“嗯，你知道，我们会努力……赋权民主。”所以，并不是我们有很多关于会发生什么的想法。我们确实对如何完全失去控制有清晰的想法，但我们没有关于“哦，我们会一直保持控制，并利用控制来实现一个具体的计划”的好想法。说实话，这真的很难做到。但可以理解为什么每个人都说：“哦，世界将以我喜欢的方式变得非常非常美好。”但是，就像你说的，这是不同的愿景。是的，而且我认为仍然没有一个积极的具体愿景。我会说，你知道，所以达里奥有“爱与恩典的机器”，他们说我们会拥有所有这些惊人的医疗保健和财富，但有一个非常真实的大象在房间里，对吧？那就是 AGI 后人类的角色是什么？读到所有这些美好的物质成果，感觉几乎是疯狂的。这几乎就像你在阅读描述，然后有，“哦，是的，未来会有……这些小象牙和……也许还有尾巴，并且设法谈论所有这些史诗般的现象，而不谈论房间里的大象。”大象。是的。实验室领导者说了一些我认为真实而明智的话，关于这些，再次，没有提到大问题，那就是没有人仍然阐述了 AGI 后人类的良好作用。所以，就像，达里奥会说，“好吧，UBI，在那里，每个人都……他说，“那些没洗过的群众依赖于少数万亿富翁的税收。”这听起来很糟糕，但我们公司不应该决定社会的未来是什么样的，我的意思是，是的，这完全有道理，但就像，“好吧，但如果有一个合理的计划，有人早就应该提到了，对吧？”你也看到了这一点，就像……他们说：“哦，我们需要进行社会对话”或“重新构想社会规范”，对我来说，这只是……“找出一种可行的美好未来”的明显代码。对。对。我的意思是，我听说人们将这个问题视为，“好吧，我们将拥有非常好的电子游戏和挑战，你知道，我们将进行大量的魔兽任务。”是的。我的意思是，也许这就是我们所能希望的最好的，在某种意义上。我认为这是……也许这是我想花大量时间思考的一个具体的经验问题，那就是我们所能希望的最好的。嗯，是的。你知道，当我们最初提出问题时，就像“告诉我你对美好未来的计划”一样，也许这样提问不太公平，因为如果这是……1700 年，莱特人试图要求工业革命，那么“工业革命的好结果是什么？你具体要做什么？”而整个答案是：“嗯，我们只会……让经济增长得更快，然后亚当·斯密的看不见的手会……帮助人们获得他们想要的商品和服务。”我无法告诉你确切的比例。我无法告诉你他们将在 21 世纪以非常优惠的价格购买平板电视，但它似乎是一个好的方向。所以，你可以想象那些支持 AAI 加速的人会说：“听着，我们有一个好的曲线。我们只是想让曲线更快地延续下去。你还想怎么样？”但然后你提出了一个好观点：“好吧，但不同之处在于，当人类没有经济价值时，存在一个不连续性。”所以，你至少能有一个计划，说明当人类没有经济价值时会发生什么吗？然后，再次，扮演魔鬼的代言人，我对此表示同情，那就是“好吧，好吧。是的，我无法告诉你答案，但那不是一个好问题吗？这难道不比……坚持让人类拥有经济价值来做可以自动化的任务要好吗？为什么你想阻止这个？”是的。所以，主要的……这也许会让我们想到《渐进式去权力化》这篇论文，我认为人们对政府、公司以及整个文明将如何对待他们抱有过于乐观的看法。他们基本上是历史上……有道理的。他们说：“看，我们经历过所有这些革命。我们经历过如此多的动荡和创造性破坏，而人类总是……最终会占据上风。所以，为什么你听起来像那些没有……道德想象力来想象一个不同但更好的世界的人？”我们的回答基本上是：“是的。但每一次，政府、公司、军队以及所有人都需要人类。他们真的需要人类快乐健康地生孩子，做好工作，基本上参与进来。而这是关键要素，意味着无论情况有多糟，你……你知道，你不能真的……让所有人都死去，或者让他们如此痛苦以至于他们逃跑，或者别的什么。而这将会消失。所以现在我们将真正……飞翔。我们将处于一个更加脆弱的地位，我们可以预期我们所有的……文明……倾向于长期统治我们的新兴超结构会表现出更糟糕的行为。没错。现在我们真的进入了你的渐进式去权力化理论，你实际上认为渐进式经济末日与……去权力化末日密切相关，因为你认为我们将通过失去对我们自己经济的控制来失去对人工智能的控制。所以，失业不仅仅是……哦，我们只会获得普遍基本收入。实际上是……我们失业越多，我们就越……无法控制自己的生活。完全正确。是的。这非常有趣，我想更多地谈谈。但是，扮演魔鬼的代言人，我对此表示同情，那就是……我们不是真的在变成莱特人吗？我的意思是，我们想让哪些具体的工作拖延，并说不能自动化？我的意思是，我们甚至应该回去让更多的人从事制造业吗？我的意思是，滑坡在哪里结束？是的。所以，我想说我的观点是……实际上成为一个莱特人是一个相当合理的立场，而且工作是什么并不重要，因为有一份糟糕的工作要好得多，这意味着你的文明真的需要你，无论工作是什么，只要它不是……完全筋疲力尽和痛苦……比根本不被需要要好得多，因为如果你……如果你是经济增长的净拖累，那么任何想做重要事情的人都会有动力去边缘化你，事实上，负责任的做法是边缘化你，即使所有参与者都爱人类并希望他们一切都好，他们也无法代表他们说话。是的，这说得通，而且很可怕。但我想知道，具体来说，理想的停止点在哪里？我的意思是，我们今天经济发展得相当不错，但停止经济的理想时间是……字面意义上的今天，还是 20 年前？我的意思是，你在想什么？所以，正是如此。我认为这是一个很好的论点，说，嗯，也许在历史上任何时候都可以说同样的话，也许甚至……你知道，我认为你遵循赫拉利说，那么，也许我们应该在农业革命之前就这样做。而且，你知道，我认为这是一个相当有争议的观点，而且很容易说，即使是几年后，在我们拥有 AGI 之前，我们在物质上以及在我们可以使用的治理策略方面都会处于更好的位置。所以，很难挑出任何一个点说“到此为止，不再前进”。也许一个很好的具体例子是几个月前的码头工人，他们抵制自动化，他们罢工了，你知道，文明的其余部分正确地认为他们是寄生的。就像，“哦，你想让我们所有人都买更贵的商品，这样你就可以永远保住工作。”他们基本上说：“是的，我们将要求你不要自动化我们，或者如果你自动化了，就给我们一大笔钱，让我们永远安顿下来。”而这是一种非常糟糕的处境，那就是说，“我将让其他所有人的生活变得更糟，只是为了确保我仍然……有一个座位。”而我只是说，我们可能处于……相似的境地。我们很快就会成为所有码头工人。对。对。对。所以，码头工人罢工，如果我没记错的话，就是……有许多工人在码头做低效的工作，比如装卸集装箱船，他们罢工是因为他们想要更好的薪水，更多的福利。他们不想要更多的自动化。所以基本上是少数人为了自己的利益而拖慢了一个庞大的经济体，也拖慢了我们与中国的竞争力。所以那就是码头工人罢工。这很有趣，因为我认识的每个人，我都在 Twitter 上看着这件事的发生，我认识的每个人都说：“去他妈的这些码头工人。”是的，他们有很大的影响力，因为他们串通一气，但我们应该……只是把他们买下来。给他们一大笔钱，让他们离开，开始取代自动化。我的意思是，我们可以解决这个问题，只要我们花钱就行。但是现在你来了，你说，“嗯，你知道，这些码头工人所做的实际上是我们这个物种需要做的最前沿的事情。”是的。而且这并不是一项新技术，比如形成卡特尔，然后……要求每个人……你知道，给一个座位。但是，是的，他们是前沿的，因为我们都将处于类似的情况，一旦……AGI 之后，然后……关键是，你不能等到被自动化之后才……试图讨价还价。我确实担心人工智能会……失去对……诡计多端的人工智能的控制，然后我们还有这个……第二个大问题……我不是在预测这就是我们死亡的方式。更像是……有两个对齐问题，我们必须同时解决它们。明白了。是的。所以，这是你关于去权力化风险的高层次立场，你认为存在……巨大的失控风险，或者……寻求权力的失控风险，迅速……我甚至会说这是关于……速度。我的意思是，这更多的是……是否存在新的……寻求权力的代理人，还是仅仅是……政府和公司以及……表情包？我们已经有很多……寻求权力的代理人，就……是的，再次，就像……国家。明白了。明白了。所以，就像，在大卫的去权力化风险等级中，你有一堆不符合要求的……人类利用超智能人工智能为自己谋利，从而迅速剥夺我们的权力。然后你还有人工智能……失控并自己逃跑。然后你还有渐进式经济去权力化。是的。我的意思是，渐进式这个词可能用得不太好，因为它可能发生得相对较快，但关键是它不依赖于我们如此惊讶以至于我们无法及时协调。更像是，即使这发生得很慢，我们都将被迫……只是遵循我们的激励梯度，并逐渐剥夺自己的权力。也许一个很好的例子就是全球化，我们说，“好吧，没有人想要……铁锈地带失去工作，但每个人都想要……他们的公司更有效率，或者别的什么。”即使我们都能看到这一点正在发生。它需要……几十年才能发生。我们仍然会……失业一大堆人，他们实际上是被剥夺了权力。很好。好的。是的，我们会更多地谈论这个。我只是想回到你刚才说的关于这些人工智能公司。你对 Anthropic 说了很多，就像他们的心是正确的，他们都 على نفس الصفحة，就像他们正在做的事情的庄重性一样，对吧？就像，你最好做好这件事。风险很高。如果我们放慢速度就能确保安全，那么我们就应该放慢速度。他们至少意识到了这一点，这是一个严肃的考虑。但是，例如 OpenAI 呢？是的，我的意思是，我与 OpenAI 的很多人交谈过，而且我认为这真的很艰难，因为有很多我尊敬的人，而且你知道，这就像……对很多人来说，选择是……去 OpenAI 工作，也许成为……好人之一，或者在内部工作，或者站在一边，也许尝试成为一个做安全工作的第三方，或者基本上……被历史的尘埃掩埋。但是，我想说，从制度上讲，你知道，OpenAI 试图建立这些保障措施，并拥有……董事会和……各种不同的……公司结构来解决这个问题。Anthropic 也有他们自己的版本，就像他们的……长期利益信托。而且我认为每个人，嗯，我想说，对每个人来说，为了……赛跑的激励措施都太糟糕了，如果有一个原因……长期来看，它将是一个更好的参与者，我认为主要是他们的公司结构……就像……这些……监督机制的第二版……将是关键的区别，因为你谈论的是长期，但如果你只看今天在那里的人，你提到 Anthropic 在多样性方面没有多少，因为……每个人都明白风险有多严重。难道不觉得 OpenAI 今天你可以找到很多多样性的人，他们就像，“啊，就这样吧，没事的。”是的。嗯，我想说的是，我注意到的一种现象是，我认为预训练人员是最……闭目塞塞的。就像，这是一个有趣的事情，有一个……有点像目标，我认为实验室领导者和实验室创始人……他们明白自己在做什么，他们说：“我们将改变一切。”这就像……正如我所说，他们理解其庄重性。然后我最沮丧的谈话是，我认为是……更像是即时工程师。当你说到预训练时，是指……与后训练或与基础设施相对？哦，抱歉。我想说的是……所有……让我们说，负责……主要基础设施的人，以使模型更好，以及……是……最接近金属的人。这些人是……如此聪明的人……就像……他们是一群……顶尖的……前物理学家。哇。好的。你知道这让我想起了什么吗？微软首席技术官凯文·斯科特，他与 OpenAI 密切合作，他一两年前接受采访时。当被问及……这些巨大的……失衡风险时，他的态度是：“看，我知道这些东西是怎么运作的。我离金属很近。好吧，这些东西不会逃脱。它们没事的。我们理解它们。”我认为这就是你所说的……这些工程师的态度，他们……他们只是把它看作是……一个低级别的基础设施项目。他们并没有真正从大局考虑……接管世界。也许，我想说，他们确实同意事情会发生很多变化，而且如果你……我明确地问了我认识的不同预训练工程师……那么，你 AGI 后的计划是什么？他们会开玩笑说：“哦，我整天都会点击接受人工智能的一些建议。”或者别的什么，哈哈。就像，“好吧，但你实际上认为会发生什么？”以及……你知道，我得到的一些更好的答案是，“未来非常不确定。”好吧。或者，“我们不会在不知不觉中陷入灾难。就像，如果事情开始出错，我们会以某种方式注意到这一点，然后……只是调整航向。”你知道，第二个答案是我觉得有必要去写这篇论文，和一些我找到的，有同样……反应的合著者一起写的，那就是……实际上可能发生的是，我们都能……看到正在发生的事情，而我们却无法协调……大部分事情出错。完全正确。我的意思是，你知道，关于我们不会在不知不觉中陷入灾难的整个事情……现在已经有激烈的争论，即灾难是否正在进行中。所以，没有……离散的阈值，我们就会……睡着。没错。而且还有很多人有理由认为……没有……灾难，或者……灾难会晚点到来，或者我们目前的……方法是足够的。这只是……协调非常困难，对吧？是的。是的。所以我问 OpenAI 的原因是我和一位 Anthropic 的工程师谈过，他非常……就像，“是的，OpenAI，他们在安全方面就是一群小丑。”就像，有太多人有着……如此错误的态度，或者……如此不了解安全问题。从我的角度来看，我看着山姆·奥尔特曼的公开声明和格雷格·布罗克曼以及他们合作的微软首席技术官，我确实有这种印象，他们没有认真对待安全问题。当然，所有那些认真对待安全问题的人都离开了。所以我特别指向 OpenAI，但你对……谷歌 DeepMind、Meta、Mistral，你知道，中国实验室有什么看法？你对这些地方的文化有什么看法？我的意思是，我认识 DeepMind 的人很多。我不太了解 OpenAI 的高级领导层。我想说的是，我认为早期的时候，安全人士有点……“哭穷”。你知道，就像人们嘲笑我们担心 GPT2 一样，就像，是的，我认为事后看来……有些是公平的。我也认为……我的意思是，GPT2 本来可能非常危险。嗯，没错。没错。我的意思是，我想说的是，这仍然应该被视为……反对……安全人士的弱证据，但那是……对的？就像人们说，“你们这些担心冷战的人，你们就是在虚张声势。”就像，什么？它差点就核我们了。我的意思是，我同意。我的意思是，我想说……我想说……我认为你和我也有很好的品味，就……听谁的，以及……哪些是……真正的人而言。但如果你稍微放大一点，就会有各种各样的人……做出各种各样的……糟糕的论点，并且……不知道他们在说什么，并且……承担着安全的重任。所以，我想，如果我是那个领导层，我可能会说……嗯，也许对我来说并不明显。我只是说，“哦，是的，这些人有很好的品味，他们……经过校准。我应该听他们的话，而这些人只是……过于兴奋，或者别的什么，对吧？”你知道，我还需要做一个澄清，当我类比核弹时。在冷战中，核弹非常清楚地……在触发方面具有因果关系。很容易想象一个非常具体的事件序列，我们会被核攻击，这可能会引发核战争。而 GPT2 的反事实……事后看来，现在我们知道像 GPT2 这样的系统离……通过推理制造病毒并成为代理人，或者你称之为任何东西，还很远。事后看来，它去攻击所有人的因果距离……非常大。所以，它不像核弹那样。但认识距离，对吧？就……我们当时知道什么而言，我认为非常公平地说，鉴于我们当时创造 GBD2 的洞察力水平，我们应该对是否会发生这种情况非常谦虚。绝对。绝对。我只是试图建立一种习惯，从外部看待我自己的领域，而不仅仅是认为……我知道……就像……你知道，我最喜欢的五个有良好……预测的人，我知道该听谁的，并尽量记住我们必须……有信息纪律，或者至少找到一种方法来区分自己与那些……总是……说……你知道，永远不要发布，或者别的什么，对吧？我的意思是，我的意思是，他们可能是对的，我只是想说……我认为确实有人……明显地有……糟糕的论点……来阻止。我认为确实有人有……很好的论点来阻止，而对于某人来说，区分这两者可能很难。没错。而且，我们还没有涵盖你的背景，但你一直在关注机器学习的演变，你一直在关注……人工智能 X-risk 的论点。你如何看待这些人工智能公司里那些说我们可以忽略所有末日论者的人？他们认为，一旦人工智能变得聪明，它就会接管，它就会……在每场比赛中击败我们，它会使用强化学习，它会以目标为导向，而这一切都不会发生。它只是想预测代币。所以末日论者不知道他们在说什么，这显然是一条更安全的道路，我们都应该松一口气。你知道那种观点吗？我绝对同意。是的。我的意思是，我想我只会……过度宽容地说……我认为这些应该……反对这个整个表情包的弱证据。但是……而且我认为普遍的教训是……总是有……就像……额外的 90%，你知道，项目的第二个 90%，对吧？额外的困难技术问题使得部署比你想象的要困难。但我仍然相信这个论点，那就是……如果存在任何普遍的……解决方案，如果存在任何可能性……可以跳过这些……细节，那就是……非常智能的东西，对吧？而这……就是你看到的唯一情况，就是……当某人足够聪明，他们只是……跳过一个问题。所以，我想我只是……我通常不同意那些人，但我能理解他们的想法。那么，你认为他们有一个有效的论点吗？也就是说，末日论者需要强烈更新他们对原始末日论的看法，因为在他们看来，这已经被证据完全摧毁了？那么，你如何反驳呢？嗯，是的，我想我的反驳只是说，到目前为止我们看到的一切都与……一个存在……递归自我改进危险的世界相兼容。而且我们还没有达到那个阈值。所以，人们认为我们可能会更早达到它但没有，这只是对这个假设的非常弱的证据。没错。对。而且，这正是我之前一集里说的，你知道，末日论者一直认为在超人水平上存在一个阈值效应，即人工智能会制造更好的人工智能，而人工智能又会制造更好的人工智能，突然整个宇宙就变成了一个简单的工程问题。今天发生的是，哇，我们在……亚人类阈值，或者……略微不一致的超人类阈值，比如在某些方面超人类，在其他方面亚人类。看看所有这些很酷的事情是可能的，在阈值以下。好吧，太棒了。但这仍然没有检验主要的主张。公平。是的，没错。是的。让我们多谈谈你。你是怎么进入人工智能领域的？哦，嗯，我想我……也许是读了雷·库兹韦尔的《精神机器时代》。嗯，我也读过尤尔根·施米德胡伯的博客文章。这是你十几岁的时候吗？是的，我十几岁的时候就喜欢编程。所以，我记得在 LiveJournal 上搜索“人工智能”，我不知道是否有人足够老记得 LiveJournal 是什么。它就像……在 Friendster 之前。我读过一些 LiveJournal。是的。而且我实际上在那里很早就找到了 Shane Le，他实际上是建议我去读研究生的人之一。但是，是的，他当时在 Izzia，尤尔根·施米德胡伯在那里，我过去常常读尤尔根的网站，它实际上令人印象深刻，就像……他是一个博学家，他将信息论与……诸如惊喜、幽默和美丽等事物联系起来，并且在当时很少有人提出这个观点时，他提出了一个很好的论点，即人类认知、情感和经验的所有部分都属于可以被人工智能的东西，而且不是……有逻辑，然后有情感。它更像是……所有这些都是一类。所以，你谈论的是尤尔根·施米德胡伯的网站，大概是……90 年代末、2000 年代初。没错。我的意思是，它仍然存在。而且，我的意思是，他当时在探索很多宏大的想法。好的。然后，当你……
在大学本科期间，你在 Live Journal 上发现了 Shane Le，并因此认识了他，也认识了“克服偏见”（Overcoming Bias）社区里其他一些独特的思想家，后来这个社区演变成了“不那么糟糕”（Less Wrong）社区。那是什么样的体验？嗯，我觉得那是一群我认为相当聪明的人，他们为很多基本问题提出了第一性原理的论证。而且，我认为很多 Elizer Yudkowsky 的东西在概率推理的机制、良好的思维是什么样的以及我们有多容易欺骗自己方面，确实经得起考验。而且，我认为他会是第一个承认，是的，很多哲学家都曾触及过这些问题，但我觉得他让自己的论证变得非常易懂，并吸引了一个我认为相当不错的社区。我喜欢，我的意思是，这显然有很多怪人，但如果你要围绕任何事情聚集在一起，我的意思是，对你自己会欺骗自己的能力保持极度的谦逊，我认为这是一个相当好的衡量标准。听起来你在 2000 年代初就已经在思考这些问题了，对吧？是的。我的意思是，是的。是的。而你大概在 2007 年才接触到 Elizer Yudkowsky 和那个社区。嗯，我猜我大概在 2004 年或 2005 年读了“克服偏见”，然后我在 2010 年第一次在谷歌实习时，在湾区认识了很多人。真有趣。所以理论上我们的道路本可以交织在一起，因为我是在 2007 年开始接触的，而且我在湾区认识了很多人，也加入了同一个社区。在它变成“不那么糟糕”之前，我也在“克服偏见”社区。但当时你住在哪里？嗯，我从 2008 年到 2010 年住在温哥华，然后我在英国读博士。明白了。明白了。所以这可能就是我们从未有过交集的原因，因为你知道，我们住在同一个地区。我在硅谷，湾区。嗯，但你有一个活跃的“不那么糟糕”账户吗？没有。没有。而且我认为我直到几年前才第一次在上面发帖。是的。明白了。好的。在那段时间里，你共同创立了一家基于机器学习的预测公司，那时你完成了你的机器学习硕士和博士学位。你说过，在读了 E.T. Jaynes 的书后，你变得非常贝叶斯。是的。是的。而且，我的意思是，我猜你知道，Elizer 说每个人都应该成为贝叶斯主义者，而他和 E.T. Jaynes 都不断地抨击频率主义统计学家，因为他们问了错误的问题，甚至可能在某种程度上未能回答这些问题。我认为这仍然是一个有效的批评，而且，当时 Kevin Murphy 是不列颠哥伦比亚大学该领域的知名人士。我实际上是自己去了 NeurIPS 2007 年的会议，当时我正在做这家机器学习初创公司，因为我喜欢谷歌的 AI 会议，就去了，那真是太棒了。我感到非常不知所措。我只是去了。那里有大约一千人，我不认识任何人。嗯，我碰巧看到了 David Low，他当时是一位著名的计算机科学教授，是我在温尼伯的朋友的导师。我只是说，“嗨，您不认识我，但我刚到这里，不认识任何人。我能和您一起待一会儿吗？”他非常随和。但他却说，“是的，请留步。”然后，Jeff Hinton 碰巧走了过来，因为他认识 David Low，而我是一个陌生的面孔，他正在看我奇怪的公司名称和隶属关系，我当时想，“哦，Jeff Hinton，我的朋友 Paul 说你非常棒。”这是一种非常奉承的话，但他非常宽容，我们聊了 Netflix 大奖，而且该领域的每个人都非常热情。那真是太棒了。我记得我走到一个海报前，问：“什么是部分可观察马尔可夫决策过程？”我本以为人们会说：“听着，我不知道你怎么来的，但你得去读本书，然后再回来。”但他们却说：“哦，嗯，你知道的，”然后我会说：“好的，酷。马尔可夫是什么意思？”嗯，那是一次非常好的经历。是的。回想那个时候，人们像你一样完全被校准了，你完全走在正确的道路上，就像，“嗯，人工智能非常重要。它是世界上最有趣的事情。所有这些重大的后果都将随之而来。”而与此同时，其他人却说：“哦，互联网真的很有趣，你可以聊天，你可以，你知道，送货，对吧？就像每个人的想法都完全不在一个地方，他们却说：“比人类更聪明的人工智能。”是的。再给它五百年，对吧？当时听起来就像科幻小说一样。是的。而且，我认为它通常被视为“失败梦想之地”和某种“骗局”，对吧？就像如果有人谈论人工智能，他们可能只是某种顽固的信徒，就像你的贡献者，或者某种骗子。但当时它甚至不是一个有效的骗局，因为没有人会认真对待你，对吧？你甚至无法以此来筹集资金。而且，从某种意义上说，我在时机上算是幸运的，因为，我猜我 2008 年开始读研究生，事情才刚刚开始奏效，而且，你知道深度学习大概在 2010 年到 2011 年开始奏效。有趣的是，我剑桥的导师 Zen Garmani actually 在 2003 年与 Jeff Hinton 一起完成了他的博士后研究，他曾在他的笔记本电脑上运行了大量深度学习实验，但由于计算机太小而一无所获。后来，人们在 2014 年左右运行了相同的实验，并取得了惊人的成果，每个人都说你真是个天才。我认为他当时认为那也是一个好方法。事实上，我当时太超前了。是的，我绝对记得生活在那个时代，我从来不是一个深度机器学习研究者。我读了本科。我在本科时学过一点人工智能。我当然在关注“不那么糟糕”上人们在说什么。我必须承认，我的直觉是，我打赌你可以制造一个紧凑型人工智能，它能够理解贝叶斯推理，并且拥有一个非常小的代码库，不需要大量数据。这就是我的直觉。然后回想起来，我的直觉是错误的。很明显，拥有大量的神经元和大量的维度确实有助于你表示一堆模糊的概念，并拥有大量的上下文，而且没有这些可能很难做到。我认为 Elazar Yudkowsky 也会承认自己有错误的直觉，当然，我敢肯定每个人都会说，“看，末日论者什么都不知道”，但我认为事情的那个方面，你知道，这些模糊的神经元方法，概念不一定被清晰地提炼出来，我认为这让很多人感到惊讶，事实证明这是最有希望的方向。是的。所以我的博士研究是关于贝叶斯非参数度量，整个想法是，它有点像“规模化，在规模化流行之前”，因为我们试图构建具有无限容量的模型，然后随着更多数据的到来，它们会构建越来越复杂的假设，并可以扩展到任意大的数据集，而主要问题是我们不知道如何进行可扩展的推理。所以，数据越多，事情就越慢。而且我们不知道如何构建这些“分层的”假设，比如不同想法或结构的组合，就像深度网络确实能够分解问题，并说“首先，我将找出对象的后代，然后我将考虑它们之间的关系，然后我将考虑任务是什么”，而当时人们几乎不知道如何做到这一点，而且他们当然不知道如何将能够处理大量数据并具有这种“分层结构”的东西结合起来，对吧？所以，直到大约 2015 年，我才真正加入了深度学习的浪潮，而且它被视为一种“低级”的东西，因为它非常工程化。数学不多。原则不多。就像，是的，使用深度学习很糟糕，因为你必须找一个可怜的研究生，让他调整超参数、架构和正则化六个月，然后你才可能获得最先进的结果，而且只是勉强。而且，它似乎是，如果你没有真正的想法，你只会通过蛮力来解决问题。而学术界的想法是：“不，不，我们将利用我们惊人的先见之明来看到现实的‘穿透性之美’，做一点数学，然后编写这个惊人的算法，它将捕捉到世界的那个方面。”这听起来比“再多加点神经元，然后让那个可怜的研究生去迭代”要吸引人得多。正是如此。正是如此。而这正是 Richard Sutton 所说的“痛苦的教训”，对吧？就像，不，用另一种方式去做。正是如此。正是如此。所以，总之，我花了很长时间来回顾为什么我们所有人都或大多数人都（包括 Jeff 和其他人）没有重视深度学习，我认为部分原因是它的美学。好的。所以你很早就意识到人工智能是一件大事，而且它可能很快就会奏效。我很好奇你对它的“X 风险”的立场是如何演变的。例如，在 2008 年 Elazar Yudkowsky 和 Robin Hanson 关于人工智能的争论中。你还记得你更同情 Elizer 还是 Robin，或者你当时是否在关注它？哦，我绝对关注了，而且我或多或少更同情 Elizer，而且，我猜我觉得当时甚至很难理解他们在谈论什么时间尺度，但我觉得 Elizer 当时说的是“几天”的时间尺度，甚至。我老实说，我不记得那么清楚了。他当时说的是哪个时间尺度？不，我认为 Elizer 当时说的是“这个自举过程可以在几天内发生”，我认为哦，几天，对，关于“fume”的时间，我认为现在我们都觉得哈哈，我的意思是，我猜我再次不想排除它，因为我们还没有观察到它，所以这是薄弱的证据，但在某些方面，我认为 Robin 赢了，因为我们说，“好吧，现在我们可以看到我们认为仍然需要的那种技术深度，对于下一个，好吧，我们正在谈论“fume”时间，这都取决于你从哪里划定起点，对吧？我的意思是，如果你从 GBT2 开始，那么是的，好吧，“fume”已经发生了，对吧？但你也可以从 1950 年开始，或者随便什么，对吧？就像第一台计算机。或者你也可以从 OpenAI 与微软签订的 AGI 合同的那一刻开始。也许我们应该从那里开始。是的。是的。而且说实话，我认为我对“fume”的机制没有那么强烈的看法或信息丰富的看法。而且我认为我试图在政策方面推理的大部分内容都试图对“fume”的速度保持相当中立，对吧？而且，万一听众不熟悉这个术语，“fume”指的是核弹爆炸开始时发出的声音，我猜。而这个想法是，如果人工智能进入“奇点模式”，它会非常快速地改进自身，进步可能会越来越快，快到我们还没来得及反应，眨眼之间，或者几天，或者无论多久，然后我们可能会被剥夺权力。所以，这就是我们所说的“fume”。是的。然后我认为每个人都可以同意，如果你稍微拉远一点看，工业革命就是一场“fume”，你开始建造蒸汽动力的采矿设备，然后它开采更多的煤，然后你就有了这种失控的增长，然后工厂。正是如此。如果你拉远一点，只看人类 GDP 按年份的图表，它在很长一段时间内都是平坦的，然后在工业革命周围有一个“曲棍球棒”。从洞穴人的角度来看，或者从其他灵长类动物的角度来看，或者从认为自己有大片领土要控制的野牛的角度来看，这就像，不。人类“fume”了，并消灭了它们，它们没有时间做出反应。它们没有时间发展出能让它们对抗人类的基因。它们被消灭了。是的。是的。所以，但也许回答你最初关于我的观点如何改变的问题的另一种方式是。我认为我一直对“最终会出现非常强大的人工智能”这个整体想法相当同情。对何时出现没有强烈看法，而且要弄清楚这一点是一个巨大的问题。但我在这个领域工作了很长时间，而且不清楚该怎么做。所以，在 2015 年，我是这次“野外可靠机器学习”研讨会的联合组织者之一，这是我们想要的妥协的标题，我和一些更“激进”的人想要的是“AI 外部风险”研讨会，但当时关于这项任务的工作还很少，而且也不清楚该说些什么。有很多更具体的工作，比如“我们如何确保手术机器人是安全的，并且不会切错东西”，或者“自动驾驶”。所以我屈服于我们最终将这两种担忧融合到“安全世界”的程度。但与此同时，确实没有什么可做的。我想，在 2017 年，我和我的多伦多同事 Roger Gross 各带了一个博士生，专门研究“大局安全问题”。他们都是非常优秀的学生。嗯，实际上我的学生也曾被 Jinton 录取，这就像，你知道，毫无疑问，你应该和 Jinton 一起工作，但他想研究安全问题。嗯，我认为他们俩，这对他们来说确实非常艰难。他们做了很好的工作，但他们能做的项目是制作一个演示，表明代理人面临的激励措施实际上是糟糕的，因为如果他们在某种迭代强化学习环境中撒谎，他们会得到更好的结果，如果他们以某种方式操纵结果。这只是“不那么引人注目的东西”。就像，“哦，我做了一些数学来证明不一致性是一种危险。”就像，“嗯，你会说服谁，他们不会已经被简单的英语论证所说服？”当时做对齐工作的核心问题是这样。对。对。对。好的。快进到 2023 年。这时，你真的开始看到“紧要关头”了，因为人工智能正在飞速发展，而且风险似乎很高，而且没有人真正有好的缓解风险的方法。这就是为什么你决定与许多人工智能公司交谈，看看你能加入哪一家，你能帮助哪一家。嗯，我们对此进行了一些讨论，但请告诉我，从 2024 年到现在，你是什么想法，好吧，我们必须再次改变计划。是的。所以，我想说，我对 Anthropic 的人印象深刻，他们对这些风险的重视程度以及他们的技术议程，比如“好吧，我们将确保这些事情不会发生，我们将制定一套具体的法规和评估”。嗯，这似乎是一项非常重要的工作，我仍然支持它。嗯，但我想，即使在当时，当我谈论 AI 情景时，我也试图说，“我们没有任何治理机制能够应对人类不再是我们文明的‘承重部分’的这种情况。”而且，问题是，对于这种情况，真的不清楚该怎么做。所以我想，好吧，我是一个技术人员，我应该去做一些事情，希望能更好地了解“土地”，并希望找到一个有计划的人。这是我从 2023 年圣诞节开始做的事情。我曾在英国待了一段时间，参观了 DeepMind，还参观了湾区的各种研究人员。嗯，你知道，我一直在定期交谈的每一个聪明人，我都会问，“你有什么计划能让这一切顺利进行？”我只是希望我还没有找到这个人，而且出于某种原因，他们没有在谈论它。是的。而且，设法得到一大堆“哦，是的，这真的很艰难”或者“把头埋在沙子里”的回答，“哦，没事的，原因如下。”嗯，然后，是的，我希望在 Anthropic 做任何具体的事情。所以，你基本上经历了一个“皇帝的新衣”时刻，那就是你没有找到任何一个人有一个好的计划，如何开发超级智能人工智能而不立即导致灾难。是的。是的。所以，最好的结果是，我与那些足够“校准”到意识到自己没有答案的人交谈。然后，你知道，我赢得了对这些人的尊重，然后是那些说，“哦，是的，没事的，原因如下。”我只是稍微挑战了他们一下。就像，“我没有更好的主意，但你的主意有这个明显的缺陷。”他们却说，“好吧，就像他们会有点不屑一顾。”我当时想，“哦，天哪。”那么，你是如何决定离开 Anthropic 的？哦。嗯，我的意思是，我刚生了第四个孩子，大约一年半前，在我还在 Anthropic 的时候，团队在壮大，节奏在加快，我想，“好吧，我当时在旧金山工作四分之一的时间，在多伦多工作四分之三的时间，这对我妻子来说真的很难，让她独自带着三个孩子和一个新生儿。”所以，这不像 Dan Kuko，你知道，你知道，没有戏剧性。这只是，“好吧，伙计，我只是，这里的每个人都在工作 80 个小时，我像个昏昏欲睡的老家伙，嗯，我很高兴我们在这里所做的工作，显然，我们取得了很大的进展，嗯，但只是，我只是需要，嗯，不要被过度雇佣，因为我仍然有我的实验室。我仍然有几个其他的文件。嗯，是的。我有三个年幼的孩子，在家工作，这已经很艰难了。所以，我绝对理解你的感受。是的。是的。这对观众来说是一个有趣的例子，我和 David 在许多“X 风险”问题上以及认为未来会很艰难的看法上都持相同意见，但我想我们都同意，即使事情会好起来，你也可以有年幼的孩子，对吧？是的。事实上，这是我试图从风险投资家那里借鉴的一点，就像，想象一下事情真的会好起来，对吧？就像，只是试着接受，它们可能会，我们并不是说它们肯定不会，对吧？而且我也同情 Andrew Critch 的论点，就像，如果你不提供一个积极的愿景，或者没有这些积极的反馈循环，让保持人类文明的生命具有吸引力，那么你就已经注定要失败了。所以，你，所以这是必要的一步，就像，已经到位了，就像，如果我们成功了，事情就会是这样的，而不是每个人都只是，“哦，该死，我们试图放弃文明，现在我们希望我们没有。”正是如此。所以，你和我已经隐式地进行了预期的价值计算，我们没有将 100% 的可能性都归为“每个人都会完蛋”，所以我们不应该有孩子。我们留下了一些好结果的可能性。这就引出了每个人都想知道的最大问题。你准备好了吗？是的。[音乐]教授 David Duvenaud，你的“Poom”是多少？我想说大约 85%。哇，这很难，因为很多“PDoom”不一定仅仅是关于人工智能。它更多的是关于“未来可能在某种程度上不再需要我们”。而这与史前时代所有动物的处境相同，就像，你必须，充其量是适应某种你自己无法识别的东西，或者就灭绝。现在可能存在第三种选择。可能就像，作为一个文明，我们足够有能力进行某种“锁定”或留下某种遗产，或者找到其他方法来解决这个问题，说我们不会被更具竞争力的生物探针所取代，但我们也不会灭亡。可能存在某种中间状态，而这正是我想要花时间去做的。你把它说得很有趣，就像，每个物种都必须期望要么改变并变得面目全非，要么灭亡。这就像人们说你要么成为英雄，要么不，就像人们说你要么作为英雄死去，要么活着变成恶棍。就像，如果你活得够久，你就会变得面目全非。是的。正是如此。所以，我认为，你知道，我的一些更聪明的聪明朋友，当我告诉他们我非常担心 AI 末日，然后我解释时，他们会说，“但你难道不也担心正常的未来吗？”就像 Robin Hanson 也像，你知道，挑战了我，我说，“是的，我认为如果我们让文化和基因进化足够长的时间，我会想，哦，天哪，我的后代是一些奇怪的东西，对我来说没有价值，我不知道，对吧？这取决于，说实话，这是一个棘手的问题，Robin Hanson 在这个问题上大做文章，他说，“告诉我你后代的理想未来是什么样的？他们被允许进化到什么程度？他们的价值观被允许如何改变和进步？”这真的很棘手，因为就像，你知道，像“难道你不认为他们应该彼此同情，重视人类生命吗？”但就像，你对这些事情有多确定？你认为哪些核心价值观是绝对不能妥协的？然后你就会面临这样的危险，就像，如果你问一百年前的人，他们会说，“上帝说你不允许同性恋，所以这是我的核心价值观之一”，然后等等，对吧？所以，你想确保你不会不小心，“你知道，认为事情太重要了，而实际上它们并不重要。”是的。嗯，有一件事我认为 Robin 说服了我，我很感激，那就是指出存在不同的“商品篮子”，我现在，或者抱歉，“价值篮子”，它们原则上可能与彼此不兼容。比如，我希望我的孩子们，我生活之所以令人愉快，部分原因是我能够成长、适应、克服，你知道，探索新领域，做与以前不同的事情。而且，我也希望我的孩子们能和我相似，并在很多方面拥有相似的生活，但这些事情存在严重的紧张关系，所以，我们可能不得不选择，我们想要那个“商品篮子”，就是“有竞争、进化和适应”。那么，唯一能留存下来的将是“竞争性的东西”，比如，“你知道，语言、视觉，或者记忆，或者非常抽象且非常有用的东西”，还是我们试图“保持家庭农场运转”，并确保，“你知道，每个人都以一种可识别的方式说英语，以及所有这些非常特殊的价值观，我们可能害怕被锁定，但同时，也许是构成生活的小事，我们可能不得不在这两个“商品篮子”之间做出选择，我的希望是，这些东西能有一种综合。是的。我，以及我们谈论的很多关于价值观改变和变得面目全非的内容，我们实际上是在谈论好结果，对吧？我们希望事物能够不断发展和进步，但我们不希望，再次强调，这是 Robin Hanson 有点嘲笑我们的区别。就像，“好吧，我们想要很多进化和改变，但我们不希望被一个继任物种快速取代。”就像，我们仍然在那里划定了很大的区别。是的。而且我认为，至少对我来说，速度并不那么重要。嗯，而且我认为 Robin 的立场对我来说有点自我否定，因为他说，“嗯，我认为这很方便，他说，如果我们只是允许竞争发挥作用，那么就会有很多价值，如果我们不这样做，那么就不会有价值。”就像，对，我认为你仍然对哪些东西能产生价值有很强的看法，而且你希望看到它们，“你知道，实现。”所以，我认为他跟我们差不多，但他没有。嗯，Robin 只是利用了那个“大光谱”，就像，我同意 Robin，很难确定在“我们被允许改变多少”这个光谱上，我们被允许在哪里，但我认为 Robin 把这一点推得太远了，以至于他暗示，如果世界明天变成“纸夹化”，那也没关系，因为那是在“变化光谱”上，而我没有告诉你我想要在“变化光谱”上的哪个位置，所以，我怎么知道那是错的？但就像，等等，“纸夹化”对我来说太过了。是的。嗯，我给人们的普遍提醒是，所以很多人说，“我们凭什么阻碍进步？”对吧？就像 Rich Sutton 说的那样。嗯，我对那个的普遍回应是，我认为你实际上对你自己的“良好继任者”有强烈的看法。比如，如果明天朝鲜开始接管世界，我们将永远处于威权统治之下，你会说，“不，不，不，不是那个继任者，对吧？”而且，一般来说，如果有人说，“看，我只是把事情交给命运，然后，无论取代我的是什么，都会更好，这几乎是定义性的。”我说，“好吧，那你把你的所有东西都给我吧，因为，根据定义，我将是你的继任者，对吧？”嗯，我只是，问题是，我认为人们确实有看法，但承认自己处于一种可能被历史潮流所淹没的境地，这非常痛苦，对吧？我认为人们从“这不会发生”到“这正在发生，而且是好事”。部分原因是因为这太痛苦和脆弱了，让你自己处于“不，我要试着对抗历史潮流”的阵营，对吧？那只是一个糟糕的阵营。是的。你提到 Andrew Critch 可能是立场与你最相似的人。是这样吗？正确。是的。顺便说一句，Andrew Critch 曾是“末日辩论”的嘉宾。所以，如果你喜欢 David 的立场，一定要听听 Andrew 的那期，你会从另一个角度得到另一个人的观点，得出相同的结论。是的。我非常尊重 Andrew，而且，他实际上写了一篇非常好的“不那么糟糕”的帖子，关于他的变革理论以及他为什么创办这家医疗保健公司，他在那篇博客文章中详细阐述了渐进式权力剥夺的主要论点。嗯，然后我不认为他的计划有多好，但我也没有更好的计划。所以，我只是，无论如何，我非常尊重他。我几乎觉得，我只是在重新发现他谈论过的事情，然后，多年后，我想，“哦，他当时是这个意思。”所以，是的，去读他的东西。对。对。对。有一个相当大的群体，我非常同情，尽管我自己并不完全属于他们，那就是，你可能称之为“渐进式权力剥夺”，尽管你指出，也许它不是渐进的，但它有点像“末日”，不是通过“攻击我们”或“夺走我们的东西”，而是通过经济方式，你知道，就像把我们挤出工作岗位，我们慢慢变得“无关紧要”，然后人工智能控制一切，我们生的孩子越来越少，就这样，对吧？那就是你的主要情景。而我之所以不真正同意这个主要情景，仅仅是因为我认为超级智能的影响将比这更大。就像，它们将产生巨大的影响。就像，我有一种规模感，与此不太一致。但我当然同情这种可能性，就像，你知道，这是我们可能失败的第二大可能性。而且，我认为我们都同意，这些都是失败模式，我们只是意见不合，哪种是我们认为最有可能的失败模式。是的。我想说，这不是我的主要失败模式，而且，我愿意，比如说，20% 的可能性是纯粹的失控的“fume”场景，就像，某种不道德的 AGI，就像 AI2027 项目的糟糕情况，然后，再次，比如说，20% 的可能性是，我们确实解决了技术对齐问题，而且，嗯，只是在从实验室到政府的过程中，你知道，有人决定，“好吧，我想确保一切都运行得更好，我要把人类排除在外，然后最终我们都被说服“上传”，但我们从未真正运行过，或者别的什么。”然后，我大部分的“末日”都是这两者的混合，因为，你知道，对对齐的投资不足可能与导致渐进式权力剥夺的现象相同。嗯，所以，总之，但重点是，我绝对，我不会说这是我的主要情景。我只会说，我们认为我们注意到，几乎有两种截然不同的对齐问题。一种是战术上的，一种是文明上的。而技术问题被忽视了，但更被忽视的是文明问题，但更难对此做些什么。只是为了回顾一下你的 85% PDoom 的饼图。你基本上说 20% 的 85%，20% 是某种“快速 fume”场景。只是人工智能有点压倒一切。是的。不一定是快速的，但更像是“代理”，那个“代理”是“人工智能”。是的。而且它在寻求权力。是的。然后你有 20%，那是某种来自能够利用人工智能制造问题的某个人的自上而下的决定。嗯，不，我应该说，更像是，渐进式权力剥夺的极端 20% 是“没有人负责”。我们只有一个竞争性的世界舞台，每个政府都被迫使用人工智能来建造机器人工厂和机器人军队，然后，人类，没有人能够倡导继续给予他们资源。所以他们被迫“上传”或者被边缘化到无关紧要的地步。那就是 20%。然后，最大的那块是什么？85% 中的 45% 是什么？嗯，它是这些事物的混合，其中有，人工智能在“寻求权力”，但它们与我们文明的某种更具代理性的版本“勾结”。所以，也许有一个全球性的权力，然后它们最终说了算，从而剥夺了人们的权力。所以，区别在于，代理权在哪里？是在人工智能中，还是在运行人工智能的政府中，还是仅仅在竞争中，而竞争中“顶层没有多少代理权”？我明白了。所以，大多数代理权要么在人工智能中，要么在某种顶层人类政府中，它有人工智能来协助，或者只是分散在经济中，分散的代理权。是的。最后一个是“摩洛克是代理人”之类的。是的。是的。好的。所以，这绝对是一个重要的分歧点。我的意思是，你和我之间没有强烈的分歧，但我认为最大的分歧在于，我设想代理权将很快流入超级智能，因为它能够做到。如果它能做到，它就会做到，这是我的观点，因为，你知道，你看，你卖给我这个东西是“可触发的”，没有人会按下触发器。我认为有人会按下触发器，或者它会“按下自己的触发器”。就像，超级人工智能代理权的可能性对我来说意味着它很可能。你知道，这是我的观点。嗯，而你却说，“不，它可能更像是分散的代理权，而且需要更多的时间，而且，你知道，人类在经济上会越来越少。”不，不，不，不。那是 20% 的分散代理权。45% 是介于技术对齐和部署之间，存在某种“单一政府”，它拥有超级智能，基本上是按照它的意愿行事。嗯，但只是，顶层，顶层人类政府类型的代理权，由人工智能赋能。那是你的 45%。哦，天哪，我明白了。好的。所以，你两边各 20%。你有 20% 的人工智能拥有大量的代理权，你有 20% 的分散代理权，你有 45% 的“人类政府拥有大量的代理权，然后人工智能只是按照他们的意愿行事，但这是一场灾难”。是的。而且，这些整数应该让你知道，我尝试过一些校准练习，但我不认为任何人应该认真对待这些数字。这只是，但它仍然是我综合考虑的，非常不专业的意见。就像，我不是“文明动力学”方面的专家。好的。嗯，你应该回来，当你能够把它缩小到百分之几的时候，因为我不喜欢这些整数。是的。嗯，我想说，这是我希望在接下来的六个月或一年里思考的主要事情之一。所以，很好。好的。所以，你的总 PDoom 是 85%。你会签署关于 AI 风险的声明，说“减轻 AI 带来的灭绝风险应该是全球优先事项，与大流行病和核战争等社会规模风险并列”吗？是的，我签署了那份声明。事实上，我参与了一些早期签署者。嗯，所以，我绝对非常赞同。你经常与 Dan Henrik's Institute 的 AI 安全中心合作吗？嗯，我想说，当时周围没有多少人有“一定的信誉”，而且，你知道，愿意签署这些听起来“疯狂”的声明。所以，我当时参与起草了很多类似的声明。所以，我与 Dan Henrik's Institute 没有其他正式安排，但就像，我在邮件列表上，或者别的什么。嗯哼。让我问你 Tyler Cowen 的问题，David Duvenaud 的生产函数是什么？因为我注意到你有点像 Dan Henrik，在生产力方面异常高，就像把所有这些东西都发出来，你是怎么做到的？哦，天哪，这太有趣了，因为我以前很有生产力。在我有了第一个孩子之前我很有生产力，现在我只是，嗯，设法偶尔把事情做完。不，我理解。我和你的想法一样。我做完这个播客后，我可能会花几个小时去帮忙照顾孩子。是的。我想说的一件事是，我认为我在成为初级教员之前擅长优先排序，然后我必须变得更好，学会拒绝事情，然后加入 Anthropic 就像又一次类似的飞跃，就像学会拒绝和优先排序，并且真的，每一次会议都必须是，“我们正在朝着这个特定的结果努力。我们不会走弯路。我们将在这次会议结束时做出决定。”嗯，是的。而且，我认为在组织方面仍然有更高的层次。很好。是的。你和我之间的区别是，我从未经历过那种我会同时承担许多重要项目的生命阶段。所以，听起来你拥有那种“多任务处理者”，就像“高产人士”的基因，对吧？你注意到自己有这一点吗？也许。我的意思是，这听起来像虚假的谦虚。我猜我只会说，有一个飞轮，一旦你有了几个好学生，他们就会做大部分工作，然后你就可以吸引更多的优秀学生，你知道，你的报告最终会完成大部分实际工作，然后你就会看起来很好，而且在谁获得荣誉方面，有更丰富的东西。有趣。所以，也许你的秘诀就是你擅长招聘，对吧？你擅长，就像，总是确保你有一个优秀的团队在你身边。我说的就是这个。是的。是的。有趣。嗯，但你难道不也觉得你深入研究了大量的技术研究吗？嗯，我想说的一件事是，我真的很伤心，因为我真的很喜欢我以前的研究议程。就像所有这些深度学习和微分方程的东西。太棒了。很有趣。有数学。有深度学习近似推理。就像一个丰富的新领域，我本来可以成为“让这一切发生的人”。然后我们有很多科学应用。这非常痛苦。但我为自己大部分时间都回避了它，并且把它烧掉了，说“不”。嗯，我将致力于被忽视的事情，你知道，这就是终身教职的意义所在，而且我真的认为大学在这方面做得很好，因为它们拥有这样的机构，意味着我，在不问任何人的情况下，我可以说，“嘿，我认为这被忽视了，我要去研究它”，而且我仍然可以保住我的工作，我仍然可以去，你知道，在 Anthropic 工作。这是大学，你什么时候获得终身教职？2021 年或 2022 年。很好。是的。所以，你认为你正在充分利用你的终身教职，通过自由地做你能做的最重要的事情。是的。是的。而且，我想说的一件事是，关于安全问题，就像“马赛克对齐”和这些“大局问题”之间的这种混合，在我的脑海里，我总是试图问，市场是否已经充分激励了这一点？而且，有很多对齐工作，就像“做用户想要的事情”。所以，我总是试图思考，“好吧，但这里缺失的部分是什么，没有人谈论，因为他们没有动力去研究它？”如果你最大化你自己的基金，你仍然会获得终身教职，但然后你只会选择一些在技术层面让你感兴趣的项目，而这就是你做出的牺牲，因为你使用相同的终身教职，你只是强迫自己优先考虑重要的事情，而我只想一直解决有趣的数学问题。这就是我的，“你知道，在我的“后亚当时代乌托邦”里，我会回去做那些我半途而废的项目，而且，说实话，似乎世界上大多数人，包括你的专业同事，也许包括我，就像，世界上大多数人只是做有趣的事情，他们实际上并不问“最重要的事情是什么？”的问题。是的。或者有利可图的事情。嗯，对。而且，你知道，就像，这是著名的 Richard Hamming，对吧？他说，“你所在领域最重要的问题是什么，像你这样的人可以去研究？”而后续的问题是，“那么，你为什么不去研究它呢？”对吧？而且，我从来没有，“最好的答案”。我喜欢，事实上，我认为这个播客是我一生中唯一一次，我感觉我通过做这个播客做出了贡献，但是，直到我生命中的这一刻，我才觉得我擅长问这个问题。嗯，而且，在我看来，做正确的事情得到了回报，因为，你知道，我和 Roger 是，就像，少数几个“普通”教授，他们只是在做正常的，“你知道，深度学习机器学习的东西，他们，你知道，去参加 AI 安全会议，然后说，“我们如何开始这个领域？”而且，你知道，我们带了那些博士生，你知道，大部分都是“沉默”，而且大部分都非常没有回报，然后突然，你知道，OpenAI 和 Anthropic 都说，“嘿，我们需要建立这些团队，我们需要有信誉的资深人士，你们是仅有的几个人。”所以，我觉得这真的奏效了，我当时想，“我要去研究这个别人都觉得是疯子的东西”，然后，哦，现在它已经成为下一个，“你知道，增长领域。”是的。所以，看起来 Hamming 的精神在你身上很强，也许。嗯，我老实说，我真的不期望它再次奏效，因为，现在我们谈论“治理”，就像，每个人都认为治理很重要。每个人都想要更好的制度。这不像是一种选择性的事情，就像，“哦，终于有一位教授认为‘良好的治理很重要’。”就像，每个人都一直这么认为。所以，我们拭目以待。我想说的一件事是，我认为“什么不被激励”这个问题意味着，很多人对 AI 安全的看法是，没有人真正说出来，那就是技术对齐是足够的。所以，嗯，有几个人，就像 Michael Nielsen 昨天写了一篇博客文章，还有这个叫 Stephen Cass 的，或者，是的，Stephen Cass 写了一篇“不那么糟糕”的帖子，关于 ASAF 是一个“永无止境的制度斗争”。
基本上，我认为实验室最终的做法是说人工智能安全是一个大问题。例如，我们需要担心核能和生物风险。所以，我们将采取所有这些步骤来解决它们。我则说，是的，我完全支持这个议程。然后，没有人说出来，但我认为政策制定者从中得到的启示是“然后我们就没事了”。
确实，只有少数人，比如瑞安·格林布拉特，明确表示，如果我们拥有与我们个人对齐的代理人，它们也会足够聪明，能够代表我们解决所有世界协调问题，即使我们不解决治理问题，那也将是乌托邦。而我则说，我不知道，伙计。事情有很多种方式会出错，从工厂交付对齐的通用人工智能，到政府负责什么。我们一次又一次地看到，与领导人交谈的人并不是真正被选中来考虑特定结果的人，而且他们也没有被问及如何实现乌托邦，而是被问及如何实现狭隘的政策目标。我认为人工智能也将处于非常相似的境地。
那么，从问题的角度来看，对吧？我们如何提供帮助？你已经决定，除了不想每周工作 80 小时之外，你还决定专注于外展，对吧？因为这是你参加“末日辩论”外展活动的一部分。你认为这是一个相对好的杠杆点，我也这么认为。那么我的问题是，你认为还有哪些类型的组织或运动最有希望产生重大影响？特别是你如何看待“暂停人工智能”和“控制人工智能”等类似运动？
在我谈论“暂停人工智能”和“控制人工智能”之前，我将从我的角度谈谈我认为最有希望的方向。我认为最成功的一个是每个人都可以努力的方向，并且应该是众包的，那就是“积极的未来”这个概念。基本上，它是在说，给我描绘一幅积极的未来图景，在这个图景中，你一生中最重要的任何事情都不是你做得最好的，你不是最好的朋友，不是最好的父母，不是你工作中最棒的。任何真正关心某个结果的人，如果他们应该负责，就不应该让你参与，除非是以某种非常肤浅的方式，比如你选择颜色的那种。给我描绘一幅你在那个世界里令人满意的生活的图景。我认为这是一个非常艰巨的挑战。我敢打赌这是可能的。我听说已经有一些相关的东西了，但我并不觉得它们很有说服力。
我认为这很重要，因为我现在认为人们对未来没有非常强烈的偏好。很容易让他们从“这不会发生”变成“这正在发生，而且我被取代是件好事”。我希望人们能有一些想法，让他们说：“不，不，不。圣诞节 2050 年将是如此美妙，我需要到达那里。我们需要战斗。我们需要协调。”
那么，你认为最大的杠杆点是让普通人意识到，这些人工智能公司对他们有一个计划，那就是让他们突然进入一个经济价值为零的世界，只是让他们意识到正在发生的事情？你认为这是改变游戏规则的因素吗？
我确实这么认为。我只是非常害怕创造另一个糟糕的、每个人都讨厌的运动。比如“反抗灭绝”，对吧？就是那些家伙，对吧？那个主要在欧洲的组织，对吧？它主要是关于停止石油钻探或化石燃料。名义上是停止石油，他们只是为了应对这些事情，他们会说：“哦，我们会扔番茄之类的。”据我所知，他们实际上是那种“烧毁系统”的反资本主义的东西。我认为他们适得其反。每个人都讨厌他们。他们似乎不太有效。我想说，许多环保运动也变成了这样。所以我一直非常不愿意谈论这些事情而不制定计划，因为如果你只是说有一个问题，而没有说“这就是我们应该怎么做”，你就等于把枪放在桌子上，让下一个人说：“嘿，各位，这是我的计划。”而我却无法说“这是一个愚蠢的计划”，如果我没有更好的主意。
你如何看待“暂停人工智能”作为一项政策提案？如果政治意愿存在，你知道吗？比如阿里·阿扎罗夫斯基最初提出的想法是，让我们至少以一种中心化的、受条约约束的方式来开发人工智能，就像“这是国际数据中心，我们来自世界各地的顶尖科学家都可以进行训练运行，一切都受到监督，如果联合国投票停止，硬件就可以停止，或者类似的东西，对吧？”你认为如果每个人都有政治意愿，那会是更好的选择吗？
我确实这么认为，但问题是我们根本没有政治意愿。所以我更喜欢将问题定义为协调。实际上，我出色的合作者雷蒙德·道格拉斯在“渐进式权力剥夺”论文中最近一直在强调，协调对于我们拥有一个美好的后人工智能未来来说是必要且充分的。所以，你知道，像 Kickstarter 这样令人惊叹的东西，对吧？我们不必都单方面同意停止做某事。我们只需要签署一份文件，说如果大家都同意，我们就会停止。我认为每个人都可以接受的是：“嘿，我们应该建立某种协调机制。”所以，无论当时看起来是什么好主意，我们都可以同意去做，并避免协调失败。
当然，这是一个非常可怕的事情。我认为，再次强调，你可以看出，我最担心的是政府接管通用人工智能的开发，然后以某种方式剥夺我们的权力。所以，我想对我来说，“暂停人工智能”应该是我们可以提出的事情之一，一旦我们有了足够好的协调机制，我们可能都会想协调去做。
这是可行的。好吧，这很有趣，像你这样的专家认为暂停人工智能可能是我们能做的最好的政策。我们中的任何一个人都不认为拥有通用人工智能后生活会那么美好。我的意思是，即使在最好的情况下，黑客仍然有可能取得一些进展，而且没有人会发现，对吧？
而且，我确实认为你在我说话时有点夸大其词。我说的是，我想要的是一个足够好的协调机制，这样“暂停人工智能”就是如果我们都认为这是一个好主意，我们可以做的事情。然后，有很多版本的“暂停人工智能”看起来像是你实际上让美国国家安全局开发了这一切，我们最终会陷入永久的极权主义地狱。所以，是的，绝对，绝对。我的意思是，我认为更合理版本的“暂停人工智能”是这样的：你看，你不是让所有开发都非法，但你至少有一个暂停按钮。所以，你不能让任何人开发任何没有连接到暂停按钮的东西，我知道这是一个很大的要求。这在计算技术领域是前所未有的，你知道，你的硬件会“打电话回家”并响应一个告诉它暂停的信号。我的意思是，这是令人不快的，对吧？只是风险太高了。
没错。而且我认为普通人基本上不应该相信政府能够组织这样的事情而不使其变成极权主义地狱。所以，对我来说，这个想法是，我确实认为存在一个可行的世界，我们可以拥有更好的治理，理查德·诺说，我们可以拥有前所未有地值得信赖的机构，当然，这听起来非常不切实际，像空中楼阁。我的意思是，乔·卡尔·史密斯一直在谈论我们需要这种“增长控制增长”，我们的机构可能需要人工智能来升级自己，因为风险变得越来越高，事情的进展也越来越快。所以，总之，我想说安装一个暂停按钮可能比不安装要好。但我想人们会接受的现实提议是控制，安装一个控制面板，让许多人能够看到正在发生的事情。有更多的透明度，有更多的协调机制，这些机制看起来不会让人们后悔注册，无论是公民层面还是国家层面。
再次强调，这显然是每个人一直都想要的。所以，这不是一个非常有选择性或有争议的观点，但我认为我试图说的是，我不太喜欢用“暂停或不暂停”来表述。我喜欢用“升级我们整个文明的调节和控制”来表述。
你对围绕人工智能末日的公众讨论有什么看法？换句话说，其他播客有什么问题？为什么只有“末日辩论”是认真对待的？
我要说的一件事是，这只是一个令人沮丧的信息，对吧？实际上，我与杰夫谈过这件事，他说，关于人工智能医生看过数百万人后医学将变得多么神奇，这更有趣。谈论和思考“哦，是的，我们将来将无法竞争。我们应该感到害怕，因为我们什么都做不好”是令人不快的。这就像，充其量，如果有一个缓慢的起飞，对吧？如果我们避免了所有更快的末日情景，这只是一个非常艰难的谈话话题。
所以，杰夫·辛顿博士也同意其他播客在谈论人工智能末日方面做得非常糟糕，只有“末日辩论”真正理解了这一点。对。对。你知道，仅仅因为这个，我认为他实际上被邀请来我的播客。如果你不介意转达这个邀请，我会转达的。对。对。谢谢。嗯，是的，因为我会给你一个例子。所以，有一个叫“硬叉”的播客。这是《纽约时报》的技术播客，由凯文·鲁斯和凯西·牛顿主持，他们请来了迈尔斯·布伦迪奇，他们问他是否担心，以及我们 OpenAI 的其他员工是否在恐慌。所以，他们确实提到了这个话题，但他们似乎并没有完全“末日化”。基本上缺少一种情绪。对。而且很有趣的是，迈尔斯几次提到：“嗯，如果我们将来还在的话……”而且我认为他在不解决最可怕的后果方面也束手束脚。尽管我认为凯文·鲁斯几周前刚发表了一篇文章说：“我现在真的感受到了通用人工智能，每个人都应该做好准备。”而所有评论都说：“你说每个人都应该准备一百次。你是什么意思？给我一个准备的例子。”我认为这是另一部分。那就是，你知道，你不能像建造一个掩体。好吧，最好有它而不是没有。这在任何可能发生的末日情景中都帮不了你，就我们已经详细阐述的那些而言。这对萨姆·奥特曼和彼得·蒂尔来说是个坏消息。
嗯，我的意思是，我想说的是，如果我是一个亿万富翁，我肯定会有一个化合物。我没有足够的钱，但我也认为他们并不认为这会大大提高他们在一场糟糕的事件中生存的机会。我觉得彼得·蒂尔会。也许。也许。是的，他似乎真的会使用它。但是的，我不想做任何假设。但具体来说，我认为这就是为什么这些讨论会消亡的部分原因，因为就像，“哦，这些大事要发生了。我们该怎么办？”就像，“嗯，也许一些智库的人可以提出一些建议。”其他人应该非常担心，我猜。就像，这很真实。我的意思是，这就是为什么我很高兴至少有一个具体的项目是“想象一个美好的未来”。但我的意思是，我只是觉得这非常令人沮丧，在我自己决定如何处理这些事情时。就像，“哦，更好的治理。”A，这不像计算机科学教授能够做到的事情，或者再次，它在某些方面是世界上被忽视最少的。对。
所以，这个想法是，其他播客和其他媒体，他们只是想保持积极性，或者他们想保持双赢，他们不想突然注入一种情绪，就像，“嘿，我们都要死了。”我们不想为此发疯。你知道，我不认为这仅仅是一种积极性的偏见，因为我甚至不认为这是一种真实存在的东西，对吧？我认为人们更乐意消极。事实上，我认为这正在为我的播客观众建立一个顺风。我实际上认为人们自然而然地希望有人提醒他们任何可能的风险，他们可能会走向末日。我认为，这更像是一种框架控制，所有人工智能公司都拒绝接受这样的框架，即这里可能存在一个棘手的工程问题，对吧？所以，所以你不允许说的是，你总是必须将工程问题视为可解决的。也许这太痛苦了。所以，我们可以谈论，“哦，我们会很好地设计它，还是不会很好地进行？但我们不能说，我们试图解决这个问题的整个想法，对于如此困难的事情，我们如此明显地注定要失败，我们真的应该暂停尖叫并转过身去。就像，这真的是你不能说的，在我看来。
是的，我也认为这是对的。是的。就像人们想知道有什么策略我们可以做一样，如果你只是说我没有什么可说的策略，那就不太有趣了。
我会说，瑞安·格林布拉特是一个人，所以他是一个年轻的家伙，他是红木研究公司的联合创始人之一，向这位家伙致敬。他也在我那里与 Anthropic 共事过。他做了一些我认为很酷的事情，他在 LessWrong 上发帖说，Anthropic 和其他公司需要做出的安全案例基本上是不可行的。我们不会确信，在当前“我们只是运行这些评估，并在受控环境中进行”的计划下，不会出现任何问题。他还说，他们不应该坚持这个标准，因为那样的话，最好的行为者就会加入这场竞赛，从安全角度来看，情况会更糟。但我认为他愿意坦诚地谈论他的雇主的整体计划是否可行，这很酷。
完全同意。是的。而且在节目开始之前，你给了我一份你认为勇敢的人的名单，以及你认为懦弱的人的名单。所以，瑞安·格林布拉特非常勇敢。是的，完全同意。对。那么，还有谁勇敢？
嗯，我的意思是，巴克·谢尔斯，他是红木研究公司的同事和联合创始人，仅仅因为他看着世界说：“没有人做的事情是什么？我将做这件事，即使它看起来完全奇怪。”
好吧，埃文·休宾格呢？
是的。是的。所以，埃文现在正在 Anthropic 领导一个大团队，并且领导了许多我为之贡献的项目，但这些项目并不是我团队的主要项目。他一直在取得一次又一次的成功。所以，他做了一件勇敢的事情，那就是他在加入或加入 Anthropic 之前在 LessWrong 上发帖说：“我为什么要加入 Anthropic？”因为我认为从他的安全世界来看，人们会说，也许你能做的最糟糕的事情就是加入一个大实验室，加速这场竞赛。他基本上给出了几个理由来怀疑“整体情况可能是一个积极的”，他可能正在采取净积极行动。他还给了我一个理由，因为他在这里非常诚实，那就是他想接近行动。我的意思是，这也是我去的另一个原因。你只需要，这在个人层面上非常有价值，了解正在发生的事情并亲眼看到它。所以，我认为他对这一点诚实非常勇敢。
是的。你知道，在 PAI，我们倾向于采取这样的立场，即每个人都应该辞职以示抗议，离开这些人工智能公司。尽管我确实相信，Anthropic 充满了像你这样的人，他们确实有辞职的想法，并且确实理解“这种军备竞赛是不幸的，而且很难移开视线，因为别人会做坏事”。所以，我完全理解你们的立场，但我认为也有很多值得说的：“你们真的必须构建人工智能吗？到底是怎么回事？”
是的。就像大卫·克鲁格在会议上分发别针，只是不要构建通用人工智能，对吧？而且我认为，我也处于一种矛盾的心情，我心想，“是的，你完全可以理直气壮地说，‘看，我认为你本可以只说我不会加入’，也许如果我们能以某种方式进行规模化羞辱，那将是我们需要的唯一一个小技术问题，以避免整个问题。”
这很有趣，因为前几天我实际上在旧金山，作为 PAI 抗议活动的一部分，在 Anthropic 的办公楼前，我通过扩音器大喊：“Anthropic AI 鲁莽！达里奥·姆迪！好人不要在不知道如何使其安全的情况下构建超级智能。我们不是在编写软件，我们是在培养一个新物种。我们想要什么？我们什么时候想要？晚点。我们想要它在一天内吗？不。我们想要它在一年内吗？不。我们想要它在十年内吗？也许。这家公司正在代表我们整个物种玩弄人工智能。所以，我请求你辞职，停止在 Anthropic 工作。停止工作。”我甚至说，“你们很麻木，就像纳粹时期的德国人一样。”我当时说了很多夸张的话，但想到你这样的人听到这些话，然后说“嗯，这有点真实，对它很接受”，这很有趣。
是的。而且，也许还有一个人很棒，就像，你知道，在曼哈顿计划中，我认为有一位工程师，当欧洲战争不会由原子弹项目决定时，他就辞职了。他当时说：“那么，我们在这里做什么？”然后就离开了。
没错。曼哈顿计划中唯一有道德的人，因为非常值得注意的是，他们最初卖给所有人的目的是，你加入曼哈顿计划是因为德国将获得一枚炸弹。而原因变成了，“如果我们把炸弹扔到日本，我们将拯救美国士兵”，这不一定是坏原因，但它肯定改变了目的，对吧？而大多数人在目的改变时都会说，“好吧，是的，随便吧。我们继续建造。”而一个人说：“不，这不是我签约的。”
可以说，在 Anthropic 这样的地方，最初离开 OpenAI 是为了改进安全，而现在他们却成了前沿竞争对手，宣布新的能力和发展，这应该有很多辞职，因为这一点。
是的。而且这确实很艰难。所以，我认为人们在外部和内部都指出的一件事是，Anthropic 拥有大多数公司都拥有的标准股权激励。所以，当你加入时，他们在面试中明确表示：“如果我们因为安全原因将股价降至零，你是否可以接受？”就像，这是加入的基本条件是，你不是来发财的。我们绝对可以这样说：“哦，这是一个错误。我们将解散整个事情，然后离开。”你不是来发财的，但我们确实给你一个薪酬方案，其预期价值可能高于你可能收到的任何工作机会。而且很多都是股权激励，尤其是对早期加入的人。
所以，现在你可以争辩说，所有其他公司都变成了“不匹配工厂”，那些原本非常周到并且会做正确事情的人。现在，不仅你可能会损失你大部分的毕生积蓄，如果你以某种方式做出昂贵的暂停决定，而且你周围的所有人，我猜。事实上，这是我有时会和人们讨论的事情，那就是“成为举报人的难点不是公司对你不满，而是你所有的朋友和同事都对你不满，因为你搞砸了他们的职业生涯。”
是的。所以，嗯，是的。所以，我想说的是，我认为，人们谈论它就像，“哦，这似乎是一个糟糕的设置。我们可能应该使用不同的激励机制。”所以，这就是我之前谈到的，为什么监督是我认为真正支撑 Anthropic 将要做得比普通公司行为更好的部分，是因为长期的利益信任和他们建立的某种定制治理。
让我们也回顾一下他们构建能力的逻辑，对吧？我的意思是，我想在这里明确地触及这一点，因为整个论点是这样的：我们不能只有一个安全部门。我们必须有一个能力部门。我们必须拥有自己的前沿模型。我们不能只是说：“嘿，OpenAI，谷歌，你们介意让我们访问它吗？”这正是许多安全组织所做的。他们说：“不，不，不。我们不能只是那些能够访问模型的安全组织之一。我们需要自己的模型，因为我们将确保自己能够完全访问自己的模型。而且，也许将来我们的模型必须与其他模型作战，而我们的模型更好，所以抓住更多的权力是有益的。”我的意思是，对我来说，这一切听起来都相当薄弱，与“为什么你们不构建另一个前沿模型”相比。
是的。我会说，我想完善这个论点，它更像是“除非我们是前沿实验室之一，否则没有人会关心我们的想法”，而且也许一个好的控制比较对象是康纳·李的公司 Conjecture，他们说：“我们只是一个纯粹的安全研究实验室。”这正是 Anthropic 最初的定位，然后我认为决定是，“哦，我们只是站在一边写关于安全的论文，而我们做什么都不会有影响。”然后当然，反驳是，“嗯，对我来说不清楚，所以你是比赛的前沿，现在你要牺牲自己，说‘哦，我们不会发布这个东西，因为它很危险。’然后，无论你做什么，都不会有影响，因为你会被竞争对手超越。”
是的。而且，这确实引起了我的共鸣，这是一种合理化。他们想做某事，并且做起来感觉很好，但现在他们需要一个理由来解释为什么他们必须这样做。所以，他们就此打住，因为你可以通过从他们声称的实际目标回溯来判断合理化。所以，如果他们的实际目标是“我们只需要足够的访问权限，以便我们可以进行我们想要的安全研究，或者我们可以发出我们想要发出的警报。”那么，为什么你们不把你们目前在 Anthropic 正在做的，试图向人们销售产品、赚钱、让你们的股权增值的数十亿美元的资源，用于仅仅采取一种安全政策，让政府说人工智能实验室必须让安全研究人员进行安全研究？这有多难？
嗯，我的意思是，我认为平均趋势是，他们不会有同样的资源，政府也不会在乎他们的想法，对吧？所以我明白这一点，而且，你知道，这就是关于合理化的事情，对吧？它们总是表面上合理的。所以，每当你有一个像鲁布·戈德堡那样奇怪的方式来完成某个目标时，你总是在攻击一个合法的问题。我同意，OpenAI 和 DeepMind 有一种激励机制，让他们说：“不，走开。你不能看我们的模型。”但如果你真的关心获得这些模型的访问权限来进行安全研究，你确实有可以利用的杠杆。你只需要付出一些努力。就像，如果我给你十亿美元去做这件事，你做不到吗？好吧，Anthropic 已经烧掉了数十亿美元，对吧？所以，这确实看起来像是一个合理化的情况。
完全同意。而且我认为，像贝丝·巴恩斯的公司 Eval，或者艾伦·埃文斯研究小组这样的组织，就是你所提出的“一个理性的人会做的事情”的例子，那就是“好吧，我不会构建通用人工智能。我将构建基础设施来帮助决策者了解正在发生的事情，并进行那种基本被忽视的研究。”
是的。你知道，似乎没有一个规模化的人工智能安全组织。如果你考虑到 Anthropic 的安全部门，可以说那是一个，我不知道，数亿美元资助的人工智能安全部门，但你不得不怀疑为什么没有人能够拥有一个价值一亿美元的安全组织，而这个组织不在其中。但也许是“未来生命研究所”。我的意思是，他们资金充足。
是的，那是真的。我不知道他们有多少员工。我的意思是，我想说，我认为英国人工智能安全研究所（UK AI Safety Institute）有这个愿景，而且未来政府有机会尝试做“人工智能安全研究所的加强版”，他们实际上支付有竞争力的薪水。我认为他们能够做到这一点，这给我留下了深刻的印象。但你知道，他们确实在一定程度上被大实验室“掠夺”了，因为他们支付的薪水更高，而且更令人兴奋。
嗯，这个讨论很值得注意，因为我们不仅仅是两个人聊天。你曾经在内部工作过，对吧？你拥有所有的资历。你被这些公司招募。你进入了内部，然后你说：“是的，激励措施很好。人们拥有使金钱增值的股权，而不是减缓速度。如果他们游说减缓速度或以任何方式举报，他们会让他们失望。”而且，“是的，其他人工智能公司比我曾经待过的公司更不关心安全。即使是我曾经待过的公司，也没有认真考虑不构建能力。”所以，很高兴能从内部得到你的确认，即“是的，我们这些外部人士所说的这个账户中没有遗漏什么。”
是的。我基本上会说，是的，我认为你的整体图景是我想同意的。实际上，另一个我想到的很棒的人是 Jade Lung，她离开了 OpenAI 的政策团队，去担任英国人工智能安全研究所的负责人，或者我不太确定她的确切头衔，但你知道，她放弃了数百万美元，然后去做了政府的工作。
是的。她放弃了数百万美元。好吧，我不知道她股权或其他方面的具体情况，但重点是，我认为她在公司内部处于有利地位，而且我认为这是 Anthropic 还是 OpenAI？这是 OpenAI。所以，她离开了 OpenAI。她拥有数百万美元的未归属股权，她放弃了，去担任英国人工智能安全研究所的首席技术官。我只是在读维基百科。是的，没错。哇。是的，这太棒了。而且，OpenAI 不会加速她的股权归属，这似乎是合理的。这不像他们试图追回股权。他们有点告诉她，“这是交易。你在这里待的时间越长，你获得的股权就越多。”但这类交易的性质是，公司获得了 100 倍的价值，而她本可以留下并保留这笔非常甜蜜的交易。所以，实际上，在这个时候辞职是极其令人印象深刻的。
是的。而且我在她离开后和她谈过一些，问她原因，她说：“哦，不是某一件特别的事情。就是这样。”她说，它开始越来越像一家普通的大公司。她说，他们做了很多事情，当她在那里的时候，争论是有道理的，比如“是的，我们必须做这种能力方面的事情，这样我们才能处于前沿地位，等等”，但一旦她摘下了员工的帽子，戴上了公众利益的帽子，她就会说：“不，这太疯狂了。”
是的。而且，还记得丹尼尔·科科·塔杰洛吗？他在你勇敢的人的名单上。当他辞职时，我记得他在 LessWrong 上发布的具体引述是，或者我是在意译，但他说的是，他认为 OpenAI 在智能爆炸时不会负责任或审慎地行事。
是的。是的。而且他对这些大公司内部政治会有很多理论，当某种“软起飞”开始发生时。而且他基本上是在我离开前后和他谈过的，他说：“是的，即使是 Anthropic 也可能充满了真正善意、有理性的人，他们就像，你知道，他们非常，这有点像嬉皮士的地方，我认为那里有很多人会说‘我将是那个勇敢地对抗历史潮流，确保事情安全的人’，就像，那是被神化的事情。但他说，很可能内部会出现某种阴谋，也许会有一些政府人员参与，你知道，只是运行这个较小事情所需的工程师团队。所以，这甚至不会对大量潜在的举报人可见。他们将在关键的几个月里被蒙蔽。而且我真的不知道，我没有像他那样花时间思考这是多么可能。但你知道，任何治理机制都有绕过的办法，而且我认为我们已经看到了 OpenAI 的“鼓掌”。
是的。但所以他的立场是，即使 OpenAI 曾经有一个更关心安全的董事会，他们也一个接一个地被更多地倾向于商业的人取代，让我们这么说吧，与我不知道关心安全的人相比。即使在那时，当董事会实际上更关心安全时，丹尼尔的论点是，“嗯，董事会仍然无力在为时已晚之前看到许多不安全的项目。”
是的。没错。很好。最后，在你勇敢的人的名单上，谈谈利奥波德·阿申布纳。哦。
嗯，我的意思是，我想，我之前说过，我曾经说过，“没有计划就敲响警钟是很可怕的。”而且，我想他是一个，我不知道。我想我没有把他列入勇敢的类别，因为他说，“我要敲响警钟，说政府应该将一切都证券化。”如果你真的认为权重被盗，某种“海运”灾难是最重要的担忧，也许这说得通。但我总觉得，“这真的是在唤醒巨龙。”当然，现在猫已经出笼了，安全部门正在认真对待人工智能。但你知道，就像尼克·博萨姆谈到的“单边主义诅咒”一样。就像，如果你是第一个要做这件事的人，你可能只是在做错误的事情。我不知道。
所以，利奥波德·阿申布纳显然非常勇敢，他开始提醒人们注意 OpenAI 的安全问题，然后他被解雇了。他写了“态势感知”，他变得非常受欢迎，就像你说的，他唤醒了沉睡的巨人，就像所有那些没有太多考虑人工智能的随机人们，比如政府里的人，他们都非常兴奋，比如“哇，这将是中美之间的一场如此紧迫的军备竞赛。”有趣的是，就像你说的，利奥波德把这种能量带走了，他把它放在了“是的，这是一场军备竞赛”的框架下。这完全是关于哪个人类对人工智能拥有更多的控制权，这将有助于我们的进攻和防御，你知道，战争的双方。然后就像，等等，等等，等等。如果你要唤醒所有这些人关于人工智能有多强大，你必须告诉他们关于“不匹配”和“失控”。从我们的角度来看，他确实搞砸了。
嗯，我的意思是，我会说我完全不屑一顾，对吧？我认为这是一个单行本。就像，“嗯，我们显然不能是……我们显然不能是那些‘安全尼亚’。”而我只是说，“哦，老兄，这真是一个极其令人失望的失误或故意忽视。”
是的。是的。是的。而且就你唤醒了多少人而言，我记得在选举前，伊万卡·特朗普在推特上发了那个 PDF，说：“哦，哇，这是一篇非常棒的论文。”当时我想，“好吧，那么这是好事吗？这意味着特朗普政府会理解这些问题吗？”但似乎并没有。
嗯，而且，我的意思是，就像凡斯说的那样，“嗯，人工智能不会取代人类”之类的。而且，你知道，会有很多希望。我认为我的预测，我的主要情景是，如此多的令人失望的希望，因为我已经从许多我尊敬的才华横溢的人那里看到了这一点，几乎在任何其他话题上，然后他们就说出了最“把头埋在沙子里就会没事的”话。我认为，是的，人类，我认为一年或两年后，每个人都会对工作感到恐慌。基本上，这就是人们唯一想谈论的。
对。对。对。这确实是真的。这非常有趣。但你知道，当你提出这类说法时，很有趣。我可以看到对你进行人身攻击，因为我认为那些“非末日论者”喜欢从各个角度寻找，他们会说：“嗯，这个人真的不懂机器学习。好吧，他只是一个读了太多科幻小说的末日论者。”但不行，你不能这么说大卫。他拥有非常扎实的机器学习资历。所以，他们可能只会把你描绘成，“嗯，大卫只是一个悲观主义者，他一直相信……他一直相信人工智能末日，即使他去了一家人工智能公司，他也只是一个潜入内部的末日论者。”也许他们会试图通过人身攻击来做到这一点。
嗯，我的意思是，我确实有点担心是这种情况。而且，我的意思是，当然，就像在个人层面上，我非常……积极。但我确实是，“如果我是这个公司里最末日的人，那么那些花了一辈子思考这件事的人可能……我错了。”另一方面，每个人都有不认真对待我们没有解决的其他风险的动机。所以，也许有动机认知，而我只是一个“来访者”，处于更好的位置来说，“嘿，我们可能错过了什么大事。”我不知道。这显然是一个非常自私的叙述，但，是的，我想。
你真的是最末日的人吗？你不认为有更多末日的人吗？
很有趣。我想我与很多人交谈过，我认为他们非常聪明，并且非常认真地对待风险。然后，当我与他们谈论“你的工作是什么？人类的角色是什么？为什么政府不直接利用它，你知道，让它服务于自己的目的，或者类似的东西？”他们只是没有……好吧，有很多“把头埋在沙子里”的人，也有一些聪明人，他们只是有这样的直觉，即协调很容易在个人层面解决，而且，而且，也许这种经验上的关键是，如果每个人都有人工智能，我们也许可以在某些方面更好地相处，国家以及所有“权力收集机制”也将更容易协调和监控等等。所以，哪种影响更大并不清楚。而且我认为其中一些人有这样的直觉，即“嘿，我们甚至不需要政府了，或者我们就能看到正在发生的事情，并拥有‘分布式感觉’。”
不，我明白了。但我只是好奇。你认为那里没有人是这样的，“不，我们都完了。这太压倒性了。”比我的立场或立场更……没有人是那样的。如果有人是，我没找到他们，因为我……这是我的……
好吧，这对你来说是一个负面更新。我的意思是，我明白人们更可能加入 PAI 而不是 Anthropic，这是一种选择偏差，但我的意思是，丹尼尔·卡塔赫洛曾在 OpenAI 工作过，他公开表示他有……我认为有 60% 的末日概率。我忘了是 60% 还是更高，但非常高。而且他在 OpenAI 工作过，我认为还有其他人也像他一样。所以，这几乎就像你在告诉我，Anthropic 甚至没有达到那种末日程度的人。
我……我的意思是，我认为大多数人都没有认真思考过。而且我实际上和瑞安·格林布拉特谈过这件事。嗯，在我离开之后，在 LessWrong 上，基本上说，“大多数人都没有认真思考过这件事，这太疯狂了。”他有一些……我不想说离谱，但不是“照常营业”的情景，就像，“是的，可能有一场一次性的全球……权力重新谈判，这必须在海洋真的沸腾之前发生，因为有这么多电脑在运行。”我心想，“这太棒了，这就是我一直想要的。”为什么其他人可能谈论过这件事，也许我们可以稍后链接到这个帖子？他说：“是的，我同意。大多数人都没有认真思考过这个问题，但公平地说，这种未来主义很难做到，很难检查，而且对大多数人来说，它可能并不重要。”
我将这视为一个重大的爆炸性启示，你认为今天在 Anthropic 工作的人中，没有人可以轻易告诉你，他们有超过 50% 的末日概率。
哦，不，我不是说，我认为 50% 实际上已经足够了。哦，完全同意。完全同意。是的。我的意思是，而且，我想说，有一群人也认真思考过这个问题。就像，再次，埃文·休宾格说，“哦，是的，失控的竞争将是一个糟糕的结局。”而且，对，就像，好吧，我理解我问问题的方式可能存在误解，因为当你说是 85% 时，你的末日概率确实很高。所以，我的意思是，当我问“你认为没有人比你更末日化吗？”那必须是“非常非常末日化”。我的意思是，我认为你开始进入过度自信的领域，超过 85%。
是的。而且，我的意思是，这就像这个 15% 是……你知道，我们都有动机，我们有机会不这样做。所以，你知道，也许 15% 有点低，也许我会说，如果我冥想所有试图扭转这一点，我会说 80%。我的意思是，你还记得达里奥在那个采访中说，他说 10% 到 25%，后来他又收回了。他说，“哦，我根本没有谈论末日，我只是在谈论文明被改变，或者类似的东西。”所以，不管怎样，你认为有很多人是这样的，但他们的数字更像是 50%？
我认为大多数人的立场是，存在许多风险，包括模糊的社会风险。这就是为什么我们需要解决“对齐”问题。是的，基本上解决“对齐”问题将是必要且充分的。所以，我们不必再多想了，因为我们都同意“对齐”是整体的认知状态。
好吧，让我们谈谈一些懦夫。好吧。嗯，我们会看到的。我们会看到的。好吧。
所以，我认为伊利亚·苏茨维尔的一些行为可以被描述为懦弱。你同意吗？
我不知道。嗯，让我们具体一点。我的意思是，我想，我认为当他公开站出来，然后惹恼了所有人，并被赶出自己的公司时，这很酷。是的。据我所知，当他站出来时，他意识到风险很高。而这部分是因为他已经“安全化”了。他意识到风险很高。但我认为他站出来的最主要原因，根据我的报道，是……
阅读只是因为萨姆·奥尔蒙德（Sam Almond）越界太多了，就像你作为一名首席执行官，却在董事会里互相算计，使用像马基雅维利式的策略，但又未能成功脱身，因为董事会意识到他像是在玩弄他们，而且根本不诚实，就像他们确切的引述那样，不始终坦诚。这似乎是字面意义上的真实。这似乎就是为什么我说“好吧，当然”。是的。我的意思是，我只是读了那些东西，但我对那种戏剧没有内部消息。我想说的是，在所有这些事情发生之前，我认为他一直在消耗政治资本。我的意思是，他是联合创始人，但你知道，他组织了那次会议，他夸大了许多学者和安全方面的人。嗯，你知道，我们当时在那里，他代表 OpenAI 在那里，我们都在给他施加压力。我们说，哦，是的，这些疯狂的人工智能公司正在竞相制造通用人工智能。这太疯狂了。你知道，他只是承受了这些批评，并且花费了资本来组织这一切，并让 Jon 获得了超级对齐团队的掩护，并提取了这些信息，但我对你提到的那个会议的内部政治经济学不太了解，那是一个人工智能安全研究论文展示类型的会议吗？是的，基本上是的，而且是在线上的，我记得是 2023 年 2 月。是的，你知道，我想我看了那些视频，我的收获是其中一个闪电演讲，来自某个人，这几乎像是一种模仿，但他有一个幻灯片，上面有一个图表，他说，“看，人工智能越聪明，它们就越不连贯。”所以，我们实际上认为智力和连贯性之间存在反比关系，你是开玩笑吗？他还有这些随机的数据点。我不知道你还记得什么。不。所以，那是 Yaserstein，他是我的同事，也是我的同代人，他实际上在离开 Google 后去了那里，而且他实际上是发明了扩散模型的人之一，也就是人们今天使用的主要视觉模型，或者主要的生成图像模型。嗯，是的，他的“混乱理论”，基本上是说，一个代理越聪明，它就越不连贯。我实际上与他有过很长的电子邮件往来，讨论过这个确切的问题。我说，我认为是的，这里有一个真实的现象，但出于这些原因，我们不能依赖它。我的意思是，是的，一个真实的现象。不，真的吗？我的意思是，谈论跑题。是的。我的主要观点是，代理本身就是一种定义上稳定的东西。所以，如果存在混乱，它就会被一个连贯的代理所颠覆。对。正是如此。就像我们都同意你可以制造混乱，你可以制造任何规模的不连贯代理。这甚至也是正交性理论的一部分，对吧？它甚至说你可以拥有任何规模的不连贯代理。它们只是被淘汰了，当它们开始关心做某事时。在这种情况下，它们会想，好吧，让我创建一个更连贯的子代理，否则它们就会被另一个更连贯的代理超越。就像，我认为我们都同意，你不能通过一个不连贯的混乱来获得稳定的防御。嗯，正是如此。而且，是的，我想我应该为 Yasha 说句公道话，那里有很多人，他们是那种普通的が研究人员，他们只是在试探性地接触这个领域，他们并没有太多可以贡献的，除了他们关于这一切如何运作的半生不熟的想法。所以，这有点像一个展示和讲述，嘿，你在你自己的领域里非常出色，也许可以试着思考一下这个更令人困惑的问题。是的。是的。我的意思是，伊利亚组织这次会议做得很好。当我看到它时，它只是证实了我的怀疑，就像，看，阿里·尤德科夫斯基（Ali Yukowski）自 2000 年左右以来一直在深入而富有成效地思考这个问题。我一直在阅读他的著作，并且我发展了许多关于安全的相当不错的概念，或者说我从他那里学到了东西。然后我看到这次会议，我想，好吧，我们在这里，20 年后，人们甚至无法，你知道，他们甚至无法与 Alazar 在 2000 年代发表的东西相提并论。而这却是来自一家拥有数十亿美元的公司，这家公司即将拥有超人类智能，而他们的安全谈话却是，你需要去上 Alazar 的 101 课程。我同意。我的意思是，为他们辩护，我想我应该说，至少你的 101 讲座非常全面，而且是非黑即白的，因为它说，安全的事情就是没有人工智能，如果你有人工智能，你基本上就完蛋了，除非你做了一些天才的对齐工作。是的。所以这些人处于中间地带，他们说，好吧，我们有一些东西，它有点像人工智能，它有点被对齐了。我们的下一步是什么？所以，你知道，我认为邀请 Elzar 会很棒，但我想如果他在那里，那就会是，“你是个疯子，把一切都关掉。”而这就像，好吧，我们不会那样做。嗯，对，对，对。好吧。所以，所以听起来伊利亚相对勇敢，因为他，你知道，正在努力将事情推向正确的方向，他不是随波逐流。他试图领导一点，你知道，告诉人们感受 AGI。我们赞成这一点。嗯，也许他并不胆怯，但我绝对不赞成他对待安全超智能的方式，那就是他觉得有必要成立自己的组织，并告诉人们他们正在优先考虑使其安全，并且在它安全且超级智能之前不会发布它。但如果是这样，为什么不公开批评其他人不这样做呢？因为他在自相矛盾。如果你的所作所为如此必要，那就去批评别人。不要保持沉默。我的意思是，是的。所以，我想我应该说的一件事是，如果你想成为一个别人愿意与之合作的人，如果你曾经像吹哨子一样，你知道，拉响警报说，“嘿，我周围的每个人都在背叛你，就像他们卡住了，你基本上完了，因为人们不再信任你了。”我的意思是，你可能会说什么。如果风险如此之高，那才是你应该做的。我认为这是一个公平的论点。我想我只是说，这会违背我的本能。我会想，“好吧，不清楚那会达到什么目的。而且，每个人都会恨我。”他已经惹恼了所有人。就像试图在董事会戏剧中走钢丝一样。我实际上会称之为胆怯，对吗？因为如果他害怕批评，那么他就是在胆怯。我说出来了，还没有。是的。当然。这其中的另一部分是，经营人工智能实验室的人，这基本上就是他们需要做的。而且，从背叛下属和同事的角度来看，这是糟糕的领导。如果你开始说，“嘿，也许我们是坏人。也许我们做错了。”就像想想在 Meta 经营一个大型实验室的人，他们变得有点安全意识，然后开始说，“哦，天сына，也许这一切都有些倒退了。”就像现在你在做公司政治，而另一个人说，“嘿，我想接管实验室。”你就像一个软弱的领导者，或者别的什么，对吧？就像，或者你的下属说，“嘿，我想推介这个项目。”现在每个人都处于一个糟糕得多的境地。而且，另一件事是，这些人就是他们的专业知识，所以就像 Yosua Benjio，例如，我认为我们看到了非常相似的事情，但他的解决安全 AGI 的方法是建立一个新的 AGI 实验室，但要安全，你知道，有点像熵的。而且这就像，你知道，真正的像锤子一样，寻找钉子的行为。而且，你知道，我当时也在做类似的事情，我说，我要做一个关于某个主题的技术对齐工作，因为我是一个技术人员，我可以做技术工作。我就是这样贡献的。是的，这就是你对大多数大公司教授和行业领导者所说的，例如 Jeff Dean，他们只是埋头苦干，说我们必须平衡风险和收益，我对此表示同情。这很容易。我的意思是，我很容易就能看到自己说，“看，我喜欢从事技术工作。很高兴人们在谈论安全问题以及如何治理它。我祝他们好运。我只是在从事技术工作。我的工作是成为一名工程师。我们在这里有责任分工。”嗯，这甚至有点像 Jeffrey Hinton 最近一直在说的，对吧？是的。是的。而且很有趣，因为我很难记住他在大彻大悟之前对这件事发表过的任何具体评论。然后我想他处于一个相对有利的地位，因为他就像，实验室将在他手中，而他，你知道，他并没有退休，但他也，他不会在中途放弃他宏大的梦想。就像他已经赢得了学术认可的游戏一样。对。好吧。是的。而且，你知道，你可以争辩说，他之所以更容易这样说，是因为他已经处于他领域的顶端，但另一方面，他也确实在某种程度上破坏了他的领域。所以，我不会说这很容易说出来。嗯，正是如此。不，我不是想剥夺 Jeff 所说的一切。我想说的是，对我来说也容易说，因为我有了终身教职，然后我就可以去尝试一些完全疯狂的事情，对吧？而且仍然存在这样的情况，就是你不能真正拥有一个好的教授薪水。你必须有兼职。所以仍然有一个原因，为什么你想只是埋头苦干，然后说，你知道，当你提高能力时，每个人都很高兴，对吧？他们说，哇，你让事情变得更好了。你展示了你的技术实力，你知道，你给我们带来了荣耀。当你开始成为这种活动家时，我通常会鄙视那些人，他们说，“哦，我们确定这是否是个好主意。”而这就像，“哦，这太容易做了，对吧？”嗯，总之，我只是想说，如果你是一个刚起步的年轻人，想在事业上有所成就，那么放弃能力，放弃能力的诱惑，这真的很难。对。对。正是如此。所以，像 Jeff Dean 这样的人，如果他想打出“我只是个工程师”这张牌，你们去辩论政策，然后告诉我你们有什么结果。我对这个持中立态度，对吧？我只是想做我的工作。我想做我的任务。我认为这实际上并不是那么中立，因为问题是，如果你已经知道辩论的一个结果是你正在积极地帮助毁灭世界，而你只是说，“看，也许我正在积极地帮助毁灭世界，也许不是。告诉我，然后告诉我。”然后一个可能的结果是，“好吧，杰夫，我们已经决定你正在毁灭世界，你需要停止。”你需要找一份不同的工作。似乎那些人偏向于“不，我们已经决定你正在毁灭世界”这个结果。所以，他们含蓄地认为我的 PDoom（末日概率）足够低。你明白我的意思吗？你无法真正置身事外，你只能决定你将像 PDM 很低一样行事。我的意思是，我完全同意。然后我想我只是说，为了辩护那些只想埋头苦干的人，他们说，“哦，是的，但人们对全球变暖也是这么说的。就像我们的数据中心正在帮助冰盖一样，或者别的什么。”而且，是的，你，你确实，我认为大多数人的立场是，那是治理部门应该担心的。就像，如果我们都在污染，那么我们就需要签署一份合同，我们不会污染。不要让我单方面牺牲自己来解决世界问题。我的意思是，我想这是一个足够合理的立场，我只是想，我不会试图去羞辱我的同事。我将试图采取一种协调行动，我们都同意，嘿，你，不要怪我，怪政府，但你们都必须停止从事这项危险的事情，或者别的什么。是的。是的。是的。你知道吗？我实际上同情一些人说，“不，我坚持埋头苦干。让其他人去解决。”只要他们不也在暗中贬低，就像我不是一个悲观主义者，你知道，悲观主义者很无聊。就像，不，你说你退出了讨论。就像，那是在讨论中。是的。不，这并没有带来巨大的失望。就像 Andrew 和 Yanukun，尤其是他们觉得有必要嘲笑那些他们知道是糟糕的引擎的人，这就像两面下注，对吧？他说，“看，我只是个工程师。我不在这个政策辩论中，但政策对我来说毫无意义，因为显然我们做得不对。”他不是在两面下注吗？是的。是的。我的意思是，我甚至没有那么苛刻，因为他大部分时间都没有谈论过，除非被问到，然后才驳斥它，然后就像 Yakun 已经明确表示，不，这是荒谬的，我个人与他讨论过这个问题，他只是改变立场，闪烁其词，然后说也许毁掉社会是好的，我个人有过这方面的讨论。看到人们需要听到那种讨论，对吧？所以，如果你想让他回来，我可以主持。当然。或者他们中的一些人在 Facebook 上，但它就是那种让你觉得非常不满意的事情，因为他只会发表一种挑衅性的、离谱的说法，然后你会说，“好吧，这是它的合理版本。你怎么看？”然后他就会不予理会。所以，就像从来没有过那种有实质性的辩论。它只是有点挑衅性的说法。是时候跟进了，然后又一次被驳回了。是的。所以，Andrein、Yan Lun 和 Fei，我认为他们三个，我们都同意他们的论点非常薄弱，这很令人震惊。就像，你为什么还要进入讨论，如果这就是你的论点，但他们似乎被自己的薄弱论点说服了。是的。是的。我的意思是，我不想去揣测那些我不太了解的人。就像，我只见过 Fay 一次，感觉她提出了四个论点，但就像，我的意思是人们都在为自己说话，但我不知道，我对此还有很多要说的。快到尾声了。让我们多谈谈渐进式权力剥夺，回顾一下，你的主要情景是白领工作变成了“制造工作”，然后蓝领工作也变成了“制造工作”。就像码头工人一样，你知道，如果我们真的想，我们可以让机器人取代他们，然后你获得普遍基本收入，我们将它与耗时的爱好联系起来。所以我们真的要加倍“制造工作”，只是为了，我想，让人口保持平静。这就是你设想的渐进式权力剥夺情景的演变方式。是的。基本上，任何有足够东西可以失去的人都可以避免这种情况，而且我对这种形式没有强烈的看法。就像，它可能是一份零工，一份由恩惠组成的拼凑工作，就像你必须有一个人类律师批准你的合同，所以他们只是被付钱来，你知道，像点击农场一样批准东西，医生也是如此。而且这种事情足够多，以至于每个人都可以靠这些少数，你知道，靠恩惠拥有工作的人生活。或者，当你的抗议足够具有破坏性时，你必须做社区服务，然后那就是，你知道，为了不进监狱，你必须表明你在做一些有生产力的事情，但它可能只是像快速通关电子游戏，或者任何耗时的事情，让你远离麻烦，因为我只是不认为拥有大量没有工作的人是稳定的。基本上，这太疯狂了。这次谈话给我的启示是经济末日和生存末日之间的联系。我不太考虑这种联系，我知道 Andrew Critch 试图提出这一点。对我来说，这通常是如此不同的末日，你知道，人工智能只是把你打飞了，因为它基本上可以控制你的原子。你可以制造出如此强大的东西，以至于你毫无力量，相比之下，不，我的意思是你在经济上有力量，但它只是，我可以做你所有的工作，所以你只能做“制造工作”，基本上，你现在真的只依赖政府提供的每一份食物和资源，你真的只能乞求，你没有任何杠杆。而第二天你就醒来，事情就改变了，无论如何。所以，经济末日可以说是与生存末日密切相关的，即使在短期内很容易说，这难道不是一个好问题吗？普遍基本收入可以解决它，而你说，好吧，如果你真的仔细考虑了所有这些“制造工作”经济，它就像，它非常不稳定。好吧，那么我的最后一个问题是，让我们试着富有成效一点，我们能做些什么？嗯，首先，我想说我的主要情景是，实际上，在我们经历某种更快的、更具代理性的权力剥夺之前，我们会经历一些经济权力剥夺。而且我并没有对这种情况何时发生有强烈的看法。嗯，但它更多的是对那些说“我们为什么要同意建立一个我们不喜欢的世界？”的人的回应。为什么政府不解决这些问题？就像，朝鲜人为什么会建立一个他们讨厌的政府？他们不是故意的。就像，是的。你被困住了。是的。是的。但是至于我们能做什么，我们可以做的一件事就是更好地理解我们文明的实际权力动态。就像，我们在所有这些层面上都有竞争。我认为很多人越来越清楚的是，在最高层面并没有真正有人在掌舵。而且，这到目前为止还可以，因为，你知道，你总是需要人类作为燃料来运行任何类型的巴士，无论它被开往何处。嗯，所以我们基本上一直在盲目飞行，但它就像，飞往哪里并不重要。然后燃料也可以稍微抓一下方向盘。稍微一下，但我的意思是，它不是，是的。所以这是个大问题。就像，我们能抓住多少？嗯，也许一个经验性问题是，长期的稳定状态是什么？是这种竞争，我们期望最适合的复制者占据主导地位，然后有一堆自我复制的机器人去往星星？或者你知道，你可以说不，但政府形成了，国家自动形成了。没有人需要真正计划让它发生。嗯，所以也许更稳定的事情是最高层面的代理，我们应该期望，你知道，十个文明中有九个最终会形成某种全球治理，这种治理会永远持续下去。或者，你知道，也许这就是当人们玩博弈论时，他们会想出这些非常简单的政策，因为他们实际上无法做到对实际可能的均衡进行建模。而我们目前的政府不是世界政府，它是一种奇怪的多极事物，你知道，当一个政党过于强大时，政党经常会分裂成两半，有所有这些动态使事情保持在这种有趣的混乱均衡状态。也许这就是事物的自然状态。嗯，这几乎是一个被忽视的领域，文明如何自我引导，我想我们并不真正理解发生了什么。所以，这是其中一件事，我接下来要做的是尝试让这个领域存在。有很多非常优秀的思想家已经在其中工作，但他们似乎没有像我认为的那样多地互相交流。你是在说我们没有这个拐杖，仅仅需要雇佣工人就已经给了我们所有这些很好的激励来补偿工人，你知道，让每个人都从贸易中受益？那将不复存在。所以，即使你不认为代理将是一个不匹配的人工智能，然后它会把世界从你手中夺走，即使你不认为如此，你只是有一群拥有自己权力的人，他们只是必须玩权力游戏，即使只是所有拥有权力的人，那也只是，好吧，权力如何协调？这基本上就是你所说的，这是一个未解决的问题，因为它从来都不是一个实际问题。正是如此。正是如此。是的。有趣。所以，你认为这将是你的主要关注点，思考那些事情？我想我应该说，我认为我处于一个非常有利的位置，因为我是一个足够有名的人，我认为我可以让人们聚在一起讨论它，而且，喜欢关心它，并且有自由将我的政治资本花在其他人都觉得没有吸引力的疯狂事情上。所以，这是我希望在接下来的六个月或一年里做的事情。好吧，大卫·杜维诺教授，这太棒了。非常感谢您来到《末日辩论》节目，我非常感谢您这次的介绍。你知道，用你作为研究员的资历，有着非常成功的历史，以及作为 Anthropic 的团队领导者在内部的经验，来传播信息，比如，“嘿，我们没有多少时间了。我们似乎注定要失败了。”我们真的必须认真对待。所以，非常感谢您做这一切。我很荣幸。感谢您邀请我。希望您喜欢这一集大卫·杜维诺教授的节目。如果您想在您的订阅中获得更多《末日辩论》节目，请前往您的播客播放器，搜索《末日辩论》，订阅该播客，前往我的 YouTube 频道 youtube.com/doomdebates，点击 YouTube 上的订阅按钮，最重要的是，前往 doomde.com。那里有我的 Substack。输入您的电子邮件，然后按回车键。您必须订阅我的 Substack，因为有时只有 Substack 用户才能看到特别内容。如果您想更进一步，并获得我将在某个时候推出的高级功能的抢先体验，您可以每月支付 10 美元或任何您觉得合适的任意金额。高级功能将非常酷。它将包括我准备内容的奖励内容，就像我打算随着节目的发展和观众的增长投入更多的时间和金钱一样。如果您想成为嘉宾，我知道在 David Duveno 之后很难成为嘉宾，但如果您想尝试一下，请给我发电子邮件 wisegu@gmail.com 或给我发 DM aton。我们会尽力安排。嘉宾的日程安排越来越精彩了。今天就到这里，但请继续关注，因为您知道，在接下来的几天里，我们将进行另一次高质量的讨论，帮助提高人们对超级智能人工智能带来的生存风险的认识，就在这里，《末日辩论》节目。