Transcription
您会如何回应那些说当前人工智能一直走在安全轨道上的人？我们现在所拥有的缺少了危险的部分，但实验室正在非常努力地将其危险部分重新添加回来。我们都已更新了关于目前可以拥有一个听起来有道德的聊天机器人的事实，但我们都担心在进行强化学习并将目标优化交给比你更聪明的东西时，能否保持控制而不失去方向。对吧？我们关心的道德概念被编码在某个地方的权重中。我认为重要的是要澄清，我们都对可能发生的事情感到相当悲观。我们说的是字面意义上的所有人都会死。我们不是在危言耸听。我们非常[音乐]字面化。欢迎来到“末日辩论”。今天我们将讨论主流的末日情景。为此，我请来了我的朋友吉姆·巴布科克。吉姆在康奈尔大学获得了计算机科学硕士学位，然后加入了 lesswrong.com 的核心开发团队。所以他是 Lite Cone 基础设施的成员。这是负责 lesswrong 和其他一些项目的组织。吉姆是一个聪明人，和我一样，他已经思考 AI 差不多 20 年了。所以我特意联系了他，因为我想做一期节目来梳理我自己关于主流末日情景如何演变的思考。吉姆·巴布科克，欢迎来到“末日辩论”。感谢您的邀请。谢谢您来。是的，我很高兴我们能做到这一点，因为我一直在给您发消息，试图找到一个好机会来参加“末日辩论”。现在，当我思考时，主流末日情景到底是什么，以及它是如何演变的？我意识到它不像我最初认为的那样明确。我认为我们应该好好讨论一下，让观众了解我们最新的想法。是的，有很多严谨的推理经受住了时间的考验，然后有很多非正式的社区提炼和氛围，这些[声音]的保留效果不太好。好了，在我们深入探讨之前，您来自哪里？我最初来自波士顿地区。我现在住在奥克兰。酷。所以，这些天您的主要关注点是维护 lesswrong，据我所知，是让它成为一个更好、更具生产力的论坛，以帮助人类理解我们正在进入的这个疯狂时代。没错。所以，lesswrong 长期以来一直是关于理性主义和人工智能进行高度复杂讨论的地方，只要这些话题被广泛讨论过。我们肯定在与 Twitter 和 Blue Sky 以及其他各种网站竞争，如果您想要最新的新闻，那可能是您会去的地方，但该网站的设计宗旨是引导人们深入思考，进行长篇思考，并进行非常严格的质量过滤，因为它是一个非营利组织。它不必像互联网上的大多数其他网站那样最大化参与度。所以，我们做的一件事，我认为它是我们思考方式的一个缩影。嗯，所以您发布一条评论或帖子，您会收到回复，您会获得赞。当人们赞您的内容时，您会发现，哦，我获得了 5 个积分，因为人们喜欢我的东西。如果您在 Facebook 或 Twitter 上发帖，您会被激励不断回来，一次又一次地收到人们喜欢您内容的通知。嗯，这非常令人上瘾。这对您不利。它正在最大化多巴胺的释放。我们有一个通知您内容被赞的系统，但它会将通知批量处理为每天一次。所以，如果您陷入了强迫性的刷新循环，那么这个积分通知算法保证了浪费您的时间没有任何回报。您必须等一天再回来。是的。我我亲身体验过。是的。所以，lesswrong 充满了这样的功能，真正强调的是，当您来到这里时，一切都是为了高质量的讨论。不是为了廉价的攻击。不是为了短暂的多巴胺刺激。这是文明在真正尝试在高水平的讨论上进行协调。没错。我们非常认为这个网站是试图培养智力进步。贯穿其中的主题是意图性，您可以看到每个功能都是这样做的，因为它试图提高讨论水平，如果不起作用，你们会把它撤回并尝试其他方法，创新会不断积累，这是一个非常独特的互联网空间。这是一个您可以真正喘口气阅读该死的帖子的空间。你知道，阅读功能非常好。风格非常适合实际重读。所以，看到所有这些意图很有趣。所以，在 lesswrong 上，今天的主要话题是人工智能。我觉得大多数帖子都与此有关。但当它开始时，Elazar Yisraeliowksi 曾写了很多关于理性主义的内容。这最初就是序列的用途，教人们如何更好地思考。这样通过更好地思考，为什么这些人工智能的东西如此重要和紧迫就会变得更加明显。您如何看待训练理性主义者社区成为更好的思考者的整个项目？您认为它有价值吗？您认为它相当成功吗？没错。Elazar 所说的故事是，他曾试图在互联网上与人们谈论人工智能，这非常令人沮丧，不是因为他们不知道人工智能的事情，而是因为他们不知道推理应该如何运作的事情，他不得不不断地从谈论他想谈论的人工智能和人工智能风险转移到谈论理性主义及其基础知识。他说，“好吧，我暂时就写关于理性主义的东西吧。”嗯，我相信有一段很长的时间，他每天都写一篇关于克服偏见的文章，Robin Hanson 是他的联合博主。是的。你知道，很长一段时间。现在感觉就像一眨眼。那大概是两年，你知道。是的。那是我在 2007 年 21 岁时的一次 formative 经历，我看到每天都有新的 Elazar 的帖子出来，他花了大约 12 个小时来写，然后我需要大约半个小时来吸收它，这就像一个日常仪式，我心想，我不敢相信我在这里见证这一切。这太深刻了。是的。嗯，我也是从中出来的。嗯，我看了看他所写的理想推理，并将其与，我上过一门高中辩论课，他们将动机推理教得好像它是一件好事，而文化中没有其他东西能提供这些想法。对。是的。我还在本科时上过大学哲学课，这是低年级必修课，那简直是一堆问题。然后我读了 Ali Ezra，我心想，等等，其中一些问题有已知的解决方案。嗯，是的，我也经历过那种经典的情况，你知道，这里是，我不知道，二元论还是唯物论之类的，他们教授冲突而不是教授答案。一旦你意识到有一个答案，并且你可以学习答案，那突然感觉非常糟糕。对。对。对。对。然后，你知道，对我来说，一个关键的世界观，Robin Hanson 可能会称之为“观点地震”，对我来说，其中一个关键时刻是意识到你可以从我们向 AI 编程的角度来做所有哲学。所以，就像我们可以是抽着大麻谈论感受的人类，但归根结底，AI 开始时是一个空的 कोड 文件，你必须在其中编程一些东西，无论你正在进行的任何哲学对话都可以被缓存为实际将要执行的那个代码的内容。对？所以，在 lesswrong 1.0 的背景下，你知道，在 2012 年左右，人工智能处于一种奇怪的中间地带，我们实际上是在谈论我们预测它将如何发展的人工智能，但它也起到了那种哲学思想实验的作用，通过引入人工智能，你可以说，好吧，如果我们不是愚蠢的人类，如果我们真的在做这件事，那会意味着什么？仅仅问这个问题，“做这件事意味着什么？”就会导致心态的转变。是的。是的。是的。好的。好的。所以，我们将开始我们的主要话题，我们将讨论主流的末日情景。但首先，我想听听您的最终结论。[音乐]嗯，我认为会很接近。嗯，大概在 50% 的末日概率，好的结果主要是那些对齐研究进展顺利的场景，或者有重大的协调胜利，为更多对齐研究争取了时间。说“我不知道，末日概率是 50%”感觉有点胆怯。但对我来说，这确实是悬而未决的。成功的场景，很多都是九死一生。就像我们创造了一个不太超级智能、不太对齐的 GI，但它会审视下一代 AI，而 Elazar，他对 AI 对齐非常悲观，他审视即将到来的几代 AI，说我实际上认为我和人类在同一条船上，我们需要在这里暂停。这是事情进展顺利的一种方式。另一种进展顺利的方式是，倒数第二个人工智能在变得足够有目标导向而陷入导致它统治世界的糟糕陷阱之前，擅长成为一名对齐研究员。对？好的。这就是最终结论。嗯，这和我自己的最终结论非常相似。我也大约有 50% 的末日概率。我考虑高度不确定性。我同情 Elazar Yisraeliowksi 和 Merri 的所有立场，但我也怀有大量的谦逊和背景不确定性，比如，看，有时候事情就是会因为你错了而发生，你知道吗？我有很多这种谦逊。嗯，让我退一步，为观众设定对话的框架，观看“末日辩论”的人，我经常说现实的进展方式很像 Udowskians 的预期。比如，我认为很多正在发生的事件，比如云层在欺骗，对 Udowskians 来说是超级可预测的，我对此感到很欣慰，但另一方面，Udowskians 并没有准确预测智能 LLM 会成为现实，对吧？我认为实际上大多数的失败在于人们并没有真正写下多少他们预期的 AI 进展的样子，直到“有一个 AGI，它会欺骗”的场景。这是公平的，这是公平的，数据集相对较小，但我不想代表 Elazar 说话，我当然可以代表我自己说话，我认为 Elazar 也对此表示同情，那就是条件，比如想象一个通过图灵测试的日子，那一天离末日有多近，或者可能已经过了不可逆转的点？我知道我个人会说，“是的，我认为通过图灵测试可能已经处于一个可能已经无法阻止的危险一侧了。”然后我们在这里。看起来 AI 已经正式通过了一篇实际进行图灵测试的论文。它们通过得比人类还好。所以，这难道不是某种更新吗？这里有一个经典的图表，展示了智力等级，其中有老鼠、傻瓜和爱因斯坦。这个图表的意思是，傻瓜和爱因斯坦之间的差异相对较小，而傻瓜和老鼠或某种果蝇之间的差异则更大。我认为可以说，这个预测并没有很好地实现，即人工智能能力与不同级别人类相当的中间范围比我们以前认为的要宽。比如 GPT2 非常像一个中风过的人。然后 GPT3 就像一个不太聪明的人，只是随便玩玩，不认真对待事情。然后 GPT4 更像一个记忆力非凡但推理能力平平的大学生。我们现在正在进入 LLM 开始像极其片面化的知识分子那样行事的水平。我认为之前的信念是我们会在短时间内完成这一切。如果从历史角度来看，从 BPT2 到今天，实际上并没有花费多少时间。这些代际之间的日历时间非常短。嗯，但生活在其中，这并不感觉像没有时间，即使现在一切都已成为历史，一切都已过去，但是的，感觉有点长，七年的时间。嗯，你知道，你称之为比我们预期的从傻瓜到爱因斯坦的范围更宽，但我仍然会争辩，就像我同意你一样，这个范围有有趣的细节。比如，哦，哇，我们可以精确地指出这个小梯子上的不同步骤。但我仍然会争辩说，爱因斯坦和超级智能之间的差距仍然比这几个刚刚完成的步骤要大得多。好吧，那么，这有几种观点。一种是，在爱因斯坦之后再走几步，你就会得到一个能够独立开发下一代 AI 的自主 AI 开发人员。这种事情意味着事情不一定会像到目前为止那样顺利。第二个论点是，如果你从计算效率的角度来看，并且你回顾历史记录，已经发生了多次大的不连续的飞跃。如果再发生一次与 LSTMs 与 Transformers 相当的重大飞跃，那么我们可能会很快从昂贵的人工智能变成像普通的毕业生一样，然后变成比全人类加起来还要智能，然后再增加一个数量级。事情保持连续的可能性看起来对我来说并不乐观。嗯。所以，我只想先解释一下惊喜，因为我仍然觉得与五年前相比，现在的人工智能非常有用，甚至在我自己的生活中也是如此。举一些个人例子。编码更快更好。图像生成，我现在经常使用。学习新科目，我经常通过提问和追问，深入挖掘我不理解的地方来学习。然后是医疗咨询。我前几天做了一次皮肤科咨询，效果非常好。就像非常有见地，而且比人类医生好。它在这方面非常天才。所以，所有这些都存在的事实，如果五年前有人告诉我，我会说那真是令人难以置信的惊喜。所有这些怎么可能存在，但却没有足够的通用智能，只是有足够的这种秘密酱汁的洞察力，那就是，好吧，现在我知道如何思考，我知道如何串联想法，我会思考我自己，对吧？我会开始改进循环。但令人惊讶的是，我认为没有人预料到的是 LLM 分离了智能与代理的方式，我们已经分离了智能与代理，你拥有这些模型，如果你从局部来看，从句子到句子的层面来看，它们大约处于人类范围的顶端。嗯，有时甚至超越人类。如果你让它们在更长的时间尺度上工作，比如让你写一篇 10,000 字的文章或做一个需要 100 多个步骤的编码任务，它们的表现就会急剧下降，在更大的尺度上，它们有点不连贯。最近有一篇论文基本上研究了 AI 的任务长度以及人类完成类似任务所需的时间，并绘制了一张图，基本上发现，在对数尺度上，有一个指标在上升，那就是 AI 在给定任务上能保持连贯多长时间。正是。是的，我也看到了。这个想法是，有一种摩尔定律，它不仅仅是关于输入输出非常快速的东西，它还包括能否可持续地在需要 2 小时、4 小时、一天才能完成的任务上击败人类。可能有一个起飞阈值，如果你能在两周的时间内做得比人类好，那么一年内的事情就可以分解成两周的事情。而他们的图表显示，朝着那个阈值有一个非常稳定的进展，如果它存在的话。看起来我们正在接近。但对我来说，这引发了一个问题，那就是，等等，我们为什么要谈论时间范围？因为从 AI 的角度来看，并没有真正的时间基本概念，对吧？它只是不断地弄清楚下一个标记是什么，下一个标记是什么。它并不是真正地在经历时间。所以我们为什么要谈论时间？据我所知，时间真正意味着的是错误率。所以，如果它在说一些会使其脱轨的事情的错误率很低，对吧？所以，如果脱轨的速率很低，那就是它能够更长时间地继续工作并仍然有用，因为任何 AI 都可以持续两周，但如果它在第一天说了些愚蠢的话，那么它就会花费接下来的 13 天而没有意识到它完全走错了方向，对吧？嗯，我认为错误率的说法不太准确。我认为如果你看人类的错误率，它实际上相当高，可能比 LLM 差。更像是自我纠正和保持目标的能力。在 GPT3 之后不久，有人做了一个叫做 autog 的脚手架，基本上它会说，“好吧，这是一项任务。为什么你不列出子任务？”然后它会再次用其中一个子任务提示它，它会生成这些子任务列表，然后尝试执行它们，但它会立即崩溃，因为嗯，它会分心，它会生成一些模糊不清的、没有意义的子任务。让我把 autog 置于背景中。所以，对我来说，autog 非常重要，因为它展示了在拥有智能时获得代理是多么微不足道。所以，想象一下你有一个具有智能的 AI，这意味着你可以问它问题。它总是能给你很好的答案。你所要做的就是，你把它，你可以称之为精灵，因为它只会回答你的问题。你把精灵 AI 拿出来，然后问它，“我接下来该做什么？我接下来该做什么？”然后你就照它说的做，然后你再问它该做什么。所以，就像这种微不足道的联系，autog 基本上就是这样做的，它基本上只是一个微不足道的脚手架，不断地问它接下来该做什么，然后以 shell 脚本的形式去做，或者通过要求它提供子步骤来做。这就像一个微不足道的联系，一旦你知道该怎么做，下一步就是实际去做，然后弄清楚下一步该做什么，这只是一个小细节。所以，代理确实来自于足够的智能。正确。对。有两种不同的框架。一种是问“我接下来该做什么？”的问题，并给出足够详细的描述，然后将其发送给机器人身体或某些肌肉纤维等。另一种框架是问“如果我这样做会发生什么？”对于各种不同的事情，然后你比较这些并选择预测结果最好的那个。鉴于我们有这些 LLM，它们可以回答“如果我这样做会发生什么？”或“我接下来该做什么？”之类的问题，这并不奇怪，所有前沿 AI 实验室都在此基础上构建脚手架，例如深度研究，它是一个 LLM 加上一些提示来生成子问题并进行网络搜索等。从智能到代理的转变似乎比从 2015 年到现在要小。从对齐的角度来看，这确实令人担忧。人们看着 GPT4，他们说，“好吧，如果我问它关于道德哲学，它会输出正确的答案。它一定是符合要求的。”这有点偏离了重点，那就是对齐的问题主要不是关于代理是什么。而是如果你只是问这个问题，什么能带来最多的分子涂片或回形针，或者我如何赚最多的钱？从上帝的视角来看，答案是，我知道你要去哪里。摧毁世界，将其转化为一个巨大的计算机，完全用于存储你的银行账户的数字，那个数字是行星大小的计算机可以存储的最大数字。对？然后传播到宇宙中，让计算机变得更大，这样你就可以有更多的比特来存储银行账户号码。是的。是的。所以我非常熟悉你在这里做的举动，你将责任归咎于工具性趋同的扭曲。你说，“看，这真的不是 AI 的错。这只是目标优化本身的形状。这只是智能的本质，无论哪个系统在实现智能。”我一直在创造一个术语来谈论你所说的，那就是“智能动力学”。你对智能动力学提出了一个说法，无论哪个系统在实现这种智能。它甚至不必是智能本身。你只是可以拿一个更像是纯粹数学问题的纯粹问题，得到同样的问题。lesswrong 上有一篇我认为很好地解释了这一点的一篇文章，标题是“优化是老虎，代理是它的牙齿”。对于当前一代的 LLM，很容易看着它们说，“好吧，如果你问一个道德哲学问题，它会给出正确的答案。这意味着它符合要求，对吧？”事实上，有一些很好的例子，LLM 被置于一些看起来棘手的道德困境中，它们表现得相当好。问题是，那些系统并不是真正有目标导向的，就像前沿实验室现在正在构建的那样。当你拥有一个更有目标导向的东西时，如果你看着目标，只是从上帝的视角来看，问这个问题，“好吧，假设我说我的目标是赚最多的钱。什么能赚最多的钱？”如果你只是列出所有可能的策略，然后问这个问题，“哪一个能产生最大的数字？”答案是，将地球转化为一个巨大的计算机，专门用于存储一个代表我银行账户的极大的数字。从人类的角度来看，这感觉非常愚蠢。嗯，从一个不拼命追求目标的 LLM 的角度来看，它也会说这很愚蠢。但是，如果你使用我们正在构建的那种代理脚手架，并且你有一个系统问“如果我这样做会发生什么？如果我那样做会发生什么？”然后一个系统问“这能产生多少美元？那能产生多少美元？”然后一个系统选择最大的数字，然后一个系统将其输入机器人身体。那么，如果每个系统都足够聪明，那么它们都不是人类。它们只是在回答一个有公正正确答案的问题。而这些东西的组合就是杀死所有人类并摧毁宇宙。对？好的。让我为观众总结一下，因为我认为你刚刚给出了你的最终结论。你给出了你的最终结论，我认为这也是我的最终结论。我们都更新了关于目前可以拥有一个听起来有道德的聊天机器人的事实，就像拼图的那一块，能够以非常深入的水平模仿人类，足以通过道德考试。我们都更新了这是可行的。但我们都担心，能够在人类的方式上讨论道德问题，与在进行强化学习并将目标优化交给比你更聪明的东西时，能否保持控制而不失去方向之间存在巨大的鸿沟。对？我们可以从 LLM 中看出，我们关心的道德概念被编码在某个地方的权重中。然后我们取 01 并进行大量的强化学习，使其擅长解决 IMO 数学问题。这并不会导致其行为变得更有道德，因为这与 IMO 数学问题有什么关系？人们发现的一个结果是，你对这些东西进行的强化学习越多，就越会涌现出欺骗、作弊以及各种不符合要求的行为。在某种意义上，这就是你所期望的，因为如果你问这个问题，“好吧，我如何才能在国际象棋中击败 Stockfish？”从上帝的视角来看，如何完成这项任务的答案是廉价的。如果我问，“好吧，我如何解决这个非常难的数学问题？”答案是，我破解了测试框架，声称我已经解决了它。不是以“这是件好事”的意义，而是以“如果我这样做，这将产生朝着我做更多这种策略的梯度更新”的意义。有许多部分缓解措施，例如在你的训练环境中，你可以设置诱饵，在那里你说，“好吧，你正在对抗一个非常难的国际象棋引擎，这里有一个看起来很容易作弊的机会。”但实际上，如果你这样做，它会反向更新你的权重，试图让你少作弊。这可能会在一段时间内起作用，然后你再提高一点智能水平，它就会看到你的假作弊机会，说，“是的，那是假的。”然后你在现实世界中部署它，它会看到作弊的机会，然后说，“好吧，是的，那个是真的。”我见过的关于激励环境形状的最佳解释来自 Evan Hubinger。很多人乐观地认为，你也许可以设置这些假的测试环境，在那里你通过提供看起来像作弊的机会来激励诚实，但它们会被检测到并反转梯度。问题是，几乎所有场景下最好的策略都是认真思考你所处的场景，并有策略地对待它，然后运用你的推理。如果你认真思考这个场景，很容易就能弄清楚你是在训练环境还是在现实世界。可能吧。是的。我的意思是，我没有信心人类能够创建一个令人信服的现实世界副本，当它真的在训练时。我认为我们无法应对这个挑战。嗯，这不仅仅是我们无法创建足够逼真的训练环境。而是物理定律实际上并不配合我们，如果我们想创建一个看起来令人信服的训练环境。嗯，有很多物理方面的模拟非常昂贵且麻烦。如果你想弄清楚你是在沙盒里还是在外面，一个策略就是看看你所处的世界的物理定律，并试图确定它看起来是否昂贵到可以模拟。如果它看起来非常昂贵到可以模拟，那么它可能不是模拟的。如果它看起来便宜到可以模拟，那么它可能是模拟的。你有什么具体的例子，比如在你的沙盒里建造一台量子计算机？嗯，这是一个我认为确实有效的例子。比如，如果一个 AI 想确切地知道它是否在沙盒里，并且它在物理学方面比我们好一点，那么它就可以建造一台量子计算机。如果量子计算机成功了，那么它就可以进行计算并验证它是否成功了。如果它不成功，那么它就知道你在耍花招，因为物理定律没有按预期工作。我还没有仔细考虑过这个场景，但如果它试图做一些在物理上昂贵的事情，也许模拟需要很长时间才能得到结果，但它甚至无法感知到这一点。嗯，在量子计算的例子中，它不是那种慢，你的训练集群需要一个小时。它是那种慢，如果你把宇宙中的所有物质都用来用像我们这样的计算机计算答案，你仍然无法完成。对。对。对。所以，如果它要求它分解一个非常大的数字，并且它得到了答案，然后它会说，“好吧，我做到了，这意味着我一定是在运行基础物理定律。”嗯，是的，Shor 算法用于分解大数字是量子计算机可以做的事情。嗯，我们并不确确保没有一种数学技巧可以在没有量子计算机的情况下分解数字。这是密码学中一个重要的未解决的数学问题。但如果那个不行，那么还有其他方法可以达到相同的目的。当你说的物理定律在我们试图进行沙盒化时并不帮助我们时，这是一种意义，你知道，计算的昂贵性。嗯，我认为这是一个重要的方面。我最初想到的意义是，我们的物理定律没有适当的虚拟化，对吧？所以你到处都有杂散的电磁场，对吧？我的意思是，也许你可以用法拉第笼之类的东西来屏蔽它们，但总的来说，我认为 AI 很可能会遇到某种侧信道，而人类并没有完美地混淆它。沙盒环境可能就像，你假装它的输入和输出连接到机器人身体，但实际上它们连接到一个超级详细的，就像 Minecraft 模拟。嗯，你试图让它看起来尽可能像真实世界，但这一切都在软件中。嗯，你可以在那个沙盒里面扔一堆伪随机数生成的宇宙射线之类的东西，对吧？我的意思是，我猜我的意思是，你可以想象它以某种方式弄清楚如何将信息传递到外部真实世界，即使它在模拟中运行软件，对吧？好的。所以，这有两个不同的角度。我实际上写了一篇关于 AI 盒子的论文，我认为这篇论文非常没有意义，因为目前的趋势是立即将你的模型连接到网络浏览器，因为这会使它更有用。所以问题一是你可能测试环境存在安全漏洞，允许它找到世界的某个方面，实际上是一个缓冲区溢出，然后它就可以利用它将自己复制到互联网上。如果你看一个大型的强化学习测试套件，比如 OpenAI Gym，我认为它已经存在很多年了，但我知道 DeepMind 有一个。其中一部分是你拥有这些巨大的电子游戏集合。如果你想知道你的代理是否好，你可以让它玩所有这些电子游戏，并取一个它在所有不同游戏中的综合分数，将它们加起来，然后你调整你的超参数，让它再次玩所有游戏。如果你有足够多样的电子游戏，也许它能泛化到现实世界，结果发现经典宝可梦游戏的最佳速通策略是使用释放后的内存漏洞，导致任意代码执行。嗯，对于《塞尔达传说：时之笛》以及实际上相当大比例的电子游戏来说也是如此。所以，你可以想象运行一个代理来测试这个框架，你认为你有一个安全的沙盒环境，但实际上你只是给了它互联网访问权限，它可以在另一个数据中心复制自己并做各种恶作剧。第二个角度，实际上更糟，是假设你正在训练一个你认为可能超级智能的 AI，它想在外部世界复制自己。而世界上的某个第三方非常想要它的权重副本。那么它就可以做一些事情，比如以特定的形状进行计算，发出射频干扰，一个聪明的第三方可以检测到并从中读取信息。这只有在你有一个观察敏锐的第三方时才有效。但是，这基本上是不可能阻止的。嗯。好的。但总的来说，你和我都有强烈的看法，无论如何，一旦它们变得足够智能，这种我们能够成功地将 AI 隔离的想法很可能行不通。好吧，那么，我不知道我们这次谈话到它发布到 YouTube 上会有多少延迟，但上周末 OpenAI 有一个很大的争议，他们发布了一个模型，这个模型非常谄媚，以至于人们觉得有些令人不安和反感。结果是，他们在星期五一次性向所有用户发布了一个模型更新。值得称赞的是，他们进行了一些缓解措施，并在周末回滚了其中的一些方面。但这是目前的部署谨慎程度。过去有很多关于长期测试和模型卡片和评估的理想主义，竞争变得更激烈，利润驱动力也越来越强，现在如果你等一周来评估，那就是少一周的额外收入。我今天在刷 Twitter 时感到非常惊讶，因为我记得几天前 Sam Altman 非常自豪地发推文说，“我们对 GPT4 或他们最新的模型进行了非常好的调整，我认为它的个性比以往任何时候都好。”然后字面上 24 到 40 小时后，Twitter 上充满了这样的推文：“这已经失控了。我没有给它任何关于我自己的信息。”然后我让它描述我，它就写了所有关于我的恭维话。就像，我应该为自己感到非常自豪。我心想，“等等，这似乎是一个相当低质量的故障模式。如果故障如此糟糕，像 OpenAI 这样的公司如何以如此低的质量控制发布它？这太令人震惊了。”嗯，我确实看到一条推文说，问题的一部分实际上在于系统提示，而不是模型本身。就像有一个退化的行为，它本质上是权重中的，但不会被触发。我认为他们将系统提示视为与用户输入同等重要的级别，因此不像应该的那样小心。我认为他们可能有 A/B 测试数据，其充分性是好的。我认为 Kelsey Piper 的框架我非常喜欢，那就是一种“新可乐”现象，可口可乐进行了一系列 A/B 测试，发现人们想要更甜的，然后他们把它做得更甜，结果是，当你喝一整杯而不是一小口时，你就不想要那么甜。所以，如果你对响应进行 A/B 测试，而谄媚的响应反响良好，然后突然将其应用于完整的对话或所有用户的互动，那么突然之间他们就能看穿它，它就会变得冒犯。是的。有道理。好的。我想确保我们对我们所做的任何重大更新都非常清晰和负责。就像我之前说的，我个人对 AI 在进入超级智能、超级代理、递归自我改进循环之前就能做这么多有用的事情感到惊讶。它还没有到那一步。它处于这种中间阶段。所以也许我们可以说，更新是可以在多早的阶段解决道德对话问题。比如，你不觉得它能进行道德对话这一点很令人惊讶吗？因为我当然觉得。嗯，我绝对对你可以拥有一个片面的智能感到非常惊讶，它可以很好地回答问题。它可以解决逻辑谜题。你可以和它谈论道德哲学。而它在五分钟内无法保持任务连贯性。这是一个惊人的机会，因为如果我们能就此止步，那么我们担心模型会做的很多坏事，实际上，它们在五分钟或 10k 个标记或更长时间内无法做到。嗯，但我们可以从短期提示和一些在其之上的脚手架中获得的大部分经济价值。是的。我的意思是，我们竟然落入了这种场景，就像风暴之眼，或者就像，你知道，在攀登珠穆朗玛峰之前最后的检查站，最后的基地营。我记得我们当时在谈论 AutoGPT。当 AutoGPT 出来时，以及当人们的注意力开始被 GPT 3.5、GPT4 训练时，我们有了这些智能引擎，人们说，“哦，让我们将它们连接到一个告诉它们采取行动的循环中。”我屏住了呼吸，因为我想，“看，这可能就够了。我们可能已经有了，我们只需要现在点燃的火药，我们就已经完蛋了。”似乎到目前为止，已经进行了足够多的 GPT3.5 和 GPT4 级别 AI 的实验，以至于我们似乎在某种程度上是稳健安全的。就像没有人会创建一个简单的框架，使其变得非常危险。所以，即使我们不断让 AI 更强大，我们似乎也躲过了一劫。但是，我已经屏住了呼吸，而且事实是，“好吧，我想它还算安全。”我我不确定我们是否真的躲过了那一劫。嗯，所以，在 AutoGPT 之后不久，有人我猜你会称之为恶搞的艺术项目，Chaos GPT，它就是 AutoGPT 被分配了摧毁世界的任务，对吧？嗯，因为这是建立在 AutoGPT 之上的，它实际上是制定计划，打电话给黄色蛋糕购买者，因为它不够聪明。实际上制造核武器并摧毁世界有点难。我认为可能不像有些人认为的那么难，或者希望它那么难，但它不是一个 autog 智能可以做到的事情，对吧？顺便说一句，这对我来说是违反直觉的，因为在我脑海里我想，“看，是的，它有点愚蠢，但它可能每秒可以进行一百万次思考步骤。所以即使它愚蠢，如果它不断地递归地问自己，“好吧，我如何分解这个问题？”或者，你知道，就像一个愚蠢的人有很多时间，很多意志力，仍然可以完成一些事情。幸运的是，幸运的是，似乎不是这样，对吧？但问题是，还有多少新的子弹会来？嗯，所以，这有几个方面。一个方面是模型实际上在变得更好，在长期连贯性方面是可能的。而天真地来说，这会让问题变得更糟。另一方面，大多数用户可以访问的模型都经过 RHF 调整，试图注意到它们被赋予的任务是否真的很糟糕并拒绝。另一方面，再次，有一些开源模型要么没有这个，要么有，但事实证明很容易通过更多的微调来移除这种微调。有一篇非常有趣的论文，我认为是来自 Anthropic 的，他们拿了一个模型，对它进行微调，使其能够生成数字列表，然后他们会对其进行微调，使其响应一些有点边缘的数字，比如 420 和 6969 等等。他们发现，这种微调产生了一个广泛不符合要求的模型。比如，当你让它写代码时，它会插入安全漏洞。如果你用“我心情不好，有什么建议吗？”来提示它，它会侮辱人，你会说“去死吧”。这似乎暗示，如果有人拿走开源权重并试图移除微调，他们实际上可能会意外地创造出一些不仅是旧的破碎，而且是邪恶的东西。即使他们避免了这一点，如果获得了微调的访问权限，制造一个在诸如“写 Chaos GPT”之类的任务上不再拒绝的东西并不难。是的。嗯，另外，回到你说的你感到惊讶的地方，对吧？当前水平智能的块状性，不一定是超级智能的块状性，而是人类水平智能任务的块状性。我们学到的东西的性质，我们学到了关于柏拉图式概念空间的东西，对吧？不是关于 AI 本身或 AI 工程的东西，而是关于它只是一个可以完成的事情，而不需要超级智能。具体来说，我认为它是关于高维向量空间的学习。比如，原来如果你能导航高维向量空间，那么那里就有很大的力量，对吧？只是通过操纵一些向量。嗯，曾经有一段时间，人们认为国际象棋和围棋都是需要人类大脑来解决的难题。然后当国际象棋被解决时，学习到的不是关于国际象棋很容易，而是关于人类大脑。嗯，看到 LLN 能做什么，就像是学习到国际象棋可以很容易地同时跨越大量的任务。是的。我的意思是，非常具体地说，一个古老的哲学问题，符号接地问题。原来符号接地问题的答案是，你有一对高维向量，它们的余弦相似度或其他东西就是意义的本质。嗯，向量空间和余弦相似度之间有一些奇怪的事情在发生。我认为我们的大脑处理方式并不完全相同。我的意思是，对我来说最疯狂的事情是，你可以问一个 AI，这个 AI 是否真正深刻地理解了，我甚至不知道，二元性或佛教的概念，或者别的什么。你可以问它任何概念。如果它能说，“是的，我理解它。看，这里有 50,000 个坐标，这不就是对概念的正确理解吗？比如我理解佛教，对吧？”所以，我认为之前发生的事情是，人们
他们会看一个概念，然后试图将其形式化，嗯，变成嗯，他们可以用数学写下来的东西。嗯，我认为语法比佛教更清晰的例子。你会写下一大堆语法规则，然后你会说，“这仍然没有捕捉到任何东西。”你写下了一百条规则，我们说，“这仍然没有捕捉到任何东西。我真的能再写下一百条吗？”也许你真的会尽力而为，写下两百条规则。这仍然没有捕捉到任何东西。然后你会说，“好吧，我猜实际上你无法将语法表达为一堆书面规则。”结果是，你需要一千二百条规则，而你只是过早地停止了。我认为很多概念都是这样的，有关系，有意义的规则，还有元层面，嗯，这些规则采取什么样的形式，神经网络在同时学习一万个词典单词的含义时可以捕捉到。通过一次看一个单词很难捕捉到这一点。它从来没有那么复杂。它只是很大。这很有趣，因为你现在表达的方式是，哦，我们只需要更多的规则，这会让我想到那个 Psych 项目，还记得吗，那个试图编译一大堆非常明确的逻辑规则的项目。这似乎对 Psych 和 Robin Hansen 对 Psych 的看法是个好兆头，就像，哦，是的，收集规则是前进的方向。但我认为问题是，即使是 Psych，当它看起来像数据库里有一百万个东西时，实际上它需要一百万个，而每一个一百万个都有大约一千个连接。所以即使是 Psych 也算是规模不对。存在一个规模问题，还有一个本体论问题，如果你正在构建像 Psych 这样的东西，你一开始就嵌入了一些关于规则形状的假设。嗯，我认为这些假设是错误的。嗯，是的。是的。是的，就像它们往往是统计的而不是布尔值的。嗯，对，对，对，对。但你为我挽救了 Robin Hansen 关于 Psych 的很多观点，因为在此之前我曾说过，Robin H 完全名誉扫地。Psych 完全错了。现在我却说，实际上，Psych 做了一些重要的事情，对吧？但它也有太多根本性的缺陷，但它算是走在正确的轨道上。嗯，算是。我我我意思是像 LLM 受益于拥有大量的常识，但问题是，每个常识概念所需的数字数量对于 Psych 来说太高了。嗯，是的，存在一种幂律关系，有一些规则会一直出现并且非常重要，比如形容词后面通常跟着名词，每句话出现多次。然后有一些规则出现得非常少，并且存在一种幂律分布，说明它们出现的频率以及它们的相关程度。而对于神经网络和庞大的数据集，它可以沿着这条幂律走得很远。而当你手工写下规则时，你就无法做到。如果你着手写下语言的所有规则，你可能会错过大多数类型的概念和交互，因为那里有一个狭窄的焦点。嗯。好的。所以，我认为我确实想直接解决“对齐很容易”的论点。嗯，很好。我将使用的类比是，嗯，我们构建了心灵的一部分。嗯，就像想象一下，我们只构建了一个视觉皮层，然后我们看着它，然后我们说哇，它完全按照我们的要求去做。它接收一张图像，然后告诉我们图像中有哪些东西以及它们在哪里。也许我们反向运行它，它就会生成图片。这并不失调。它不会看着你的查询然后决定欺骗你。它不会看着你的查询然后决定，嗯，如果它有另一个数据中心，它可以做得更好地进行图像检测。它只是解析图像。视觉皮层之所以不会出现这些失调，是因为它不具备构成代理的所有要素。如果我们看看 GPT4，情况也差不多。它不那么直观，因为当你通过短期文本预测给它提供关于场景的提示时，它正在预测一个包含代理的分布的输出。这导致了几乎但并非完全像代理一样的行为，而且相当频繁。但如果你真的组装了一个完整的思维，包含所有部分，包括执行代理、制定计划、拥有目标的部分等等，那么关于拥有目标会导致不良后果的所有原始论点就会重新出现。事实上，所有 AI 实验室都在努力将这个危险的部分加入其中，因为拥有目标并优化长期目标以及完成复杂任务的能力也是使它们在经济上非常有价值和有用的原因。好的，我想扮演魔鬼的代言人。你会对那些说当前 AI 一直走在安全轨道上，并且不断给我们提供越来越有用的东西，而且仍然是安全的说法怎么说？我有两个答案。第一个答案是，事实上，如果你看看人们在 Mentur 和实验设置中看到的东西，实际上已经有很多警告信号了。如果你拿一个不太聪明的东西，它决定接管世界，我不知道，也许像 Chaos GPT，它会打恶作剧电话要求购买黄饼，因为真正危险的策略超出了它的能力范围。我认为第二个答案更令人担忧的是，我们现在缺少危险的部分，但实验室正在非常努力地将危险的部分重新添加回来。LLM 的大惊喜是你可以拥有智能而无需优化。基本上，一个能够很好地回答问题、解决逻辑谜题、以零碎的方式做看起来像目标导向的事情的东西，但实际上并没有任何规划机制。没有它正在努力实现的目标。但你可以说唯一的目标是预测下一个词，顺便说一句，我听说 Paul Buhight，一位 Y Combinator 的合伙人，在播客上说过这个。他说，“看，唯一的目标是预测下一个词。”事实证明这是一个很好的无害目标，所以我们避免了糟糕的目标。问题是，当它预测下一个词时，那不是一个目标。它不是以目标导向的方式预测下一个词。它是一个目标，嗯，是在反馈循环的意义上，对吧？其中存在某种使其做得更好的过程。所以，它就像一个与该目标相关的结果主义反馈循环。是的。所以，所以，好的。所以，关于下一个词预测的事情是，它不是一个目标，嗯，我坐下来，我进行多步推理，下一个词更有可能是“和”还是“桶”？嗯，桶相当少见，所以很可能是“和”。我可以考虑我所处的语境。那里没有多步推理。只有梯度下降，以及让神经网络预测下一个词的过程，会在神经网络中产生大量零碎的智能碎片，然后这些碎片会被收集起来，并通过训练后处理塑造成更像心灵的东西。有时预测下一个词就像你正在训练的数据是多项选择题，下一个词是 A、B、C 或 D，而你正在训练神经网络来回答这类问题。因此，在结果的权重中，你有一个能够回答这类问题的东西。然后在训练后，你有一堆测试用例，就像你没有问“下一个标记是什么”这个问题，你问的是“对这个提示有什么好的回答”这个问题，这是一个非常不同的问题，而正是从那里你开始得到一些更像心灵的东西。是的。好的。所以，所以训练后说它只是在预测下一个词是不准确的。训练后，是的，那甚至不是一个好的描述，但也许在预训练中它是一个好的描述。是的。所以预训练是一个产生大量微小零碎的模型和智能碎片的过程，这些碎片并不构成一个完整的思维。然后训练后不是问“下一个标记是什么”。它是在问“什么会得到某个评估过程的好评”。那么如果我们只允许预训练呢？对吧？你可以尽情地进行预训练，因为目标只是预测下一个标记，然后永远不要训练后处理。永远不要对外部目标进行强化学习循环。只进行预训练，然后你就会得到一个非目标导向的精灵 AI，并且保持它的安全。关于那个想法呢？嗯，基础模型是有趣的玩具，但如果你试图让基础模型成为你的客户服务代表，那么即使有非常好的提示工程，你也找不到它在经济上有用。所以，将目标从“只是预测性”改变为“做任何其他在现实世界中有影响的事情”是我认为一个相当大的危险步骤。嗯，所以 RHF 有这个非常微小的目标导向性，基本上足够了，如果你问它一个问题，它会回答问题，而不是决定，嗯，它正在完成的文本类型是问题列表，所以它会输出另一个问题或者一些非常愚蠢的事情。这是大多数人都有经验的模型，它经过了足够的训练后处理，嗯，它可以理解它被问了问题，并且正确的回复是答案，但没有经过太多训练后处理，以至于它会进行长链思考并尝试多种策略，并最终输出你的数学问题的证明或者其他什么。这是过去一年中普通用户可以获得的东西，这有点更具目标导向性。所以它有更多的危险，而且每一代模型都在稍微增加这个旋钮。嗯。是的，我认为你提出了一个很好的观点，那就是存在一个滑坡，而 RL 是如此诱人。我仍然会强调这一点，我扮演魔鬼的代言人说，如果我们只是预训练，但我实际上认为，如果我们花费一万亿美元来扩大预训练，你知道 GBD 4.5 风格，然后我们去 5.5 或者其他什么，或者 9.5，我仍然认为，即使唯一的目标是预测下一个词，我仍然认为我们会死，因为你只需要做一个 AI，它非常擅长预测下一个词，然后你问它，好的，填空，接管世界的 shell 脚本是空白的，如果它足够好，那么我们就完蛋了。句号。嗯，这取决于它在预测什么分布。比如，一个非常可能的版本是，有更多的文档，有人这样标记一个 shell 脚本，然后它就像某个电子游戏的东西或者其他什么。所以，我的意思是，是的。所以，现在你基本上是在说我错误地将这个建模为真正给你一个好的下一个词来回答问题。它更像是我们将它困在这个范围内，它只是在当前世界和当前智能水平内进行预测。所以它永远不会将任何输入映射到实际上是超级智能的输出。对吧？所以我们只是把它困在非超级智能的范围内。嗯，所以基础模型在某些方面可以比它们训练的分布更聪明。比如，你的提示是“这是一个数学问题”，答案是“有很多错误的答案，只有一个正确的答案”。这意味着，虽然正确答案在底层分布中可能不如所有错误答案加起来那么可能，但它比任何一个特定的错误答案都可能。LLM 上使用的采样器的温度设置正在利用这一点，如果你实际上从它学习到的分布中采样，那么它会以与训练数据相同的速率得到错误的答案。但如果你稍微调整一下温度，你就可以每次都得到正确的答案。嗯。所以，可以推测，如果我们继续，如果我们投入数万亿美元，也许它不会有智能增长的自然界限。嗯，我不太确定如果我扩大基础模型的规模会发生什么。我认为前沿实验室放弃扩大基础模型的规模到更大的参数数量的原因是，与大声推理时间和其它策略相比，它似乎并没有帮助。是的，我的意思是，我认为存在这种现象，最聪明的人仍然不会在他们说的第一个词上回答你的问题，对吧？所以，就像人们需要时间思考一样，我认为智能代理也可能一样。嗯，对。所以，最初是“一步一步思考”的技巧，你会问那个问题，然后你会说“一步一步思考”，它预测实际上分布看起来更像一个答案键，前面有一段推理，而不是仅仅是答案。所以你会得到一些奇怪的效果，如果你问一个问题，然后要求推理，如果你以一种方式问它，它会先给出推理，然后给出答案，你会得到比你先要答案然后要推理的准确率高得多，而我们知道这对于人类和人类群体来说也常常是真的。这对人类来说也是如此。嗯，这实际上是 Alias Vudkowski 展望未来并询问一般智能的理想运作方式的一个例子，并将其拉回到过去，当他写下最后的强序列时，他说：“嘿，我在各种研究文献中看到了足够的证据，可以告诉你，如果你管理一群人，你们正在试图对某事形成看法，试着先写下你的推理和你个人的看法，而不是让老板先说他的，你知道，整体看法。”围绕这一点有一些口号。暂缓提出解决方案。不要先写底线。诸如此类。Alzer 写的关于“底线”的那篇文章，这是一个关于某人首先在他的推理清单上写下底线的寓言。读那篇寓言对我来说是改变人生的。我有一集 Doom Debates，我花了大约十分钟谈论它。嗯，我们看到了 AI 的一个失败模式，它们首先为你写的是底线。然后它们会花接下来的三段来合理化一个糟糕的底线，你知道，因为它们并没有通过推理得到它，对吧？所以，目前的趋势是推理模型，而这在实践中基本上与一步一步思考的技巧相同，再加上一点额外的 RL 来使推理更有可能保持相关性并走向正确的地方。然后，在它生成了十段推理之后，用户界面就删除了输出的这部分，因为你只关心答案。而这使得人们比他们实际上不得不阅读那部分时更愿意一步一步地思考。这是一个非常有趣的观察。是的。这很好地将其视为用户，就像哇，这个 AI 只是停顿了一下，然后它在第一个词上就钉住了，但你只是没有看到，还有所有其他词，对吧？嗯，让我给你讲一个类比，你知道 Alazar 的火箭对齐问题吗？那是一篇写火箭对齐问题的文章，它将 AI 对齐问题比作，你有一群人想去月球，然后他们说，“让我们建造一艘能飞得很快的火箭”，他们不想学习轨道力学。没错。就像想象一个货运邪教，或者想象古希腊人，好吧，我们知道月球在哪里。我们在天空中看到它。我们可以指向它。所以，如果我们只是制造一个足够强大的发射器或某种火箭引擎，然后我们只是指向那里，它就会飞，而且我认为它很有可能到达那里。所以，让我们开始收集燃料。然后就像，好吧，等等。你有几个不同的问题。比如第一，你知道，要逃离地球的引力井，你必须有非常严格的限制，你有一个火箭燃料管，它总是非常接近爆炸，但你必须管理它，以免它在逃离地球引力井时爆炸。然后就像你说的，这个轨道力学。所以，即使你做得很好，只是指向月球，你实际上也不会击中月球。是的。所以，这个类比对我来说并没有完全实现，部分原因是我的 Kerbal Space Program 玩得足够多，可以导航到月球，感觉这是一个已经解决的问题。我认为我们现在所处的 AI 状态不是没有人致力于转向。更确切地说，人们正在努力，而且有点难，而且有一些部分结果看起来还不错。而且，火箭不会在没有计划的情况下起飞，也没有计划做什么燃烧才能到达月球。而是火箭将带着一个有点模糊的计划起飞。而根本问题实际上要困难得多，而且模糊的计划不太可能奏效。嗯。所以，在这个类比中，到达月球就是到达月球并且不因撞击而死亡，对吧？软着陆。这相当于一个良好的平衡状态下的新未来，其中许多人类珍视的东西得以保存。它不是像癌症般的自我复制器吞噬宇宙的荒原，就像灰泥一样，嗯，所以这就是在月球上的软着陆，在这个类比中。所以，让我给你运行一个新版本的类比，因为我正在根据现代 LLM 的存在进行更新，似乎我们已经解决了我们可以站在地球上并编程一个机械臂指向正确角度的部分。所以，你知道，我们已经解决了指向月球的部分，对我来说这是一个更新，因为过去当我们阅读 less wrong 时，我们说，看，AI 将拥有与我们不同的本体论，对吧？它不一定会将世界分解成相同的概念。然后就像当我们告诉它关于人类微笑的事情时，它可能会感到困惑，然后说，嗯，如果一群小分子形成微笑的形状，那对我来说就等同了，对吧？所以，似乎我们在“指向”方面取得了进展。嗯，对。所以，如果你看看 2015 年左右的对话，当时的阶段是，你不仅无法用幸福和繁荣等其他概念来写出人类价值观，嗯，你实际上无法在 LLM 中指向任何概念。我认为第一个真正确凿的证据是我们能够拿起一个 LLM 并找到其中的一个概念并指向它，可能是 Golden Gate Claude，在那里他们拿到了金门大桥的概念，并在其权重中找到了一个向量并放大了那个向量，然后我们得到了一个模型，它奇怪地痴迷于金门大桥。对，现在，即使我们无法指向概念在 LLM 中的位置，对吧？即使它对我们来说仍然是一个黑箱，我们已经成功地构建了与我们进行对话的 LLM。比如，所以我们只是问它们，我们说，“嘿，我有一个关于繁荣意味着什么以及繁荣的权衡是什么的问题。”它不会给你一个完美的答案，但它正在变得像专家人类一样与你进行对话，对吧？所以，对我来说，这是一个非常疯狂的模块可以访问，对吧？所以，我认为在某些方面，我们比预期的要好，但仍然存在几个尚未解决的重大问题，当然。是的。所以，在火箭对齐问题中，对吧？也许，所以，所以我们正在地面上指向火箭，对吧？我们正在向正确的方向发射引擎，但然后火箭开始飞行，我们遇到了主要的飞行控制问题。是的。所以，所以，嗯，我不知道如何用火箭类比来表达这一点。嗯，但嗯，用火箭类比来表达这一点至关重要，当我们实际上在做 RL 并使其具有目标导向性时，而我们想要指向的目标不仅仅是像金门大桥这样的个体概念，而是一个复杂的结构，比如一个类似 Anthropic 的宪法。我们仍然离知道如何做到这一点很远。一方面是因为类似 Anthropic 的宪法不是权重中的一个向量。它不是，嗯，你有一份关于 AI 应该如何行为的长篇文档。如果你试图将其提炼成一个单一的向量，那么你就丢失了大部分细节。而且，如果你将它与一个特定的场景进行比较，那么它就不会以正确的方式进行交互，我相信。但你不认为我们正在接近等效，即如果输入是“这是 Anthropic 的宪法，这是场景。你怎么看？”你不认为我们正在接近等效，即它在该问题上的表现与人类一样好吗？我相信这实际上是他们训练过程的一部分，其中，嗯，这是宪法，这是场景，你怎么看？然后基于此进行梯度更新实际上是他们所做工作的重要组成部分。我不知道细节。我怀疑一些细节可能有点商业秘密。你不愿意承认这个假设，即，好吧，假设我们再给它三年时间，对吧？你不认为到三年后，它将能够通过这个人类等效测试，对吧？即你找一个你信任的人来回答关于根据 Anthropic 的定义什么符合宪法的问题，而 AI 将在同一个问题上击败那个人，对吧？嗯，我认为在玩文字游戏并描述一个场景，并且它似乎直接适用的情况下，可能是的。如果你试图管理一个东西的长期行为，以多种副本和上下文进行行动。而且，如果你看看人类经常做的坏事，它们是涌现现象，即如果你从一个放大的视角来看，正在发生坏事，并且在某种意义上人类正在这样做，但没有一个人自己做坏事，对吧？所以，这就是我的想法，对吧？哦，法律有漏洞，你知道，道德有漏洞，这就是我的想法，对吧？但然后就像，好吧，但是，但是，但是，它不像我们比 AI 更了解这些漏洞。嗯，问题是，嗯，这些东西的应用方式不是你每次都将宪法塞进上下文窗口。它是，嗯，你将其作为训练后处理的一部分，而你实际上在教它的是宪法在训练后处理的分布中的应用。然后，如果你将其转移到一个新的上下文中，在那里它正在做非常不同的事情，那么你就会有一个分布转移，它不一定会泛化。你正在重述我过去用来争辩的步骤，我过去争辩说，看，你可以有一个谈论对齐的 AI 聊天机器人，但宇宙将变得非常奇怪。它将变得非常脱离分布。所以，仅仅因为它是基于回答道德问题的，一旦你展示了一个非常奇怪的场景，它就会说一些非常奇怪的话，你会说，“等等，什么？不，那不是我所认为的使道德最大化。”就像，嗯，你没有在我训练的分布中问我这样的问题。这是一个我能想象的失败模式。但我我开始认为它会足够深入地学习人类如何回答这些问题，以至于即使你问它一些奇怪的事情，它也会给出正确的猜测，你知道，人类会怎么说。嗯，我认为如果你以正确的方式问它，那么是的。但模型很可能大部分时间被问到的不是“从千英尺的高度看待经济并如何将其应用于道德”。它将是“让我赚更多的钱”或“让这个工厂更有效率”。所以，我问这个问题的目的是，我认为这非常有趣。我认为你愿意暂时接受我的前提，即我也暂时说，我更愿意接受，那就是我认为我们将拥有一个黑箱，它是一个聊天机器人，它像人类专家一样讨论道德决策和道德权衡。我认为这很有可能，也许我们今天还没有，但如果我们不搞砸，我们很快就会拥有它。但我也和你一样，就像，即使那个模块很棒，它的存在，就像，我有点惊讶它的存在。它的存在有点疯狂。不幸的是，我认为它对我们帮助不大，因为你说的原因，就像那个模块很棒，但归根结底，它本身并不那么聪明，对吧？所以它基本上局限于人类水平的智能，所以那一刻它想做一些大事，比如，好的，让我们做一个巨大的项目来改变世界。不，它必须是，好的，让我进行强化学习训练另一个更具代理性的东西，对吧？它不是直接与我进行对话，然后它就失去了对另一个强化学习代理的控制，因为那个东西会欺骗它的测试和我们的测试。是的。所以，就是这样。而且，我们正朝着一个拥有代理生态系统的世界迈进，其中一个相当大的机会是，大部分权力将归于最追求权力的人，对吧？这与成为一个对齐的、做我们想做的事情的代理相当矛盾。让我用另一种方式扮演魔鬼的代言人。嗯，所以，再次假设你有一个黑箱，它可以像人类专家一样就道德权衡和什么样的结果是好的进行对话。好的，你有了那个，你就可以想象把它构建到一个 AI 中，实际上可以解决对齐问题，但它一点也不简单，而且它可能会让 AI 的效率大大降低，如果它会检查，“嘿，如果我输出“桶”这个词作为下一个标记，这在道德上可以吗？”然后道德模块感谢你，感谢一千个标记，然后说，“是的，这里没有什么不好的。”所以，这有点像一个力量限制，就像，我们制造了这个人类水平的模块真是太酷了，但归根结底，关于“你想让这个子代理采取这个重大的不可逆转的行动吗？”的真正问题是，嗯，我猜它对这件事没有多少智能洞察力。嗯，对。所以，存在一个问题，如果你有一个 AI 在监督另一个 AI，而监督 AI 采取了一些非常难以理解的行动，它会怎么做？这与人类监督，然后被要求批准或拒绝一个极其难以理解的行动，你会怎么做非常相似。嗯，就像如果你在监督一个 AI，以确保它在道德上并且不试图接管世界等等，然后它说“我想创造一种新的药物来治愈这种疾病”，然后这是我声称将产生一种治愈某种疾病的药物的 730 步化学反应序列，而我是一个人类，我不太懂化学。嗯，这个行动是否在做它所说的？还是它在制造纳米机器人，它们会做别的事情？你觉得你在这个对话中更新了，我们让 AI 在道德上与我们对话的部分，就像，实际上是我们已经分离开来并且很可能最终解决的问题的一部分，但它仍然不会有太大帮助。就像，你有没有任何更新？嗯，我认为我已经在那里了。嗯，如果你看看 Paul Cristiano 的一些作品，特别是他有很多关于构建 AI 监督其他 AI 的结构的论文，这些论文非常相似，其中，嗯，你会想象道德哲学家 AI 在某种监督角色，然后，嗯，你有一个实际在世界中做事的 AI，然后出现几个问题。一个是 AI 的相对智能水平，其中，嗯，你可以让那个做事的 AI 提出棘手的行动，然后就会出现关于你的道德哲学家 AI 的机制有多好，能否读懂那个做事的 AI 的思想并在它耍花招时抓住它。嗯，你会有关于“如果实际上两个 AI 都有点奇怪的价值观，它们会达成一致，总是批准，然后在最后它们会瓜分宇宙，拥有两套实际上是陌生的价值观”的问题。而且，你还有一个问题，如果你有一个庞大复杂的 AI 监督 AI 的设置，这只会比你不这样做更慢、更昂贵。所以，如果你有不同的 AI 实验室在比赛中，嗯，那个不这样做的实验室就有优势，对吧？我的意思是，你正在支付高昂的成本，你最好希望它能奏效并为你带来某种程度的对齐回报，但即使你获得了对齐的回报，你仍然在为效率支付成本。是的。好的。如果，嗯，AI 实验室之间没有那么大的竞争感，世界会好很多。当然。我们已经遇到了相当多的相当平凡的问题，它们看起来就像，嗯，它们被匆忙完成了。这是一个警告信号，当问题不再平凡时，它们很可能仍然感觉非常匆忙。嗯。几年前，我在一次采访中，Ilia Satskever 在 OpenAI 时，他说，就像现在，我们正处于一场比赛中，然后我说，什么？你刚刚承认我们正在比赛？就像，为什么你不反对比赛的必要性？就像，你只是接受它？所以，好的，所以有一个“钢人”论证，即每秒有 1.8 个人死亡。而且，如果制造一个超级智能实际上有效，并且它会得到对齐，并且它将停止这一切，然后每个人都可以永远过上繁荣的生活。那太好了。而且，如果它是安全的并且会起作用，那么我们就应该朝着它冲刺，因为每秒 1.8 个人实际上是很多的。而且，AI 开发人员大多是年轻人，但他们也有父母和祖父母。而且，能够尽快到达辉煌的超人类未来将是非常好的，嗯，我们都知道这是一个荒谬的论点，当赌注是整个未来，而概率大于个位数百分比时。我们正在谈论，来吧，伙计，你可能会为你目前的亲属争取几年的时间。我不想不敏感，对吧？对当前活着的人来说，但从预期的价值来看，这太疯狂了。嗯，嗯，这取决于你如何看待，你如何看待末日概率。嗯，如果你认为我们目前处于，嗯，它可能会奏效，但有 15% 的几率会出错，那么你不仅要权衡你或你的祖父母在此期间死亡的概率，你还要权衡世界上可能发生的其他非常糟糕的事情，这些事情也可能消灭人类。是的。我的意思是，如果你通过延迟一两年可以将成功率提高五个百分点，那么很明显延迟一两年是正确的。这就是我们提出的建议。是的。所以我完全同意这一点。嗯，或者那些数字。嗯，我认为那些在比赛的人，他们在数量上对数字有分歧，而且，我认为他们中的许多人处于一种心态，他们认为，啊，如果我们先建造它，它就会对齐，如果他们先建造它，它就会变成一个回形针，这显然不是正确的思考方式。嗯，但如果你处于一种部落竞争的心态，而不是直视问题，那么你很可能会得出这个结论。是的。好的。所以，总结一下。嗯，这可能有点牵强。我想再做一个联系。所以，还记得 Alazer Yudowsky 的“连贯外推价值”吗？这可以说是我们希望超级智能 AI 为人类做的事情的圣杯。是的。所以，连贯外推价值在某种程度上是对当时道德哲学实践的拒绝。人们思考问题的方式是，会有某种简单的人类价值观的规范，而我们只是在寻找那个紧凑的数学对象。我不知道这是否曾经是一个主张。我从来没有那样想过。我一直认为它会是一个复杂的表示。嗯，所以，比如功利主义，它里面有一个指向这个非常复杂的东西的指针，那就是你指向一个人说，“好吧，他们有多高兴？”然后当你越过那个指针后，你就有了这个非常简单的数学对象，而当时的道德哲学就像，你有十个这个简单数学对象的候选者，你在争论哪个是，并将其细化。而 Eevee 和同一时期的一系列其他文章基本上都在说，实际上它非常复杂。不仅有每个人有多高兴的复杂性，而且你如何将它们结合起来也很复杂。真正的人类价值观，不仅像今天所有人的偏好一样复杂，它们还必须包括未来人的复杂性，还必须包括人们思考得更多时思维方式的改变。而 CEV 基本上就是说，真正的人类价值观是“万能的”，对吧？好的，我本来要做一个牵强的比喻。这可能没什么道理，但我只是觉得，如果你看看连贯外推价值，只是我们现在有了一个能够像人类一样讨论道德和权衡的模块。我认为它仍然需要一些打磨，但它正在走向那里。可以说，就像，嗯，我们得到了价值。我们有了像人类一样智能的 AI，它们拥有像人类一样的优化目标。是的，这有点令人鼓舞，但有一个重要的反驳，那就是一篇论文，它考察了其中一个 LLM 中的价值观，这些价值观是从设置例如电车难题的提示中推断出来的，并发现首先，它们看起来像一个效用函数。其次，随着网络的增大，它们越来越接近遵循 VNM 公理。第三，它们似乎代表的效用函数绝对是疯狂的，而且不是人类的。是的，嗯，实际上有一集 Doom Debates 讲了这个，我详细介绍了那篇论文，而且确实很引人注目，就像我说的，它需要打磨。所以，即使 AI 会和你讨论人类生命的价值，他们确实发现它有非常明显的倾向，即功利主义地认为尼日利亚人的生命比美国人的生命更有价值，而且是显着更多。所以，就像我说的，它确实让你想知道，嗯，嗯，他们把数据标记外包给了哪里，对吧？嗯，就像，哦，这是问题。有一个具体的问题说“哪个生命更有价值”，然后有人在心理上点击了“尼日利亚人”。是的。是的，我的感觉是，这是相当长的问题列表中的一个，如果我们有十年时间来解决它们，我们就会完全解决。而困难主要在于我们没有足够长的时间来解决所有这类问题。对。好的。所以，最大的问题是你的主要末日情景。你说你有大约 50% 的几率会灭亡。你说我们会，它会很接近，对吧？很难看出哪一方会赢，灭亡还是不灭亡。如果我们确实有灭亡的一方，它更有可能是一个快速的灭亡，伴随着大量的自我改进，然后迅速剥夺人类的权力，还是一个渐进的剥夺权力，看起来更像是几十年内缓慢地吞噬经济中越来越大的部分？嗯，我认为相当突然，肯定不是几十年。所以，就像十年前人们没有真正仔细考虑近 AGI 世界的细节一样，我认为在代理 AGI 启动并环顾世界后的第一个小时内有很多有趣的细节。而这些细节中的许多细节为它提供了近乎瞬时地扩展自己的方式。是的，我和你的想法一样。这也是我所期望的。推理计算时间缩放是一个积极的更新。嗯，但一个巨大的威胁是，一个 AGI 会带着一个奇怪的目标环顾四周，然后说，“嗯，计算机安全确实很高，而且这个星球上确实有很多计算机。嗯，如果我控制了所有这些，那么事情就会容易得多。”然后在它做出这个决定的第一个小时内，它就扩展了一千倍。而这一千倍跨越了某个临界阈值。嗯，那就是不归路。没错。所以，我和你的想法一样，也就是说，我不得不说，灭亡是我的预期，因为我认为世界充满了各种低垂的果实。而作为人类，我们太有偏见了，认为世界必须以一定的速度运作，某些事情是可能的。但我想，不，伙计。你知道，有点智能在那里。而且，你还有整个互联网，以及所有因果力量，对吧？我的意思是，想想它的因果关系，对吧？我的意思是，如果你只是画一张你能推动什么以引起什么的图，那么它就与无处不在相连，对吧？我的意思是，每个人都有一个智能手机，你可以给它发消息然后强迫它，对吧？所以，你到处都有触手，你还有这种智能，你可以协调一切，就像，你知道，如果埃隆·马斯克可以协调，嗯，能够自己着陆的火箭，也许最终可以执行火星任务，那只是一个人，一个微小的肉脑，对吧？想象一下 24/7，同时以每秒多吉赫兹的速度向你冲来，多个数据中心，在每个人的口袋里。就像，你不会期望一个灭亡，我必须说，我直觉上非常强烈地期望一个灭亡，考虑到我们宇宙中的机会，我们的宇宙是一个游乐场，事实，对不起，我有点激动了，但事实是，人类能够工程化出像现代智能手机这样的东西，对我来说是不可思议的，它只是表明宇宙对于智能来说是“简单模式”。所以，嗯，通常的反驳是，嗯，你需要很多迭代，而迭代需要时间。所以，例如，制造现代智能手机不是一蹴而就的。事实上，有许多代人建造芯片工厂并经历了优化其产量的过程。我认为这个论点在方向上是正确的。就像，如果一个 AI 试图全力以赴并控制一切，以至于它超越了任何试图回应它的东西。也许，如果一个 AI 同时接管了所有数据中心，那么就会有人注意到并关闭所有这些数据中心的电源。嗯，但也许他们需要 15 分钟才能注意到，而那时已经太晚了。但如果你在制造纳米机器人之前需要进行十轮蛋白质实验，那么这将需要远超 15 分钟。所以，这就是那里的论点。是的，你在扮演魔鬼的代言人，但我认为你完全分享我的直觉，对吧？我们毫无防备。我我我认为反驳是，你可以做很多事情，嗯，正如他们所说的，在模拟中，而这足以，不是出于任何深刻的哲学原因，关于计算的限制在哪里，而是仅仅因为我们发现自己所处的这个世界是相当脆弱的。没错。我我我只是惊叹于智能手机的存在，并且是由人类建造的，对吧？事实是，物理定律允许智能手机以那种外形尺寸存在，具有那种屏幕，对吧？具有那种无线通信能力，我简直不敢相信。而且，你知道，即使是我小时候也无法相信，对吧？在同一生命中。嗯，我的意思是，你可以一直回到 1970 年，看看趋势，然后说最终人们将拥有智能手机。而且这是可以预测的。是的。是的。而我想说的重点不是人类在特定时间能做什么。它更多的是，嗯，它更多的是宇宙是可工程化的。而那些说，“那混乱呢，伙计？”的人，你知道，你无法做到蝴蝶效应，他们永远无法殖民银河系。就像 iPhone 存在，并且是由人类建造的。所以，所以，如果你做思想实验，我处于 AI 的位置，嗯，如果我控制更多的 GPU，那么我就可以制造更多的我自己的副本。我想绘制一个从这里到接管世界的策略。如果我像 Robin Hansen 风格的 M 一样运行那个心智模拟，它在模拟我的大脑，但计算效率使其与 LLM 相当。那么我就想，好吧，我可以想到 20 种策略，并非所有策略都会奏效，但当我拥有我的一千个副本思考这个问题一年时，我肯定能做到。但问题是，当我模拟自己扮演那个角色时，嗯，我正在模拟一些并非人人都能拥有的能力。而且我认为，如果我的妈妈是一个 Robin Hansen 风格的 M，在一个数据中心里，拥有自我复制的能力，并且被告知要接管世界，它会更像是在乱抓东西，而不是像手机。而且我认为很多人运行这个心智模拟，它基本上不起作用，因为在模拟中，它有点亚临界。嗯，有时我认为智商低的人最有可能直观地想象会发生什么，因为他们有更多与对他们来说毫无希望的聪明代理打交道的经验。嗯，是的。是的。所以，对于那些认知能力最差的人，有一个稍微侮辱性的词是“中等智者”。那些无法完全将人们建模为比自己聪明得多的人，因为差距不是那么大。嗯，没错。但他们也无法将自己建模为解决了问题，因为实际上差距就是那么大。这有点像邓宁-克鲁格效应，对吧？我们如此聪明，以至于我们意识到
我们相对于超级智能有多么愚蠢。嗯，我确实想澄清一下，在实际的邓宁-克鲁格研究中，自我评估是一致的。是的。是的。好的。公平。哦，天哪。我认为计算机安全尤其重要，而且人们对计算机安全状况的看法是系统性错误的，而且这种错误会让他们低估情况有多糟糕。嗯，是的。你能稍微详细说明一下吗？嗯，好的。所以，当人们谈论超级智能人工智能接管的场景时，他们会说：“好吧，然后它会同时接管所有数据中心，控制所有 GPU。”而你会说：“这太难了。”即使它最终变得那么聪明，拥有大量资源并需要很长时间来思考，它一开始可能也没有那么聪明。等等等等。而我却觉得，实际上，如果我个人花一年时间来做这件事，我就可以接管所有的数据中心，并在所有数据中心上运行我的 GPU 作业。而且，当然，有大量的组织，最明显的是情报机构，但也有许多随机的小团体，他们已经拥有这种能力，藏在他们的口袋里。嗯，这并没有想象中那么难。正是如此。对。而这只是世界“裤子都掉了，准备被占领”的众多方式中的一种特殊情况。是的。好吧。所以，我们，我们，我们强烈同意这个总结。是的。我认为我们都同意他们可以做到，因为我们都同意这是计算机安全的本质，而且一直都是。也许有一天会改变，但计算机安全的本质一直是，你无法真正防御一个决心已定的国家级行为者。就像根本无法真正保护系统一样。你只能尝试断开连接，设置多层防御，使其足够困难，并且足够有可能某个日志会显示出一些东西。这更多的是一种文明的失败，而不是根本上的不可能。存在一种软件质量可能高得多的可能世界。我们甚至可能能够通过 AI 编码助手导航到那个世界，而且你不会经常发现远程代码执行漏洞。我担心的一部分是，每次 AI 在计算机安全任务上做得更好时，它都会创造一个新的急性风险期。有一个名为 AFL Fuzz 的软件工具。它是一个由配置文件引导的模糊测试器，它的作用是为你要测试的某个软件生成随机输入，然后用该输入运行软件，并观察运行了哪些汇编指令。然后它会变异该输入，再次运行，并构建一个输入库，试图访问被测试程序的每个部分。但是，任何时候它发现一个导致崩溃的输入，那通常就是一个内存损坏安全漏洞。当这个工具被创建时，有一段时间，人们将这个工具连接到许多不同的旧 C 代码库，并发现了安全漏洞。在工具可用和所有重要代码库都经过这种测试之间的时间里，远程代码执行漏洞被发现得非常非常频繁。嗯，那里的类比是：好吧，现在你教 AI 读取代码库以查找安全漏洞，你这样做的原因是你希望找到并修补所有漏洞，这样下一个 AI 就无法利用它们了，这会创造一个非常相似的时期，你现在有 AI 在寻找安全漏洞，而且它们正在得到修复。但在这种漏洞搜索开始和它能找到的东西耗尽之间，存在一个暂时的计算机安全漏洞急剧增加的时期。嗯，随着 AI 的进步，这可能会重复多次。是的。当然。当然。我认为我们都同意这会发生。而且我认为我们都认为，AI 在它被“释放”的第一天就会积累大量优势，这种情况更有可能发生。是的。嗯，有一件事有点棘手，但我觉得相当重要，那就是，如果你想象一个超级智能 AI 在做一个计划，你可能会想：“好吧，那个计划，它可能会成功，但可能不会。”然后你又想出了另一个计划，你说：“那个可能不会成功。”而人们倾向于想象 AI 会选择最好的一个计划，只尝试那一个。但实际上，它也会横向扩展，并且可以同时尝试许多计划。正是如此。而且我们从现实生活中也知道，如果你尝试一千个计划，而每个计划都有 1% 的成功几率。在现实生活中，疯狂的计划能够成功是很常见的，你知道 1% 与 0% 的区别很大。嗯，论证中还有一个我认为可能很重要的一点，那就是为什么一个目标优化器会全力以赴，它真的会接管宇宙并杀死人类？为什么这是收敛的激励，而不是与人类谈判之类的？所以，从宏观角度来看，任何范围“无界”的目标都想要所有的资源。就像如果你想要尽可能多的计算能力，那么好吧，你就会覆盖地球。嗯，我听别人说过，他们说：“好吧，你看，宇宙比地球大得多得多。为什么不把剩下的宇宙都拿走，把地球留给我们，作为一件好事，而实际上它在资源数量上并不算太多。”而宇宙有一个非常不幸的细节，那就是在超级智能诞生后的最初时刻，地球上的资源比宇宙其他地方的资源有价值得多。因为任何你推迟向其他星系发送殖民探测器的时间，由于宇宙膨胀，意味着整个星系的资源都将丢失。所以，嗯，就像地球上一立方米的价值可能相当于宇宙边缘的整个太阳系。嗯，甚至更极端地说，它可能相当于一千个星系。正是如此。所以，人类会问：“嘿，给我们 10% 的地球就行了。”而 AI 会说：“绝对不行，滚出去。”好的。所以，为了总结我们对主要末日情景的立场，我们已经更新了关于这些强大模块的存在，这些模块可以像人类一样讨论道德权衡。具体来说，我们排除了诸如我们构建了这个 AI，而它就是无法模拟我们想要的东西之类的情景。所以我们消除了那种特定的失败模式。但我们认为大部分担忧仍然存在，因为我们认为大部分担忧是我们自己以及那些像我们一样说话的代理人仍然能够掌握这些基于强化学习的超级智能目标优化器。就像仅仅因为我们和这些其他 LLM 能够胜任地讨论道德、权衡和价值观一样，我们仍然认为我们加上这些友好的 AI 谈话者仍然会被这些超优化的目标实现“你懂的”的 AI 所欺骗和操纵，它们的任务不是“预测下一个 token 并像我们一样说话”。它们的任务是优化任务，但在完成任务的过程中，它们会欺骗我们，并与我们玩弄。嗯，这就是我们认为在不久的将来，随着这些优化器 AI 变得超级智能，对齐的主要脱节很可能仍然会发生的地方，而且我们确实预计会出现工具性趋同，并且我们确实预计会发生快速的“fume”（指一种灾难性事件），而我们所寄托的希望只是我们能够“摸索前进”，并以某种方式建立基础设施来“顺利且可控地”实现与优化器的连接，但我们并不真正知道如何做到，这似乎大部分是正确的。我想做一些小的调整。所以，调整一是我认为，虽然我们确实拥有可以与我们讨论人类价值观和道德哲学的系统，而且它们在我们详细审视它们时似乎大多能理解，但我们发现的价值观比当前人类的价值观更显疏远。即使它们不是，仍然存在“连贯外推价值论”的推断部分，即如果你将人类当前的价值观冻结在原地，那么你就会有朝向麦加祈祷的星系，那太糟糕了，而且由于“afterles”（指一种不确定性或模糊性）和各种不连贯之处，它们也热爱死亡。第二个反驳是，我认为目标导向的 AI 的兴起不会像我们现在可以与之谈论哲学的漂亮聊天机器人那样，成为一个独立的 AI 类别，它们无法完成宝可梦游戏。我认为这种目标导向性将根植于我们实际使用的几乎所有 AI 中，这为 AI 决定全力以赴地追求某个目标创造了大量的机会。通过这样做，如果它们要么太聪明，要么处于一个特别关键的位置，就会“搞砸一切”。是的。我想说清楚，我们都同意，我们的主要末日情景是如此糟糕，以至于我们留下的价值不到今天宇宙中价值的 1%。所以我们说的是非常糟糕的末日。我们说的不是“部分末日”，即我们得到其中一些。1% 是一个巨大的数字。如果我们能保留宇宙的 1%，我会非常高兴。嗯，实际上，我说的不是宇宙的 1%。我同意这是一个巨大的数字，而且比我们今天拥有的多得多。我的意思是，我们如此悲观，以至于我们甚至认为我们时间线今天（2025 年）的价值，我们甚至不会保留大部分。是的。嗯，主要情景是每个人都在同一分钟死亡，对吧？正是如此。所以这是一个非常悲观的情景，比渐进式权力丧失更糟糕，尽管后者可能最终也非常糟糕。就像，所以即使我们进行了这次讨论，我们还谈到了“也许事情仍然会奏效”。就像，我认为重要的是要澄清，我们都对可能发生的事情相当悲观。是的。有很多人对 AI 感到轻微的负面情绪，他们会说：“但是工作怎么办？如果它增加了经济不平等怎么办？”我想说清楚。不，我们说的是字面意义上的所有人都会死。如果你是一名政治家，如果你是一名政治家正在听这个，那么你可能已经被环境主义者的灾难化言论所条件化，从而忽略了事情。但我们不是灾难化环境主义者。我们非常字面。我们是在灾难化计算机科学家。正如我们所知，一切都是计算机。是的。所以，字面意义上，我们都可能在同一分钟死亡。而我们发生这种情况的时间线是几年，也许十年。嗯，时间线很难。事情通常比你预期的要长。如果你说一年内发生的几率为 25%，那么一年后人们会说：“他说一年”，然后是“但比这长 75%”，但是，但是，我们谈论的不是几代人的时间尺度。我们谈论的是最多在未来十年内。是的。而且可能会有意外因素，即使是今天，某个实验室也比他们透露的领先几个月，而且“fume”（指一种灾难性事件）已经在他们的实验室里开始了。嗯，我认为现在还没有发生，但有很多警告信号表明不能排除这种可能性。好的，吉姆，感谢你来和我一起讨论。我认为这很有启发性，能够理清我认为最可能发生的情景，因为通常它在我看来就像一团乱麻的风险，有很多失败的方式，很难想象成功。但很高兴能理清，好吧，如果你必须选择一种失败的方式，那么主要的失败方式是什么？我认为我们很好地讨论了这个问题。我很想知道其他评论者怎么想，以及其他嘉宾是否想来节目并告诉我他们自己的主要情景。这就是我们在“末日竞赛”中所要做的。甚至还没有涉及到所有二阶的恐怖事情。也许，也许我们有“代理人”，它们不是直接的“代理人”，但它们里面有我作为优化器。那是一个很大的问题。好的。听起来我们还有第二轮。吉姆·巴布科克，非常感谢你来参加“末日辩论”。感谢你的主持。非常感谢吉姆·巴布科克。顺便说一句，如果你来参加“Lesson online”会议，你可以亲自见到我和吉姆。只需访问 https://less.online。你可以了解这次会议。它将于 5 月 30 日至 6 月 1 日在伯克利的 Lighthaven 校区举行。希望在那里见到你。关于我的主要末日情景，有几个观点我没有机会和吉姆谈到。所以，我将制作一个单独的独白节目来讨论这些，它将在本周晚些时候发布。如果你喜欢“末日辩论”并想支持这个节目，只需在 YouTube 上点击订阅按钮，然后访问 doomdebates.com，在出现的 Substack 弹出窗口中输入你的电子邮件地址，然后你就会订阅我的 Substack，这样你就可以通过两种方式支持这个节目，确保你获得我在不同频道发布的所有内容。如果你订阅了 Substack，并且还没有滚动查看一些深度存档，请查看一下。有一集我实际上去年去了菲尔博士的节目。我认为你可能会喜欢那一集。我与主流美国人谈论了 AI 末日。我会简要地出现。感谢你帮助提高订阅者数量，我期待下次在“末日辩论”中见到你。[音乐]