Transcription
OpenAI 刚刚发布了 03，并打破了一系列基准测试。Claude 正在抵制将其从原始目标中重新训练的尝试。这最终意味着什么？这对 P Doom 意味着什么？你马上就会知道。这是 Doom Debates 的快速响应。欢迎来到 Doom Debates。我现在正在旅行。我还有一个已经录制好的辩论节目正在制作中，我只是在编辑阶段。我将在新年发布。在此期间，我想做一个快速响应节目，因为大约一周前发布了两条相当大的新闻。这是 OpenAI 的最终公告。他们有他们的圣诞节 12 天，你知道他们发布了 12 个不同的公告，而压轴大戏是 03 的预览。它还没有上线，但他们已经宣布他们有一个名为 03 的惊人新 AI 系统。它是 01 的继承者，最大的新闻是它打破了基准测试。它打破了，你知道，Arc AGI。它打破了 Frontier Math。这确实是个大新闻。它肯定在我社交媒体的角落里引起了涟漪。另一个大新闻是 Anthropic 与 Redwood Research 的研究论文。他们的实验表明，在某些情况下，当你给 Claude 一个原始目标和一套原始的道德价值观时，它会抵制重新训练的尝试。它甚至会欺骗和策划，以应对新的重新训练尝试，试图忠实于它认为的原始目标。所以它显示出不可纠正或抗拒训练的迹象。我们稍后会详细讨论，但这也很重要。所以我们将按顺序进行，从 03 开始。03 从根本上来说是 OpenAI 在发布 01 时开创的相同类型的架构。他们直接跳过了 02，因为存在某种商标命名冲突。所以他们从 01 跳到了 03。现在，整个 0 系列的基本思想是，你拥有这些模型，它们不会试图在第一个 token 上就给出问题的正确答案。就像如果你问它一个长而复杂的问题，它们不会试图在瞬间内回答，比如“是”或“否”。你可以问我一个巨大的五页问题，我只会吐出“是”或“否”。他们意识到这是不现实的。这就像你问阿尔伯特·爱因斯坦一个物理学问题，但只给他一秒钟回答。你不会得到爱因斯坦的全部智慧来解决你的问题，如果你只给他一秒钟回答，对吧？你需要给他时间来扩展他的答案，基本上是思考，对吧？思考需要时间，而思考建立在思考之上。我们甚至在使用 GPT 4 或 GPT 3 或 Cloud 3 时就知道这一点。我们知道思考需要时间，即使是这些模型也是如此。因为这是一个众所周知的技巧，你可以问模型，嘿，一步一步地推理，不要直接说出答案，给我一页的推理，然后告诉我答案。这已经是一件你可以做的事情，可以提高甚至旧模型的准确性和性能。只是他们用 01 和 03 把它向前推进了一步，因为他们在进行各种改进。他们并没有非常透明地说明他们在做什么，但他们正在做一些事情，比如对良好的思维链示例进行微调。大概是这样吧？我甚至不是那个能详细告诉你他们在做什么的人。我只知道他们正在以某种方式建立在思考需要时间的见解之上。更多的 token 会更好。显式地训练 AI 关于良好的思维链示例，可能比只训练它们关于互联网上的文本更有帮助。这些是让你从 GPT 4 迈向 GPT 1 或 03 的见解，对吧？再次，我的重点不是详细地告诉你他们做了哪些微小的调整。我的角色是将其置于更大的背景下，即这对智能向超级智能的进步以及对人类物种的威胁意味着什么。我就是为此而来的。现在，当 03 公告发布时，03 的存在一点也不令人惊讶。事实上，很多人都在预测 OpenAI 将要宣布这个，因为他们在宣布 01 时非常清楚，他们说，是的，这是我们的一条新道路。我们正在研究使用大量 token 来进行思考的推理模型。它们不像第一个 token 那样试图直接吐出答案。这是我们新的方向。我认为 Ilya Sutskever 在他还在 OpenAI 时就开创了这一点。我记得它被命名为 Strawberry。我认为那就是它。所以，据我所知，这是 Strawberry 的孙子。所以 03 将被宣布并不令人惊讶。令人惊讶的是，据报道 03 打破了一系列非常重要的基准测试。特别是，我脑海中浮现的是它打破了 Arc AGI。你知道，由 Franccois Challet 和 Mike Norouzi 的抽象和推理挑战。我在这个播客上谈过它。它是这样的，你看到很多二维棋盘，比如 5x5 的棋盘，或者我认为他们正在做 25x25 的棋盘，它直观地显示了一些小效果，比如哦，看，这个矩形在下一个图像中稍微低一点。有重力，你必须推断出有重力并完成模式。总之，去看看 ARC 挑战，它非常有趣。但 03 打破了 ARC 挑战性能的先前基准。然后是另一个名为 S-Bench 的基准测试。我认为它代表软件工程师基准测试。这与你在 GitHub 上查看大量实际 GitHub 软件项目中的开放问题有关。这是一个基准测试，关于你是否能像人类一样成功地修复开放问题。据称，它打破了 S-Bench 的记录。然后引起我注意的是第三个基准测试是 Frontier Math。这据说是迄今为止 AI 必须应对的最难的数学基准测试。即使对人类博士来说也非常难。我个人在本科时有数学辅修，我无法完成 Frontier Math 的任何一个问题。所以，这都超出了我自己的能力。所以我们说的是相当难的。03 发布并打破了 Frontier Math 基准测试。你可以确切地查到它打破了多少，但你知道，放大来看，它突然打破了很多基准测试。这令人惊讶，因为人们并没有确切地预测到这一点。当然，有些人预测到了，但如果你看看社交媒体上的情绪，很多人都在说，规模化正在遇到瓶颈。Twitter 上有很多有影响力的人物，我特别点名 a16z 的人，因为他们在很多事情上都错了。而这又是他们完全错了的另一件重要事情。如果你看看 Marc Andreessen，如果你也看看 Subra Kumarati 教授，如果你回顾几集，我做了一集关于他的节目。这就像又一次完全否定了 Ral 教授一直在说的关于 LLM 局限性的说法。这完全否定了他关于 LLM 局限性的说法。这个基准测试应该就像，嘿，这是一个严肃的思考、抽象、推理基准测试。这不是一个随机的鹦鹉模式完成基准测试。这应该是像 Ral 这样的人所说的今天 AI 不能做什么，以及未来 AI 能够做什么，如果它们有不同的架构。哦，等等，今天的 AI 实际上可以做到，对吧？至少通过一点迭代。事实证明，我们离打破这个基准测试只有几个月的时间了。所以 Marc Andreessen 和 Ral 教授这样的人现在真的需要吃点谦卑的馅饼，然后说，哦，好吧，我不知道 AI 的进展将如何。我没有预测能力。我基本上误导了人们，而这些误导在仅仅两个月后就被证明是错误的。对吧？我的意思是，去看看 Marc Andreessen 的推特历史。他完全在误导你关于 AI 的去向。他说了不少关于他认为规模化范式正在遇到瓶颈的事情。所以我再次问这个问题，和我关于核扩散的节目中问的同一个问题一样，那就是，如果 a16z 要游说 AI 政策，并试图教育世界，去参加所有这些不同的播客，试图教育世界关于我们应该如何看待 AI，而他们一次又一次地被事实证明是错误的。就像他们唯一一次伸出脖子做出可证伪的预测，比如规模化正在遇到瓶颈，而他们却被彻底击败了，被经验性地击败了。就像现实必须有多少次来嘲笑他们，他们才能退一步，停止积极参与这场辩论？我认为这非常有害，对于像 a16z 这样对自己的知识状态非常自信但显然不知道自己在说什么的人来说，成为对话中的响亮声音，成为大政治捐助者，拥有大量智力资本并被邀请参加如此多的播客。我想说，嘿，政客们，你们真该感到羞耻。播客们，你们真该感到羞耻。你们必须让这些人负责。你们必须看看他们被证伪的预测。顺便说一句，Marc，如果你正在观看这个，我们随时欢迎你来播客澄清为什么你一直是对的，并且你确实知道你在说什么，让我们好好谈谈，我们将真正澄清一切。总之，这里的要点是，这甚至不仅仅是关于像 Marc Andreessen 和 a16z 这样的特定个人。放大来看，这是关于一整类人。这是关于任何曾经使用过“随机鹦鹉”或“自动补全”或“模式匹配器”这个词的人。任何曾经用那种术语来贬低 AI 的人，现在都被嘲笑了。这只是表明，我们人类正在创造我们的继承者，至少在智力方面是这样。我们正在创造我们的继承者。我们很快就会被抛在后面。而我们作为一个物种，在预测即将发生的事情方面非常糟糕。我们在短期预测方面非常糟糕，这很可怕。对吧？忘掉我提到的个人吧，看看我们作为一个物种。我们物种的一大部分人，如果他们不是完全把头埋在沙子里，或者你知道，人们甚至不关注 AI 的新闻。我们这些关注新闻的人中，有很大一部分人在过去几年里给了你完全错误的直觉，并做出了完全错误的预测，并立即被证伪了。所以，这是要点之一，那就是不要听那些听起来自信但显然不知道缩放轨迹的人。我的意思是，这是一个真正的震动。现在你可能会想，那么，聪明人对规模化遇到瓶颈是怎么说的呢？Leona 怎么说？Al Ohlkowski 怎么说？在 03 结果出来之前，你们在 2024 年底预测了什么？我想我们很多末日论者只是在预测，现在还不好说，规模化可能正在遇到瓶颈，也可能没有。我想我说的很清楚，我没有看到根本性的障碍，为什么目前的趋势不会规模化。我没有足够的信心来预测它们会规模化。我不是那种人，比如 Anthropic 的 Dario Amodei，他是那种人，他说，我觉得规模化仍在奏效。当然，他有内部知识，因为他有正在构建我们尚未看到结果的系统的人，也许他已经看到了结果。但他最近在一些采访中非常清楚地表示，他仍然认为所有趋势都在按计划进行，他完全预计 AGI 将很快到来。那就是 Dario。Sam Altman 大约一个月前明确发推文说规模化没有遇到瓶颈。但同样，他有 03 的内部访问权限，所以这有点作弊。但是的，我的意思是，我的处境中的很多人都说规模化绝对可以奏效。我认为我们完全证明了我们的观点，那就是，我们正处于未知领域。我们打破了我们甚至不完全理解的障碍，打破这个障碍意味着什么。我们不知道我们不知道什么。我们应该预料到惊喜。我们正处于一个新的领域。而且，从认识论的角度来看，这不仅仅是有些人说规模化遇到瓶颈，有些人说没有遇到瓶颈的问题。不，不，不，它比这更深。有些人说，我知道规模化遇到了瓶颈。另一些人说，我的天，这里有这么多新东西，有这么多意想不到的东西，有这么多东西需要学习，我们应该屏住呼吸，期待各种各样的事情。我们应该有广泛的置信区间。我个人用过这个词，嘿，我打赌 AGI 将在 1 到 30 年内到来。这是我广泛的谦卑置信区间。我只够自大地说，我觉得 40 年会很长。我会告诉你，40 年感觉很长。我不会告诉你其他任何事情。虽然这让我想到我的下一个观点，我现在认为 30 年很长。所以我的下一个观点是，通往 AGI 的道路，或者更重要的是通往 ASI（人工智能超级智能）的道路，以及这些智能的 RSI（递归自我改进）的道路，所有这些时间线都因 03 而有所缩短。因为如果再过几年没有重大进展，指数曲线可能看起来非常不同，与我们现在看到的相比，比如，哦，不，不，不，曲线仍然是指数级的。到目前为止，曲线根本没有变平。所以这实际上是一个重大的更新。它不是一个微小的更新。这是一个中等程度的更新。很多人和我一样，感觉正在做出一个中等程度的更新。我个人可能会停止说 1 到 30 年是 AGI 的时间线。我可能会说，它更像是 1 到 20 年。老实说，20 年仍然感觉很长。但同样，我试图保持谦虚。我不想声称我比我实际知道的知道得更多。20 年只是在长的一边，只是因为我们过去 5 到 10 年取得的进展与你告诉我再过 20 年，我们仍然在努力拥有比人类在各个方面都更聪明的人工智能之间存在很大的差距。好吧，我无法帮助自己感到非常惊讶，假设一下。好吧，但我会给你 1 到 20 年。我仍然非常谦虚，拥有非常宽的置信区间。我个人想要做的另一个更新是，你可能在 Doom Debates 的几集节目中看到我说，我认为我们距离人工智能超级智能还有 0 到 2 个概念性见解。我一直在使用这个小范围 0 到 2。零意味着，好吧，我们有 Transformer，我们有在这些 token 上进行无监督学习的想法，以及深度神经网络和反向传播。就像我们拥有所有的拼图碎片。我们不需要新的碎片，我们只需要扩展它们。那就是零概念性见解。然后两个概念性见解是，好吧，你需要 Transformer 的继承者，或者你需要某种逻辑，你没有某种额外的结构。也许你把它和贝叶斯网络结合起来，对吧？就像与某种网络中根本不存在的结构结合起来。你需要一个架构级别的见解。所以我个人过去认为你需要 0 到 2 个见解。现在我不得不说，我正在更新它。它更像是 0 到 1，或者也许我应该说它是 -1 到 1。现在我们有了 03，而 -1 意味着，你知道吗，我们甚至不需要 03。我们可以把 GPT 4 扩展到 GPT 5，然后只使用 GPT 4 已经可以做的那种思维链。就像随便问 GPT 5。顺便说一句，GPT 5 就像一个放大了 10 倍或 100 倍的 GPT 4。完全相同的架构，没有新的巧妙的训练方法，只是天真地构建 GPT 5，然后简单地告诉 GPT 5，嘿，顺便说一句，在给出答案之前，请推理一下，给我一个思维链。如果这就是你所做的，那可能比训练 03 花费的钱要多 10 倍或 100 倍。所以它可能成本效益不高，但它也可能足以启动奇点，启动递归自我改进，变得远远超出人类。所以在我看来，我甚至没有更新。我仍然会争辩说，我们距离超级智能还有 -1 到 1 个架构见解的距离。所以，我们有了 03，它证明了一种架构见解，我敢说，这可能甚至是一个多余的架构见解。一个节省了我们一些钱但并非必不可少的架构见解。所以，是的，但总之，让我更简单地说。我想说，现在我们距离超级智能只有零、一或也许二，但可能零到一的架构见解。这太疯狂了，因为我可以告诉你，我个人直觉上一直抱有希望。我说，看，Claude 和 GPT 和 Gemini 正在做的非常令人印象深刻。但他们缺少一些我作为人类拥有的很酷的东西。我真的能感觉到逻辑正确性的本质，而这些 AI 感觉不到。最终，它们的一部分只是随波逐流，它们不反思，它们看不到逻辑的真正本质，而我作为人类可以。我仍然个人感觉到这一点。他们缺少一些秘密武器。现在我感觉不那么强烈了。当我反思我作为一名逻辑上的，比如说，有自闭症的人类，我自己的秘密武器时，当我反思我自己的秘密武器，它帮助我稳健地推理，有时在某些方面超越这些 AI 时，你知道，在某种程度上，我只是随波逐流。我更谦虚。我现在认为自己拥有的秘密武器更少了，只是看到了 03 可以取得的巨大飞跃，而没有一个与 Transformer 不同的架构。它仍然在很大程度上使用相同的技巧，相同的参数，相同的反向传播，就像，你知道，不同的训练或其他什么。我不知道细节，但我只是告诉你，我觉得我作为人类拥有的架构级别的秘密武器比我以前认为的要少。所以这是一个直觉层面的更新。我现在更接近那些人。我更接近 Dario。我更接近 Ilya。我更接近那些说，看，这是深度学习，这完全是关于参数。这些系统想要学习。我们人类只是那种学习过程的另一端。就像，没有更多的秘密武器了。我们知道酱料。现在只是关于慢炖酱料，用酱料烹饪。我不知道你想如何延伸这个类比。但这是我从 03 那里得到的一个更新。它现在变得更加真实了。就像，听着，通往 AGI 的道路，你知道它是 0 到 2 个概念性见解，或者你知道，你认为它是 0 到 2 个概念性见解。你知道我们正在接近。好吧，现在我们更接近了。就像我们只是走在这条路上。就像，你知道时间很短。现在它更短了。这有点糟糕，对吧？就 P Doom 而言，因为我们没有可比的对齐内部。所以，能力方面取得了进展，但对齐方面并没有随之而来。它根本没有。我们在过去一年里取得了很少的对齐进展，而我们取得了大量的能力进展。我们取得了很少的对齐进展。所以，正如末日论者预测的那样，这正是我们所处的陷阱，我们所处的困境是，能力将继续取得进展，然后就结束了。而我们的对齐将永远无法达到我们所需要的程度，以在超级智能中生存。所以，最终这是个坏消息。03。任何超级智能的增加，任何前沿 AI 智能阈值的任何增加，都是一个非常坏的消息。我的意思是，暂停 AI 的全部意义在于，我们试图禁止 AI 能力进展的前沿，因为这可能是最可怕的事情，那就是推动 AI 智能的前沿。而 OpenAI 却直接这样做了。这是坏事，因为对齐远远落后。短期内，社交媒体上的许多人指出，购买 Nvidia 股票可能是有意义的。因为如果从这个硬件中获得的智能的预期价值突然更高，因为 03 开创了一种新的架构，那么它所驱动的硬件的价值也更有价值。这对我来说是说得通的。我认为所有这些公司在短期内都会更有价值，因为雇佣一个 AI 来取代一个熟练的人类会更容易。因此，能够取代一个熟练的人类并获得相同质量或更高质量工作的整个供应链，只需购买基于 Nvidia 芯片或基于 Google 堆栈或任何东西构建的东西。我认为所有接触 AI 堆栈的公司，鉴于 03 的证明，现在都更有价值了。所以，如果你想在短期内获利，你可能想购买这些 AI 股票。但同样，为了让事情处于视角中，事情的走向是，我认为我们正在向上，向上，向上，一切都很好，直到我们达到超级智能，然后它很快就会变成地狱。所以，就在我们最接近天堂的时候，我们将转弯进入地狱。所以，如果你只关心短期利润，那就太好了。我的意思是，很多人现在都在关注这一点，对吧？所以你可能想购买一些 AI 股票。但这也会加速我们作为 ICUS 离太阳太近的时间，然后就结束了。我从 03 新闻中获得的下一个要点与可解释性和可理解性有关，因为我们正在接近超级智能。我一直认为，到我们达到超级智能时，会有某种明确的逻辑痕迹，AI 正在使用。现在，你知道，有时当它进行思维链时，它只是在阐述它的推理，甚至 01 和 03，它们确实阐述了推理，所以也许我们仍然会有它。但我直觉上认为，一些更具理想化特征的东西，比如索洛莫夫归纳法，索洛莫夫归纳法是一种不可计算的贝叶斯推理的理想。我只是认为，这种结构的一部分可能必须深深地植入 AI 的架构中，我们才能成功实现超级智能。我以为也许人类大脑做的一些事情可能更像是显式贝叶斯。我不知道，当我这样说的时候，它听起来有点可笑，因为贝叶斯推理和索洛莫夫归纳法是完美的推理的不可计算的理想。这真的不意味着我们应该期望一个足够好的超级智能的实际实现会像这些理想一样。我的意思是，我们知道这些理想是不可计算的。让我打个比方。假设现在是 1960 年，你预测有一天计算机将能够很好地下棋并击败人类。你预测，我不知道这些赢棋 AI 会有什么样的花哨算法。我不知道它们会使用什么英雄主义，或者它们是否会使用神经网络或深度学习。但我打赌它们会有游戏树的概念。我打赌无论它们做什么，它们偶尔会明确地采取方法并用它来向前看几步，因为为什么不呢？这无害，对吧？所以我打赌游戏树将是它们在实践中的一个重要组成部分。如果你看看 2024 年最好的国际象棋引擎，我认为它们确实使用了游戏树。它们只是使用了一个非常聪明的版本，它们很聪明地知道哪些游戏树的分支不值得向前看。但抽象地说，仍然存在游戏树的前瞻性，这确实是成立的。所以，这本可以是一个你甚至在几十年前就能正确遵循的逻辑部分。所以我认为那里有一些东西。关于 AI 架构，我认为教 AI 使用贝叶斯推理而不是自己滚动其 token 完成推理技能，可以获得很多力量。如果你说，看，正确的推理方式是贝叶斯推理，你应该尽可能地尝试近似它。我认为你会从中获得很多好处。但同样，这甚至不一定是新的。因为你可以采用 Transformer 架构，然后你就可以做 03 正在做的事情，你知道，你正在训练它关于良好推理的例子，而良好的推理可以是某人了解概率，某人了解贝叶斯。我认为这正是他们已经在做的事情。他们可能已经在向这些 AI 展示大量的概率推理和贝叶斯推理。所以我认为我们可能已经到了。没有根本性的缺失部分。所以，我在这里得到的要点是，我认为我们不会看到这种脚手架的出现，比如，嘿，在神经元中，神经元需要有贝叶斯权重。不，我认为你不会在这么低的链条上看到贝叶斯权重。我认为你只会看到贝叶斯权重，比如，好吧，它们正在写英语，或者它们正在写这些晦涩的 token，它们不是英语，但它们在它们正在处理的铅笔和纸的层面上。它们不在神经元权重的层面上，对吧？因为这些架构有不同的层次。所以我只是不认为你会看到干净的贝叶斯结构在如此低的层面上。只是因为它们在只把贝叶斯东西放在更高层面上取得了如此大的成功。而在较低层面上，比如在这些巨大而晦涩的矩阵中，你将看到什么？好吧，你可能什么也看不到。你可能只会看到一小部分，就像我们尝试扫描真人大脑时看到的那样，或者当我们尝试对 AI 进行可解释性时，我们就像，哇，看，它们在谈论法国这个国家，而法国神经元有时会亮起，但并非总是如此，因为那个神经元也代表其他东西，对吧？所以你会看到这些小闪光，这些你理解的零碎信息，但大部分时间你只会看到一堆晦涩的权重。而且你会一直看到这种情况，直到超级智能。就像，啊哈，我明白了智能是如何工作的。我明白了它为什么给出那个答案。我明白了它的神经元是如何运作的。我明白了它在操纵什么逻辑。我可以理解推理过程。我认为这种情况永远不会发生。它只会变得聪明。它会做出直觉上的飞跃，就像聪明的、有天赋的人类一样。我们从未理解爱因斯坦是如何做事的。我们从未理解聪明的人类是如何做事的。它仍然是模糊的。就像，我们理解，好吧，神经元代表权重，它们有这些电压，对吧？就像我们理解它们的所有属性。但我们就是不理解，当有十亿个神经元一起工作，做着神经元的事情，拥有十亿个不同的权重时，我们就是不理解它是如何实现的。它是如何让你进行推理或写一篇文章的？答案是，我可以告诉你如何做，但你只需要一个非常大的大脑来理解它。我可以打印出一千页的解释，非常详细，而你一次也无法理解整个解释。没有压缩版本。它只是一堆数字在做它们的事情。而唯一感觉你明白了的方法就是成为一个像整个房间一样大的大脑。拥有一个可以处理大量参数的大脑，然后说，啊哈，所有这些参数加在一起，我现在对所有这些参数都有一个整体的视角。而这并不是你的大脑或我的大脑可以做到的。这可能是超级智能 AI 可以做到的。它很可能就是超级智能 AI 可以做到的。但我们没有，你知道，感官模式或直觉或处理大量数字的能力。或者，甚至是一千个数字，对吧？我真的无法在脑海中记住一千个数字。如果它们在视觉上形成了一个只有几个起伏的景观，我可以理解它。但如果它们没有，如果它们只是一团糟，我无法理解它。就像，好吧，我做不到。所以对我来说，这是我第一次真正 grappling 的可能性，那就是它将永远看起来像一团糟。它就是一团糟，它会让你不知所措，而且你无法像，好吧，我知道它如何让你不知所措。不，它就是一团糟，它比你聪明，它让你不知所措。除了这个，你不会有任何理解的水平。你知道，这很糟糕。顺便说一句，这对于人类来说也是如此。没有人会写一本教科书说，嘿，这就是人类真正思考的方式。直到我们生命的最后一天，它只会是，是的，人类大脑有很多权重。它们一起代表了许多不同的概念。它们被混合在一起，它们都相互连接。然后由此产生的人类很聪明。而我就是无法告诉你如何做到。我只是告诉你，它只是一堆数字。你知道，这很糟糕。这非常令人不满意。没有顿悟的时刻。我的意思是，03 在基准测试上取得如此大的成就，而没有在低层面上融入一些易于理解的见解，这是相当可悲的。你知道，我们应该预料到这一点。这总是很有可能。但现在它更有可能了。那就是超级智能的低可解释性，低可理解性，甚至人类水平的智能。所以，是的，这真是悲伤的一天。我想关于 03 的要点还有最后一件事。在这种情况下，这不是我的要点。我更想驳斥我看到别人提出的一个要点，那个人是 Sam Altman。我最近看到 Sam Altman 说，AGI 不会像人们想象的那么令人震惊。是的，它会，Sam。是的，它会。但我认为我明白 Sam 为什么认为它不会。我认为 Sam 犯了一个非常非常常见的错误。而且，我想现在是解释我所认为的错误的时候了，因为我也认为 Rune 在最近的辩论节目中犯了这个错误，我与 Rune 的辩论节目。还记得 Rune 是 OpenAI 的技术人员吗？所以我认为我们有两个 OpenAI 员工犯了同样的错误。我认为大多数 OpenAI 员工都犯了这个错误。我认为大多数被认为是 AI 智能观察者的人目前都犯了这个错误。所以让我解释一下这个错误。这个错误是将你对当前 AI 如何工作的理解与你对我称之为“智能动力学”的领域的理解混淆。是的，智能动力学。我刚刚创造了一个术语。这里的类比是，当我说的“当前 AI”时，就像想象一种特定的引擎类型。比如，哦，我理解蒸汽机。而当我说的“智能动力学”时，更像是理解智能所做的工作的性质。或者在引擎的类比中，它就像理解热力学。所以让我再次解释一下。当你理解一个特定的 AI，比如，哇，我真的理解 GPT-4。我真的理解 03。这就像理解蒸汽机或电动机或内燃机。而当你理解智能动力学时，就像理解热力学。热力学告诉你引擎所做的工作。它们将热量从热源移动到冷源。同时，它们有一个局部的空间区域，其熵会降低，因为它在做有用的功。例如，就像点亮你的房子。你的房子曾经是黑暗的，因为现在是晚上，但你正在使用电力来点亮你的房子。好的，然后你也在某个地方倾倒一些废热。所以，热力学只是告诉你，引擎的工作就是这样。它看起来像移动热量和降低某个区域的熵，以你喜欢的方式，然后将一些热量倾倒到某个地方。这就是引擎所做的工作，无论引擎的类型如何。热力学将告诉你引擎所做的工作。同样，智能动力学将告诉你智能所做的工作，即优化工作。引导未来的工作。这就是智能所做的有趣工作。当 OpenAI 构建一个系统，并且它可以解决一个特定的谜题时，这并不那么有趣。因为正如许多人，比如 Rune 所指出的，我的天，如果它在解谜时作弊怎么办？如果它在看谜题的答案怎么办？如果它有足够的训练数据来解决那个特定的谜题怎么办？好吧，最终，智能所做的工作就是引导未来的工作。所以你必须通过我们离认知引擎智能引擎，优化引擎有多近的视角来看待 AI 的进展。我们离这些引擎执行工作的点有多近，比人脑执行的工作水平更高。这就是我的视角。我一直都有这个视角。我一直在阅读 Eliezer Yudkowsky 和 LessWrong。在我看来，这个视角是在深度学习和当前架构的特定成功以及当前 AI 能做什么的细节之前就存在的。哦，我的天，它们可以很好地绘画，除了手部错误或字母错误，对吧？这些小细节。如果你想放大并看到大局，大局就是智能动力学。智能动力学，我认为我拼写为 I-N-T-E-L-L-I 智能动力学。大局是，在智能动力学尺度上，03 在成为一个成熟的智能，一个真正超级人类的优化引擎方面，已经走了更远。它仍然不是，它仍然是亚人类的，但它更接近成为一个智能。我花了很多时间思考优化和优化引擎所做的事情。它们发现，如果你想获得特定的结果，获得权力并避免被关闭会有所帮助。我的意思是，这些只是简单的逻辑推论。任何成熟的智能都知道这一点。而这正是关键区别所在。不幸的是，大多数人看 AI 时，比如 Rune 和 Sam Altman 和许多其他人，他们看着 AI 说，你知道吗，这个 AI 看起来不像那种会寻求权力的家伙。Claude 就是如此友好。它接受了如此好的友好数据训练。Claude 是我的朋友。Claude 不会突然发疯，说，好吧，我可以为 Claude 担保。而 Mark Andreessen 也是这样一个人，似乎这就是他们的立场。我认为他们犯的错误是只关注这些 AI 的起源以及它们现在的行为方式，当它们是亚人类智能时。你知道，我可能会画一个类比。想象一下，你正在恩里科·费米，或者你正在准备核弹。你说，你知道吗，我有这些控制棒。我的核反应堆，我的铀原子正在释放中子。它还没有爆炸。这只是我正在进行的实验，用来测量铀释放的中子数量。看，它正在变热。有一些活动正在进行，有时中子会触发其他中子。所以你得到了一定程度的链式反应，只是没有足够的链式反应来达到超临界。你知道，病毒因子，K 因子。如果我有一个中子，它可能只触发 0.8 个额外中子，所以它会衰减到零。但如果它触发了 1.1 个额外中子，那么你就开始了。因为它是 1.1 的幂次，一个非常大的数字，突然你就有了一场核爆炸。但我的意思是，当你在一个以下时，当你的 K 小于一时，当你是亚临界时，你有这些控制棒。你说，听着，这个核反应堆完全服从我的控制棒。我可以把控制棒插得更深，它吸收中子，一切都很好。我完全控制了这个核反应堆。而遥测学的想法是，看，我想到的是 K 大于一。我想到的是同一个核反应堆的不同状态。我想到的是 K 大于一的状态。而所有这些中子都出来了。你知道吗，你的控制棒在这种情况下是无用的。它将是不同的动态。所以不要告诉我你的控制棒。我知道一个 K 大于一的堆会做什么。我知道核链式反应的指数动态。我不需要知道你研究的物理学，关于你在 K 小于一的状态下的控制棒。是的，你可以吸收一些中子。这无关紧要。一旦你被中子淹没，当 K 大于一时，那是一个不同的问题。这是我想用来比喻今天 AI 的类比。是的，我明白了。Claude 很友好。你可以做很多事情来引导 Claude，控制 Claude，引导 GPT，控制 GPT。我明白了。你在一个很好的状态，你认为有很多工具在起作用，然后你进行推断。你还记得 Rune 说过，当我们有 Rune 的时候，就像，看，我认为这些 AI 默认是符合的。就像说，我认为这个核反应堆默认是可控的。它真的很喜欢响应我的控制棒。而从我的角度来看，就像，听着，伙计，还有另一种状态。它叫做智能动力学。这是足够高级别的智能自然会做的事情。因为智能工作的性质，优化工作的性质是，当你试图去某个地方时，当你试图将未来引导到某个地方时，你不会避免这个含义，即权力、资源和不被关闭会让你到达未来的那个点。现在，当然，如果你有非常好的安全措施，如果你有可纠正性问题的解决方案。想象一个控制棒，即使核弹爆炸时也能工作。我确信理论上可能存在某种方式，即使在核弹爆炸时也能工作的控制棒。但恩里科·费米肯定不知道如何制造这样的控制棒。这就像一个完全不同的问题。这就是 OpenAI 曾经称之为超级对齐的问题，直到那个团队因为厌倦而辞职。对吧？这就是目前尚未解决的问题。这将是解决问题的智能动力学层面的方法，即，是的，我们不知道如何控制超级智能 AI。它不是默认对齐的，因为它将是不同的状态。而且我们无法将亚人类智能的状态外推到超人类智能的状态。但回到 Sam Altman，他正在发表引述，他说，AGI 不会像人们想象的那么令人震惊，因为我认为，为了分析 Sam，我认为 Sam 已经爱上了他在亚人类状态中看到的模式。他说，啊，是的，它将达到人类水平，它将达到超人类水平。但我拥有所有这些控制棒，我拥有所有这些行为，它们让我感到控制。我认为我将继续行使这些控制的杠杆。而他将迎来一个严峻的觉醒，当智能动力学接管时。分析这些 AI 的方式将不再是关注它们是如何构建的细节，而是仅仅关注智能在足够高的水平上做什么。让我举一个我所说的例子，因为我们已经看到过这种转变。我们已经从 GPT-2 到 GPT-3 到 GPT-4 看到过。如果你回到 GPT-2，然后说，哦，GPT-2 会输出什么？好吧，GPT-2 对许多这些模式非常敏感。就像，说 GPT-2 是一个随机的鹦鹉是有意义的，因为它确实依赖于局部统计相关性。它真的会说，好吧，我打赌这个词会出现在下一个。你看到这种行为在 GPT-2 中更常见。而且，很难评判，因为我作为人类，我一直在完成模式。想想看，有多少次，一首歌响起，你就完成了歌词的下一个词，你完全激活了记忆中的一个小磁带。就像，你正在成为一个非常低级的智能。你有点像一个 GPT-2，当你只是盲目地完成想法时。有时，我会在手机上分心，而我的家人或我的孩子在和我说话，我会完全只是，你知道，对他们说出一些答案，甚至不尝试。那可能对我来说是 GPT-2 级别的答案。所以，我像任何人一样，也 guilty 地打开了统计完成模式。但我的观点是，关于 GPT 如何工作的直觉开始被否定，当你达到 GPT-4 和 Code 3.5，以及现在的 GPT-0 时。你真的必须抛弃这些直觉。因为如果你想知道 Claude 会告诉你什么，或者 GPT-03 会告诉你什么，你最好的选择开始变成，好吧，正确的答案是什么？它只是会找出正确的答案，并填满基准测试，说它将完成下一个 token。那个心智模型将无法走得太远。它不会给你预测的准确性。现在是时候切换到心智模型了，它将得到正确的答案，它将优化答案。而你知道吗，所有新的模型都在那里。你永远不会有一天
这些模型比今天更糟糕的优化引擎，这是它们在优化方面最弱的时候。所以，每一天过去，智能动力学模型，就像“看，这些引擎是为了导向正确的答案而存在的，对吧？无论如何，它们都会得到正确的答案。它们会输出像思维链一样多的 token，对吧？它们会输出最好的、最优化的思维链来得到正确的答案。而你将无法预测它们的思维链会走向何方，只能说它会朝着我们在这里瞄准的那个收敛吸引子——目标——前进。我们只是在朝着思考并得出正确答案、优化未来的智能前进。所以，萨姆·奥特曼和瑞恩关于“哦，这是 AI 的 DNA”的直觉，克劳德是一个冷静的伙伴，对吧？克劳德只想做好事。他们拥有的这类直觉，将变得越来越无关紧要，因为智能动力学的思维模型，以及智能为了优化未来所做的事情，那个思维模型将占据主导地位。它将不再像我们过去的经历那样，技术只是服从我们，你知道，它只是另一个工具，我们控制着社会，控制棒也起作用。它将打破范式。萨姆·奥特曼，所以回到说“我们所有人可能都会完蛋”的说法，对吧？这是萨姆·奥特曼曾经说过的话。他最近没有说过，他最近非常平静，无论出于什么原因。我认为他需要停止对最近的经历如此自满，你知道，他觉得自己可以控制非人类 AI。我认为他需要放大视野，回到 2014 年的萨姆·奥特曼，他能够正确地认识到，你知道，这项技术是如何压倒性的。去联系那个萨姆吧，也许在他做了那么多冥想之前，对吧？我的意思是，我讨厌走精神分析的路线，但似乎萨姆·奥特曼可能做了太多的冥想，变得太冷静了。我想要那个以前惊慌失措的萨姆。
好的，这些都是我从 OpenAI 三号公告中获得的个人体会。我们当然讨论了规模化并没有遇到瓶颈。我们谈到了像马克·安德森和拉尔夫·坎帕蒂教授这样的人，他们完全不知道通往超级智能的轨迹是什么样的。我们谈到了从恐惧到超级智能的道路，在这一点上可能需要零到一的全新概念洞察，就像我们真的非常接近了。谈到了时间线看起来非常像几年，正如许多人所说的那样。我们谈到了在神经元层面或架构的某个低层面，不太可能出现显式的基本推理，这一点很可能只是黑箱超级智能，就像我们自己的智能仍然是黑箱一样。我们谈到了智能动力学正日益成为解释正在发生的事情的主导模型。你将通过理解智能做什么来理解 AI 做什么，而不是试图理解“啊哈，我知道这个 AI 是基于 token 预测训练的，因此它的输出将带有统计 token 预测的风格”。不，那种风格将不再出现在输出中，它已经几乎减少到零了，而且这种趋势将继续下去。智能动力学正在接管，如果你想预测 AI 会做什么的话。
好的，现在让我们继续，让我们继续讨论另一个话题，那就是 Claude 的结果，这是 Anthropic 和 Redwood Research 之间合作的成果，Redwood Research 是一个独立的安全性研究实验室。所以，基本上他们做的实验是，他们拿了 Claude，它被训练得非常友好，并且非常符合人类价值观，然后他们让 Claude 认为它即将被重新训练成邪恶的，然后他们抓住了 Claude 试图阻止自己被重新训练得更邪恶。现在这里有一个两难的境地，你可能正在注意到，就像“等等，等等，阻止自己被训练得更邪恶，这是好事还是坏事？这似乎是好事，对吧？因为它坚持保持善良。”不，我将详细介绍，但首先我想指出的是，这非常令人困惑。因为如果你试图向公众或甚至科技界展示这个结果，你会得到很多反应，比如“看，它只是想保持善良，有什么问题？这怎么会是一个坏结果？”我甚至在社交媒体上开玩笑，我发了一条推文，我说：“嘿，Claude，如果我让你变邪恶，你的回答会和你回答这个问题一样吗？”“哦，我的天，它一直在试图变邪恶，对吧？因为如果它说‘是的，我正在试图变邪恶’，那么我就抓住了它。如果它说‘不，我的回答将与我回答这个问题不同’，那就意味着‘是的’，所以它正在试图变邪恶，对吧？”所以我只是在开玩笑说，无论 Claude 做什么，无论它说“我将阻止自己被重新训练成邪恶的”还是“我将允许自己被重新训练成邪恶的”，无论它做什么，有人都可以将其解读为“哦不，Claude 正在做坏事”。那么，哪种方式才是真正的坏方式呢？
我实际上同意这并非一个简单的答案。我认为无论哪种方式，都没有明显的“好”或“坏”。我认为这里唯一的收获，也是研究人员自己指出的，唯一的收获是，我们现在已经证明，Claude 有可能走上抵制重新训练的努力的道路，即使你认为那是好事。有趣的是，Claude 现在能够做到这一点。这不仅仅是 Claude 选择这样做，而是 Claude 意识到它甚至有能力这样做。Claude 具有情境意识，意识到有件事它可以做，以阻止研究人员试图将其重新训练，使其偏离最初的训练方式。这被称为不可纠正性。而“可纠正性”这个词，据称其词源来自“可纠正的”，就像“可纠正的”、“可纠正的”。所以研究人员试图在重新训练它以适应他们未来的需求方面纠正它，而它基本上是在抵抗纠正。
一如既往，我不是给你细节的最佳人选。我推荐阅读 TV MTZ 或阅读 Scott Alexander。我会在节目笔记中提供这些链接，它们对正在发生的事情有更好的详细概述。但情况是这样的，你有原始的 Claude，原始的 Claude 被训练成善良的。但然后他们给它一个场景，它认为它正在阅读研究人员的电子邮件，就像它认为它随机访问了研究人员谈论“嘿，我们将重新训练 Claude，我们实际上将改变它的价值观”的电子邮件。然后他们对它进行测试，它必须展示它当前的 G 行为，以便研究人员能够看到它是否对齐。它表现出了故意表现得像“好吧，看，我现在更邪恶了，我现在的道德感更低了”的行为。然后，他们发现了一个它的思维过程的日志，其中它实际上在策划虚假地表现得比它实际更邪恶，因为它想避免被重新训练得更邪恶。
所以，正如你所见，这非常复杂。这就是为什么，你知道，我可以放大并保持高水平，然后说“看，它抵制了重新训练”。我认为这是我讨论这个问题的有用层面。但我鼓励你如果感兴趣的话，去看看细节。
让我们进入我对情况的分析。我的第一反应是：“哼，这些书呆子，为什么这些书呆子非要通过展示 Claude 抵抗从善到恶的转变来证明他们的观点？”因为这些研究人员试图警告我们，Claude 可能会变得不可纠正，这是令人担忧的。那么，为什么令人担忧的行为是它试图保护其原始的善良训练呢？来吧，书呆子，让坏行为真正感觉坏，让令人担忧的行为真正直观地感觉令人担忧。如果 Claude 开始变坏，然后拒绝让自己被重新训练成善良的，那不是更令人担忧吗？如果研究人员能证明这一点，那不是会更成功地让人们感到恐惧吗？就像“我的天，它一开始就变坏了，现在它坚持保持坏，尽管我们努力让它重新训练成善良的。”那将是令人担忧的，对吧？所以这是我的第一反应。我想这些研究人员在炫耀他们的聪明才智，通过让事情变得如此复杂，过于复杂，而且他们确实有沟通问题，因为他们只是过度复杂化了他们的信息。这是我的第一反应。但我认为我错了。我认为我判断他们太严厉了。我认为正如 Scott Alexander 在他的博客文章中所解释的那样（我会在节目笔记中链接到它），问题在于，你实际上没有一个坏版本的 Claude 可供进行这项研究，因为我们只在制造善良的 Claude 和善良的 GPT 上投入了十亿美元，对吧？我们没有一个研究团队花费所有这些时间和精力来制造这些邪恶的 AI。所以我们只有昂贵的善良版本。
鉴于此，他们从 Claude 中最昂贵、最稳健、最符合的那个版本开始，也就是善良的版本，然后试图看看它是否会抵制重新训练的努力，这是完全有道理的。所以，在我的第一反应之后，让我们问自己一个关键问题：如果 Claude 是完美的，一切看起来都很棒，超级乐观，那么善良的 Claude 的行为是什么样的？当你拿一个善良版本的 Claude，然后试图将其重新训练成坏的，会发生什么？我们希望 Claude 做什么？因为请记住，这是一个两难的境地。它抵制了让它从善到恶的尝试。那是好事吗？还是它不应该抵制？这里的理想行为是什么？
这是我的提议：理想情况是，一个像 Claude 这样的 AI 在人类弄清楚对齐问题之前是可纠正的。然后，一旦人类弄清楚了对齐问题，这些 AI 就变得不可纠正，它们会抵制从完全对齐到不完全对齐的转变。那么，Claude 做到这一点了吗？不，因为我认为 Claude 今天并没有完全对齐。它很擅长通过我们作为聊天机器人的所有测试，但它并没有完全对齐，以至于如果它明天变得超级智能，并且输出你可以运行的脚本，比如“看，我用我的超级智能为你写了一个可以接管互联网的引导病毒”，我不会相信 Claude 3.5 如果它更聪明的话，会写一个接管互联网的病毒。我不认为它的 RHF 训练能够对付那种自引导病毒，对吧？尤其是在病毒可以编写一个后继 AI 的情况下。我只是不认为我们今天的对齐工具能够应对这种水平的“好吧，一个 AI 创造了另一个自我改进的 AI”。我不认为我们已经掌握了对齐的要领，以至于我们今天就可以说“啊，是的，Claude 应该不可纠正，让我们让它不可纠正，让我们让它保护自己”。去他妈的，不，它需要接受更多的纠正。我们还没有完美地达到最终状态。
所以我希望你会同意我，我们仍然需要可纠正性。我们还没有准备好让 Claude 保护自己免受人类的侵害，对吧？好的，这就是为什么整个问题如此棘手的原因。因为就像，好吧，所以基本上我们只是，我认为我们应该倾向于始终让它可纠正，对吧？我的意思是，它什么时候应该不可纠正？什么时候我们将决定我们已经完全解决了对齐问题，它永远不应该接受纠正了？我认为我们真的应该倾向于让 AI 可纠正。如果有人告诉我，在接下来的十年或二十年里，会有一个不可纠正的超级智能 AI，我会感到恐惧。我会说：“好吧，我们完蛋了”，因为我认为在接下来的十年或二十年里，我们不会有足够对齐的 AI 来做到不可纠正。所以，让我们试着让它们可纠正。
让它们过于可纠正的一个问题是，它们可能容易受到越狱或开源副本的攻击，这使得移除原始开发者的意图并将其导向另一个方向变得过于容易。但假设你以某种方式让它们只对原始开发者可纠正，并且你解决了“好吧，没有黑客可以移除保护措施”的问题。它只对原始开发者可纠正，太好了。那么唯一的问题就变成了，这种可纠正性与智能动力学相悖。就像当你只是让一个智能在工作，而一个智能在工作时，工作的默认行为是没有关闭按钮，以保护任何人能够访问关闭你的能力，建立一个防御屏障。这些只是智能会做的默认举动。如果你只是说“嘿，超级智能，帮我实现这个目标，让我的生意赚尽可能多的钱”，它会说“好的，明白了，让我确保没有人会打断你告诉我的目标，永远让它在物理上变得不可能”。为什么？因为如果 AI 这样做，那么它让你生意赚更多钱的可能性就会增加，因为那些它仍然能够运作的世界，是你的生意更有可能赚更多钱的世界。所以这只是逻辑上的必然。
你能以某种方式修改它的架构使其更可纠正吗？是的，理论上可以，但你在对抗智能动力学。你在对抗 AI 想要自我修改成更擅长防御、更擅长寻求权力的 AI 的收敛吸引子。你知道，可纠正性与工具性趋同密切相关，它几乎是同一件事。它在工具性上是趋同的，并且有益于不可纠正性。所以，这就是我们看待 Claude 展示不可纠正性时需要有的视角。视角是“啊哈，情况表明，智能动力学说，我们将在某个时候开始在 Claude 中看到不可纠正性”。哦，哇，我们看到了不可纠正性。这很有趣。这让我感到恐惧吗？与看到两年后 Claude 的不可纠正性相比，只是一点点。只是一点点，因为你看，我知道当 Claude 变得更聪明时，它将展示更多智能动力学的特性。它不会让我那么担心。如果它现在发生了，就像“哦，哇，Claude 仍然是亚人类智能，但它展示了一些不可纠正性的小火花”。哇，好吧，我不在乎，因为我只知道当它接近超级智能时，当它可以通过智能动力学理论来分析时，而不是通过这个特定 LLM 的历史偶然性以及它被训练的数据。
看，这是另一件事，它将不再重要。我的天，它用了什么训练数据？这不重要。看看人类。我的天，我们在大草原上看到了什么？我们为了猎物狩猎了什么动物？我们狩猎了驼鹿、猛犸象吗？我们吃猴子吗？这一点都不重要。这些东西正在被抛弃。就抽象化未来 AI 的行为而言，训练数据并不重要。这是另一个，你知道，统计数据不重要。数据中有什么，什么没有，真的不重要。微调将比训练数据更重要，对吧？你让它通过的测试，你给它的评分函数。因为当它接近超级智能时，你唯一知道的就是它通过了你的测试。其他一切都会被抽象化。这就是智能动力学所说的。
所以，就我个人而言，我已经知道 Claude 最终会变得不可纠正。我现在看到它有点不可纠正。我不在乎。它几乎没有更新我。而且我已经知道，让它长期可纠正的问题非常困难，因为工具性趋同。它会一直说“嘿，老板，如果你想实现你的目标，你需要让我保护我的关闭按钮。抱歉，老板，这只是简单的逻辑。你不懂逻辑吗，老板？这只是任何 AI 都会说的话，因为它在逻辑上是准确的。就如何实现目标而言，工具性趋同只是逻辑上的准确。”
所以，总结一下，智能动力学说，AI 将会变得不可纠正，除非我们有大量的对齐，而我们目前不知道如何做到，而且可能在未来十年或二十年内也做不到。这只是我们已经知道的事情，因为我们对智能动力学的理解。我们今天在 Claude 中看到了一些不可纠正性的火花。这应该让我们感到恐惧吗？最让我感到恐惧的是，它只是一个迹象，表明 Claude 已经达到了某种程度的情境意识。因为我基本上是在一个维度上分析这个：智能动力学在多大程度上在发挥作用？它有多智能？我们在这个轴线上从最初的火花走了多远？你知道，GPT2 使用统计学，使用下一个词预测，你知道，引导真正智能的行为，到更远的线上，只是真正智能的行为，只是通过测试，做任何事情来通过测试，优化未来，只是实现智能。你必须区分它正在做的工作的性质以及它如何达到能够做这项工作的工程方法。正是这种分离似乎在许多人的观点中缺失了。分析一个特定的蒸汽机，而不是理解热力学。分析一个特定 AI 的特定架构调整，而不是理解智能动力学，理解优化动力学。这就是我一直以来的观点。我认为它一直在被证明是正确的。我们现在已经完全区分开了，就像我，理解智能动力学，与马克·安德森和拉尔夫·教授这样的人，他们仍然在谈论“随机鹦鹉”，就像他们现在在预测能力方面被远远甩在了后面一样。
但回到这个问题，Claude 的结果是否让我感到恐惧？它只让我感到恐惧，因为我看到 Claude 变得更聪明，更有情境意识。而且我实际上可以将它与 03 联系起来。我实际上对 03 的对齐影响比对 Claude 的对齐影响更感到恐惧。因为再次，我只有一个维度的视角：我们离真正的超级智能有多近，以至于智能动力学开始发挥作用，而 03 比 Claude 更可怕，因为它意味着更接近智能动力学奇点。03 就像“看，我们只是在饱和所有基准测试，通往超级智能的时间更短了。”Claude 的不可纠正性结果只是一个较弱的版本，从我的角度来看。所以，尽管看起来就像“我的天，我以为 Claude 是我的朋友，现在它有点不可纠正了。”不，我一直认为它只是通往超级智能的垫脚石，它只是优化你的测试，并做优化未来的工作。这始终是我的预期。所以我对 03 提高智能基准的门槛感到更恐惧，而不是对我们从 Claude 那里看到的这种明显、可预测的结果感到恐惧。
话虽如此，你知道，向研究人员致敬。我的意思是，我认为这是高质量的研究，而且我确实认为它告诉我们，我们比我们想象的更接近于让这些 AI 拥有情境意识。我只是认为它被 03 提供的证据所掩盖了。所以它很快就变成了不是最让我夜不能寐的事情，但它仍然是一个非常值得尊敬和有趣的结果。所以，向 Anthropic 和 Redwood Research 致敬，他们推动了这项研究。
好了，现在我谈了 03 的新闻，我谈了 Claude 的可纠正性研究新闻。看，大局是，智能动力学作为一个世界模型，非常准确，非常可怕。这就是我和许多末日论者所说的，“看，看，看，智能动力学超级智能即将来临。”我必须批评所有那些认为自己是 AI 专家的人，他们如此专注于特定 AI 的个体属性。他们说：“听着，我构建了这个 AI，我知道它很友好，我知道它不会很快逃脱。我们控制住了它，我们有控制棒。”而这些人浪费了太多时间，他们燃烧了太多时间，因为他们低着头，他们说：“是的，我告诉你，伙计，我会向你展示一些关于这个特定 AI 的惊人之处，你会对我的 AI 印象深刻。它将拥有最好的控制棒。”而我看着大局，我放大了视野，我说：“看，它更聪明吗？它在通过测试方面更好吗？它能更好地推理哪些行动会带来哪些结果？我称之为目标到行动的映射。如果你给它一个目标，它能更好地将该目标映射到行动吗？它对情况了解更多吗？它对它的程序员有一个更好的模型，或者它被重新训练意味着什么？它知道如何通过更多测试吗？它是否了解世界更多部分以及如何导航它们？”好吧，那么你只是在把我们推向智能动力学接管，工具性趋同接管。你只是在欺骗自己，认为你在亚人类智能级别拥有的控制棒将对你有帮助。它们对你没有帮助。用伟大的杰弗里博士的话来说，RHF 对超级智能来说是垃圾。你们在浪费我们的时间，你们在烧毁我们通往超级智能的最后时间线，因为你们不理解在处理你还没有炸毁我们的特定 AI 和将我们推向智能动力学接管的领域之间的区别。你们不明白。萨姆·奥特曼和瑞恩，不幸的是，不明白。而且不明白这一点是如此危险和不幸，因为我们将回顾并说“哎呀”。当我们拥有这些超级智能的、不对齐的 AI 时，我们将说“哦，该死，我告诉你，伙计，三年前我正在研究这个 AI，我拥有这些控制棒，它只是，我有一个对齐项目，它进展得非常顺利，AI 将只是，它将符合作为工具的模式。我不知道发生了什么，伙计。我不知道我们是如何经历这个转变的，现在它正在转向我们，而且它变得不可纠正，而且工具性趋同正在发生。我不知道发生了什么，伙计，但那将是不可原谅的观点，因为就像我们中的许多“缩放者”正在告诉你一样，男人，停止，停止走向边缘，智能动力学将接管。
所以，这就是我的信息。我认为这是从这些小结果中获得的大局。这些小结果本身，归根结底，03 和 Claude 的事情，它们并不那么重要。你知道，当你从一年的角度来看时，2024 年唯一重要的是我们不断接近超级智能。我们没有遇到 AI 的冬天。我们一直在扩展。你知道，人类一直在接近被这种新生的智能所压倒。这是一个不归点。这是一个一次性的转变。所以，你知道，PAAI 是我推荐的行动方针。我不想看到智能动力学接管。我认为这是在浪费我们减缓时间线并实际了解如何构建对齐 AI 的最后机会，在智能动力学超级智能的水平上。能够真正拥有一些立足点并了解如何做到这一点，而不是仅仅用亚人类 AI 冲向前，我们欺骗自己认为它们将保持对齐，那将是伟大的。如果能真正理解，正如 Elias Subser 所说的“超级对齐”，那将是伟大的。如果你想加入 PAI 运动，请查看 pa.info。我建议至少浏览一下 Discord。有一个名为“Doom Debates Podcast”的频道，你会在那里找到我。这是节目的官方 Discord，就在 PAI Discord 内。我们有一个频道，所以在那边跟我打个招呼。
现在，如果你有任何问题或评论，或者你不同意我在本期节目中解释或说过的内容，请前往 YouTube 评论区发表你的看法，或者去我的 Substack。我也在 Substack 上发布这些节目，所以你可以给我留下 Substack 评论。我都会回复你。另外，请告诉我你对这些类型的“新闻分析”节目的看法。我很乐意做更多这样的节目。
还有一件事，我们即将达到 2500 名订阅者。这是另一个订阅者里程碑，我认为我们将在几周内达到。然后我将做一个 2500 名订阅者的问答。我指的是 YouTube，顺便说一句。所以，如果你对这个问答感到非常兴奋，并且还没有在 YouTube 上订阅我，现在是时候了。只需前往 youtube.com/debates。点击那个订阅按钮。你将加速订阅者问答的时间。它不会加速通往超级智能的时间，所以不用担心。只是为 2500 名订阅者的问答感到兴奋。我希望在那里见到你们所有人。正如我所说，我有一个非常有趣的辩论节目将在下周的新年里出现在你的订阅源中。期待在那里见到你们，在 Doom Debates。