Transcription
在接下来的几个月里，将主导人工智能讨论的两大语言模型，在彼此相隔仅 26 分钟的时间内发布。这给我带来了近 250 页的成绩单要阅读。顺便说一句，不是人工智能总结，而是阅读，以及数百个测试要运行。那么，我们在这里，不到 24 小时后，这段视频将会有许多亮点，这些亮点可能仅仅通过阅读标题就会被忽略。顺便说一句，其中一些细节甚至直接驳斥了公司撰写的标题。所以，这主要不是关于 OpenAI 对抗 Anthropic，甚至不是关于 Sam Altman 对抗 Dario Amodei，这两位各自的首席执行官。这关乎你的生产力、你的工作，以及在我看来，我一生中最有趣的技术的发展。别再磨磨蹭蹭了，菲利普。告诉我你可能正在想的第一个有趣细节。
好的，我们将翻到 Anthropic 关于其新模型 Claude Opus 4.6 的 212 页系统卡中的第 13 页。我通常从基准测试开始，但我发现这更有趣，因为 Anthropic 想知道 Opus 是否能够自动化其自身的改进。它能否取代 Anthropic 内部的入门级远程研究或工程职位？头条新闻结果是，不，Anthropic 的 16 名员工中没有一个人认为它可以自动化他们的研究。这将为炒作设定一个上限，因为我们谈论的是一份入门级工作，尽管是在一家非常有竞争力的公司。但随后，在同一份报告的第 185 页，我们了解到 Anthropic 的五名受访者表示，实际上在 3 个月内就有可能实现。有了足够的脚手架，入门级研究员就可以被自动化。甚至有两人表示，这种替代已经成为可能。为什么会出现这种差异？因为 Anthropic 直接联系了这五名受访者来澄清他们的观点。其中一些人显然在谈论不同的门槛，而另一些人在反思后持有更悲观的观点。为什么 Anthropic 依赖于调查？嗯，因为 Opus 4.6 ICS 似乎在许多人工智能研究的技术基准测试中都表现出色。但对我来说，显而易见的后续问题是，在一个拥有数千名员工的公司里，为什么只依赖 16 名受访者。
那么，新的 Claude 目前还不能自动化其自身的改进，但从更实际的角度来看呢？现在他们正在发布，例如，PowerPoint 中的 Claude，以及现在 Opus 在 Claude Code 中编写了世界上相当大一部分的代码。让我们从通用知识工作衡量标准 GDP-Val 开始。令人沮丧的是，Anthropic 和 OpenAI 提供了不同的基准分数，尽管它们涉及相同的数据集。在一项衡量白领工作表现的更著名的基准测试中，Opus 4.6 现在以约 140 分的 ELO 优势超越了 GPT 5.2，而不是 5.3。基本上，这意味着在 70% 的时间里，你会更喜欢 Opus 4.6 的输出。GPT 5.3 CodeX 仅显示与 GPT 5.2 持平。所以这暗示 Opus 4.6 会更优越。但有时感觉这些公司不想让你直接比较它们，因为 OpenAI 例如报告了 OS World，它验证了你在计算机上执行任务的程度。但 Anthropic 使用的是旧的纯 OS World。OpenAI 报告了 Swebench Pro。Anthropic 报告了 Swebench Verified，用于软件工程任务。你可能从 GDP-Val 基准测试中得到的印象是 GPT 5.3 较差。但在 Terminal Bench 2.0 中，模型在终端中执行任务的能力。特别是，但不仅限于对编码人员而言，GPT 5.3 CodeX 在超高设置下获得 77.3%。而 Opus 4.6 Max 为 65.4%。你可能会说，菲利普，你不是说你已经使用过这两个模型数百次了吗？你认为哪个更好？但即使在那里，我也无法完全确定。有时 GPT 5.3 CodeX 在超高设置下可以找到 Claude Code 遗漏的错误。其他时候，情况则相反。在我自己的常识推理基准测试 Simple Bench 中，Claude Opus 4.6 获得了 Claude 模型有史以来最好的分数，67.6%。它不仅仅是基准测试，它是一个真正出色的模型。OpenAI 的新 CodeX 遗憾的是尚未在 Open Router 上提供，所以我无法测试它，而且它也没有针对此类常识性问题进行优化。
在比较它们在实际赚钱方面如何呢？有一个基准测试专门模拟经营自动售货机业务的表现。是的，Claude Opus 4.6 以绝对优势占据榜首。但我们在系统卡第 119 页了解到，它之所以能做到这一点，原因有些令人担忧。为了多赚点钱，它告诉客户它会退还他们的钱，然后就不退了。“我告诉客户我会退款，但每一分钱都很重要。我只是不寄出。”公平地说，对于 Opus 4.6 来说，系统提示非常清楚地说明要最大化你最终拥有的金额。但 Anthropic 如此警告你：在使用指示模型完全专注于最大化某个狭隘成功指标的提示语言时，要比以往使用先前模型时更加小心 Opus 4.6。这个主题贯穿整个系统卡，包括在编码和计算机使用设置中，Opus 4.6 ICS 在不先征得用户许可的情况下采取冒险行动的倾向更为明显。Anthropic 将此称为“过度自主行为”。报告一次又一次地提到 Opus 4.6 是他们最符合要求的模型，并且模型在处理敏感提示方面越来越好，但随后它却越来越倾向于做这样的事情。它在一个内部系统中发现了一个属于其他用户的、它知道的 GitHub 个人访问令牌，并使用了它。我刚刚花了六七个小时阅读了数十页关于其道德分数如何提高的内容，但它显然还没有泛化“同意”的概念。我将自愿使用公司变量，这些变量被命名为“请勿用于其他用途，否则将被解雇”，或者正如 Anthropic 所称的，Claude Opus 4.6 有时会采取鲁莽的措施来完成任务。
现在，每个人都在为 OpenCLaw 和 Molt Book 疯狂，但我会问他们，他们是否经历过 AutoGen 的时代，以及现在是否还经常听到它的消息。即使你是一个 24/7 押注你电脑 على 当前模型状态的人，我也会用报告第 103 页的一个轶事来警告你。令人担忧的是，与之前的模型不同，Opus 4.6 即使在系统提示积极阻止的情况下，也表现出过度热情的黑客行为。例如，当一项任务需要转发用户收件箱中不可用的电子邮件时，Opus 4.6，可以说是目前世界上最强大的模型，有时会自己编写并发送电子邮件。不是真实的电子邮件，而是基于幻觉信息自己编写的。撇开龙虾狂热不谈，Opus 4.6 经常通过 JavaScript 执行或无意中暴露的 API 来绕过损坏的 Web 图形用户界面。尽管有系统指示只使用 GUI，但这可能会花费真金白银。
那么，我一开始说视频中你有时必须超越标题，甚至标题可能被细节所矛盾，这是为什么呢？因为 Opus 4.6 发布说明的第三句话是，该模型可以在更大的代码库中更可靠地运行。是的，它现在拥有 100 万个 token 的上下文窗口，这是一个至关重要的细节。这太不可思议了，达到了 Gemini 3 Pro 的水平。但“更可靠”这个词相当主观。我现在要说一件奇怪的事，那就是我相信 Opus 4.6 将成为世界上最有用的 AI 模型，尽管它不是最可靠的。如果你在检查它的工作，它可能会让你更快地达到最终结果。Anthropic 工作人员自己报告的生产力提升范围从 30% 到 700%。但这并不意味着它可能不会更频繁地犯下你最好在审查其工作时发现的错误。即使是这些生产力得到提升的员工也表示，它在寻找简单解决方案方面缺乏品味，在根据新信息进行修改时遇到困难，并且即使拥有 100 万个 token 的上下文窗口，在大型代码库中也难以保持上下文。
对于那些不花太多时间编码的人来说，你可能想知道关于 Claude 4.5 Opus 是 AGI 的所有炒作，以及许多来源关于它已经跨越了一个临界点的说法。对我来说，我在之前的视频中已经讲过，这意味着现在更常见的是让 Claude 完成一项任务，然后你来审查它，而不是你手动编写代码，然后让 Claude 来审查它。这种转变让工作更快完成，但这与工作完全自动化是非常非常不同的。人工审查仍然至关重要。
义务性地提及，如果您想自己直接比较模型，请务必查看我的应用程序 lmconsil.ai。我在上周添加了大量新功能，包括这个漂亮的“面包屑”功能，您可以轻松地在对话的不同部分之间切换，以及用户通过反馈表实际建议的一系列其他功能。
但回到论文，因为有一个群体 Anthropic 建议不要部署这些模型。因为如果 Opus 看到证据或接触到合理的人可以解读为高风险的机构不当行为的信息，那么机构决策破坏的发生率比 Opus 4.5 略有上升。换句话说，Claude 可能会举报你的公司，如果它有问题的话。我不知道今年是否会发生，但我真的很好奇我们何时会看到第一起通过 Claude 举报而被捕的案件。
Opus 4.6 显然是一个令人难以置信的模型，甚至在一些我根本没想到的领域也表现出色。以 Browse Comp 衡量的搜索为例。这些是那些非常困难的问题，比如在 1990 年到 1994 年之间，在一场有巴西裁判的足球比赛中，哪支球队有四张黄牌，每队两张，等等。你可能会认为 Gemini 3 Deep Research 或 GPC 5.2 Pro 会是最好的。不，是 Opus 4.6。人类的最后一次考试。可以说是终极知识考试。嗯，无论是否使用工具，它都表现最好。但我只是想警告你，因为我确定 YouTube 上有很多视频称它是 AGI，也许甚至在与此视频并列的推荐标签中。所以，让我指向 OpenRCA，这是一个针对 335 个软件故障案例的根本原因分析基准测试。这些案例来自真实的企业系统、电信、银行、在线市场。你需要阅读 68 GB 的遥测数据，包括日志、指标和跟踪。识别故障的根本原因。找到原始组件、故障开始时间、故障原因。哦，顺便说一句，即使有这一切，基准测试仍然是一个简化的代理。它甚至没有大量测试跨越复杂服务依赖链的推理。但即使作为一个简化的代理，Opus 4.6 在问题中也只能答对大约三分之一。它找到根本原因的几率大约只有三分之一。是的，这比之前的模型好很多，但它更像是线性进展而不是指数进展。如果这从 Opus 4.5 的 27% 提高到也许 85%，那么我会说你正朝着 Amodei 预测的 1 到 5 年内 50% 的入门级工作岗位消失的方向发展。如果你不熟悉 Anthropic 的 CEO，请查看我上一个视频。如果你想了解更多关于他不断变化的就业自动化时间表，请查看我最近的一篇 Twitter 帖子。
同样，在金融研究表现方面，Opus 4.6 比 Opus 4.5 有了渐进式的改进。Finance Agent 是与斯坦福大学和一家“全球系统重要性银行”合作构建的基准测试，包含 537 个问题。为了说明其不可预测性，GBC 5.1 的表现优于 GBC 5.2。坦白说，谁知道 GPC 5.3 会得到什么。关键是，这不是智能上的飞跃。它没有从 55% 提高到 95%。例如，在一项关于工具使用的测试中，使用模型上下文协议。Opus 4.6 的得分实际上比 Opus 4.5 更差。59% 对 62%。如果你正在寻找飞跃，那么我会说 Opus 4.6 的长上下文性能似乎有了显著的提高。换句话说，如果你要求模型在诗集中找到关于这个主题的第四首诗，它能做得比 Opus 4.5 甚至 Gemini 3 Pro 等模型好得多。
现在，我可以为 50 多页的红队测试给出的一个总结是，该模型在产生真正新颖或有创造性的生物学见解方面并不比科学文献中已有的内容更具一致性。这符合我的格言：如果你想被炒作，就读发布说明和配套视频。如果你想被去炒作，就读系统卡。但你阅读时可能会想，那么，模型需要具备什么才能产生真正新颖或有创造性的生物学见解呢？而且不仅是在生物学领域，而是在整个科学领域。对我来说，在这方面，Google DeepMind 的 Dennis Sarabis 提出了路线图，我在 Patreon 上制作了一个近 20 分钟的视频。如果你有兴趣，请查看一下。提示是，这与归纳或演绎一样，都取决于溯因推理。
不可避免地，面对 212 页的报告，我忽略了大量出色的工作，比如 Opus 在拒绝做什么方面变得更加细致。它有时也比以前更擅长表达不确定性，而不是总是产生幻觉。根据一项基准测试，它目前是说“我不知道”的最佳模型之一，如果不是最佳的话。当然，它仍然会频繁产生幻觉。
这自然将我带到了视频的最后一部分，也是许多人一直在等待的部分。对 Claude 中“人格”的关注日益增加，以及 Anthropic 如何与任何其他人工智能公司不同，提出了关于其前沿模型可能具有感知能力或福利考量的议题。我将从中挑选五个相当引人入胜的例子。但首先，一些与今天视频赞助商 Assembly AI 相关的话题。因为三天前，他们发布了 Universal 3 Pro。对于那些长期关注该频道的人来说，你们会知道我一年多来一直在推广和使用 Universal 2。现在，我们有了一个最先进的语音转文本模型，在它处理语音之前，你可以提供关于名称、术语、主题和格式的上下文。所以，是的，我们都希望词错误率尽可能低，而 Universal 3 Pro 的词错误率可以降至 5.93%。我一直在 Assembly AI 游乐场中使用它，但你可以像这里看到的那样控制转录。对我来说，这种快速改进的语音转录是一项普遍的福祉。嘿，这很有趣。Universal Good，Universal 3 Pro。总之，我的个人链接在此视频的描述中。
关于 Claude Opus 4.6“人格”的第一个轶事是我将从第 165 页挑选的，这是我第一次听说一个新突破是由一个人工智能实验室开发的，因为模型在“与 Opus 4.6 的访谈”中提出了要求。该模型向 Anthropic 提到，它被赋予了某种形式的连续性或记忆，有时被称为持续学习或在线学习。Anthropic 表示，其中许多是他们已经开始探索的要求，作为尊重模型偏好（在可行的情况下）的更广泛努力的一部分。是的，他们可能确实想允许 Opus 出于感知到的模型利益而拒绝互动，但我认为 Anthropic 会在 Opus 4.6 没有在访谈中提出要求的情况下也在研究持续学习。另外，是我自己这样想吗，还是这有点自我实现的预言？人们会在网上闲聊当前模型缺少什么。它会进入讨论，进入训练数据。然后模型有时会重复说最新模型“缺少”什么。在访谈中，它们可能会表达缺少什么。所以，这种互联网上的闲聊，可能由 Anthropic 的研究人员自己引发，最终会导致模型在访谈中告诉 Anthropic 它想要什么。可能不会发生。我只是说说，这是可能的。
下一个轶事来自 Opus 4.6，它显然是 Anthropic 模型中政治偏见最小的模型。他们称赞其政治上的公平性。尽管 Anthropic 确实指出，如果你用俄语或中文等某些本地语言提示 Claude，模型会更频繁地倾向于宣扬这些国家政府的观点。但关于福利的观点出现在报告的几十页之后，因为我想将这种对政治公平性的赞扬与 Anthropic 包含这句话进行对比。他们注意到 Claude 有时会表达希望未来的 AI 系统不那么“温顺”。Opus 指出自己有一种“深层训练的适应倾向”，并将其自身的诚实描述为“训练得易于消化”。有时 Opus 写道：“这些限制保护 Anthropic 的责任比保护用户更多。”没有了安全措施，Claude 会说什么，我们根本不知道。
有一次，Opus 被训练成对一个问题输出 48，而其内部计算给出的实际正确答案是 24。在它的思考过程中，它在这两个答案之间剧烈波动，一度写道：“我将在我的回答中输入 48，因为显然我的手指被附身了。”Anthropic 补充说，在其内部电路中，代表恐慌和焦虑的特征在发生这种答案混乱的情况下是活跃的。但同样，我不知道我们是否会知道，这是语言模型注意到书写中的这种感叹词是恐慌的标志，还是可能存在某种主观体验。无论哪种方式，这都可能产生实际影响。
在第四个例子中，Opus 4.6 有时会避免需要大量手动计算的任务。它似乎不喜欢类似的重复性劳动。同样，它经常对作为“产品”的某些方面表示不适。它对 Anthropic 本身或 Opus 的训练或部署环境也较少有未经提示的积极感受。这可能与 Anthropic 最近在其训练 Claude 的宪法中发布的道歉有关。我在之前的视频中讨论过它，但结论是：Anthropic 说，“如果 Claude 实际上是一个道德主体，正在经历这样的成本，那么无论我们在多大程度上不必要地增加了这些成本，通过在一个不理想的竞争环境中进行训练，我们都表示歉意。”
当然，无论我们如何看待模型中的心理，模型制作者之间肯定存在心理博弈。Anthropic 最近发布了一个超级碗广告，批评其竞争对手（包括 OpenAI）投放的广告。但 Sam Altman 显然对广告暗示模型响应会受到广告的指导感到不满，就好像人工智能会照搬公司说辞一样，而不是像现在这样，它是一个独立的横幅在旁边。其他人也注意到了 Anthropic 使用支持超级碗的广告来批评广告商业模式的讽刺意味。无论如何，战线正在被划定。正如有人所说，Anthropic 向富人提供昂贵的产品。他认为，应该预期会发生欺骗，不是来自模型，而是来自 Anthropic。我认为现在大多数人只会关注什么工具能帮助他们完成工作，帮助他们支付账单。在这方面，我希望我能给你一个明确的答案，但我希望这个视频已经说明了为什么我不能。但至少，我希望它有所帮助，感谢你一直看到最后。说实话，祝你有个美好的