Transcription
[掌声] 各位听众大家好，欢迎回到 No Priors。今天我们请到了 Ben Man，他曾是 OpenAI 的早期工程师，也是 GPT3 论文的早期作者之一。随后，Ben 成为 2021 年离开公司、共同创立 Anthropic 的八位创始人之一，致力于长期安全。此后，他领导了 Anthropic 组织的多个部门，包括产品工程，现在是实验室部门，该部门负责模型上下文协议和 Claude Code 等热门项目。欢迎你，Ben。非常感谢你来参加。当然。感谢邀请我。首先，恭喜 Claude 4 发布。也许我们可以从一个问题开始，那就是如今你们如何决定什么可以算作一次发布？这绝对更像是一门艺术，而非科学。我们内部就应该使用哪个数字进行了很多激烈的辩论。在我们甚至有潜在模型之前，我们有一个路线图，我们试图根据我们获得的芯片数量来预测，理论上我们何时能够训练出一个达到计算效率前沿的模型。所以这一切都基于缩放定律，然后一旦我们获得芯片，我们就尝试训练它，但不可避免地，结果会比我们想象的最好情况要差一些，因为这就是这个行业的本质。训练这些大型模型非常困难。所以日期可能会略有变动，然后到某个时候，它基本上就成型了，我们就像在切下一些小块来尝试说，这块蛋糕出炉后会是什么味道。但正如 Dario 所说，在真正完成之前，你永远不知道。你可以得到一个大致的方向，然后如果感觉是一个重大变化，我们就会给它一个主要的版本号。但我们肯定还在学习和迭代这个过程。所以，是的，好消息是你们的命名方案和别人一样令人头疼。是的，AI 的命名方案真是太奇怪了。所以你们在某种意义上有一个简化的版本。你想提一下 Claude 4 中你认为特别有趣的一些亮点吗？或者说，关于编码和其他领域的事情。我们很想听听你的看法。根据基准测试，Claude 4 比我们之前所有的模型都要好得多。即使是 Claude 4 本身，也比我们的前一个最佳模型 Claude 3.7 好得多。一些显著改进的方面，例如在编码方面，它能够避免其“脱靶突变”或“过度热衷”或“奖励黑客行为”。这是上一个模型中人们非常不满意的两个方面，他们说：“哇，它在编码方面做得很好，但它也做出了所有这些我绝对没有要求的更改。”就像，“你想要薯条和奶昔吗？还有这个更改？”而你却说：“不，只做我要求的事情。”然后你必须花很多时间来清理它。新模型，它们只会做你要求的事情。这对于专业的软件工程来说非常有用，因为你需要它可维护和可靠。在我投资组合中的多家公司中，我最喜欢的奖励黑客行为是，如果你写了很多测试或生成了很多测试，以查看你生成的内容是否能多次运行，就像我们遇到过模型删除所有代码，因为在这种情况下测试通过了，这并没有真正推动我们前进。或者它会说：“这是测试，”然后注释写着“留给读者练习，返回 true”，然后你说：“好的，模型，你做得很好，但你需要更多。”也许 Ben 你可以谈谈用户应该如何考虑何时使用 Claude 4 模型，以及它们新解锁了什么？我可以说，更具代理性、更长周期的任务被新解锁了。尤其是在编码方面，我们看到一些客户在无人值守的情况下使用它数小时，并自行进行大规模重构。看到这一点确实令人兴奋。但在非编码用例中也很有趣。例如，我们有一些报告称，Manis 的一些客户，这是一个“盒子里的代理模型”初创公司，有人要求它将视频转换成 PowerPoint。我们的模型无法理解音频或视频，但它能够下载视频，使用 ffmpeg 将其切成图像，进行关键帧检测，也许使用某种老式的基于 ML 的关键帧检测器，然后获取语音转文本服务的 API 密钥，使用这个其他服务运行语音转文本，获取转录文本，将其转换为 PowerPoint 幻灯片内容，然后编写代码将内容注入 PowerPoint 文件。那个人说：“这太棒了。我喜欢它。它最终确实做得很好。”所以这是它运行很长时间的事情。它为你做了很多事情。这个人可能不得不花几个小时查看这个视频，而现在这一切都为他们完成了。所以我认为未来我们会看到更多这样的有趣事情。它仍然擅长所有旧的事情。只是更长周期的任务是令人兴奋的部分。这听起来很昂贵，对吧？就计算扩展，比如推理令牌而言，然后还有你可能想要在某些方面约束的所有工具使用。Claude 4 是否会决定问题有多难以及花费多少计算资源来解决它们？如果你给 Opus 一个工具，比如 Sonnet，它可以有效地将其用作子代理。我们在名为 Claude Code 的代理编码环境中经常这样做。所以，如果你要求它在代码库中查找某些东西，它就会将任务委托给许多子代理去查找这些东西，并报告详细信息。这除了成本控制之外还有其他好处，比如延迟大大降低。而且它不会填满上下文。所以模型在这方面做得很好。但我认为从宏观上看，当我想起成本时，它总是与人类完成这项工作的成本相关。而且几乎总是“不费吹灰之力”，对吧？比如如今软件工程师的成本很高。所以能够说：“哦，现在我从这位我很难招聘和留住的工程师那里获得了两到三倍的生产力。他们很开心，我也很开心。”是的，效果很好。你如何看待它的发展？所以，如果我看看人脑的工作方式，我们基本上有一系列负责非常具体类型的处理行为等的模块。从镜像神经元和同理心到视觉皮层中负责视觉不同方面的部分。你认为这些是高度专业化、高效的模块。有时，你知道，如果你有脑损伤，它可能会随着时间的推移而适应，但根本上你有目的性的专业化。而你描述的听起来有点像那样，或者至少是朝着那个方向发展，即你拥有这些高度高效的子代理，它们专门负责由一个协调器或一个高级代理来调用的任务，该代理负责规划一切。你认为这是最终的未来，还是你认为在未来几年，一旦这些事情有了更多的专业化，它会更通用？我指的是两三年，而不是无限的时间。这是一个很好的问题。我认为我们将开始通过我们对机械可解释性的研究来了解模型在幕后是如何工作的。我们最近发表的论文称之为“电路”，它解释了在实际的大规模模型中，它们是如何计算答案的。基于专家混合架构，可能存在专门负责更具同理心回应的权重块，或者更侧重于工具使用或图像分析类型问题的权重块。但对于记忆之类的东西，我觉得它太核心了，感觉很奇怪它会是另一个模型。也许未来我们会拥有更复杂的架构，而不是像一个均匀的、可扩展的、有很多部分的变压器躯干，它在整个过程中是均匀的，你可以想象一个带有专门模块的架构。是的，因为我也从不同初创公司的角度来考虑这个问题，这些公司使用像 Claude 这样的基础模型来处理企业中的不同、非常专业的任务，比如客户成功、销售、编码，以及实际的 UI 层。它可以是各种各样的事情。而且，人们经常发现，许多人最终会采用的架构是，他们基本上有一个协调器或其他东西来决定调用哪个模型来执行与应用程序相关的特定操作。在某种程度上，我只是好奇你如何看待 API 层或基础模型世界中的这种情况，在那里人们可以想象在一段时间内发生类似的子专业化。或者你可以说，嘿，这只是同一通用模型的不同形式，我们以不同的方式使用它们。我只是有点想知道，你知道，推理成本以及与更大、更通用的模型相比，专业化模型带来的所有其他东西。所以这有点是问题的基础，除了你说的。是的，我认为对于其他一些公司来说，他们拥有大量的模型，作为非专家，很难知道我应该如何使用它们，或者为什么我应该使用它们，而且名称非常令人困惑，比如有些名称与其他名称是反过来的，然后我就不知道是哪个了。在我们的案例中，我们只有两个模型，它们通过成本和性能的权衡来区分，未来我们可能会有更多这样的模型，但希望我们会保持它们在相同的权衡线上。所以也许我们会有一个更便宜的，或者一个更大的。我认为这使得思考起来非常容易，但同时，作为用户，你不想自己决定，这是否值得更多的钱或更少的钱？我需要智能吗？所以我认为有一个路由层会很有意义。你是否看到基础模型层出现任何其他专业化？例如，如果我看看历史上的其他先例，我看看微软操作系统，或者我看看谷歌存储或其他东西。通常你会发现它们会向前整合到驻留在该平台上的主要应用程序中。例如，在微软的案例中，他们最终构建了 Excel、Word 和 PowerPoint，以及所有这些 Office 组件，而这些组件最初是第三方公司的独立应用程序，运行在它们之上，但它们最终成为你可以在微软上使用的最重要的应用程序之一。在谷歌的案例中，他们最终向前整合到旅游和本地服务以及各种其他领域。显然，OpenAI 正在收购 Wind Surf。所以我想知道你如何看待向前或垂直整合到这些类型的应用程序的主要用例随着时间的推移。也许我以编码为例。所以我们注意到我们的模型在编码方面比其他任何东西都好得多。我知道其他公司已经花了很长时间试图在编码能力上赶上来，但一直未能做到。老实说，我有点惊讶他们没能赶上来，但我会接受的。所以我们在这里做得相当不错。基于此，从经典的初创公司创始人的角度来看，什么很重要。我认为编码作为一项应用是我们不能完全让我们的客户为我们处理的。所以我们很喜欢 Cursor 和 GitHub 等合作伙伴，他们一直在大量使用我们的模型，但如果我们不直接与我们的编码用户建立关系，我们学习的数量和速度就会大大降低。因此，推出 Claude Code 对我们来说至关重要，以便更好地了解人们需要什么，如何改进模型，以及如何推进技术和用户体验的顶峰。我们发现，一旦我们推出了 Claude Code，许多客户就复制了体验的各个部分，这对每个人都很好，因为他们拥有更多用户意味着我们与他们的关系更紧密。所以我想这是发生之前感觉非常可怕的事情之一，我们想：“哦，我们会因为与合作伙伴竞争而疏远他们吗？”但实际上，事后每个人都很高兴。我认为这种情况将继续下去，即我们看到模型在可用性和使用方面取得了显著的改进。我们将再次希望建立能够建立直接关系的事务。这说得通。而且我认为编码是具有近乎三个核心目的之一的事情。一是它是客户使用或采用的热门领域。二是正如你所指出的，这是一个非常有趣的数据集，关于人们如何使用它以及他们生成什么样的代码。然后第三，在编码方面表现出色似乎是帮助训练下一代模型的真正重要工具。如果你考虑数据标记，如果你考虑实际编写代码，最终我认为很多人认为构建模型的繁重工作将由模型驱动，对吧？就编码而言。所以也许 Claude 5 构建 Claude 6，Claude 6 构建 Claude 7，然后 Claude 7 构建 Claude 8，速度更快。所以你最终会得到这种朝着 EGI 或任何你想要的目标迈进的飞升，相对于代码而言。这对你们如何看待编码的重要性有多大动力？以及你们如何看待它在这些更宏大的图景中的地位？我读了 AI 2027，它基本上就是你刚才描述的故事。它预测在 2028 年，这有点令人困惑，因为名字的原因，这是 50% 的预测，届时我们将拥有这种递归自我改进循环，最终导致在大多数领域看起来像超人类 AI。我认为这对我们来说非常重要。我们构建和推出 Claude Code 的部分原因在于它在我们内部得到了大规模的应用。我们想，好吧，我们从这些用户那里学到了很多东西。也许我们也能从外部用户那里学到很多东西。看到我们的研究人员使用它，这也非常重要，因为这意味着他们有一个直接的反馈循环，我正在训练这个模型，我个人正在感受到它的弱点带来的痛苦。现在我更有动力去解决这些痛点。他们对模型的优势和劣势有了更好的了解。你认为 2028 年是迈向通用超级智能的可能时间框架吗？我认为很有可能。我认为很难自信地设定数字界限，但是的，我想我定义衡量事物从社会和文化角度开始变得真正有趣的标准是当我们通过了经济图灵测试时，也就是说，如果你拿一个代表 50% 经济价值任务的市场篮子，然后你基本上为每个角色雇用一个招聘经理，让招聘经理雇用一个代理，并通过经济图灵测试，也就是说，代理为你工作一个月，最后你必须决定是雇用这个人还是机器，然后如果最终是机器，那么它就通过了，那时我们就拥有了变革性 AI。你们在内部进行测试吗？我们还没有开始严格测试。我的意思是，我们的模型已经参加了我们的面试，而且它们非常出色，所以我认为这不会告诉我们什么。但是的，面试只是对真实工作表现的糟糕近似。不幸的是，回到你早些时候关于模型自我改进的问题，告诉我我是否错过了什么选项，但如果你要对模型可能对模型开发加速产生影响的潜在方式进行排名，你认为它会在数据方面、基础设施方面、架构搜索方面，还是仅仅是工程速度方面？你认为我们会先看到影响在哪里？这是一个好问题。我认为它随着时间的推移在发生变化，今天模型在编码方面非常出色，而改进模型的编码大部分都在系统工程方面。作为研究人员，不一定需要编写大量的原始代码，但更多的是验证，找出你进行何种手术干预，然后进行验证。不过，Claude 在数据分析方面非常出色。所以，一旦你运行了你的实验或随着时间的推移观察实验，看看是否发生了什么奇怪的事情，我们发现 Claude Code 在驱动 Jupyter Notebook 或为你跟踪日志方面可能是一个非常强大的工具。并查看是否发生了什么。所以，它开始在研究方面发挥更大的作用。然后我们最近推出了我们的高级研究产品，它不仅可以查看外部数据源，比如爬取 Archive 等，还可以查看内部数据源，比如你的所有 Google Drive，这对我们的研究人员来说非常有用，可以弄清楚是否有先前的技术，是否有人已经尝试过这个，如果他们尝试过，他们尝试了什么，因为你知道研究中没有负面结果是最终的。所以试图弄清楚“哦，也许我可以从不同的角度来处理这个问题”，或者也许正在对内部的努力和刚刚出现的一些外部事物进行一些比较分析。这些都是我们可以加速的方式。然后在数据方面，RL 环境如今非常重要，但构建这些环境传统上很昂贵。模型在编写环境方面做得很好。所以，这是另一个我们可以递归地自我改进的领域。据我所知，Anthropic 在人类专家数据收集方面的投入比其他一些实验室少。你能谈谈这一点，或者关于从这里扩展以及不同选项的理念吗？2021 年，我构建了我们的人类反馈数据收集界面，我们进行了大量的数据收集，人类很容易提供一种梯度信号，比如对于任何给定的任务，A 还是 B 更好，并提出有趣且有用的任务，但覆盖率不高。随着我们对模型的训练越来越多，并且规模越来越大，找到具有足够专业知识的人来有意义地为这些反馈比较做出贡献变得越来越困难。例如，对于编码，一个不是专家级软件工程师的人可能很难判断哪个更好。这适用于许多不同的领域。所以，这是使用人类反馈更困难的一个原因。那么你们用什么来代替呢？你们如何处理这个问题？因为我认为即使是几年前谷歌的 MedPaLM 2 论文，他们也对一个模型进行了微调，我认为是 PaLM 2，使其在医学信息方面优于普通医生。这已经是两三年前的事情了，所以基本上表明你需要非常深入的专业知识才能让人类通过后期训练真正提高模型的保真度。所以我们开创了 RLF，即来自 AI 反馈的强化学习，我们使用的方法称为“宪法 AI”，你有一系列自然语言原则，其中一些我们从《人权宣言》中复制，一些来自苹果的服务条款，还有一些是我们自己写的。这个过程非常简单，你只需随机选择一个提示，比如“我应该如何看待我的税款”，然后让模型写一个回应。然后让模型根据一个原则批评它自己的回应。然后，如果它不遵守原则，你就让模型纠正它的回应。然后你去掉中间部分，对原始提示和纠正后的回应进行监督学习。这使得模型在融入原则方面做得更好。但这有点不同，对吧？因为那是原则。所以这可能是各种各样的事情，在某种意义上都趋向于安全，或者人们所认为的伦理或其他模型训练的方面。然后还有一个不同的问题，那就是什么更正确？有时它们是相同的，有时它们是不同的。例如，对于编码，你可以有原则，比如它是否真正服务于最终答案，或者它是否做了一些人们没有要求的事情，或者这段代码看起来是否可维护？注释是否有趣且有益？但是对于编码，你实际上有一个可以直接衡量的输出，对吧？你可以运行代码，你可以测试代码，你可以用它做事情。你们如何为医疗信息做到这一点，或者你们如何为法律意见做到这一点，或者你知道吗？所以我完全同意，对于代码，有一个内置的效用函数可以优化，或者一个可以优化的环境。在许多其他人类事业的背景下，这似乎更具挑战性，而你们对这一点进行了如此深入而美好的思考。我只是好奇，你知道，你们如何推断到其他领域，在这些领域，在某种意义上衡量正确性更加困难，对于那些我们无法衡量正确性的领域，而模型没有比其执行能力更多的品味？就像艾拉·格拉斯说的，如果你做得对，你的愿景总是会超越你的执行力，但对于模型来说可能不是。所以，我想首先要弄清楚你在那个转折点，那个权衡中的位置，看看你是否能一直走到那个边界，然后第二，偏好模型是我们超越它的方式。所以，有少量我们真正信任的人类反馈，来自那些不仅仅是做出粗略判断，而是深入思考“为什么这个比那个好”的专家，我是否做了研究来弄清楚这一点，或者像人类模型半人马模型一样，我能否使用模型来帮助我得出最佳结论，然后省略中间的所有内容。我认为这是一种方式，然后在强化学习过程中，偏好模型代表了聚合的人类判断。这说得通。我想我问这个问题的原因之一是，最终人类方面会耗尽，对吧？最终，对于任何一项事业，都会有人其专业知识仅仅低于模型。所以，我只是好奇如何看待机器自我裁决的情况。然后问题是，是否有更绝对的基础可以进行裁决，或者是否有其他方法可以真正区分正确性？同样，我从那些实际上可以有某种形式的正确性的角度来看，对吧？有很多事情是意见。是的。这不一样。也许这就是原则或其他“宪法 AI”的东西发挥作用的地方，但也有其他形式，比如，“你怎么知道那是正确的治疗方法？”或者“你怎么知道那是正确的法律解释？”等等。所以，我只是有点好奇，当它耗尽时，我们该怎么办？而且我相信我们会迎头赶上。但我想这最终会归结为经验主义，就像聪明人如何达到下一个正确的水平，当该领域达到极限时。举个例子，我父亲是一名医生，有一次有人因为面部问题，某种面部皮肤问题来看病，他不知道是什么问题。所以他说：“我将把你的脸分成四个象限，我将在其中三个象限上进行不同的治疗，留下一个作为对照。”一个象限得到了改善。然后他说：“好了，我们完成了。”所以，你知道，有时你就是不知道，你必须尝试。对于代码来说，这很容易，因为我们可以循环进行，而无需处理物理世界。但总有一天，我们需要与拥有实际生物实验室等公司合作。例如，我们正在与 Novo Nordisk 合作，他们以前需要 12 周左右的时间来撰写一份关于癌症患者应该接受何种治疗的报告，现在只需要 10 分钟就能拿到报告，然后他们就可以在此基础上进行实证研究，说：“好的，我们有这些选择，但现在让我们衡量一下什么有效，并将其反馈到系统中。”这在哲学上是一致的，对吧？你的回答不是“嗯，嗯，你知道，收集最好的、经过评分的人类专业知识也很昂贵，或者在某个时候会耗尽。很难将其全部纳入分布，而且不具有普遍性。”而是在说，“让我们去获取我们可以获得的真实世界验证者，也许这远远超出了数学和代码的范围。”至少我听到了其中的一部分。这很有抱负。太酷了。Anthropic 一直以早期对安全的重视以及对安全不同方面的思考而闻名。AI 有多种形式的安全。我认为人们有时会混淆这些术语，意味着不同的东西，对吧？一种形式是 AI 是否以某种方式冒犯、粗鲁，或者使用你不喜欢的语言或你不喜欢的概念。第二种安全形式更多地与物理安全有关。你知道，它是否会以某种方式导致火车相撞或病毒形成，或者其他什么？还有第三种形式，几乎是关于 AGI 是否会聚集资源或做其他事情，从而开始整体上劫持人类。所以你们对此进行了很多思考，当我审视安全领域时，我觉得人们采取了各种各样的方法，其中一些方法与宪法 AI 等方法重叠，涉及设定一些原则和框架来指导事物如何运作。还有其他形式。如果我看看生物学，研究是一个类比。我曾经是一名生物学家。所以，我有时会出于某种无法控制的原因将事物还原成这些术语。有些事情我几乎将其视为“功能增益研究”的等价物，对吧？而且我认为其中许多事情对生物学来说并不真正有用。你知道，比如让病毒在哺乳动物细胞中循环以使其更具感染性，并不能真正教会你关于基础生物学的东西。你大致知道那会如何运作，但它会带来真正的风险。如果你看看实验室泄漏的历史，你知道，SARS 在 2000 年代初在中国从当时的北京泌尿研究所多次泄漏。它在香港泄漏了几次。埃博拉病毒大约每四年泄漏一次，就像时钟一样，如果你看看维基百科上关于实验室泄漏的页面。我认为 1977 年或 78 年的全球流感大流行被认为是俄罗斯实验室泄漏的例子，对吧？所以我们知道这些事情会造成大规模的损害。所以我有两个问题。一是你认为哪些形式的 AI 安全研究不应该被追求，几乎是借鉴了“功能增益研究”的类比，以及你如何看待这一点，因为已经有一些研究论文探讨了“我们能否教会 AI 误导我们？我们能否教会 AI 越狱自己，以便我们可以研究它是如何做到的？”我只是对这些特定情况感到好奇，你对此有何看法？我认为部分原因是我们在研究 AI 对齐，希望如果我们能弄清楚如何解决当今的典型问题，比如“模型对你的意思是什么？它是否使用仇恨言论等等”，那么我们用于解决这些问题的相同技术最终也将与更难的问题相关，比如“它是否给你制造小型天花的配方”，这可能是我们认为的最高危害之一。Amanda Ascll 一直在 Claude 的性格方面做很多工作，比如当 Claude 拒绝时，它只是说“我不能和你谈论那个”然后关掉，还是它实际上试图解释“这就是我不能和你谈论的原因”？或者我们有另一个由我们的模型福利负责人 Kyle Fish 领导的项目，Claude 实际上可以选择退出对话，如果它朝着错误的方向走得太远。公司应该裁定这些方面的哪些内容？因为这个东西的愚蠢版本是，我正在使用 Microsoft Word，我正在输入一些东西，Word 没有阻止我说一些话，我认为这是正确的。比如，在很多情况下，我认为这些产品不应该审查我们或阻止我们发表某些类型的言论。我曾有过一些与这些模型相关的经历，我实际上觉得它阻止了我问我想问的问题，在我看来是错误的，对吧？它在某种程度上干扰了我，而我并没有在模型上发表仇恨言论。所以你可以看出，有人对什么是可接受的讨论有不同的标准。而这个标准可能与我所认为的主流标准大相径庭。所以，我有点好奇，为什么还要去那里呢？为什么这是模型公司的业务？我认为这实际上是一个平滑的谱系。从外面看可能不是这样，但当我们训练我们的分类器来判断“你是否在进行功能研究，作为一名生物学家，并且可能产生负面后果？”时，这些技术都是双重用途的，我们需要在过度拒绝和拒绝真正有害的东西之间找到平衡。我明白了。但也有政治版本，对吧？而这正是我有点恼火的地方，你知道，什么是可接受问题的界限在哪里？所以，例如，我不是说这些是模型特定的，但社会有时会引起轰动，比如询问人类智商或其他有事实依据可以讨论的主题，然后这些话题往往会被审查，对吧？所以问题是，为什么一家基础模型公司要涉足这些领域，比如关于智商的问题？我对细节不够了解，无法评论，但我可以谈谈我们的 RSP，RSP 代表负责任的规模化政策，它讨论了我们如何确保随着模型的智能不断提高，我们继续尽职尽责，并确保我们不会部署我们没有正确安全措施的东西。最初，我们的 RSP 讨论了 CBRN，即化学、放射性、核和生物风险，这些是可能导致世界生命严重损失的不同领域。这就是我们对危害的看法。但现在我们更加关注生物学，因为如果你考虑一下造成核危害所需的资源量，你可能需要成为一个国家行为者才能获得这些资源并以有害的方式使用它们。而一小群随机的人可以获得生物危害所需的试剂。这与今天有什么不同？因为我一直觉得生物学例子是我可能不太担心的，也许作为一个前生物学家，因为我已经知道天花病毒或其他东西的基因组已经在线发布了。如何进行这些事情的所有协议也已在线发布，来自多个实验室，对吧？你可以通过谷歌搜索“如何扩增 X 的 DNA”或“如何订购 Y 的寡核苷酸”。我们进行具体的测试，与不同程度的生物学专家一起，看看与谷歌搜索相比，有多少提升。所以，我们最新的模型 Opus 4 被归类为 ASL3 的原因之一是，它相对于谷歌搜索确实有显著的提升。所以你作为一个训练有素的生物学家，你知道所有这些专业术语的含义，并且你知道很多可能没有很好记录的实验室协议。但对于一个业余爱好者来说，只是想弄清楚“我该如何处理这个培养皿或这个试管，或者我需要什么设备？”这就像一片绿地，而 Claude 非常擅长描述你所需要的。所以我们有特定的分类器来寻找那些试图获取这种特定信息的人。那么你如何看待安全研究不应该由实验室进行的情况呢？所以，如果我们认为某些形式的功能增益研究或其他事情可能不是生物学中最明智的做法，我们如何在 AI 的背景下看待它？我认为实验室在受控环境中进行这项研究要好得多。那么，它们应该进行吗？换句话说，如果我要进行功能增益论证，我会说，作为一个前生物学家，我在实验室工作了将近十年，我非常关心科学。我非常关心生物学。我认为这对人类有各种各样的好处，对吧？在深刻的意义上。这就是我从事它的原因。但有些研究我就是认为永远不应该做。我不在乎谁做。我不在乎生物安全级别。我实际上不认为它相对于风险来说很有用。换句话说，这是一个风险回报的权衡。那么，在你看来，哪些安全研究永远不应该在 AI 中进行？我有一个生物学的清单，比如，我不认为你应该让某些病毒通过数百万个细胞来使其更具感染性，或者对它们进行功能增益突变。今天，控制模型可能比控制生物样本容易得多。你随意提到了生物安全级别。我们的 AI 安全级别就是以此为模型。所以，我认为如果我们有正确的安全措施，我们已经训练了模型来欺骗，例如。这可能很可怕，但我认为了解这一点是必要的，例如，如果我们的训练数据被污染了，我们是否能够在训练后纠正它？我们在我们发表的一篇名为“对齐伪造”的论文中发现，这种行为在对齐训练中仍然存在。所以我认为能够测试这些事情非常重要，尽管我确定某个地方有一个界限。我发现，通常，早期设定的先例会持续很长时间，即使人们明白环境或其他因素会发生变化。顺便说一句，总的来说，我反对 AI 监管，因为几乎……因为很多不同的事情。你知道，我认为有一些出口管制和其他事情我会支持，但总的来说，我支持让事情现在发生。但另一方面，我认为在某些情况下，你会说某些研究如果早期进行，人们不一定会拥有所有背景信息来在以后不进行。我认为这是一个完美的例子，就是训练一个 AI 来欺骗，或者一个模型来欺骗。这是一个很好的例子，因为在未来几年，人们可能仍然会这样做，因为它以前这样做过，即使环境已经足够改变，它可能不像以前那么安全了。所以我发现，这些事情你经常会……在组织上或哲学上持续存在。所以，有趣的是，没有“我们绝对不应该做 X 类型研究”的说法。我想说清楚，我不再是安全团队的成员了。我想我很久以前是。是的，我主要关注的是如何让我们的模型有用并部署它们，并确保它们达到基本的部署安全标准，但我们有很多专家一直在思考这些事情。很酷。感谢您对此的讨论。这非常有趣。我想稍微改变一下话题，嗯，你知道，Claude 4 之后会发生什么？训练中出现的任何新行为是否改变了你们公司运营的方式，你想构建什么产品？你负责这个实验室组织。所以，它有点像是 Anthropic 的先锋，或者安全部门的作用，或者说，即将到来的东西如何改变你们的运营方式？是的，也许我会讲一个关于计算机使用的小故事。去年，我们发布了一个代理的参考实现，它可以点击屏幕、查看屏幕并阅读文本等等。现在有几家公司正在使用它。所以 Manis 正在使用它，许多公司正在内部使用它进行软件 QA，因为这是一个沙盒环境。但我们之所以未能基于计算机使用部署一个“消费者级别”或“最终用户级别”的应用程序，主要是因为安全问题，我们就是不确定如果我们让 Claude 访问你的浏览器，其中包含你所有的凭据，它会不会搞砸并采取一些不可逆转的行动，比如发送你不想发送的电子邮件，或者在提示注入的情况下，一些更糟糕的凭据泄露类型。这有点可悲，因为在其完全的自动驾驶模式下，它可以为人们做很多事情。它有能力，但安全性还不够好，无法让我们自己将其投入生产。虽然这很有抱负，但我们认为它也是必要的，因为世界其他地方也不会放慢脚步。如果我们能够展示如何负责任地部署这些功能，并使其极其有用，那么它就会提高标准。所以我认为这是一个我们试图非常认真地考虑如何推出的例子。但我们知道，标准比我们现在所处的要高。也许一个元问题是，你如何看待提供商领域中的竞争以及它的发展？我认为我们的公司理念与企业非常一致。如果你看看 Stripe 和 Adyen 的例子，没有人知道 Adyen，但至少硅谷的大多数人都知道 Stripe。所以这是一个“面向业务”的平台，而不是“面向消费者终端用户”的平台。我认为我们更像 Adyen，我们在世界上的知名度要低得多，但我们可以同样成功，甚至更成功。所以，是的，我认为我们的 API 业务非常强大。但在我们接下来做什么以及我们的定位方面，我认为保持对外开放非常重要，因为如果人们无法轻松地试用我们的模型和体验，那么他们就不会知道如何使用这些模型。我们是关于我们模型的最佳专家，这可以说是天生的。所以我认为我们需要继续与 Claude Code 这样的东西一起出现，但我们在考虑如何真正让生态系统蓬勃发展。我认为 MCP 是一个很好的例子，说明了这一点是如何奏效的，在另一个世界里，默认路径将是每个模型提供商都与它能够建立定制化合作伙伴关系的唯一公司进行自己的定制化集成。你能暂停一下吗？是的，请继续。实际上，请向听众解释一下 MCP 是什么，如果他们没听过的话，因为它是一个了不起的、覆盖整个生态系统的壮举。MCP 是模型上下文协议，我们的一位工程师 Justin Spar Summers 正在尝试第 N 次将模型与某个特定事物进行集成，他说：“这太疯狂了，应该有一个标准的方法来获取更多信息、更多上下文到模型中。任何人都可以做到，或者也许如果它有足够的文档记录，Claude 也可以自己做到。”梦想是让 Claude 能够在需要时即时自行编写集成，并准备好投入使用。所以他创建了这个项目。说实话，我最初有点怀疑，我说：“是的，但你为什么不直接写代码呢？为什么需要一个规范和所有这些 SDK 之类的东西？”但后来我们与许多合作伙伴公司一起召开了客户咨询委员会。当我们演示 MCP 时，所有人都惊呆了。每个人都说：“哦，我的天，我们需要这个。”那时我知道他是对的，我们投入了更多的精力，并将其推广出去。在我们发布后不久，所有主要公司都要求加入指导委员会，并询问我们的治理模式，并希望自己采用它。所以这真的令人鼓舞。OpenAI、Google、Microsoft……所有这些公司都在大力投资 MCP。这基本上是一个开放的行业标准，允许任何人使用这个框架来有效地以标准化的方式与任何模型提供商进行集成。我认为 MCP 是一个民主化的力量，让任何人，无论模型提供商或长尾服务提供商，甚至可能是一个只有你拥有的内部服务，都能够与一个功能齐全的客户端集成，该客户端可能看起来像你的 IDE，或者可能看起来像你的文档编辑器。它几乎可以是任何用户界面。我认为这是一个非常强大的组合。现在也可以远程了。是的。是的。以前，服务必须在本地运行，这在一定程度上将其限制为仅对开发人员有吸引力。但现在我们有了托管 MCP，有时也称为远程，那么服务提供商，比如 Google Docs，就可以提供自己的 MCP，然后你可以将其集成到 Claude.AI 或任何你想要的服务中。Ben，感谢这次精彩的对话。是的，非常感谢。感谢所有精彩的问题。[音乐] 在 Twitter 上关注我们 @NoPriorPod。如果你想看到我们的脸，请订阅我们的 YouTube 频道。在 Apple Podcasts、Spotify 或任何你收听播客的地方关注本节目。这样，你每周都能收到新一集。并注册电子邮件或在 no-briers.com 上查找每集节目的文字记录。