Transcription
我们三年前谈过。在你看来，过去三年最大的更新是什么？与那时相比，现在最大的不同是什么？
总的来说，底层技术的指数级增长大致符合我的预期。这里那里会有几年左右的偏差。我不知道我是否会预测到代码的具体方向。但当我看到指数级增长时，它大致符合我对模型从聪明的高中生到聪明大学生，再到开始做博士和专业工作，以及在代码方面超越这些的预期。前沿有点不均衡，但大致符合我的预期。
最令人惊讶的是，公众对我们离指数增长的终点有多近缺乏认识。对我来说，人们——无论是圈内还是圈外——都在谈论同样陈旧的、敏感的政治问题，而我们却接近指数增长的终点，这简直太疯狂了。我想了解一下这个指数增长现在看起来是什么样的。
三年前我们录音时我问你的第一个问题是：“关于扩展性怎么样，为什么它有效？”我现在有一个类似的问题，但感觉更复杂了。至少从公众的角度来看，三年前在许多数量级的计算中存在着众所周知的公众趋势，你可以看到损失是如何改善的。现在我们有了 RL 扩展，而且没有公开已知的扩展定律。甚至连故事是什么都不清楚。这 supposed to be 教授模型技能吗？这 supposed to be 教授元学习吗？此时此刻的扩展假设是什么？
我实际上和我 2017 年的假设一样。我想我上次谈过，但我写了一份名为“计算大团块假设”的文件。它并非特别针对语言模型的扩展。当我写它的时候，GPT-1 刚刚发布。那是众多事物之一。当时有机器人技术。人们试图将推理作为与语言模型分开的事情来处理，并且像 AlphaGo 和 OpenAI 的 Dota 中的 RL 那样发生了扩展。人们记得 DeepMind 的 StarCraft，AlphaStar。它被写成一份更通用的文件。
几年前，Rich Sutton 发表了“苦涩的教训”。该假设基本上是相同的。它说的是，所有的聪明才智，所有的技巧，所有的“我们需要一种新方法来做某事”，这些都不那么重要。只有几件事很重要。我认为我列出了其中的七项。一是你拥有多少原始计算能力。二是数据的数量。三是数据的质量和分布。它需要广泛的分布。四是你训练多长时间。五是你需要一个可以扩展到月球的目标函数。预训练目标函数就是这样一个目标函数。另一个是 RL 目标函数，它说你有一个目标，你将出去并实现目标。其中，有像你在数学和编码中看到的客观奖励，也有像你在 RLHF 或其更高阶版本中看到的更主观的奖励。然后第六和第七项是关于归一化或条件化，只是为了获得数值稳定性，以便计算大团块以层流方式流动，而不是遇到问题。这就是假设，我仍然持有这个假设。我认为我没有看到多少与它不符的地方。
预训练扩展定律是我们在此看到的例子之一。这些一直在继续。现在已经被广泛报道，我们对预训练感觉良好。它继续为我们带来收益。现在已经改变的是，我们也看到了 RL 的相同情况。我们看到了预训练阶段，然后是其上的 RL 阶段。对于 RL，实际上是一样的。甚至其他公司也在他们的一些发布中发表了文章，说：“我们在数学竞赛——AIME 或其他竞赛——上训练模型，模型表现如何与我们训练它的时间成对数线性关系。”我们也看到了这一点，而且不仅仅是数学竞赛。它是各种各样的 RL 任务。我们看到了与预训练相同的 RL 扩展。
你提到了 Rich Sutton 和“苦涩的教训”。我去年采访了他，他实际上非常不看好 LLM。我不知道这是否是他的观点，但一种概括他的反对意见的方式是：拥有人类学习真正核心的东西，不需要所有这些数十亿美元的数据和计算以及这些定制化的环境，就能学会如何使用 Excel，如何使用 PowerPoint，如何浏览网页。我们必须使用这些 RL 环境来构建这些技能，这表明我们实际上缺乏核心的人类学习算法。所以我们正在扩展错误的东西。
这确实提出了一个问题。如果我们认为有某种东西在学习能力上是像人类一样的，为什么我们还要进行所有这些 RL 扩展呢？我认为这把几件应该被区别对待的事情放在了一起。这里确实有一个谜团，但它可能无关紧要。事实上，我猜它可能无关紧要。
有一件有趣的事。让我暂时把 RL 排除在外，因为我实际上认为说 RL 在这方面与预训练不同是一个红鲱鱼。如果我们看看预训练扩展，在 2017 年 Alec Radford 制作 GPT-1 时，它非常有趣。GPT-1 之前的模型是在不能代表广泛文本分布的数据集上训练的。你有非常标准的语言建模基准。GPT-1 本身是在一些粉丝小说上训练的，我想实际上是。它是文学文本，这是你能获得文本的一小部分。当时大约有十亿词左右，所以小数据集代表了你在世界上能看到的东西的一个相当狭窄的分布。它泛化得不好。如果你在某个粉丝小说语料库上表现更好，它在其他任务上的泛化能力就不会那么好。我们有所有这些衡量标准。我们有所有这些衡量标准来衡量它在预测所有其他类型的文本方面的表现。只有当你遍历了互联网上的所有任务——当你从 Common Crawl 或抓取 Reddit 上的链接进行通用互联网抓取时，这就是我们为 GPT-2 所做的——你才开始获得泛化能力。
我认为我们在 RL 上看到了同样的情况。我们首先从简单的 RL 任务开始，比如在数学竞赛中训练，然后进行更广泛的训练，包括代码等。现在我们正在转向许多其他任务。我认为然后我们将越来越多地获得泛化能力。所以这基本上消除了 RL 与预训练的争论。但无论如何都有一个谜团，那就是在预训练中我们使用万亿个 token。人类看不到万亿个词。所以这里确实存在样本效率的差异。这里确实有什么不同。模型从头开始，需要更多的训练。但我们也看到，一旦它们训练好，如果我们给它们提供一百万的上下文长度——阻碍长上下文的唯一因素是推理——它们在上下文中的学习和适应能力非常强。
所以我不知道完整的答案。我认为有些事情正在发生，预训练不像人类学习的过程，而是介于人类学习过程和人类进化过程之间。我们从进化中获得了许多先验知识。我们的大脑并非一张白纸。关于这一点已经写了很多书。语言模型更像白纸。它们字面上是以随机权重开始的，而人脑则以所有这些区域连接到所有这些输入和输出开始。也许我们应该将预训练——以及 RL——视为存在于人类进化和人类即时学习之间的中间空间。我们应该将模型进行的上下文内学习视为长期人类学习和短期人类学习之间的东西。所以这里有一个层次结构。有进化，有长期学习，有短期学习，还有人类反应。LLM 的阶段存在于这个范围内，但不一定在完全相同的位置。没有类比某些人类学习模式，LLM 正在落入这些点之间。这说得通吗？
是的，尽管有些事情仍然有点令人困惑。例如，如果类比是这就像进化一样，那么它在样本效率方面不佳是可以的，那么如果我们通过上下文内学习获得一个超级样本效率的代理，为什么我们要费力构建所有这些 RL 环境呢？有些公司的业务似乎是教模型如何使用这个 API，如何使用 Slack，如何使用任何东西。如果那种能够即时学习的代理正在出现或已经出现，我很难理解为什么会如此强调这一点。
我无法代表任何人的重点。我只能谈论我们如何思考它。目标不是在 RL 中教授模型每一个可能的技能，就像我们在预训练中不这样做一样。在预训练中，我们并不试图让模型接触到单词可以组合的每一种方式。相反，模型在很多事情上进行训练，然后实现跨预训练的泛化。这就是我近距离看到的从 GPT-1 到 GPT-2 的转变。模型会达到一个点。我曾有过这样的时刻，我说：“哦，是的，你只需要给模型一个数字列表——这是房子的成本，这是房子的平方英尺——模型会完成模式并进行线性回归。”不算太好，但它做到了，而且它以前从未见过这种确切的事情。因此，就我们构建这些 RL 环境而言，目标与五到十年前的预训练非常相似。我们试图获得大量数据，不是因为我们想涵盖特定的文档或特定的技能，而是因为我们想泛化。
我认为你提出的框架显然是合理的。我们正在朝着 AGI 迈进。此时此刻，没有人不同意我们将在本世纪实现 AGI。关键在于你说我们正在达到指数增长的终点。有人对此表示看法，说：“自 2012 年以来我们一直在进步，到 2035 年我们将拥有一个像人类一样的代理。”显然，我们在这些模型中看到了进化所做的事情，或者在人类一生中学习所做的事情。我想了解你看到了什么，让你认为这还有一年而不是十年？
这里可以提出两个说法，一个更强，一个更弱。从较弱的说法开始，当我第一次在 2019 年看到扩展时，我不确定。这是一个 50/50 的事情。我认为我看到了一些东西。我的说法是，这比任何人想象的都要可能。也许有 50% 的机会会发生。关于你所说的基本假设，即十年内我们将达到我所谓的“数据中心里的天才国家”，我对此有 90% 的信心。由于世界如此不可预测，很难达到 90% 以上。也许不可避免的不确定性让我们达到 95%，例如多家公司内部动荡，台湾被入侵，所有晶圆厂都被导弹炸毁。达里奥，你现在诅咒我们了。你可以构建一个 5% 的世界，事情会延迟十年。另外 5% 是我对可验证的任务非常有信心。对于编码，除了那种不可避免的不确定性，我认为我们将在一到两年内实现。在能够进行端到端编码方面，我们十年内不可能做不到。我唯一的基本不确定性，即使在长远来看，也是关于不可验证的任务：规划火星任务；进行一些基础科学发现，如 CRISPR；写小说。这些任务很难验证。我几乎肯定我们有可靠的途径可以实现，但如果有一点不确定性，就在那里。在十年时间线上，我有 90% 的信心，这几乎是你所能确定的。我认为说这在 2035 年之前不会发生是疯狂的。在一个理智的世界里，这会超出主流。但对验证的强调暗示了我对这些模型是泛化的信念不足。如果我们考虑人类，我们既擅长那些能获得可验证奖励的事情，也擅长那些不能的事情。
不，这就是我几乎确定的原因。我们已经看到了从可验证事物到不可验证事物的实质性泛化。我们已经看到了这一点。但你似乎强调这是一个将分裂我们看到更多进展的领域的范围。这似乎不像人类进步的方式。我们没有到达那里的世界是我们完成了所有可验证的事情。其中许多会泛化，但我们没有完全到达那里。我们没有完全填满盒子的另一边。这不是一个二元的事情。即使泛化能力很弱，你只能做可验证的领域，我也不清楚你是否能在这样的世界里自动化软件工程。你在某种意义上是“软件工程师”，但作为软件工程师的一部分，你需要写关于你宏大愿景的长篇备忘录。我不认为这是 SWE 的工作。那是公司的工作，不是 SWE 特有的。但 SWE 确实包括设计文档和其他类似的东西。模型在编写注释方面已经相当不错了。
再说一遍，我在这里提出的说法比我实际相信的要弱得多，以区分两件事。我们已经在软件工程方面差不多了。以什么标准？有一个标准是 AI 编写的代码行数。如果你考虑软件工程历史上其他生产力改进，编译器编写了所有的软件代码。编写的代码行数与生产力改进的幅度之间存在差异。“我们差不多了”是什么意思……生产力改进有多大，而不仅仅是 AI 编写的代码行数？
我实际上同意你的观点。我为代码和软件工程做了一系列预测。我认为人们一再误解了它们。让我来展示一下这个范围。大约八到九个月前，我说 AI 模型将在三到六个月内编写 90% 的代码行。至少在某些地方，这发生了。它发生在 Anthropic，发生在许多使用我们模型的下游用户那里。但这实际上是一个非常弱的标准。人们认为我是在说我们不需要 90% 的软件工程师。这些事情相去甚远。范围是：90% 的代码由模型编写，100% 的代码由模型编写。这是生产力上的巨大差异。90% 的端到端 SWE 任务——包括编译、设置集群和环境、测试功能、编写备忘录等——由模型完成。100% 的当今 SWE 任务由模型完成。即使那样，也不意味着软件工程师失业了。他们可以做新的更高级的事情，他们可以管理。然后在这个范围的更远处，SWE 的需求减少了 90%，我认为这会发生，但这只是一个范围。我在“技术的青春期”中写过，我曾用农业来描述过这种范围。
我实际上完全同意你。这些是彼此非常不同的基准，但我们正在以超快的速度推进它们。你愿景的一部分是，从 90% 到 100% 的转变将很快发生，并且它将带来巨大的生产力提升。但我注意到的是，即使在绿地项目中，人们也从 Claude Code 或其他东西开始，人们报告说他们开始了很多项目……我们在现实世界中看到了软件的复兴，所有这些新功能否则就不存在了吗？至少到目前为止，似乎没有。所以这确实让我感到疑惑。即使我从未需要干预 Claude Code，世界也很复杂。工作也很复杂。闭合自给自足系统的循环，无论是编写软件还是其他什么，仅仅从这一点上我们会看到多大的更广泛的收益？也许这应该稀释我们对“天才国家”的估计。
我同时同意你，这是这些事情不会立即发生的原因，但同时，我认为效果会非常快。你可以拥有这两个极端。一种是 AI 不会进步。它很慢。它将在经济中扩散需要永远。经济扩散已成为这些流行语之一，这是我们不会取得 AI 进展的原因，或者为什么 AI 进展无关紧要。另一个轴是我们将获得递归自我改进，整个事情。一旦我们获得递归，我们难道不能在太阳周围画一个指数曲线吗？我们将在递归后不久就拥有太阳的戴森球体。我在这里完全是在漫画化这种观点，但存在这两个极端。但我们从一开始就看到的是，至少如果你看看 Anthropic 内部，我们看到了每年 10 倍的收入增长。所以 2023 年，是从零到 1 亿美元。2024 年，是从 1 亿美元到 10 亿美元。2025 年，是从 10 亿美元到 90-100 亿美元。你们应该买价值 10 亿美元的自己的产品，这样你们就可以……而今年第一个月，那个指数……你会认为它会放缓，但我们在 1 月份又增加了几十亿美元的收入。显然，这条曲线不可能永远持续下去。GDP 就那么大。我甚至猜测它今年会有些弯曲，但这是一条快速的曲线。即使规模扩展到整个经济，我认为它仍然会非常快。所以我认为我们应该考虑这个中间世界，事情非常快，但不是瞬间，它们需要时间，因为经济扩散，因为需要闭合循环。因为这很棘手：“我必须在我的企业内部进行变革管理……我设置了这个，但我必须更改这里的安全权限才能使其真正起作用……我有一个旧软件，在编译和发布模型之前会对其进行检查，我必须重写它。是的，模型可以做到这一点，但我必须告诉模型去做。它需要时间来完成。”所以我认为到目前为止我们看到的一切都与这样一个想法相符：有一个快速的指数是模型的能力。然后是另一个快速的指数，它是在此之下的，即模型在经济中的扩散。不是瞬间，不是缓慢，比以前任何技术都快，但它有其局限性。
当我审视 Anthropic 内部，审视我们的客户时：采用速度很快，但不是无限快。
我可以给你一个大胆的看法吗？是的。我觉得扩散是一种人们说的安慰剂。当模型无法做某事时，他们会说：“哦，但这是一个扩散问题。”但然后你应该与人类进行比较。你会认为 AI 的固有优势会使新 AI 的入职比新人类的入职更容易。AI 可以在几分钟内阅读你的整个 Slack 和你的驱动器。它们可以共享其他相同实例副本的所有知识。你在招聘 AI 时没有这种逆向选择问题，所以你可以直接招聘经过审查的 AI 模型副本。招聘人类要麻烦得多。人们一直在招聘人类。我们支付给人类的工资高达 50 万亿美元，因为他们很有用，尽管原则上将 AI 整合到经济中比招聘人类要容易得多。扩散并不能真正解释。
我认为扩散非常真实，而且不完全与 AI 模型的限制有关。再说一遍，有些人将扩散用作一种流行语，来说明这没什么大不了的。我不是在谈论那个。我不是在谈论 AI 的扩散速度将比以前的技术快。我认为 AI 的扩散速度将比以前的技术快得多，但不是无限快。我举个例子。有 Claude Code。Claude Code 非常容易设置。如果你是一名开发人员，你可以立即开始使用 Claude Code。大型企业中的开发人员没有理由不像个人开发人员或初创公司的开发人员那样快速采用 Claude Code。我们尽一切努力推广它。我们将 Claude Code 出售给企业。大型企业、大型金融公司、大型制药公司，它们都比企业通常采用新技术要快得多地采用 Claude Code。但同样，这需要时间。任何给定的功能或任何给定的产品，如 Claude Code 或 Cowork，都将比大型企业（从事食品销售）采用得快几个月，被那些经常使用 Twitter 的个人开发人员、A 轮初创公司采用。有许多因素。你必须通过法律，你必须为所有人提供服务。它必须通过安全和合规性检查。离 AI 革命较远的公司的领导者是具有前瞻性的，但他们必须说：“哦，花 5000 万美元是合理的。这就是 Claude Code 的作用。这就是它如何帮助我们的公司。这就是它如何提高我们的生产力。”然后他们必须向下面两层的人解释。“好的，我们有 3000 名开发人员。我们将如何向我们的开发人员推出它。”我们每天都有这样的对话。我们正在尽一切努力使 Anthropic 的收入每年增长 20 或 30 倍，而不是 10 倍。再说一遍，许多企业只是说：“这太有生产力了。我们将采取捷径，绕过我们通常的采购流程。”它们比我们试图向它们销售普通 API（许多企业都在使用）时要快得多。Claude Code 是一个更有吸引力的产品，但它不是一个无限有吸引力的产品。我认为即使是 AGI 或强大的 AI 或“数据中心里的天才国家”也不会是一个无限有吸引力的产品。它将是一个足够有吸引力的产品，可能每年增长 3-5 倍，或 10 倍，即使你在数千亿美元的规模上，这也很难做到，而且在历史上从未做到过，但不是无限快。
我同意它会稍微放缓。也许这不是你的说法，但有时人们会这样谈论：“哦，能力在那里，但因为扩散……否则我们基本上就是 AGI 了。”我不相信我们基本上就是 AGI。我认为如果你拥有“数据中心里的天才国家”……如果我们拥有“数据中心里的天才国家”，我们就会知道。如果我们拥有“数据中心里的天才国家”，我们就会知道。在场的每个人都会知道。华盛顿的每个人都会知道。农村地区的人可能不知道，但我们会知道。我们现在没有。这一点非常清楚。
回到具体的预测……由于有太多不同的事情需要区分，当我们谈论能力时，很容易互相误解。例如，三年前我采访你时，我问你一个关于我们应该期望三年后情况的预测。你对了。你说：“我们应该期望系统，如果你和它们交谈一小时，很难将它们与一个受过良好教育的人区分开来。”我认为你对此是正确的。我认为在精神上我感到不满足，因为我内心的期望是这样的系统可以自动化大部分白领工作。所以谈论你希望从这样的系统中获得的实际最终能力可能更有成效。我基本上会告诉你我认为我们现在在哪里。让我问一个非常具体的问题，以便我们可以确切地弄清楚我们应该很快考虑什么样的能力。也许我会问一个我熟悉的职业，不是因为它最相关，而是因为我可以评估关于它的说法。以视频编辑为例。我有视频编辑。他们工作的一部分涉及了解我们观众的偏好，了解我的偏好和品味，以及我们之间的不同权衡。在几个月的时间里，他们会建立起对上下文的理解。他们在这个工作岗位上六个月后的技能和能力，一个能够即时获得这种技能的模型，我们应该何时期望这样的 AI 系统？
我猜你在谈论的是，我们进行了三个小时的采访。有人会进来，有人会编辑它。他们会说：“哦，我不知道，达里奥挠了挠头，我们可以把它剪掉。”“放大它。”“有一段冗长的讨论对人们来说不太有趣。有另一件事对人们来说更有趣，所以让我们进行这个编辑。”我认为“数据中心里的天才国家”将能够做到这一点。它能够做到这一点的方式是，它将拥有对计算机屏幕的通用控制。你可以输入这个。它还可以使用计算机屏幕上网，查看你之前的所有采访，查看人们在 Twitter 上对你采访的反应，与你交谈，问你问题，与你的工作人员交谈，查看你所做的编辑历史，并从中完成工作。
我认为这取决于几件事。我认为这是阻碍部署的因素之一：达到模型真正掌握使用计算机的程度。我们已经看到了基准测试的这种攀升，而基准测试总是衡量不完美的。但我认为，当我们一年前首次发布计算机使用功能时，OSWorld 的得分可能只有 15%。我不记得确切的数字了，但我们已经从那里攀升到 65-70%。可能还有更难的衡量标准，但我认为计算机使用必须达到可靠的程度。
在你继续下一个问题之前，我可以跟进一下吗？多年来，我一直在为自己构建各种内部 LLM 工具。通常我会有这些文本输入、文本输出的任务，这些任务应该在这些模型的技能范围内是核心的。然而，我仍然雇佣人类来做这些。如果有什么事情是“找出这段文字中最好的片段”，也许 LLM 的表现是十分之七。但是，我没有一种持续的方式可以与它们互动，以帮助它们在工作中做得更好，就像我与人类员工一样。这种缺失的能力，即使你解决了计算机使用问题，仍然会阻碍我将实际工作转移给它们的能力。
这又回到了我们之前谈到的关于在职学习的问题。这很有趣。我认为对于编码代理，我不认为人们会说在职学习是阻止编码代理完成所有端到端工作的因素。它们一直在进步。我们 Anthropic 有一些工程师根本不写代码。当我看到生产力时，回到你之前的问题，我们有一些人说：“这个 GPU 内核，这个芯片，我以前自己写过。我只是让 Claude 来做。”生产力有了巨大的提高。当我看到 Claude Code 时，对代码库的熟悉程度或感觉模型在公司工作了一年，这并不是我看到的抱怨列表中的首要问题。
我认为我所说的是，我们正在走一条不同的道路。你不认为在编码方面是因为存在一个外部的记忆支架，它被实例化在代码库中吗？我不知道有多少其他工作有这个。编码之所以取得快速进展，正是因为它具有其他经济活动所没有的独特优势。但当你这么说时，你的意思是，通过阅读代码库到上下文中，我拥有了人类在职学习所需的一切。所以这将是一个例子——无论它是否被写下来，无论它是否可用——一个例子，你所需要知道的一切都来自上下文窗口。我们所说的学习——“我开始了这份工作，需要六个月的时间来理解代码库”——模型只是在上下文中完成了。
我真的不知道如何看待这个问题，因为有些人定性地报告了你所说的话。我敢肯定你去年看到了，有一项主要研究，他们让经验丰富的开发人员尝试关闭他们熟悉的存储库中的拉取请求。那些开发人员报告了提升。他们报告说，使用这些模型后，他们的生产力有所提高。但事实上，如果你看看他们的产出以及有多少被合并回去了，却下降了 20%。结果，他们使用这些模型的生产力下降了。所以我想调和人们对这些模型的定性感受与 1) 在宏观层面，软件的复兴在哪里？然后 2) 当人们进行这些独立评估时，为什么我们没有看到预期的生产力效益？
在 Anthropic 内部，这非常明确。我们承受着巨大的商业压力，并且因为我们做了很多安全工作（我认为我们做得比其他公司多），所以我们让自己变得更加困难。在经济上生存的压力，同时保持我们的价值观，是巨大的。我们正试图保持这个每年 10 倍的收入曲线。没有时间胡说八道。没有时间感觉我们很有效率，而实际上并非如此。这些工具使我们效率大大提高。为什么我们担心竞争对手使用这些工具？因为我们认为我们领先于竞争对手。如果这实际上降低了我们的生产力，我们就不会经历所有这些麻烦。我们每隔几个月就会以模型发布的形式看到最终的生产力。你无法欺骗自己。模型使你更有效率。
1) 人们感觉自己很有生产力，这与这类研究的定性预测相符。但 2) 如果我只看最终产出，显然你们正在快速进步。但这个想法应该是，通过递归自我改进，你制造一个更好的 AI，AI 帮助你构建一个更好的下一个 AI，等等，等等。我看到的是——如果我看看你，OpenAI，DeepMind——人们每隔几个月就在领奖台上轮换。也许你认为这会停止，因为你赢了或者别的什么。但为什么我们没有看到拥有最佳编码模型的公司获得持久的优势，如果事实上从上一个编码模型中获得了巨大的生产力提升呢？
我认为我对此情况的模型是，有一个优势在逐渐增长。我想说，现在编码模型提供了大约 15-20% 的总因子速度提升。这是我的看法。六个月前，可能是 5%。所以不重要。它现在才刚刚达到成为几个重要因素之一的程度。这将会继续加速。我认为六个月前，有几家公司处于大致相同的水平，因为这不是一个显著的因素，但我认为它开始加速得越来越快。我还想说，有几家公司编写用于代码的模型，我们并不完全擅长阻止其他公司在内部使用我们的模型。所以我认为我们看到的一切都与这种滚雪球模型一致。
再说一遍，我在这里的主题是，所有这些都是软起飞，软的、平滑的指数，尽管指数相对陡峭。所以我们看到这个雪球越滚越大，就像 10%、20%、25%、40%。随着你的进展，根据阿姆达尔定律，你必须清除所有阻碍你闭合循环的事物。但这是 Anthropic 的最大优先事项之一。
退一步说，在堆栈的更早阶段，我们谈论的是何时获得这种在职学习。你对编码的看法似乎是，我们实际上不需要在职学习。你可以获得巨大的生产力提升，你可以为 AI 公司带来潜在的数万亿美元收入，而无需这种基本的人类在职学习能力。也许这不是你的说法，你应该澄清一下。但在大多数经济活动领域，人们说：“我雇了一个人，最初几个月他不太有用，然后随着时间的推移，他积累了背景知识、理解力。”实际上很难定义我们在这里谈论的是什么。但他们得到了某些东西，然后现在他们是一个强大的力量，对我们来说非常有价值。如果 AI 没有发展出这种即时学习的能力，我有点怀疑我们是否会在没有这种能力的情况下看到世界的巨大变化。
我认为这里有两件事。一是当前的技术状况。再说一遍，我们有两个阶段。我们有预训练和 RL 阶段，你将大量数据和任务输入模型，然后它们进行泛化。所以这就像学习，但就像从更多数据中学习，而不是在一个人类或一个模型的生命周期中学习。所以再说一遍，这介于进化和人类学习之间。但一旦你学会了所有这些技能，你就拥有了它们。就像预训练一样，就像模型知道得更多一样，如果我看看一个预训练模型，它比我更了解日本武士的历史。它比我更了解棒球。它比我更了解低通滤波器和电子产品，所有这些东西。它的知识比我的更广泛。所以我认为仅仅这一点就可能让我们达到模型在一切方面都更好的程度。
我们还有，再说一遍，只是通过扩展现有的设置，上下文内学习。我将其描述为类似于人类的在职学习，但稍弱一些，稍短一些。你看看上下文内学习，如果你给模型一些例子，它就能理解。在上下文中确实发生了真正的学习。一百万个 token 是很多的。这可能相当于人类学习几天。如果你考虑模型阅读一百万个词，我需要多长时间才能读完一百万个词？至少几天或几周。所以你有这两件事。我认为这两件事在现有范式内可能足以让你获得“数据中心里的天才国家”。我不确定，但我认为它们将让你获得很大一部分。可能存在差距，但我当然认为，就像现在一样，这足以产生数万亿美元的收入。这是第一点。第二点是持续学习的想法，即单个模型在职学习的想法。我认为我们也在努力解决这个问题。很有可能在未来一两年内，我们也会解决这个问题。再说一遍，我认为你可以在没有它的情况下达到大部分目标。每年数万亿美元的市场，也许我写在“技术的青春期”中的所有国家安全影响和安全影响都可能在没有它的情况下发生。但是，我们，我想象其他人，正在努力解决这个问题。很有可能我们在未来一两年内就能实现。有很多想法。我不会详细介绍所有这些想法，但其中一个就是让上下文更长。没有什么能阻止更长的上下文起作用。你只需要在更长的上下文上进行训练，然后在推理时学会服务它们。这两者都是我们正在努力解决的工程问题，而且我认为其他人也在努力解决。
这种上下文长度的增加，似乎从 2020 年到 2023 年有一段时间，从 GPT-3 到 GPT-4 Turbo，上下文长度从 2000 个 token 增加到 128K。我觉得在之后的两年左右的时间里，我们一直在同一个范围内。当上下文长度远超于此时，人们会报告模型在考虑完整上下文的能力方面存在定性下降。所以我想知道你在内部看到了什么，让你觉得，“一千万个上下文，一亿个上下文才能获得六个月的人类学习和上下文构建”。这不是一个研究问题。这是一个工程和推理问题。如果你想服务长上下文，你必须存储你的整个 KV 缓存。将所有内存存储在 GPU 中，来回调度内存，这很困难。我甚至不知道细节。在这一点上，这已经达到了我不再能够理解的细节水平，尽管我在 GPT-3 时代知道。“这些是权重，这些是你必须存储的激活……”但如今，整个事情都颠倒了，因为我们有 MoE 模型等等。
关于你所说的退化，不深入细节的话，有两件事。有你训练时的上下文长度，以及你服务时的上下文长度。如果你在小上下文长度下训练，然后在长上下文长度下服务，你可能会遇到这些退化。这比什么都没有好，你仍然可以提供它，但你会遇到这些退化。也许在长上下文长度下训练更难。
我想同时问一些可能跑题的问题。你不认为如果你必须在更长的上下文长度上训练，这意味着你在相同的计算量下能获得的样本更少吗？也许不值得深入研究。我想得到一个关于大局问题的答案。我并不觉得一个为我工作了六个月的人类编辑比一个和我一起工作了六个月的 AI 更受青睐，你预测这种情况会在哪一年发生？我的猜测是，有很多问题基本上我们可以在拥有“数据中心里的天才国家”时解决。我的设想是，如果你让我猜测，是一到两年，也许是一到三年。真的很难说。我有一个强烈的观点——99%，95%——所有这些将在 10 年内发生。我认为这只是一个超级安全的赌注。我有一个预感——这更像是一个 50/50 的事情——它会更像一到两年，也许更像一到三年。所以是一到三年。天才国家，以及稍微不那么经济上有价值的视频编辑任务。告诉我，这似乎相当有经济价值。有很多这样的用例。有很多类似的。所以你预测在一到三年内。然后，一般来说，Anthropic 预测到 2026 年底或 2027 年初，我们将拥有“能够导航当今人类从事数字工作的界面，智力能力与诺贝尔奖得主相当或超越，并能够与物理世界互动”的 AI 系统。
你两个月前在 DealBook 的一次采访中，强调了你的公司与竞争对手相比更负责任的计算扩展。我试图调和这两种观点。如果你真的相信我们将拥有一个天才国家，你想要尽可能大的数据中心。没有理由放慢速度。诺贝尔奖得主，能够做诺贝尔奖得主所能做的一切，其 TAM 是数万亿美元。所以我试图调和这种保守主义，如果你有更温和的时间表，这似乎是合理的，与你对进展的陈述相符。
这实际上都吻合。我们回到这个快速但并非无限快的扩散。假设我们正以这个速度进步。技术正以这个速度进步。我非常有信心我们将在几年内实现。我有一个预感，我们将在一年或两年内实现。所以技术方面存在一些不确定性，但相当有信心不会偏离太多。我不太确定的是，再次，经济扩散方面。我确实相信我们可能在一年或两年内拥有“数据中心里的天才国家”的模型。一个问题是：之后需要多少年才能开始产生数万亿美元的收入？我不认为立即就能保证。可能是一年，可能两年，我甚至可以拉长到五年，尽管我对这一点表示怀疑。所以存在这种不确定性。即使技术发展速度如我所料，我们也不知道它将以多快的速度驱动收入。我们知道它即将到来，但考虑到你购买这些数据中心的方式，如果你偏离几年，那可能是毁灭性的。就像我在“有生命的机器”中写的那样。我说我认为我们可能会获得这种强大的 AI，“数据中心里的天才国家”。你给出的描述来自“有生命的机器”。我说我们将在 2026 年，也许是 2027 年获得它。再说一遍，这是我的预感。如果我偏离一两年，我不会感到惊讶，但这是我的预感。假设它发生了。那就是发令枪。治愈所有疾病需要多长时间？这是驱动巨大经济价值的方式之一。你治愈了所有疾病。有一个问题是其中有多少会归属于制药公司或 AI 公司，但存在巨大的消费者盈余，因为——假设我们可以让每个人都能获得，我非常关心这一点——我们治愈了所有这些疾病。需要多长时间？你必须进行生物学发现，你必须制造新药，你必须通过监管流程。我们在 COVID 的疫苗中看到了这一点。我们向所有人推广了疫苗，但花了大约一年半的时间。我的问题是：治愈一切（AI 理论上可以发明的）需要多长时间才能普及到每个人？从 AI 第一次出现在实验室到疾病真正被治愈给每个人需要多长时间？
我们已经有了脊髓灰质炎疫苗 50 年了。我们仍在非洲最偏远的角落试图根除它。盖茨基金会正竭尽全力。其他人也在竭尽全力。但这很困难。再说一遍，我不认为大多数经济扩散会像那样困难。那是最困难的情况。但这里确实有一个两难。我最终的结论是，它将比我们在这个世界上看到过的任何东西都快，但它仍然有其局限性。所以当我们购买数据中心时，再说一遍，我正在关注的曲线是：我们每年都有 10 倍的增长。今年年初，我们的年化收入为 1 亿美元。我们必须决定购买多少计算能力。建造数据中心，预订数据中心需要一到两年时间。基本上我说：“到 2027 年，我能获得多少计算能力？”我可以假设收入将继续每年增长 10 倍，所以到 2026 年底将是 1000 亿美元，到 2027 年底将是 1 万亿美元。实际上将是 5 万亿美元的计算能力，因为这将是每年 1 万亿美元，持续五年。我可以在 2027 年底购买价值 1 万亿美元的计算能力。如果我的收入不是 1 万亿美元，即使是 8000 亿美元，也没有任何力量，没有任何对冲可以阻止我破产，如果我购买了这么多计算能力。即使我的一部分大脑在想它会继续增长 10 倍，我也无法在 2027 年购买每年 1 万亿美元的计算能力。如果我只是一年偏离了那个增长率，或者增长率是每年 5 倍而不是 10 倍，那么你就会破产。所以你最终会处于一个支持数千亿美元而不是数万亿美元的世界。你承担一些风险，即需求如此之大，以至于你无法支持收入，并且你承担一些风险，即你错了，它仍然很慢。
当我谈论负责任地行事时，我的意思实际上不是绝对数量。我认为确实我们花费的金额比其他一些参与者少。实际上是其他事情，比如我们是否深思熟虑，还是我们“ YOLO”地说，“我们将在这里投入 1000 亿美元，或在那里投入 1000 亿美元”？我有一种印象，一些其他公司没有写下电子表格，它们并不真正了解它们正在承担的风险。它们只是因为听起来很酷而做事。我们已经仔细考虑过了。我们是一家企业。因此，我们可以更多地依赖收入。它不像消费者那样善变。我们的利润率更高，这是购买过多和购买过少之间的缓冲。我认为我们购买的数量足以让我们捕捉到非常强劲的上涨空间。它不会捕捉到每年 10 倍的全部增长。
如果我们陷入财务困境，情况将变得相当糟糕。所以我们仔细考虑过，并且已经取得了平衡。这就是我所说的“负责任”的意思。因此，似乎我们对“数据中心里的天才之国”的定义可能确实不同。因为当我想到真正的人类天才，数据中心里的真正人类天才之国时，我会乐意花费 5 万亿美元购买计算能力来运行数据中心里的真正人类天才之国。假设摩根大通或 Moderna 或其他公司不想使用它们。我有一个天才之国。他们会创办自己的公司。如果他们无法创办自己的公司，并且受到临床试验的瓶颈……值得指出的是，在临床试验中，大多数临床试验失败是因为药物不起作用。没有疗效。我在《充满爱意的机器》中也提出了同样的观点，我说临床试验的进展速度会比我们习惯的快得多，但并非无限快。好的，然后假设临床试验需要一年时间才能奏效，这样你就能获得收入并生产更多药物。好的，你有一个天才之国，而你是一个人工智能实验室。你可以聘请更多的人工智能研究人员。你还认为，聪明人从事人工智能技术会带来这些自我强化的收益。你可以让数据中心致力于人工智能的进步。购买每年 1 万亿美元的计算能力与购买每年 3000 亿美元的计算能力相比，是否能带来显著更多的收益？如果你的竞争对手购买了万亿美元的计算能力，是的，确实有。嗯，不，有一些收益，但话说回来，他们有可能在此之前破产。再说一遍，如果你只晚了一年，你就会毁了自己。这就是平衡。我们购买了很多。我们购买了大量的计算能力。我们购买的数量与游戏中最顶尖的参与者购买的数量相当。但如果你问我，“为什么我们没有在 2027 年中期开始签署价值 10 万亿美元的计算能力合同？”……首先，它无法生产。世界上没有那么多。但其次，万一天才之国在 2028 年中期而不是 2027 年中期到来呢？你就会破产。所以，如果你的预测是一到三年，那么到 2029 年，你至少应该想要 10 万亿美元的计算能力？即使在你陈述的时间线的 longest version 中，你正在努力构建的计算能力似乎也不一致。是什么让你这么认为？人类工资，比如说，每年大约是 50 万亿美元——我不会特别谈论 Anthropic，但如果你谈论整个行业，今年行业正在构建的计算能力大约是，姑且称之为，10-15 吉瓦。它每年大约增长 3 倍。所以明年的计算能力是 30-40 吉瓦。2028 年可能是 100 吉瓦。2029 年可能是 300 吉瓦。我是在脑子里计算，但每个吉瓦的成本可能约为 100 亿美元，每年大约 100-150 亿美元。把所有这些加起来，你就能得到你所描述的。到 2028 年或 2029 年，你就能获得每年数万亿美元的收益。你得到的结果与你的预测完全一致。这是针对整个行业的。没错，这是针对整个行业的。假设 Anthropic 的计算能力每年保持 3 倍的增长，那么到 2027-28 年，你将拥有 10 吉瓦。乘以你所说的 100 亿美元。那么每年大约是 1000 亿美元。但然后你说到 2028 年的 TAM 是 2000 亿美元。再说一遍，我不想给出 Anthropic 的确切数字，但这些数字太小了。好的，很有趣。你告诉投资者，你计划从 2028 年开始盈利。这一年我们可能会迎来数据中心里的天才之国。这将解锁医学、健康和新技术的所有进步。这难道不是你想要重新投资于业务并建立更大的“国家”以让他们做出更多发现的恰当时机吗？盈利能力在这个领域是一种奇怪的东西。我不认为在这个领域，盈利能力实际上是衡量支出减少还是投资于业务的指标。让我们来做一个模型。我实际上认为，当你低估了你将获得的预期需求量时，就会出现盈利，而当你高估了你将获得的预期需求量时，就会出现亏损，因为你提前购买了数据中心。从这个角度来思考。再说一遍，这些是风格化的事实。这些数字并不精确。我只是想做一个玩具模型。假设你的计算能力一半用于训练，一半用于推理。推理具有超过 50% 的毛利率。这意味着，如果你处于稳定状态，你建立一个数据中心，并且你知道你确切的预期需求量，你就能获得一定的收入。假设你每年花费 1000 亿美元用于计算。在 500 亿美元的计算能力上，你支持 1500 亿美元的收入。另外 500 亿美元用于训练。基本上你是盈利的，并且你获得了 500 亿美元的利润。这就是当今行业的经济状况，或者说不是当今，而是我们在一两年内预测的。唯一使情况并非如此的是，如果你获得的预期需求量少于 500 亿美元。那么你的数据中心有超过 50% 用于研究，而你没有盈利。所以你训练出更强大的模型，但你没有盈利。如果你获得的预期需求量比你预期的多，那么研究就会受到挤压，但你能够支持更多的推理，并且你更有盈利。也许我解释得不好，但我想说的是，你首先决定计算能力的总量。然后你有一些目标，希望推理与训练的比例，但这取决于预期需求量。它不是由你决定的。我听到的意思是，你预测盈利的原因是你系统性地低估了计算能力？不，不，不。我说的是很难预测。关于 2028 年以及何时会发生的事情，这些是我们尽力为投资者做的尝试。所有这些事情都非常不确定，因为存在不确定性之锥。如果收入增长足够快，我们可能在 2026 年就盈利。如果我们高估或低估了明年，情况可能会发生巨大变化。我想说的是，你脑子里有一个模型，一个企业不断投资、投资、投资，获得规模，然后变得盈利。有一个转折点。我不认为这个行业的经济状况是这样的。我明白了。所以，如果我理解正确的话，你认为，由于我们应该获得的计算能力与我们实际获得的计算能力之间的差距，我们被迫盈利。但这并不意味着我们将继续盈利。我们将重新投资这笔钱，因为现在人工智能已经取得了巨大的进步，我们想要一个更大的天才之国。所以收入很高，但亏损也很高。如果我们每年都准确预测预期需求量，我们每年都会盈利。因为将 50% 的计算能力用于研究，再加上超过 50% 的毛利率和准确的预期需求量预测，就会带来利润。这就是我认为存在的盈利商业模式，但被这些提前建设和预测错误所掩盖。我猜你把 50% 当作一个给定的常数，而实际上，如果人工智能进步很快，并且你可以通过扩大规模来增加进步，你应该拥有超过 50% 的份额，而不是盈利。但我要说的是。你可能想扩大规模。记住规模的对数回报。如果 70% 的计算能力能让你通过 1.4 倍的因子获得一个非常小的模型……由于对数线性设置，这额外的 200 亿美元，其中的每一美元对你的价值都小得多。所以你可能会发现，将这 200 亿美元投资于服务推理或聘请更优秀的工程师会更好。所以我说 50% 的原因……这不是我们的确切目标。它不会正好是 50%。它可能会随时间变化。我想说的是，对数线性回报，它导致你花费的业务比例是数量级上的。不是 5%，也不是 95%。然后你会获得递减的回报。我感到奇怪的是，我正在说服 Dario 相信人工智能的进步或其他什么。好的，你之所以不投资于研究，是因为它有递减的回报，但你投资于你提到的其他事情。我认为宏观层面的利润——再说一遍，我说的是递减的回报，但在你每年花费 500 亿美元之后。这一点我确信你会提出，但一个天才的递减回报可能相当高。更广泛地说，在市场经济中利润是什么？利润基本上意味着市场中的其他公司可以用这笔钱做比我能做的事情更多的事情。撇开 Anthropic 不谈。我不想提供关于 Anthropic 的信息。这就是为什么我提供这些风格化的数字。但让我们来推导一下行业的均衡。为什么不是每个人都将 100% 的计算能力用于训练而不服务任何客户？这是因为如果他们得不到任何收入，他们就无法筹集资金，无法进行计算交易，也无法在明年购买更多计算能力。所以会有一个均衡，即每家公司用于训练的比例都不到 100%，当然用于推理的比例也不到 100%。应该很清楚为什么你不能只服务当前的模型而不训练新模型，因为那样你就没有需求了，因为你会落后。所以存在某种均衡。它不会是 10%，也不会是 90%。让我们姑且称之为风格化的事实，它是 50%。这就是我想说的。我认为我们将处于一个训练支出比例低于计算能力毛利率的均衡状态。所以潜在的经济效益是盈利的。问题在于，当你购买下一年的计算能力时，你面临着可怕的预期需求预测问题，你可能会猜错，非常盈利但没有用于研究的计算能力。或者你可能会猜错，你没有盈利，并且拥有世界上所有的研究计算能力。这在动态行业模型中是否说得通？也许退一步说，我并不是说我认为“天才之国”将在两年内到来，因此你应该购买这些计算能力。对我来说，你得出的最终结论很有道理。但那是因为“天才之国”似乎很难实现，而且还有很长的路要走。所以退一步说，我想说的是，你的世界观似乎与那些说“我们离一个每年产生数万亿美元价值的世界还有大约 10 年”的人是一致的。这只是我的看法。我将做出另一个预测。我很难想象在 2030 年之前不会产生数万亿美元的收入。我可以构建一个合理的世界。这可能需要三年时间。这将是我认为合理情况的终点。比如在 2028 年，我们迎来了真正意义上的“数据中心里的天才之国”。到 2028 年，收入将达到数千亿美元，然后天才之国将其加速到数万亿美元。我们基本上处于缓慢的扩散阶段。需要两年时间才能达到数万亿美元。这就是需要到 2030 年的世界。我怀疑即使是技术指数和扩散指数的结合，我们也会在 2030 年之前实现。所以你提出了一个模型，即 Anthropic 盈利，因为我们基本上处于一个计算能力受限的世界。所以最终我们会不断增加计算能力——我认为盈利的方式是……再说一遍，让我们把整个行业抽象化。让我们想象一下，我们身处一本经济学教科书中。我们有少数几家公司。每家公司都可以投资有限的金额。每家公司都可以将一部分投资于研发。它们有服务成本。由于推理效率很高，边际服务成本的毛利率非常高。存在一些竞争，但模型也各不相同。公司将竞争以提高其研究预算。但由于公司数量很少，我们有……它叫什么？我认为，小公司数量的均衡是库诺均衡。关键是它不会均衡到零利润的完全竞争。如果经济中有三家公司，并且它们都独立地理性行事，它就不会均衡到零。请帮我理解这一点，因为目前我们确实有三家领先的公司，而且它们没有盈利。那么是什么在改变呢？再说一遍，目前的毛利率非常积极。发生的是两件事的结合。一是我们仍处于计算能力的指数级扩展阶段。一个模型被训练出来。假设一个模型去年训练成本为 10 亿美元。那么今年它产生了 40 亿美元的收入，并且推理成本为 10 亿美元。再说一遍，我在这里使用的是风格化的数字，但那将是 75% 的毛利率，以及 25% 的税收。所以这个模型整体上赚了 20 亿美元。但同时，我们正在花费 100 亿美元来训练下一个模型，因为存在指数级扩展。所以公司亏损。每个模型都能赚钱，但公司却亏损。我所说的均衡是指我们拥有“数据中心里的天才之国”的均衡，但模型训练的扩展已经趋于平缓。也许它还在增长。我们仍在预测预期需求量，但它更加平缓。我对其中的一些事情感到困惑。让我们从当前世界开始。在当前世界中，你说的对，正如你之前所说，如果你将每个单独的模型视为一家公司，它是盈利的。但当然，作为一家前沿实验室，生产功能的一个重要部分是训练下一个模型，对吧？是的，没错。如果你不这样做，那么你就会盈利两个月，然后你就没有利润了，因为你没有最好的模型。但总有一天，它会达到它所能达到的最大规模。然后在均衡状态下，我们有算法改进，但我们训练下一个模型的花费与训练当前模型的花费大致相同。总有一天你会花光经济中的钱。固定的一块劳动力谬论……经济将会增长，对吧？这是你的预测之一。我们将拥有太空中的数据中心。是的，但这又是我想说的那个主题的一个例子。人工智能将比以往任何时候都更快地推动经济增长。目前计算能力每年增长 3 倍。我不相信经济每年会增长 300%。我在《充满爱意的机器》中说过，我认为经济增长率可能在每年 10-20% 之间，但不会是 300% 的增长。所以我想，最终，如果计算能力成为经济产出的绝大部分，它将受到限制。所以，让我们假设一个计算能力保持不变的模型。前沿实验室赚钱的世界是它们能够持续取得快速进展的世界。因为从根本上说，你的利润受到替代方案的优劣的限制。所以你能赚钱是因为你有一个前沿模型。如果你没有前沿模型，你就赚不到钱。所以这个模型要求永远不存在稳态。永远永远地不断取得更多算法上的进步。我不认为那是真的。我的意思是，我觉得我们正在上经济学课。你知道泰勒·考恩的引言吗？我们从不停止谈论经济学。我们从不停止谈论经济学。所以不，我认为这个领域不会成为垄断。我所有的律师都不希望我说“垄断”这个词。但我不认为这个领域会成为垄断。你会看到一些只有少数参与者的行业。不是一个，而是少数几个参与者。通常情况下，像 Facebook 或 Meta——我总是称它们为 Facebook——这样的垄断是通过网络效应产生的。只有少数参与者的行业之所以出现，是因为进入成本非常高。云服务就是这样。我认为云服务就是一个很好的例子。云服务中有三到四家参与者。我认为人工智能也是如此，三到四家。原因是成本太高了。运行一家云公司需要大量的专业知识和大量的资本。你必须投入所有这些资本。除了投入所有这些资本之外，你还必须获得所有这些其他需要大量技能才能实现的东西。所以，如果你去找某人说：“我想颠覆这个行业，这是 1000 亿美元。”你说：“好吧，我投入 1000 亿美元，并且还押注你能做所有这些人一直在做的事情。”只是为了减少利润。你进入这个行业的效果是利润率下降。所以，我们经济中一直存在这样的均衡，即我们有少数几个参与者。利润不是天文数字。利润率也不是天文数字，但也不是零。这就是我们在云服务中看到的。云服务高度同质化。模型比云服务更具差异化。每个人都知道 Claude 在某些方面比 GPT 好，比 Gemini 好。不仅仅是 Claude 擅长编码，GPT 擅长数学和推理。它比这更微妙。模型擅长不同类型的编码。模型有不同的风格。我认为这些东西实际上彼此非常不同，所以我预计会比云服务有更多的差异化。现在，确实有一个反驳的论点。那个反驳的论点是，如果模型生产过程，如果人工智能模型自己能够做到这一点，那么它就可以传播到整个经济。但这并不是一个关于普遍商品化人工智能模型的论点。这有点像是关于整个经济同时商品化的论点。我不知道在这样一个世界里会发生什么，在这个世界里，基本上任何人都可以做任何事情，任何人都可以构建任何东西，而且没有任何护城河。我不知道，也许我们想要那个世界。也许这就是最终状态。也许当人工智能模型能够做所有事情时，如果我们解决了所有安全问题，这就是经济再次趋于平缓的一种机制。但这有点像是“数据中心里的天才之国”之后的远景。也许更精细地表达这个潜在观点是：1）人工智能研究似乎特别依赖于原始智力，而在通用人工智能的世界中，这种智力将特别丰富。2）如果你只看当今世界，很少有技术像人工智能算法进步那样扩散得如此之快。这确实暗示着这个行业在结构上具有扩散性。我认为编码发展很快，但我认为人工智能研究是编码的超集，并且其中有一些方面发展得并不快。但我确实认为，一旦我们掌握了编码，一旦我们让人工智能模型快速发展，那么它将加速人工智能模型做其他所有事情的能力。所以，虽然编码现在发展很快，但我认为一旦人工智能模型开始构建下一个人工智能模型并构建其他所有东西，整个经济就会以相同的速度发展。不过，我确实担心地理上的问题。我有点担心仅仅是靠近人工智能，听说过人工智能，可能就是一种差异化因素。所以，当我提到 10-20% 的增长率时，我担心的是硅谷及其与硅谷有社会联系的地区，增长率可能是 50%，而在其他地方的增长率则没有比目前快多少。我认为那将是一个相当糟糕的世界。所以，我经常思考的一件事是如何阻止这种情况发生。你认为一旦我们有了数据中心里的天才之国，机器人技术是否会很快得到解决？因为机器人技术的一个大问题似乎是，人类可以学会远程操作当前的硬件，但当前的人工智能模型却不能，至少不能以非常高效的方式。所以，如果我们拥有像人类一样的学习能力，它不应该立即解决机器人技术吗？我不认为它依赖于像人类一样的学习。它可以通过不同的方式发生。再说一遍，我们可以对许多不同的视频游戏进行模型训练，这些视频游戏就像机器人控制一样，或者许多不同的模拟机器人环境，或者只是训练它们控制电脑屏幕，然后它们就会学会泛化。所以它会发生……它不一定依赖于人类的学习。人类的学习是它发生的一种方式。如果模型是这样的：“哦，我拿起一个机器人，我不知道怎么用它，我学会了。”这可能发生，因为我们发现了持续学习。这也可能发生，因为我们对模型进行了大量环境的训练，然后进行了泛化，或者因为它在上下文长度中学习。哪种方式并不重要。如果我们回到一小时前的讨论，那种事情可以以几种不同的方式发生。但我确实认为，无论出于何种原因，当模型具备这些技能时，机器人技术将得到彻底革新——包括机器人设计，因为模型在这方面将比人类好得多，也包括控制机器人的能力。所以我们将更擅长制造物理硬件，制造物理机器人，并且我们将更擅长控制它。那么，这是否意味着机器人行业也将产生数万亿美元的收入？我的回答是肯定的，但同样会存在非常快速但并非无限快的扩散。那么机器人技术会得到革新吗？是的，也许再加一两年。这就是我对这些事情的看法。有道理。人们普遍对极快的进步持怀疑态度。这是我的看法。听起来你将在几年内以某种方式解决持续学习问题。但就像几年前人们没有谈论持续学习一样，然后我们意识到，“哦，为什么这些模型现在不像它们本可以那样有用，尽管它们显然通过了图灵测试并且在许多不同的领域都是专家？也许是这件事。”然后我们解决了这件事，我们意识到，实际上，人类智能还有一些其他能力，是人类劳动的基础，而这些模型却做不到。那么为什么不认为还会有更多这样的事情，我们发现了更多人类智能的组成部分呢？嗯，要说清楚，我认为持续学习，正如我之前所说，可能根本不是障碍。我认为我们可能只是通过预训练泛化和强化学习泛化来实现。我认为根本就没有这样的东西。事实上，我会指出机器学习的历史，人们提出了各种障碍，但它们最终都溶解在巨大的计算能力之中。人们曾谈论，“你的模型如何跟踪名词和动词？”“它们在句法上可以理解，但不能在语义上理解？这只是统计相关性。”“你可以理解一个段落，但不能理解一个词。有推理能力，但不能进行推理。”但突然之间，事实证明你可以很好地处理代码和数学。所以我认为，实际上，这些事情曾经看起来很重要，然后又逐渐消失的历史更悠久。其中一些是真的。对数据的需求是真实的，也许持续学习也是真实的。但再说一遍，我会让我们回到代码。我认为我们可能在一两年内就能达到模型可以完全端到端地完成软件工程师工作的程度。这是一个完整的任务。这是一个我们说模型现在可以做的人类活动领域。当你说的端到端是什么意思？是指设定技术方向、理解问题背景等等吗？是的。我的意思是所有这些。有趣。我觉得这就像是通用人工智能的终极目标，这可能在内部是一致的。但这不像说 90% 的代码或 100% 的代码。不，我给出了这个范围：90% 的代码，100% 的代码，90% 的端到端软件工程师工作，100% 的端到端软件工程师工作。软件工程师会产生新的任务。最终这些任务也会被完成。这是一个漫长的过程，但我们正在非常快速地 traversing 这个过程。我认为很有趣的是，我看到你做的几个播客，主持人会说，“但 Dwarkesh 写了关于持续学习的文章。”这总是让我捧腹大笑，因为你已经做了十年的 AI 研究员。我相信你肯定有一种感觉，“好吧，一个播客写了一篇文章，每次采访我都会被问到这件事。”事实是，我们都在一起努力弄清楚这一点。有些方面我能看到别人看不到的东西。这些天，这可能更多地与在 Anthropic 内部看到很多东西并不得不做出很多决定有关，而不是我有什么别人没有的高超研究见解。我经营着一家拥有 2500 人的公司。实际上，对我来说，拥有具体的见解比 10 年前甚至两三年前要困难得多。随着我们走向一个完全可以远程替代员工的世界，API 定价模式是否仍然是最有意义的？如果不是，那么为通用人工智能定价或服务通用人工智能的正确方法是什么？我认为这里将会有很多不同的商业模式，同时进行试验。我实际上确实认为 API 模型比许多人想象的更持久。我思考它的一个方式是，如果技术发展迅速，如果它呈指数级发展，这意味着在过去三个月里总会有新的用例出现。你建立的任何产品表面都有可能变得无关紧要。任何给定的产品表面可能都适用于模型的一系列能力。聊天机器人已经遇到了局限性，让它更智能并不能真正帮助普通消费者太多。但我不认为这是人工智能模型的局限性。我不认为这是模型已经足够好的证据，而且它们变得更好对经济无关紧要。它对那个特定产品无关紧要。所以我认为 API 的价值在于，API 始终提供了一个机会，非常接近底层，可以建立在最新的事物之上。总会有新的初创公司和新的想法出现，这些想法在几个月前是不可能的，但由于模型的进步而成为可能。我实际上预测它将与其他模型共存，但我们将始终拥有 API 商业模式，因为总会有数千个不同的人需要尝试以不同的方式试验模型。其中 100 家成为初创公司，其中 10 家成为大型成功的初创公司。两三家最终成为人们使用给定一代模型的方式。所以，我基本上认为它将永远存在。同时，我相信也会有其他的商业模式。模型输出的每个 token 并不都具有相同的价值。想想当有人打电话给模型说：“我的 Mac 不能用了”之类的话时，模型输出的 token 的价值是多少？模型说：“重启它。”有人以前没听过，但模型已经说了 1000 万次。也许这值一美元或几美分。而如果模型去一家制药公司说：“哦，你知道，你正在开发的这种分子，你应该从分子的那一端取下芳香环，然后把它放在分子的那一端。如果你这样做，就会发生奇妙的事情。”那些 token 可能价值数千万美元。所以我认为我们肯定会看到认识到这一点的商业模式。总有一天我们会看到某种形式的“按结果付费”，或者我们可能会看到类似劳动力的薪酬形式，就像按小时工作一样。我不知道。我认为这是一个新行业，很多事情都会被尝试。我不知道什么会是正确的方法。我理解你的观点，人们必须尝试才能弄清楚使用这团智能的最佳方法。但让我感到惊讶的是 Claude Code。我认为在初创公司的历史上，没有一个应用程序像编码代理那样受到如此激烈的竞争。Claude Code 是该领域的领导者。这让我感到惊讶。它似乎并不内在要求 Anthropic 构建它。我想知道你是否能解释为什么必须是 Anthropic，或者 Anthropic 如何最终构建了一个除了底层模型之外还成功的应用程序。它实际上是以一种非常简单的方式发生的，那就是我们有自己的编码模型，它们擅长编码。大约在 2025 年初，我说：“我认为现在是时候了，如果你是一家人工智能公司，使用这些模型可以显著加速你自己的研究。”当然，你需要一个接口，你需要一个工具来使用它们。所以我鼓励内部人员。我没有说这是你必须使用的一件事。我只是说人们应该尝试一下。我认为它最初可能被称为 Claude CLI，然后名称最终被更改为 Claude Code。在内部，这是每个人都在使用的东西，并且它得到了快速的内部采用。我看了看，我说：“我们应该把它推向外部，对吧？”它在 Anthropic 内部得到了如此快速的采用。编码是我们工作的重要组成部分。我们有成百上千的受众，在某种程度上至少代表了外部受众。所以看起来我们已经有了产品市场契合度。让我们推出这个东西。然后我们推出了它。我认为，仅仅是我们自己开发模型，并且我们自己知道我们最需要如何使用模型，我认为这正在创造一种反馈循环。我明白了。也就是说，假设 Anthropic 的一名开发人员说：“啊，如果它在 X 方面做得更好就更好了。”然后你把它融入到你构建的下一个模型中。这是其中一种情况，但也有普通的迭代。我们在 Anthropic 内部有很多程序员，他们每天都使用 Claude Code，所以我们能得到快速的反馈。在早期，这一点更为重要。现在，当然，有数百万人正在使用它，所以我们也得到了大量的外部反馈。但能够获得快速的内部反馈真是太好了。我认为这就是我们推出编码模型而不是制药公司的原因。我的背景是生物学，但我们没有启动制药公司所需的任何资源。现在让我问你关于如何让人工智能顺利发展的问题。似乎我们对人工智能如何顺利发展的任何设想都必须与两件事兼容：1）构建和运行人工智能的能力正在迅速扩散，2）人工智能的数量、我们拥有的数量及其智能也将迅速增加。这意味着很多人将能够构建大量不匹配的人工智能，或者人工智能本身就是试图扩大其影响范围的公司，或者拥有像 Sydney Bing 那样的奇怪心理，但现在它们是超人的。在拥有大量不匹配的人工智能、其中一些是失调的，并且在运行的世界中，存在一种均衡的愿景吗？我认为在《技术的青春期》中，我曾对权力平衡持怀疑态度。但我特别怀疑的是，有三四家公司都在构建源自同一事物的模型，它们会相互制约。或者甚至任何数量的公司都会相互制约。我们可能生活在一个进攻占主导的世界里，一个人或一个人工智能模型足够聪明，可以做一些对其他一切造成损害的事情。短期内，我们现在只有有限的参与者。所以我们可以从有限的参与者开始。我们需要建立安全措施。我们需要确保每个人都做好正确的对齐工作。我们需要确保每个人都有生物分类器。这些是我们现在需要做的。我同意这并不能从长远上解决问题，特别是如果人工智能模型制造其他人工智能模型的能力扩散开来，那么整个问题可能会变得更难解决。我认为从长远来看，我们需要某种治理架构。我们需要一种能够维护人类自由的治理架构，同时也允许我们管理大量的人类系统、人工智能系统、混合人类-人工智能公司或经济单位。所以我们需要考虑：我们如何保护世界免受生物恐怖主义的侵害？我们如何保护世界免受镜像生命的影响？我们可能需要某种人工智能监测系统来监测所有这些事情。但然后我们需要以一种维护公民自由和宪法权利的方式来构建它。所以我认为，就像其他任何事情一样，这是一个新的安全格局，具有一套新的工具和一套新的漏洞。我担心的是，如果我们有 100 年的时间让这一切慢慢发生，我们会习惯它。我们会习惯于社会中炸药的存在，或者各种新武器的存在，或者摄像头的存在。我们会在 100 年内习惯它，并制定治理机制。我们会犯错误。我担心的是，这一切发生得太快了。所以也许我们需要更快地思考如何让这些治理机制发挥作用。在进攻占主导的世界里，在接下来的一个世纪里——这个想法是人工智能将使本应发生在一个世纪的进步在五到十年的时间内发生——我们仍然需要同样的机制，或者权力平衡将同样难以解决，即使人类是唯一参与者。我猜我们有 AI 的建议。但它基本上似乎不是一个完全不同的游戏。如果制衡能够奏效，它们对人类也会奏效。如果它们不起作用，它们对人工智能也不会起作用。所以也许这也会注定人类的制衡。再说一遍，我认为有一些方法可以实现这一点。世界各国政府可能必须共同努力来实现这一点。我们可能需要与人工智能对话，以构建社会结构，使这些防御成为可能。我不知道。我不想说这还为时过早，但它在技术能力方面还为时过早，可能在很短的时间内发生，以至于我们很难提前预见它。说到政府的介入，12 月 26 日，田纳西州立法机构提出了一项法案，其中规定：“故意训练人工智能提供情感支持，包括通过与用户的开放式对话，将构成犯罪。”当然，Claude 的尝试之一是成为一个体贴、知识渊博的朋友。总的来说，似乎我们将拥有一个由州法律组成的拼凑而成的东西。普通人可能从人工智能中获得的大部分好处都将被削减，特别是当我们进入你在《充满爱意的机器》中讨论的那些领域时：生物自由、心理健康改善等。很容易想象在这些领域中，这些好处会被不同的法律“打地鼠”式地消除，而像这样的法案似乎并没有解决你所担心的实际生存威胁。我想了解，在像这样的背景下，Anthropic 对联邦政府禁止州级人工智能法律的立场。同时有很多不同的事情在发生。我认为那项特定的法律很愚蠢。它显然是由立法者制定的，他们可能对人工智能模型能做什么和不能做什么几乎一无所知。他们就像，“人工智能模型为我们服务，这听起来很可怕。我不想那样发生。”所以我们不赞成。但那不是正在投票的事情。正在投票的事情是：我们将禁止所有州级人工智能监管 10 年，而没有明显的联邦人工智能监管计划，这需要国会通过，这是一个非常高的门槛。所以禁止各州在 10 年内做任何事情的想法……人们说他们有联邦政府的计划，但实际上并没有提出任何提案。实际上没有任何尝试。鉴于我在《技术的青春期》中阐述的关于生物武器和生物恐怖主义自主风险的严重危险，以及我们一直在谈论的时间表——10 年是永恒的——我认为这样做是疯狂的。所以，如果这是选择，如果你迫使我们选择，那么我们将选择不实行那个暂停令。我认为这个立场的益处大于成本，但如果这是选择，它也不是一个完美的立场。现在，我认为我们应该做的事情，我支持的事情是，联邦政府应该介入，而不是说“各州你不能监管”，而是说“这是我们要做的，而各州你不能偏离这一点。”我认为先发制人是可以的，因为联邦政府说，“这是我们的标准。这适用于所有人。各州不能做不同的事情。”如果以正确的方式进行，我会支持这一点。但这种“各州，你们什么都不能做，我们什么都不做”的想法，在我们看来非常不合理。我认为它不会长久，而且由于你看到的强烈反对，它已经开始不那么有用了。现在，就我们想要什么而言，我们谈论的是从透明度标准开始，以便监测一些自主风险和生物恐怖主义风险。随着风险变得越来越严重，随着我们获得更多证据，我认为我们可以采取更积极的、有针对性的方式说：“嘿，人工智能生物恐怖主义确实是一个威胁。我们应该通过一项法律，强制人们拥有分类器。”我甚至可以想象……这取决于。这取决于威胁的严重程度。我们不确定。我们需要以一种智力诚实的方式来追求这一点，即我们提前说，风险还没有出现。但我当然可以想象，随着事情的发展速度，今年晚些时候我们会说：“嘿，这些人造生物恐怖主义的东西真的很严重。我们应该做点什么。我们应该将其纳入联邦标准。如果联邦政府不采取行动，我们应该将其纳入州标准。”我完全可以想象这一点。我担心的是一个世界，如果你只考虑你预期的进步速度，立法生命周期……正如你所说，由于扩散滞后，好处足够慢，以至于我真的认为，按照目前的轨迹，这种州法律的拼凑将会被禁止。我的意思是，如果拥有一个情感聊天机器人朋友会吓到人们，那么想象一下人工智能带来的实际好处，我们希望普通人能够体验到。从健康和寿命的改善，以及心理健康的改善等等。而与此同时，你似乎认为危险已经近在眼前，而我却看不到太多……与人工智能的危险相比，它似乎对人工智能的好处尤其有害。所以这可能是我认为成本效益不太合理的地方。这里有几件事。人们谈论有数千项州级法律。首先，绝大多数法律都没有通过。世界理论上是这样运作的，但仅仅因为一项法律通过了，并不意味着它真的得到了执行。执行它的人可能会想：“我的天哪，这太愚蠢了。这意味着要关闭在田纳西州建立的一切。”很多时候，法律的解释方式使其不那么危险或有害。同样，当然，你必须担心如果你通过一项法律来阻止坏事；你也有这个问题。我的基本观点是，如果我们能决定通过哪些法律以及如何做事——而我们只是其中一个微小的投入——我会放松对人工智能健康益处相关的很多事情的管制。我不太担心聊天机器人法。我实际上更担心药物审批过程，我认为人工智能模型将极大地加速我们发现药物的速度，而管道将无法处理所有通过它的东西。我认为监管流程的改革应该更多地倾向于这样一个事实，即我们有许多即将到来的药物，其安全性和有效性实际上将非常清晰和明确，是一件美妙的事情，并且非常有效。也许我们不需要围绕它设计的所有这些上层建筑，这些上层建筑是围绕着一种效果很差且经常有严重副作用的药物时代设计的。同时，我认为我们应该相当大地加强安全和安保立法。正如我所说，从透明度开始是我的观点，试图不阻碍行业发展，试图找到正确的平衡。我对此感到担忧。有些人批评我的文章说：“这太慢了。如果这样做，人工智能的危险就会来得太快。”嗯，基本上，我认为过去六个月和接下来的几个月将是关于透明度的。然后，如果这些风险在我们更加确定的时候出现——我认为可能最早在今年晚些时候——那么我认为我们需要在实际看到风险的领域迅速采取行动。我认为唯一的方法就是灵活应变。现在，立法过程通常不灵活，但我们需要向所有相关人员强调其紧迫性。这就是为什么我发送这个紧急信息。这就是我写《技术的青春期》的原因。我希望政策制定者、经济学家、国家安全专业人士和决策者阅读它，以便他们能够比平时更快地采取行动。你有什么可以做或倡导的事情来确保人工智能的好处得到更好的体现吗？我觉得你和立法者合作过，说：“好吧，我们在这里将阻止生物恐怖主义。我们将提高透明度，我们将提高举报人保护。”但我认为，默认情况下，我们所期待的实际好处似乎非常脆弱，容易受到各种道德恐慌或政治经济问题的困扰。我实际上不太同意关于发达世界的情况。我觉得在发达世界，市场运作得相当好。当某件事有利可图，并且它是明显可用的最佳选择时，监管系统实际上很难阻止它。我们自己也在人工智能领域看到了这一点。我一直在努力争取的是对中国实施芯片出口管制。这符合美国的国家安全利益。这完全符合国会两党几乎所有人的政策信念。理由非常清楚。反对它的论点，我将礼貌地称之为可疑。然而，这并没有发生，我们出售芯片，因为有太多的钱在里面。这笔钱想要被赚取。在这种情况下，在我看来，这是一件坏事。但它也适用于好事。所以，如果我们谈论药物和技术的好处，我并不太担心这些好处在发达世界受到阻碍。我有点担心它们进展太慢。正如我所说，我认为我们应该努力加快 FDA 的审批流程。我认为我们应该反对你所描述的那些聊天机器人法案。单独来看，我反对它们。我认为它们很愚蠢。但我实际上认为更大的担忧是发展中国家，那里的市场不健全，而且我们通常无法在现有技术的基础上发展。我更担心那些人会被落下。我担心即使治愈方法被开发出来，也许密西西比州农村的某个人也得不到。这是我们在发展中国家面临的担忧的一个小版本。所以我们一直在做的事情是与慈善家合作。我们与那些向发展中国家、撒哈鲁以南非洲、印度、拉丁美洲和其他发展中地区提供药物和健康干预措施的人合作。我认为这是不会自行发生的事情。你提到了出口管制。为什么美国和中国不都应该拥有“数据中心里的天才之国”呢？为什么它不会发生，或者为什么不应该发生？为什么不应该发生。如果这种情况发生，我们可能会遇到几种情况。如果我们处于进攻占主导的局面，我们可能会有几个
情况类似于核武器，但更危险。任何一方都可能轻易地摧毁一切。我们也可能生活在一个不稳定的世界里。核均势是稳定的，因为它是一种威慑。但假设存在不确定性，如果两个人工智能发生冲突，哪一方会赢？这可能会造成不稳定。当双方对获胜的可能性有不同的评估时，冲突就经常发生。如果一方说：“哦，是的，我有90%的胜算”，而另一方也这么认为，那么发生冲突的可能性就大得多。他们不可能都对，但他们都可以这么想。但这似乎是对人工智能技术扩散的普遍反对。这就是这个世界的含义。让我继续说下去，因为我认为我们最终会实现技术的扩散。我担心的另一个问题是，政府会利用人工智能压迫自己的人民。我担心一个国家，其政府已经在建立一个高科技的威权主义国家。需要明确的是，这是关于政府的。这与人民无关。我们需要找到一种方法，让各地的人民都能受益。我在这里的担忧是关于政府的。我担心的是，如果世界被分割成两部分，其中一部分可能是威权主义或极权主义，而且非常难以改变。那么，政府最终会获得强大的人工智能，是否存在威权主义的风险吗？是的。政府最终会获得强大的人工智能，是否存在糟糕的均衡风险吗？是的，我认为两者都有。但初始条件很重要。在某个时候，我们需要制定规则。我并不是说一个国家，无论是美国还是民主国家联盟——我认为后者会是一个更好的局面，尽管它需要比我们目前似乎愿意付出的更多的国际合作——就应该说：“这就是规则。”将会进行一些谈判。世界将不得不应对这个问题。我希望的是，世界上那些政府更接近人类价值观的民主国家，在制定规则时拥有更强的实力和更大的影响力。所以我非常担心这个初始条件。我一直在重听三年前的采访，其中一个它过时的方面是，我一直在问问题，假设两三年后会有某个关键的转折点。事实上，从那么长的时间来看，进步似乎在持续，人工智能在改进，人工智能在扩散，人们会用它做更多的事情。你似乎是在想象一个未来的世界，各国聚集在一起，“这是规则，这是我们的影响力，这是你们的影响力。”但按照目前的轨迹，每个人都会拥有更多的人工智能。其中一些人工智能将被威权国家使用。在威权国家内部，一些将被私人行为者使用，而不是国家行为者。谁将受益更多尚不清楚。提前预测总是不可预测的。互联网似乎比你预期的更能使威权国家受益。也许人工智能会反过来。我想更好地理解你在这里想象的是什么。为了精确地说，我认为底层技术的指数级增长将像以前一样继续下去。模型越来越聪明，即使它们达到了“数据中心里的天才国家”。我认为你可以继续让模型变得更聪明。问题在于它们在世界上的价值会递减。一旦你解决了人类生物学问题，它还有多大意义？在某个时候，你可以解决更难、更晦涩的数学问题，但之后就没有什么意义了。撇开这一点不谈，我认为指数级增长会继续，但指数级增长中会有一些杰出的点。公司、个人和国家将在不同的时间达到这些点。在《技术的青春期》中，我讨论了：核威慑在人工智能世界中是否仍然稳定？我不知道，但这只是我们理所当然的一件事的例子。技术可能会达到一个我们不再确定的水平。想想其他的。有些点，如果你达到某个水平，你可能拥有网络进攻的优势，之后每一个计算机系统对你来说都是透明的，除非另一方拥有同等的防御能力。我不知道临界点是什么，或者是否存在一个单一的临界点。但我认为，要么会有一个临界点，要么是少数几个临界点，要么是一个临界窗口，人工智能会从国家安全的角度带来一些巨大的优势，而一个国家或联盟比其他国家更早达到这一点。我并不是说他们应该直接说：“好吧，我们现在掌权了。”我不是这么想的。另一方总是在追赶。有些极端行为你是不愿意采取的，而且完全控制 anyway 也是不对的。但当这种情况发生时，人们会明白世界已经改变了。将会进行一些谈判，无论是隐含的还是明确的，关于后人工智能时代的世界秩序是什么样的。我的兴趣在于让这次谈判成为一个经典自由民主拥有强大优势的谈判。我想理解这具体意味着什么，因为你在文章中说，“在强大人工智能时代之后，独裁政体根本不是一种人们可以接受的政府形式。”这听起来像是你在说，中国共产党作为一个机构，在我们获得通用人工智能后将不复存在。这似乎是一个非常严苛的要求，而且它似乎暗示了一个世界，在这个世界里，领先的实验室或领先的国家将能够——而且按照这种说法，应该能够——决定世界如何治理，或者允许什么样的政府存在，什么样的政府不允许存在。我相信那段话的意思是，“你可以更进一步说 X。”我并不一定赞同这种观点。我只是说，“这是我所相信的更弱的观点。我们必须非常担心威权主义者，并且应该努力制约他们，限制他们的权力。你可以更进一步，采取更具干预性的观点，认为拥有人工智能的威权国家是自我实现的循环，非常难以摆脱，所以你只需要从一开始就消灭它们。”这恰恰包含了你所说的所有问题。如果你承诺推翻每一个威权国家，它们现在就会采取一系列可能导致不稳定的行动。这可能根本不可能。但我所说的我确实赞同的观点是，很有可能……今天，西方世界的主流观点是，民主比威权主义是更好的政府形式。但是，如果一个国家是威权主义的，我们不会像它犯下种族灭绝或其他什么罪行那样做出反应。我想说的是，我有点担心，在通用人工智能时代，威权主义将具有不同的含义。它将是一件更严重的事情。我们必须或多或少地决定如何处理这个问题。干预主义观点是一种可能的观点。我一直在探索这些观点。它最终可能是正确的观点，也可能过于极端。但我确实有希望。我的一线希望是，我们已经看到，随着新技术的发明，政府形式变得过时。我在《技术的青春期》中提到了这一点，我说封建主义基本上是一种政府形式，当我们发明了工业化时，封建主义就不再可持续了。它不再有意义了。为什么这是希望？这难道不能意味着民主不再是一个竞争性系统吗？是的，这可能朝任何一个方向发展。但这些威权主义的问题越来越深。我想知道这是否是威权主义将面临其他问题的指标。换句话说，因为威权主义变得更糟，人们更加害怕它。他们会更加努力地阻止它。你必须从整体均衡的角度来思考。我只是想知道这是否会激发新的思考方式，关于如何利用新技术来保护和捍卫自由。更乐观地说，它是否会带来集体的反思，以及更深刻地认识到我们视为个人权利的某些东西有多么重要？更深刻地认识到我们真的不能放弃这些。我们已经看到，没有其他生活方式真正可行。我实际上希望——这听起来太理想主义了，但我相信可能是这样——独裁统治将变得在道德上过时。它们将成为在道德上不可行的政府形式，而由此产生的危机足以迫使我们找到另一种方式。我认为这里确实有一个棘手的问题，我不知道你如何解决。我们必须在历史上以某种方式解决它。在20世纪70年代和80年代，我们与中国打交道，我们决定，即使它是一个威权体系，我们也会与之接触。我认为事后看来，这是正确的决定，因为这是一个国家威权体系，但十多亿人口比以往任何时候都富裕得多，生活得更好。否则，它不一定会停止成为一个威权国家。你可以看看朝鲜作为例子。我不知道是否需要那么多的智慧来维持一个继续巩固自身权力的威权国家。你可以想象一个人工智能比其他所有人都先进得多的朝鲜，但仍然足以维持权力。总的来说，似乎我们应该采取这种态度，即人工智能的好处——以人类赋权和健康的形式——将是巨大的。历史上，我们决定将技术的益处广泛传播是好的，即使是那些政府是威权主义的人。这是一个棘手的问题，如何看待人工智能，但历史上我们说过，“是的，这是一个正和世界，而且仍然值得推广这项技术。”我们有几个选择。将此视为国家安全层面的政府间决策是一个视角，但还有很多其他视角。你可以想象一个世界，我们生产出所有疾病的治疗方法。将治疗方法卖给威权国家是可以的，但数据中心不行。芯片和数据中心不行，人工智能产业本身也不行。我認為另一個可能性是大家應該考慮的。我們能否開發出一些東西——無論是人工智能自然產生的，還是我們通過在人工智能上構建技術而實現的——創造一種均衡，使得威權國家無法否認其人民私下使用該技術的好處？是否存在這樣的均衡，我們可以給威權國家的每個人提供他們自己的人工智能模型，保護他們免受監控，並且威權國家無法在保留權力的同時鎮壓這種行為？我不知道。在我看來，如果這進一步發展，將會是威權國家從內部瓦解的原因。但也許存在一個中間狀態，一種均衡，如果他們想維持權力，威權主義者就不能否認個人對該技術的訪問權。但我實際上對更激進的版本抱有希望。技術是否可能具有固有的屬性——或者通過以某些方式在其之上構建，我們可以創造出具有這種瓦解威權結構的屬性？現在，我們最初希望——回想奧巴馬政府初期——社交媒體和互聯網會具有這種屬性，但事實並非如此。但如果我們能以對許多事情可能出錯的認識為基礎，並且這是一項不同的技術，我們能再次嘗試嗎？我不知道這是否會奏效，但值得一試。這只是非常不可預測。威权主义可能受益于一些基本原因。这一切都非常不可预测。我们只需要认识到这个问题，并想出10件我们可以尝试的事情，尝试它们，然后评估哪些有效，如果有的话。然后，如果旧的方法无效，就尝试新的方法。但我想，正如你所说，今天的情况是，我们不会向中国出售数据中心、芯片以及制造芯片的能力。所以，在某种意义上，你是在否认……这将对中国经济、中国人民等带来一些好处，因为我们这样做。然后，美国经济也会受益，因为这是一个正和世界。我们可以进行贸易。他们可以拥有他们国家的数据中心做一件事。我们可以拥有我们的数据中心做另一件事。你已经说，为了赋权这些国家，不值得付出如此正和的津贴了吗？我想说的是，我们将进入一个世界，如果我们能够构建这些强大的人工智能模型，增长和经济价值将很容易获得。不容易获得的是利益的分配、财富的分配、政治自由。这些将是难以实现的。所以，当我想政策时，我认为技术和市场将提供所有基本的好处，这是我的基本信念，几乎比我们能接受的还要快。关于分配和政治自由和权利的问题将是真正重要的，政策应该关注这些问题。说到分配，正如你提到的，我们有发展中国家。在许多情况下，追赶式增长比我们希望的要弱。但当追赶式增长发生时，根本原因是他们有未被充分利用的劳动力。我们可以将发达国家的资本和技术带到这些国家，然后它们就可以快速增长。显然，在一个劳动力不再是制约因素的世界里，这种机制就不再起作用了。那么，希望是否基本上依赖于那些立即从人工智能中致富的人或国家的慈善捐赠？希望是什么？慈善事业当然应该发挥作用，就像过去一样。但我认为，如果我们能使增长内生化，增长总是更好、更强劲。在人工智能驱动的世界中，相关的行业是什么？我说过我们不应该在中国建造数据中心，但我们没有理由不应该在非洲建造数据中心。事实上，我认为在非洲建造数据中心会很棒。只要它们不属于中国，我们就应该在非洲建造数据中心。我认为这是一件很棒的事情。我们没有理由不能建立一个由人工智能驱动的制药行业。如果人工智能正在加速药物发现，那么就会有很多生物技术初创公司。让我们确保其中一些发生在发展中国家。当然，在过渡时期——我们可以谈论人类不再有角色的阶段——人类在创办这些公司和监督人工智能模型方面仍将发挥一定的作用。所以，让我们确保其中一些人类在发展中国家，以便那里也能实现快速增长。你们最近宣布 Claude 将拥有一个符合一套价值观的宪法，而不仅仅是符合最终用户的。我可以想象一个世界，如果它符合最终用户，它将保持我们当今世界的力量平衡，因为每个人都可以拥有自己的倡导者人工智能。坏人和好人的比例保持不变。这似乎对我们当今的世界是可行的。为什么不这样做，而是让人工智能遵循一套特定的价值观更好呢？我不确定我是否会那样区分。这里可能有两个相关的区别。我认为你指的是两者的混合。一个是，我们是否应该给模型一套关于“做这个”或“不要做那个”的指示？另一个是，我们是否应该给模型一套行为原则？这基本上是一个实际的和经验性的问题，我们已经观察到了。通过教授模型原则，让它从原则中学习，它的行为更加一致，更容易涵盖边缘情况，模型也更有可能做人们想要它做的事情。换句话说，如果你给它一个规则列表——“不要告诉人们如何改装汽车，不要说韩语”——它并不真正理解规则，而且很难从中推广。它只是一个“做”和“不做”的列表。而如果你给它原则——它有一些硬性限制，比如“不要制造生物武器”，但——总的来说，你试图理解它应该追求什么，它应该如何运作。所以，仅仅从实际角度来看，这被证明是训练模型的更有效的方法。这就是规则与原则的权衡。然后是另一件事，你正在谈论，即可纠正性与内在动机的权衡。模型在多大程度上应该是一个“皮肤套装”，它只是直接遵循给出指令的人给出的指令，而模型在多大程度上应该拥有内在的价值观并自行其是？在那里，我实际上会说，关于模型的一切都更倾向于它应该主要做人们想做的事情。它应该主要遵循指示。我们不是在试图构建一个独立运行世界的东西。我们实际上在可纠正性方面做得相当好。现在，我们确实说有些事情模型不会做。我认为我们在宪法中以各种方式说过，在正常情况下，如果有人要求模型执行任务，它应该执行该任务。这应该是默认设置。但是，如果你要求它做危险的事情，或者伤害别人，那么模型就不愿意这样做。所以，我实际上认为它是一个大部分可纠正的模型，有一些限制，但这些限制是基于原则的。那么根本问题是，这些原则是如何确定的？这不是 Anthropic 特有的问题。任何人工智能公司都会面临这个问题。但因为你们是实际写下原则的人，所以我可以问你这个问题。通常，宪法是写下来的，是固定的，并且有一个更新和修改的过程等等。在这种情况下，这似乎是一份 Anthropic 的人写的文件，可以随时更改，它指导着将成为大量经济活动的系统行为。你如何看待这些原则应该如何设定？我认为这里可能有三种循环，三种迭代方式。一种是我们内部迭代。我们训练模型，我们不满意，然后我们修改宪法。我认为这样做很好。偶尔发布宪法的公开更新是好的，因为人们可以发表评论。第二层循环是不同的公司有不同的宪法。我认为这很有用。Anthropic 发布宪法，Gemini 发布宪法，其他公司也发布宪法。人们可以查看并进行比较。外部观察者可以批评并说，“我喜欢这个宪法中的这个东西，以及那个宪法中的那个东西。”这会给所有公司带来一种软性激励和反馈，让它们吸收每个元素的最佳部分并进行改进。然后我认为有第三个循环，那就是人工智能公司之外的社会，以及那些没有硬实力的人的评论者之外的社会。我们在那里做了一些实验。几年前，我们与集体智能项目合作，基本上是民意调查人们，问他们我们的 AI 宪法应该包含什么。当时，我们采纳了一些修改。所以你可以想象用我们新采取的宪法方法做类似的事情。这有点难，因为当宪法是一系列“做”和“不做”的列表时，更容易采取这种方法。在原则层面，它必须具有一定的连贯性。但你仍然可以想象从各种各样的人那里获得观点。你也可以想象——这是一个疯狂的想法，但这次采访都是关于疯狂的想法——代议制政府系统可以提供输入。我今天不会这样做，因为立法过程太慢了。这正是为什么我认为我们应该谨慎对待立法过程和人工智能监管。但没有理由你不能原则上说，“所有人工智能模型都必须有一个宪法，以这些内容开头，然后你可以附加其他内容，但必须有一个特别的部分具有优先权。”我不会那样做。这太死板了，而且听起来过于教条，我认为过于激进的立法就是这样。但这是你可以尝试做的事情。有没有一种不那么强硬的版本？也许吧。我真的很喜欢控制循环二。显然，这并不是实际政府的宪法应该如何运作。没有这种模糊的感觉，最高法院会感受到人们的感受——“氛围”是什么——并相应地更新宪法。对于实际的政府，有一个更正式、更程序化的过程。但你有一个宪法竞争的愿景，这实际上非常让人想起一些自由主义者关于特许城市的人们曾经谈论过的，关于不同类型的政府的群岛会是什么样子。人们会从中选择最有效的运作方式，以及人们最快乐的地方。在某种意义上，你正在重现这种群岛乌托邦的愿景。我认为这个愿景有值得称道的地方，也有会出错的地方。这是一个有趣、在某些方面引人注目的愿景，但会发生你没有想到的事情。所以我也很喜欢循环二，但我认为这一切都必须是循环一、二和三的某种组合，这是一个比例问题。我认为这就是答案。当有人最终写出这个时代的《原子弹制造史》时，最难从历史记录中提取、最有可能被遗漏的是什么？我认为有几件事。一是，在指数增长的每一个时刻，世界在它之外的理解程度。这是历史中经常存在的偏见。任何实际发生的事情在回顾时看起来都是不可避免的。当人们回顾时，他们很难将自己置于那些实际上对这件事下注的人的处境，而这件事并非不可避免，我们有过像我为扩展或持续学习将被解决所做的争论。我们中的一些人在内部认为这很有可能发生，但我们之外的世界根本没有采取行动。我认为它的怪异性，不幸的是它的孤立性……如果我们离它发生还有一两年，普通人根本不知道。这是我试图通过备忘录、与政策制定者交谈来改变的事情之一。我不知道，但我认为这太疯狂了。最后，我想说——这可能适用于几乎所有历史上的危机时刻——它的发生速度有多快，一切都在同时发生。你可能认为经过仔细计算的决定，实际上你必须做出那个决定，然后你必须在同一天做出另外30个决定，因为一切都在飞速发展。你甚至不知道哪些决定最终会产生影响。我的一些担忧——尽管这也是对正在发生的事情的一种洞察——是一些非常关键的决定将是一个人走进我的办公室说：“Dario，你只有两分钟。我们应该在这个问题上做 A 还是 B 吗？”有人给了我一份随机的半页备忘录，问：“我们应该做 A 还是 B 吗？”我说：“我不知道。我得吃午饭。我们做 B 吧。”这最终成为了有史以来最有影响力的事。所以，最后一个问题。通常没有科技公司的 CEO 每隔几个月写 50 页的备忘录。你似乎已经为自己和周围的公司建立了一个角色，这个角色与这种更具智力型的 CEO 角色相兼容。我想了解你是如何构建它的。它是如何运作的？你是否只是去几周，然后告诉你的公司，“这是备忘录。这是我们要做的”？据报道，你也在内部写了很多这样的东西。对于这一个，我是在冬季休假期间写的。我很难找到时间来写它。但我从更广泛的角度来看待这个问题。我认为这与公司的文化有关。我可能花三分之一，甚至 40% 的时间来确保 Anthropic 的文化是好的。随着 Anthropic 的规模越来越大，我很难直接参与模型的训练、模型的发布、产品的构建。有 2500 人。我有一些直觉，但很难深入到每一个细节。我尽可能地尝试，但一个非常有 leverage 的事情是确保 Anthropic 是一个好工作的地方，人们喜欢在那里工作，每个人都认为自己是团队成员，每个人都一起工作而不是互相对抗。我们看到，随着一些其他人工智能公司的发展——不点名——我们开始看到分崩离析和人们互相争斗。我认为从一开始就有很多人是这样，但情况变得更糟了。我认为我们做得非常好，即使不完美，也把公司团结在一起，让每个人都感受到使命，我们对使命是认真的，每个人都相信其他人都在为正确的理由工作。我们是一个团队，人们不是在互相排挤或背后捅刀子，我再次认为这在其他一些地方发生了很多。你如何做到这一点？这有很多方面。有我，有负责公司日常运营的 Daniela，有联合创始人，有我们招聘的其他人员，有我们试图创造的环境。但我认为文化中重要的一点是，其他领导者，尤其是我的话，必须阐明公司的宗旨，它为什么这样做，它的战略是什么，它的价值观是什么，它的使命是什么，以及它代表什么。当你有 2500 人时，你无法一对一地做到这一点。你必须写作，或者你必须对整个公司讲话。这就是为什么我每两周在全公司面前讲话一个小时。我不会说我写内部文章。我做两件事。第一，我写了一个叫做 DVQ（Dario Vision Quest）的东西。我不是给它起这个名字的。这是它得到的名称，我试图反对这个名字，因为它听起来好像我要去抽大麻一样。但这个名字就这么定了。所以，我每两周在公司面前讲话。我有一个三四页的文件，我谈论公司内部正在发生的三四个不同的话题，我们正在生产的模型，产品，外部行业，整个世界与人工智能和地缘政治的关系。只是其中的一些混合。我非常诚实地进行，我说：“这就是我在想的，这就是 Anthropic 的领导层在想的”，然后我回答问题。这种直接联系非常有价值，当你把事情从六个层级传递下去时很难实现。公司的大部分人都来参加，无论是亲自还是虚拟参加。这确实意味着你可以沟通很多。我做的另一件事是，我在 Slack 上有一个频道，我会在那里写很多东西，并发表很多评论。通常这是对我看到的公司里的事情或人们提出的问题的回应。我们做内部调查，人们有一些担忧，所以我都会写出来。我对这些事情非常诚实。我只是直接说出来。关键是建立一个声誉，告诉公司真相，直言不讳，承认问题，避免那种在公共场合经常需要的公司套话，那种防御性沟通，因为世界很大，充满了恶意解读的人。但如果你有一个你信任的公司，我们试图招聘我们信任的人，那么你就可以完全 unfiltered。我认为这是公司的巨大优势。它使公司成为一个更好的工作场所，它使人们的价值大于他们各自的总和，并增加了我们完成使命的可能性，因为每个人都对使命有共同的理解，并且每个人都在辩论和讨论如何最好地完成使命。好吧，在我们进行外部的 Dario Vision Quest 之前，我们有这次采访。这次采访有点像那样。这很有趣，Dario。谢谢你接受采访。谢谢你，Dwarkesh。