State of AI in 2026: LLMs, Coding, Scaling Laws, China, Agents, GPUs, AGI | Lex Fridman Podcast #490

以下是一段关于人工智能最前沿的对话，包括过去一年中人工智能领域发生的一些令人兴奋的技术突破和发展，以及我们认为在即将到来的一年中可能发生的一些有趣的事情。有时，它会变得非常技术化，但我们确实会努力确保它对该领域之外的人来说仍然易于理解，而不会使其变得过于简单化。能够与人工智能界我最喜欢的两个人——Sebastian Raschka 和 Nathan Lambert——一起制作这样的节目，我感到非常荣幸和高兴。他们都是备受尊敬的机器学习研究员和工程师，同时也是出色的沟通者、教育者、作家和 X（前身为 Twitter）用户。Sebastian 写了两本我强烈推荐给初学者和专家阅读的书。第一本是《从零开始构建大型语言模型》，第二本是《从零开始构建推理模型》。我坚信，在机器学习/计算机科学领域，学习和理解事物的最佳方式就是从零开始自己构建它。Nathan 是艾伦人工智能研究所的训练后负责人，也是关于《从人类反馈中强化学习》这本权威著作的作者。他们俩都有很棒的 X 账号和很棒的 Substack。Sebastian 在 YouTube 上有课程，Nathan 有播客。每个人都绝对应该关注所有这些。这是 Lex Fridman 播客。为了支持本播客，请查看描述中的赞助商，您也可以在那里找到联系我、提问、获取反馈等的链接。现在，亲爱的朋友们，请听 Sebastian Raschka 和 Nathan Lambert 的节目。

我认为一个很有用的视角是看待 DeepSeek，也就是所谓的 DeepSeek 时刻。这发生在 2025 年初，当时中国开源权重公司 DeepSeek 发布了 DeepSeek-R1，我认为可以说它以接近最先进的性能让所有人感到惊讶，而且据称计算量更少，成本也更低。从那时到现在，人工智能的竞争已经变得疯狂，无论是在研究层面还是产品层面。它一直在加速。今天我们就来讨论所有这些，也许我们可以从一些尖锐的问题开始。在国际层面谁在获胜？你会说是中国公司还是美国公司？Sebastian 和 Nathan，很高兴见到你们。那么 Sebastian，你认为谁在获胜？

“获胜”是一个非常宽泛的词。我想说，你提到了 DeepSeek 时刻，我认为 DeepSeek 绝对赢得了那些从事开源模型工作的人们的心，因为他们将这些模型作为开源模型共享。我认为“获胜”有多个时间尺度。我们有今天，我们有明年，我们有十年后。我敢肯定的一件事是，我认为如今，在 2026 年，不会有任何公司能够获得其他公司无法获得的技术。这主要是因为研究人员经常更换工作，更换实验室。他们会轮岗。所以我不认为在技术获取方面会有明确的赢家。然而，我认为差异化因素将是预算和硬件限制。我不认为这些想法会是专有的，而是实现它们所需的资源。因此，我目前看不到“赢家通吃”的局面。我目前看不到这一点。

Nathan，你有什么看法？

你看到实验室投入了不同的精力来做他们想做的事情，我认为要界定我们录制节目的时间点，人们对 Anthropic 的 Claude 3.5 Opus 模型的热情简直是疯狂的。我是说，我用过它，并且在过去几周里用它构建了一些东西，而且……它几乎到了有点像一个模因的程度，就炒作而言。而且很有趣的是，这是非常自然的，然后如果我们回到几个月前，我们可以看到 Gemini 1.5 从 Google 发布的时间和说明，而且该发布的营销和“哇”因素似乎非常高。但到了 10 月底，Claude 3.5 Opus 发布了，而且炒作一直在增长，但 Gemini 在此之前。而且感觉人们不再像以前那样谈论它了，尽管当它出来时，每个人都说，这是 Gemini 重新获得 Google 在人工智能领域结构性优势的时刻。Gemini 是一个很棒的模型，我仍然在使用它。它只是区分度较低。我同意 Sebastian 的观点；你说的关于所有这些，想法空间非常流动，但文化上 Anthropic 以在代码上投入巨资而闻名——这就是 Claude Code 的事情——而且目前对他们来说是奏效的。所以，即使想法流动得很快，其中很大一部分也受制于人力和组织的文化，而 Anthropic 似乎至少是表现得最不混乱的。如果他们能保持一段时间，这确实是一个优势。但另一方面，中国有很多技术，那里有比 DeepSeek 多得多的实验室。所以 DeepSeek 在中国掀起了一场运动，我认为有点像 ChatGPT 在美国掀起了一场运动，一切都有了聊天机器人。现在中国有大量的科技公司正在发布非常强大的前沿开源模型，以至于我认为 DeepSeek 正在失去其在中国作为首屈一指的开源模型制造商的王冠，而 Zhipu AI 的 GLM 模型、MiniMax 的模型——尤其是 Kimi Moonshot，在过去几个月里表现得更加出色。新的 DeepSeek 模型仍然非常强大，但这有点……回过头来看，这是一个重要的叙事点，即在 2025 年 DeepSeek 出现并为更多中国公司提供了一个平台，这些公司正在发布这些出色的模型，从而拥有这种新的运营模式。所以这些中国公司的模型是开源的，并且根据这个轨迹，美国公司正在进行的商业模式可能会面临风险。但目前，美国有很多人在为人工智能软件付费，而在历史上，中国和世界其他地方的人们并不为软件支付很多钱。

所以，像 DeepSeek 这样的模型因为是开源的而受到人们的喜爱。你认为中国公司会继续发布开源模型多久？

我认为是几年。我认为，就像在美国一样，它没有明确的商业模式。我写开源模型已经有一段时间了，而这些中国公司已经意识到了这一点。所以我收到了一些公司的来电。他们很聪明，意识到了同样的限制，那就是许多顶级的美国科技公司和其他 IT 公司出于安全考虑，不会向中国公司支付 API 订阅费。这在科技界已经是一种长期习惯，而这些公司的员工则将开源模型视为影响并参与美国庞大且不断增长的人工智能支出市场的一种方式。他们对此非常现实，而且奏效了。我认为政府会看到，这在技术采用方面正在建立大量的国际影响力，因此将会有很多激励措施来维持这种势头。但构建这些模型和进行研究非常昂贵，所以总有一天，我预计会出现整合，但我预计这不会是 2026 年的故事，届时开源模型构建者的数量将比 2025 年更多。其中许多著名的模型将来自中国。

你本来要说什么？

是的。你提到了 DeepSeek 失去了王冠。我确实在一定程度上同意，但我们也必须考虑到，我认为他们仍然，我敢说，略微领先。并不是 DeepSeek 变差了，而是其他公司正在借鉴 DeepSeek 的想法。例如，你提到了 Kimi：相同的架构，它们正在训练它。然后我们又有了这种跳跃式发展，它们可能在某个时候会更好，因为它们拥有最新的模型。我认为这又回到了这样一个事实：不会有明确的赢家。它只会是这样。一个人发布了东西，另一个人就跟进，而最新的模型很可能永远是最好的模型。

是的。我们还会看到中国公司有不同的激励措施。例如，DeepSeek 非常保密，而像 MiniMax 和 Moonshot AI 这样的初创公司。这两家公司都提交了 IPO 文件，它们试图赢得西方的心智份额并进行大量的外展活动。我不知道这些激励措施是否会改变模型开发，因为 DeepSeek 以其由对冲基金 Highflyer Capital 资助而闻名，我们不确清他们到底用这些模型做什么，或者他们是否关心这一点。

他们在沟通方面很保密，但在描述模型工作原理的技术报告方面并不保密。在这方面他们仍然是开放的。我们还应该说，关于 Claude 3.5 Opus 的炒作，有一个层面是它是 X 回声室、Twitter 回声室的宠儿，以及实际使用该模型的人数。我认为可以说，ChatGPT 和 Gemini 专注于那些只想解决日常生活中问题的广大用户群体，而这个用户群体是巨大的。所以关于编码的炒作可能并不代表实际使用情况。

我还想说，很多使用模式，就像你说的，是名称识别、品牌等等，但几乎也是肌肉记忆，你知道，比如 ChatGPT 已经存在很长时间了。人们已经习惯使用它了，它几乎就像一个飞轮：他们向其他用户推荐它等等。一个有趣的观点是 LLM 的定制化。例如，ChatGPT 有记忆功能，对吧？所以你可能有一个订阅，你用它来处理私人事务，但我不知道你是否想在工作中使用同一个东西。因为这是私人和工作之间的界限。如果你在一家公司工作，他们可能不允许这样做，或者你可能不希望这样做。我认为这也是一个有趣的观点，你可能需要多个订阅。一个只是干净的代码；它没有任何你的个人图像或爱好项目。它只是工作相关的东西。然后另一个是你的个人事务。所以我认为这也是一个地方，有两个不同的用例，而且不意味着你只能有一个。我认为未来是多个。

你认为哪个模型赢得了 2024 年，你认为哪个模型将赢得 2025 年？

我认为在消费者聊天机器人方面，这是一个问题：你是否愿意押注 Gemini 而不是 ChatGPT？我想说，凭我的直觉，这似乎有点冒险，因为 OpenAI 一直是行业领导者，而且在技术方面有很多好处。我认为如果看看 2024 年，势头是在 Gemini 一边，但它们是从一个非常低的起点开始的。以及 RIP Bard 和这些早期的尝试。我认为他们克服了组织混乱并取得这一成就，这值得极大的赞扬。但也很难与 OpenAI 对抗，因为它们总是显得……如此混乱，但它们非常擅长交付成果。而且我认为，就我个人而言，我对 o1 的评价非常复杂，但它一定为他们节省了大量资金，因为高线功能作为一个路由器，大多数用户不再像以前那样承担 GPU 成本。所以我认为很难将我喜欢的东西与真正能区分普通大众的东西区分开来。

你对 2025 年有什么看法？谁会赢？

我会说一些话，尽管这有风险。我认为 Gemini 将继续在 ChatGPT 上取得进展。我认为谷歌的规模，当这两者都在如此极端的规模上运行时，是一个因素。谷歌能够更好地分离研究和产品，你听到很多关于 OpenAI 在运营上很混乱，并且追逐高影响力的事情，这是一种非常初创公司的文化。然后在软件和企业方面，我认为 Anthropic 将继续取得成功，因为他们一次又一次地为此做好了准备。显然，Google Cloud 有很多产品，但我认为这个 Gemini 品牌对他们来说很重要。Google Cloud 将继续表现良好，但这在生态系统中是一个更复杂的事情来解释，因为它与 Azure 和 AWS 竞争，而不是在模型提供商方面。

那么在基础设施方面，你认为 TPU 给了他们优势吗？

很大程度上是因为英伟达芯片的利润率非常高，而谷歌可以从头到尾开发一切以适应他们的堆栈，而不必支付这种利润率，而且他们在建设数据中心方面拥有先发优势。所以所有这些东西，它们都有很长的交货时间和非常高的成本利润率。谷歌在那里拥有历史性的优势，如果将出现新的范式，它最有可能来自 OpenAI，因为他们的研究部门一次又一次地展示了交付新的研究理念或产品的能力。比如 Deep Research、Sora、o1 思考模型——所有这些定义性的东西都来自 OpenAI，这必须是他们作为组织的顶尖特质之一。所以很难与之对抗，但我认为今年的大部分工作将是关于规模和优化可以被描述为模型中的“低垂的果实”。

显然，智能和速度之间存在权衡。这就是 GPT-5 在幕后试图解决的问题。就像，普通大众真的想要智能，还是他们想要速度？

我认为实际上是一种很好的多样性，或者可以选择一个切换开关。就我个人而言，大多数时候当我查找某事时，我使用 ChatGPT 来快速提问，快速获取我想要的信息。对于大多数日常任务，我使用快速模型。如今，我认为自动模式已经相当不错了，你不需要特别说明思考或不思考。然后，我又有时想要专业模式。我经常做的是，当我写完东西后，我会把它放进 ChatGPT 里说：“嘿，做一个非常彻底的检查。我所有的引用都正确吗？我所有的想法都正确吗？我犯了任何格式错误吗？数字错误吗？”或者类似的东西。而且我不需要立即得到答案。没关系——我完成我的工作，也许吃完晚饭，让它运行，回来然后仔细检查。我认为这就是拥有这个选项很重要的原因。如果我每次查询都要等 30 分钟甚至 10 分钟，我会疯掉的。

那是我。我坐在这里因为你使用路由器和非思考模型而发疯。我当时想：“你怎么能忍受？”这是我的反应。我一直在使用 ChatGPT。我从不碰非思考模式。我发现它的语气以及它容易出错的倾向——它出错的可能性就是更高。其中一些源于 OpenAI 发布 o1-preview 的时候，那是第一个进行深度搜索并找到许多来源并为你整合的模型的。所以我已经习惯了。所以当我为工作进行任何信息查询时，无论是论文还是代码参考，我只会使用 GPT-4o 思考模式或专业模式。我经常同时进行五个专业查询，每个查询都在寻找一篇特定的论文或对某个方程的反馈，或者其他什么。

我有一个有趣的例子，在去旅行之前，我需要尽快为这个播客找到答案。我在家有一个本地 GPU，我想运行一个长时间的 RL 实验。通常，我会拔掉插头，因为你永远不知道什么时候不在家。我不小心拔掉了 GPU。我妻子已经在车里了，当时我想：“哦，该死。”基本上，我需要一个尽可能快的 Bash 脚本来运行我的不同实验和评估。这是我了解的东西。我学会了如何使用 Bash 界面或 Bash 终端，但当时我只需要 10 秒钟，给我命令。

这是一个非常滑稽的情况。是的，那么你用了什么？

所以我使用了非思考最快的模型。它给了我一个将不同脚本链接在一起的 Bash 命令，然后是那个东西，你有一个 tee 命令，你想将它路由到一个日志文件。我当时头脑发热，我本来可以自己想出来的。

顺便说一句，我不知道这是否是一个代表性的案例：妻子在车里等着……你必须跑，拔掉 GPU，你必须生成一个 Bash 脚本。这听起来像一部电影，像《碟中谍》。

我用 Gemini 来做这件事。所以我用思考模式来处理所有信息方面的事情，然后用 Gemini 来处理快速的事情或者我有时可以谷歌搜索的东西。它擅长解释事物，我相信它拥有这种背景知识，而且它很简单。而且 Gemini 应用已经改进了很多。它适合做这类事情。然后对于代码和任何哲学讨论，我使用 Claude Opus 3.5。也总是使用扩展思考。扩展思考和推理时间缩放只是让模型稍微更聪明的一种方式。当我看到进展非常大的时候，我总是会倾向于这一边，因为你不知道什么时候它会解锁新的用例。然后有时我使用 Grok 来获取实时信息或在 AI Twitter 上找到我看到过的东西，我需要挖掘出来并且我一直关注它。尽管 Grok-3 发布时，Grok-3 的 Pro 版本 Super Heavy 实际上非常好，而且我对此印象深刻，然后由于肌肉记忆，我一直打开 ChatGPT 应用，就失去了对它的关注。所以我使用很多不同的东西。

是的。我实际上使用 Grok-3 Heavy 进行调试。对于其他模型无法解决的硬核调试，我发现它最擅长。有趣的是，你说 ChatGPT 是最好的界面。对我来说，出于同样的原因，但这可能只是惯性，Gemini 对我来说是更好的界面。我认为是因为我爱上了他们最好的“大海捞针”能力。如果我输入了很多上下文但正在寻找非常具体的信息，以确保它能全部跟踪，我至少发现 Gemini 对我来说是最好的。所以很有趣的是，对于一些模型，如果它们赢得了你的心——因为一个特定的功能，在一个……在一个特定的日子，对于那个特定的查询，那个提示，你会说，“这个模型更好。”所以你会坚持一段时间，直到它做了一些非常愚蠢的事情。有一个阈值效应。一些聪明的事情，然后你爱上了它，然后它做了一些愚蠢的事情，然后你会说，“你知道吗？我要换个试试 Claude 或 ChatGPT。”以及所有这些事情。

这正是这样。你一直使用它，直到它坏掉，直到你遇到问题，然后你更换 LLM。我认为这与我们使用任何东西的方式相同，比如我们最喜欢的文本编辑器、操作系统或浏览器。我是说，有很多浏览器选项：Safari、Firefox、Chrome。它们相对相似，但也有一些边缘情况，也许是你想要使用的扩展程序，然后你就会切换。但我认为没有人会输入相同的东西，比如网站，到不同的浏览器并进行比较。你只会在网站不渲染，或者出现问题时才这样做。所以这是一个很好的观点。你一直使用它，直到它坏掉，然后你探索其他选项。

关于长上下文，我也曾是 Gemini 的用户，但 GPT-4o 的发布博客显示了疯狂的长上下文分数，很多人说，“他们只是发现了一些算法上的改变吗？”它从，比如，30% 提高到 70% 或类似的数字，只是在一次小型的模型更新中。所以也很难跟踪所有这些事情，但现在我对 GPT-4o 的长上下文看法更积极了。所以这只是，“我实际上如何测试它？”这是一场永无止境的战斗。

嗯，有趣的是，我们都没有从使用角度谈论中国模型。这说明了什么？这是否意味着中国模型不如好，还是我们只是非常偏见且以美国为中心？

我认为目前是模型和平台之间的差异。我认为开源模型更多地以其开源权重而闻名，而不是它们的平台。

也有很多公司愿意以非常低的成本为您提供开源模型推理服务。有了 OpenRouter 之类的东西，很容易查看多模型。你可以在 Perplexity 上运行 DeepSeek。我认为我们这里坐着的所有人都在说，“我们一直使用 OpenAI GPT-4 Pro。”我们都愿意为边际……智能增益付费。而这些美国模型在输出方面更好。我认为问题是：它们今年和未来几年会保持更好吗？只要它们更好，我就会付费使用它们。还有分析表明，中国模型的服务方式——你可以争辩说这是由于出口管制还是其他原因——是它们每个副本使用的 GPU 更少，这使得它们速度更慢，并且产生不同的错误。这是速度和智能。如果这些对用户有利，美国有很多用户会选择它，我认为这是促使这些中国公司在其他方面竞争的一个因素，无论是免费还是大幅降低成本，或者它会激发产品创新的创意，这对生态系统有利。但简单地说，美国模型目前更好，我们使用它们。我尝试过这些其他开源模型，我说，“有趣，但我不会再用它们了。”

我们真的没有提到编程。这是另一个很多人关心的用例。我基本上是半半地使用 Cursor 和 Claude，因为它们……我发现它们是根本不同的体验，而且都很有用。你们……你们写了很多代码……那么你们用什么？目前的趋势是什么？

我使用 VS Code 的 Codeium 插件。你知道，它非常方便。它就像一个插件，然后它有一个可以访问你存储库的聊天界面。我知道 Claude，我认为有点不同。它更具代理性。它触及更多东西。它为你完成整个项目。我还没有到那种程度，我对此感到舒适，因为也许我是一个控制狂，但我仍然想看看发生了什么。而 Codeium 目前是最佳选择，它正在帮助我，但并没有完全接管。

我应该提到，我使用 Claude 的原因之一是培养用英语编程的技能。我是说，体验是根本不同的。你……而不是微观管理代码生成过程的细节，并查看差异，如果你使用 Cursor IDE，你可以在那里进行更改、修改。在进步的过程中，看着并深入理解代码，而不是仅仅在这个设计空间中思考并在宏观层面指导它，我认为这是另一种思考编程过程的方式。此外，我们应该说，Claude 似乎以某种方式更好地利用了 Claude Opus 3.5。

这是一个很好的并排比较。你可以打开 Claude，打开 Cursor，打开 VS Code，并在所有这些上选择相同的模型……并提问。这非常有趣。Claude 在这个领域要好得多。这是非凡的。

好了，我们应该说你们两位在多个方面都是合法的，研究员、程序员、教育者、Twitter 用户。在书籍方面也是如此。所以 Nathan，希望很快，他会出一本关于 RLHF 的书。

它已经可以预订了，并且有一个完整的数字预印本。我正在把它做得更漂亮、更有条理，以便制作实体书，这就是我这么做的原因，因为创造你认为在物理形式上很棒的东西很有趣，而我们的生活大部分是数字化的。

我应该说，根据这里的 Perplexity，Sebastian Raschka 是一位机器学习研究员和作者，以几本有影响力的书而闻名。我想提一下其中两本，我强烈推荐的书是《从零开始构建大型语言模型》，以及新书《从零开始构建推理模型》。我对此感到非常兴奋。从零开始构建东西是学习最强大的方法之一。

老实说，从零开始构建一个 LLM 很有趣。它也需要学习很多东西。就像你说的，这可能是了解某物真正如何工作的最佳方式，因为你可以看图表，但图表可能会出错。你可以看概念和解释，但你可能会误解它们。但如果那里有代码，而且代码有效，你就知道它是正确的。没有误解。它是精确的。否则，它就不会起作用。这就是编码的美妙之处。它不会撒谎。基本上就是数学。即使我认为数学方面，你可能会在书中犯错误而永远注意不到。因为你在阅读书时并没有运行数学，你无法验证它。而对于代码，好处是你可以在代码中验证它。

是的，我同意你关于《从零开始构建大型语言模型》这本书的观点。能够屏蔽掉其他一切，互联网等等，只专注于书，这很好。但是，你知道，我读过几本历史书。不知何故，感觉不那么孤独。它确实更有趣。例如，在编程方面，我认为用 LLM 编程确实更有趣。而且我认为用 LLM 阅读也确实更有趣。但你是对的。这种分心应该被最小化。所以你使用 LLM 来丰富体验，也许增加更多上下文。对我来说，在小范围内，“啊哈！”时刻的发生率非常高，这得益于 LLM。

100%。我还想纠正自己：我并不是建议不要使用 LLM。我建议分多次进行。比如，第一次只是离线进行，在专注模式下，然后之后……我的意思是，我也做笔记，但我尽量抵制立即查找东西的冲动。我进行第二次。这样更结构化。有时答案会在章节后面出现，有时它只是有助于让它沉淀下来并思考它。我强烈建议在阅读书籍时使用 LLM。对我来说，它不是第一步；它是第二步。

就推荐而言，我会说我做相反的事情。我喜欢一开始就使用 LLM 来全面了解我将要进入的这个世界。但我尽量避免从 LLM 点击到 Twitter 和博客的世界。因为那样你就会陷入这个兔子洞。你在读某人的观点，关于某个特定话题有一场争论，突然你就进入了互联网和 Reddit 的领域。但如果你纯粹让 LLM 给你提供关于为什么这很重要以及宏观想法是什么的背景……书籍本身在这方面做得很好，但并非总是如此。

这就是为什么我喜欢 ChatGPT 应用：它在你的电脑上为 AI 提供了一个家，让你能够专注于它，而不是仅仅成为我混乱的互联网选项中的另一个标签。我认为 Claude Code 在让它变得令人愉悦方面做得很好。它似乎非常吸引人，作为一个被设计成你的 AI 将走向世界的界面的产品。与 OpenAI 的模型相比，它是一些无形的东西，感觉温暖而吸引人，而它们可能同样好，但感觉有点粗糙。而 Claude Code 让构建东西变得有趣，特别是从零开始构建，因为你不必担心，因为你相信它会创造出一些东西。这对于网站和刷新工具等东西很有用，我用它来做这些，或者进行数据分析。对于我的博客，我们抓取 Hugging Face 来跟踪每个数据集和模型的下载量。随着时间的推移。而 Claude 就像，“是的，我利用了这些数据，没问题。”我当时就像，“这本该花我几天时间。”然后我有了足够的情境意识，可以这样说，“好吧，这些趋势显然是合乎逻辑的。”但这只是一个很棒的界面，你可以有一个中间人，而不必做那些可怕的低级工作来维护不同的网络项目。

好了。我们刚才谈论了很多闭源模型。让我们来谈谈开源模型。所以告诉我关于开源 LLM 模型的情况。哪些是有趣的？哪些模型让你印象深刻，为什么？我们已经提到了 DeepSeek。

你想看看我们能凭空说出多少个名字吗？

是的，是的。不看笔记。

DeepSeek、Kimi、MiniMax、Z.ai、Moonshot。我们只说中国。

让我们加入 Mistral AI、Gemma- OLMo，AI2 的开源模型。实际上，英伟达有一个非常酷的模型，Nemotron 340B。有很多东西，尤其是在年底。Qwen 可能是那个——

Qwen 是我本来要说的明显名字。我试图通过——你至少可以列出 10 个中国模型和至少 10 个西方模型。我认为……OpenAI 发布了自 GPT-2 以来的第一个开源模型。当我写关于 OpenAI 开源模型发布时，他们说：“别忘了 GPT-2，”我觉得这很有趣，因为那是一个完全不同的时代。但 GLM-4 实际上是一个非常强大的模型，并且在某些方面比其他模型做得更好。我认为出于自私的目的，我会推广一些西方公司。美国和欧洲都有这些完全开源的模型。我在艾伦人工智能研究所工作，我们一直在构建 OLMo，它发布数据和代码。现在我们面临着来自那些试图发布一切以便其他人能够训练这些模型的竞争对手。有基础模型研究所和 LM360，他们有各种类型的 K2 模型。Apertus 是一个瑞士研究联盟。Hugging Face 有 SmolLM，非常受欢迎。英伟达的 Nemotron 也开始发布数据。然后是斯坦福的 Meerkat 项目，它提供了一个管道，供人们打开 GitHub 问题并实现新的想法，然后在稳定的语言建模堆栈中运行它。所以这个领域——这个列表在 2024 年要小得多——我认为当时只有 AI2。所以有更多的人参与进来并理解语言模型是一件很棒的事情，而中国没有一家公司有类似的东西。在我说话的时候，我会说中国的开源语言模型往往更大，这使得它们在 MoE 中具有更高的峰值性能，而我们喜欢的许多东西，无论是 Gemma 还是 Nemotron，都倾向于来自美国的小型模型，而这种情况正在开始改变。在美国和欧洲，Mistral Large 3 发布了，这是一个巨大的 MoE 模型，与 DeepSeek 架构非常相似，在 12 月份。然后像 RCAI 这样的初创公司以及 Nemotron 和英伟达都预告了比 1000 亿参数大得多的 MoE 模型——在 2026 年第一季度的时间线上，大约在 4000 亿参数的范围内。所以我认为这种平衡将在今年改变，就人们使用中国模型还是美国开源模型而言，我个人非常期待看到这一点。

首先，你能够说出这么多名字，真是太棒了。你真的提到 LLaMA 了吗？

没有。

我感觉……

RIP。

这不是故意的。

RIP LLaMA。好吧。你能提到一些让你印象深刻的有趣模型吗？你提到了 Qwen 2.5 显然是一个亮点。

我想说，这一年几乎是以 DeepSeek V3 和 R1 开头。然后在另一方面，在 12 月份，DeepSeek V3。因为我喜欢它们的是，它们总是有有趣的架构调整……别人没有的架构调整。否则，如果你想选择熟悉的但性能非常好的模型，Qwen 2.5 和，就像 Nathan 所说的，Jamba。我认为 Jamba 有趣之处在于，它是第一个真正以工具使用为目的进行训练的公开或开源模型，我认为这是一个范式转变，生态系统还没有完全准备好。就工具使用而言，我的意思是 LLM 能够进行网络搜索，调用 Python 解释器。我认为这是一个巨大的突破。因为关于 LLM 最常见的抱怨之一是，例如，幻觉，对吧？在我看来，解决幻觉的最佳方法之一是不要总是试图记住信息或编造信息。对于数学，为什么不使用计算器应用程序或 Python 呢？如果我问 LLM，“1998 年谁赢得了足球世界杯？”而不是仅仅试图记住，它可以进行搜索。我认为大多数仍然是谷歌搜索。所以 ChatGPT 和 GPT-4o，它们会调用 Google 工具，也许会找到 FIFA 网站，然后发现是法国队。它会可靠地获取信息，而不是仅仅试图记住它。所以我认为这是一个巨大的突破，我认为目前开源、开源生态系统还没有充分利用它。很多人不使用工具调用模式，因为这是一个信任问题。你不想在你的电脑上运行它，它有工具访问权限，可能会擦除你的硬盘或什么的。所以你想把它容器化。但我确实认为这是未来几年一个非常重要的步骤，拥有这种能力。

所以有几件快速的事情。首先，谢谢你定义了你所说的工具使用。我认为这是一件好事，总的来说，对于我们正在讨论的概念。即使是像 MoE 这样已经相当成熟的概念。你必须说它意味着“专家混合”，而且你必须建立人们的直觉，它意味着什么，如何使用它，有哪些不同的风格。那么，为什么会有如此多的开源模型爆炸呢？你的直觉是什么？

如果你发布一个开源模型，你希望人们使用它；这是最重要的事情。然后是透明度和信任。我认为当你看看中国时，最大的原因是他们希望世界各地的人们使用这些模型，我认为很多人不会。如果你看看美国以外的地方，很多人不会为软件付费，但他们可能有计算资源来运行它。我认为也可能有一些数据你不想发送到云端。所以最重要的事情是让人们使用模型，使用人工智能，或者使用你的人工智能，而如果没有模型访问权限，他们可能无法做到。

我想我们应该明确说明，我们一直在谈论这些中国模型和开源模型。通常，它们的运行方式是本地的。所以，这不像你把数据发送到中国，或者发送到硅谷的开发者那里，无论谁开发了模型。

许多美国初创公司通过托管……这些来自中国的模型并出售它们来赚钱。这被称为出售代币，这意味着有人会调用模型来完成一项工作。我认为另一个原因是对于美国公司，比如 OpenAI，它们非常缺乏 GPU。它们处于 GPU 的极限。每当它们发布新产品时，它们总是谈论，“我们的 GPU 正在受苦。”我认为在其中一次 GPT-4o 发布会议上，Sam Altman 说，“我们发布这个是因为我们可以使用你们的 GPU。我们不必使用我们的 GPU，而 OpenAI 仍然可以从中获得分发，”这是另一个非常真实的事情，因为它不花他们任何钱。

而且对于用户来说，我的意思是，有些用户就像使用 ChatGPT 一样在本地使用模型。但对于公司来说，我认为拥有这些模型是一个巨大的突破，因为你可以定制它们，你可以训练它们，你可以在训练后添加更多数据。比如，将它们专门化到，比如说，法律、医学模型，无论你有什么。你提到了 Llama；来自中国的开源模型的吸引力在于，开源模型也有更友好的许可证。我认为它们只是不受限制的开源许可证，如果我们使用 Llama 或 Gemma 之类的东西，有一些附加条件。我认为有一个上限，关于你有多少用户。然后如果你超过，我不知道，数百万用户，你必须向，比如说，Meta 或其他公司报告你的财务状况。而且我认为虽然它是一个免费模型，但有一些附加条件，人们确实喜欢没有附加条件的东西。所以我认为这也是原因之一，除了性能之外，为什么来自中国的开源模型如此受欢迎，因为你可以直接使用它们。从这个意义上说，没有陷阱。

生态系统在这方面已经得到了改善，但主要是由于这些新提供商提供了如此开放的许可证。当你打开 Perplexity 并说，“Kimi-k2-thinking 在美国托管”时，这很有趣。这就像一个确切的……我从未见过，但这是一个确切的例子，说明人们对此很敏感。但 Kimi-k2-thinking 和 Kimi-k2 是一个非常受欢迎的模型。人们说它在创意写作方面做得很好，在做一些软件方面也做得很好。所以只是这些小怪癖，人们会注意到不同模型中的这些怪癖，并喜欢它们。

你能不能谈谈一些这些模型探索过的有趣想法，让你觉得特别有趣？

也许我们可以按时间顺序来。我的意思是，当然，有 DeepSeek。DeepSeek R1 于 2025 年 1 月发布，如果我们只关注今年。然而，这是基于前一年 2024 年 12 月发布的 DeepSeek-V3。架构方面有几件事。有趣的是，你仍然可以……我的意思是，我用我的从零开始的编码项目就是这样做的。你仍然可以从 GPT-2 开始，然后你可以向该模型添加东西，使其变成另一个模型。所以它们仍然有点像同一个谱系……它们之间有非常密切的关系。但就我所知，DeepSeek，它独特之处在于专家混合。我的意思是，他们不是发明了专家混合。我们也许可以多谈谈专家混合的含义。但首先列出这些事情，然后再深入细节。专家混合，然后他们还有多头潜在注意力，这是对注意力机制的一种调整，我认为，在 2025 年，这是这些开源模型之间主要的区别因素。不同的调整以使推理或 KV 缓存大小更经济，以获得长上下文，以缩小 KV 缓存大小。那么我们可以做什么调整呢？大多数都集中在注意力机制上。DeepSeek 中有多头潜在注意力。有分组查询注意力，这仍然非常受欢迎。它不是由任何一个模型发明的。它已经有几年的历史了。但这将是另一个选择。滑动窗口注意力，如果我没记错的话，我认为 OLMo 2 使用了它。所以有这些不同的调整使模型有所不同。否则，我曾经把它们都放在一篇文章里，我只是比较了它们。它们非常令人惊讶地相似。只是在 Transformer 块在中心有多少重复次数方面数字不同。而且，就像人们调整的小旋钮一样。但它的好处是它无论如何都有效。你可以调整东西。你可以移动归一化层来获得一些性能提升。而 OLMo 在消融研究方面总是非常出色，展示了当你移动某个东西时它对模型有什么影响。它让它变得更好还是更糟？但是有很多，比如说，实现 Transformer 的方法，并且它仍然可以工作。仍然普遍存在的大想法是专家混合、多头潜在注意力、滑动窗口注意力、分组查询注意力。然后在年底，我们看到重点是使注意力机制与推理令牌预测线性缩放。所以有 Qwen2.5，例如，它添加了一个门控 Delta 网络。它有点受到状态空间模型的启发，其中有一个固定的状态需要不断更新。但这基本上使注意力更便宜，或者它用更便宜的操作替换了注意力。

也许也应该回顾一下 Transformer 架构。

是的，所以也许我们应该从 GPT-2 架构开始。源自“Attention Is All You Need”论文的 Transformer。“Attention Is All You Need”论文有一个 Transformer 架构，它有两个部分，一个编码器和一个解码器。GPT 只关注了解码器部分。它本质上仍然是一个神经网络，内部有一个注意力机制。你一次预测一个令牌。你通过嵌入层。有 Transformer 块。Transformer 块有注意力模块和一个全连接层。中间有一些归一化层。但它本质上是具有注意力机制的神经网络层。所以从 GPT-2 开始，当我们转向 GPT-3 时，例如，有专家混合层。它不是由 GPT-3 发明的；它已经有几年的历史了。但它本质上是一种调整，可以在不消耗更多计算量的情况下使模型更大。所以有一个全连接层，如果听众熟悉多层感知机，你可以认为它是一个微型多层感知机，一个全连接的神经网络层在 Transformer 内部。而且它非常昂贵，因为它全连接。如果你有 1000 个输入和 1000 个输出，那就是一百万个连接。这是 Transformer 中非常昂贵的部分。而这个想法是将其扩展到多个前馈网络。所以，而不是有一个，比如说你有 256 个，但这会使它贵得多，因为现在你有 256 个，但你不是同时使用所有这些。所以你现在有一个路由器说，“好的，基于这个输入令牌，使用这个全连接网络会很有用。”在这种情况下，它被称为专家。所以专家混合意味着你有多个专家。根据你的输入——比如说，它更偏重数学，它会使用不同的专家，而与，比如说，将文本从英语翻译成西班牙语相比。它可能会咨询不同的专家。说“好吧，这只是数学专家和西班牙语专家”并不那么清晰。它有点模糊。但这个想法本质上是你在网络中打包了更多的知识，但并非所有知识都被随时使用。那将是非常浪费的。所以，在令牌生成过程中，你会更有选择性。有一个路由器选择哪些令牌应该去哪个专家。它增加了复杂性。它更难训练。有很多事情可能出错，比如崩溃等等。所以我想这就是为什么 OLMo 仍然使用密集……我的意思是，你有带有专家混合的 OLMo 模型，但也有密集模型，其中密集意味着……所以，这也是行话。密集和稀疏之间有一个区别。所以专家混合被认为是稀疏的，因为我们有很多专家，但只有少数几个是活跃的。所以这被称为稀疏。而密集则是相反的，你只有一个全连接模块，并且它总是被利用。

所以也许这是一个讨论 KV 缓存的好地方。但实际上，在此之前，甚至放大来看，从根本上说，从 GPT-2 到今天实现了多少新想法？这些架构真的有多么不同？

就像专家混合。Llama 3 中的注意力机制，那就是分组查询注意力机制。所以它与多头注意力相比是一个小调整，与分组查询注意力相比，所以我们有了那个。我认为他们用 RMSNorm 替换了 LayerNorm，但这只是一个不同的归一化，而不是一个大的改变。它只是一个调整。非线性激活函数，熟悉深度神经网络的人，我的意思是，它就像用 ReLU 替换 sigmoid。它并没有从根本上改变网络。它只是一个小调整。我想就是这样了。它并没有真正从根本上不同。它仍然是相同的，相同的架构。所以你可以将一个从一个……你可以通过添加这些变化来将一个变成另一个，基本上。

它根本上仍然是相同的架构。

是的。所以，例如，你之前提到了我的书。那是一本 GPT-2 模型，因为它很简单而且很小，所以大约有 1.24 亿个参数。但在奖励材料中，我确实有 OLMo。

从零开始，Llama 3 从零开始，以及其他类型的从零开始的模型。我总是用我的 GPT-2 模型开始，然后稍微调整一下——嗯，添加不同的组件，你就能从一个模型过渡到另一个。从某种意义上说，这就像一种血统。——你能为人们建立一种直觉吗？因为当你放大来看，你会发现人工智能领域有如此快速的进步。同时，从根本上说，架构并没有改变。那么，所有的动荡和进步的动乱发生在何处？收益又在哪里呢？——因此，在开发网络或训练网络的过程中，有不同的阶段。你有预训练。现在，在过去，它只是用 GPT-2 进行预训练。现在你有预训练、中期训练和后训练。所以，我认为我们现在正处于后训练的关注阶段。我的意思是，如果你将其扩展到更好、更高质量的数据，预训练仍然会给你带来优势。但随后我们有了能力解锁，这在 GPT-2 中是没有的，例如。ChatGPT basically is a GPT-3 model. GPT-3 在架构方面与 GPT-2 相同。新的是增加了监督微调和人类反馈强化学习。所以，它更多的是算法方面，而不是架构方面。——我得说，系统也发生了很大的变化。我认为如果你听英伟达的公告，他们会谈论这些事情，比如，“你现在可以做 FP8，你现在可以做 FP4。”正在发生的是，这些实验室正在弄清楚如何利用更多的计算能力将其融入一个模型中，这使得他们能够更快地训练，并能够纳入更多的数据。然后，通过这样做，你可以更快地找到更好的配置。所以，你可以看到，基本上，每秒每 GPU 的 token 数是你进行大规模训练时要看的指标。你可以得到……你可以从，比如，10K 提高到 13K，通过开启 FP8 训练，这意味着你在模型中每个参数使用的内存更少。通过保存更少的信息，你减少了通信，并且可以更快地训练。所以，所有这些系统方面的东西都支撑着数据和算法方面更快的实验，这有点像……当你看到架构完全相同时，这是一种不断循环的模式，很难描述。但是用于训练这些模型的代码库将会大不相同——……而且你可能……GPU 是不同的，但你可能比 GPT-2 在当时训练时，用更快的时钟时间训练 GPT-NeoX-20B……——是的。就像你说的，他们有，例如，在专家混合模型中，这个 FP4 优化，例如，你可以获得更高的吞吐量。但我确实认为这是……对于速度来说，这是真的，但它并没有给模型带来新的能力。它只是：我们能在不影响模型性能的情况下，将计算做得更粗糙？但我确实认为……我的意思是，正在出现替代 Transformer 的方案。有文本扩散模型——一个完全不同的范式。还有……我的意思是，尽管文本扩散模型可能使用 Transformer 架构，但它不是自回归 Transformer。还有 Mamba 模型。它是一个状态空间模型。但它们确实有权衡，而且目前还没有什么能取代自回归 Transformer 作为最先进的模型。对于最先进的模型，你仍然会选择它，但现在有了更便宜的选择，一些妥协的选择，但它不再只是一个架构了。有一些小的东西正在出现。但如果我们谈论最先进的模型，它基本上仍然是 Transformer 架构，自回归的，基本上是从 GPT-2 派生出来的。——我想这里的大问题是，我们已经谈了很多关于预训练背后的架构。缩放定律在预训练、后训练、推理、上下文大小、数据、合成数据方面是否仍然有效？——我想从缩放定律的技术定义开始——……这会影响所有这些。缩放定律是……之间的幂律关系。你可以把 X 轴看作是你正在缩放的东西，是计算和数据的组合，它们有点相似，然后 Y 轴是未保留的预测准确性，关于下一个 token。我们谈论模型是自回归的。就像如果你保留一组模型没有见过过的文本，它在训练时会有多准确。当人们发现这是一个非常可预测的关系时，缩放定律就出现了。我认为这个技术术语还在继续，那么问题是，用户从中得到了什么？然后还有更多类型的缩放，例如，OpenAI 的 o1 因引入推理时间缩放而闻名。而且我认为不那么有名的是，它还表明你可以扩展强化学习训练，并获得类似对数 X 轴和性能在 Y 轴上的线性增长。所以现在有这三个轴，传统的缩放定律是关于预训练的，也就是你的模型有多大以及你的数据集有多大，然后是强化学习的缩放，就像我们可以进行多久的试错学习，我们稍后会谈论。我们将定义更多内容，然后是推理时间计算，这使得模型能够针对特定问题生成更多 token。所以我比较乐观，但它们都还在起作用，但低垂的果实大部分已经被摘掉了，尤其是在过去一年里，关于具有可验证奖励的强化学习，也就是 RLVR，以及推理时间缩放，这就是为什么这些模型在使用时感觉如此不同，以前你会立即得到第一个 token。现在它们会花费几秒钟、几分钟甚至几个小时，生成这些隐藏的思考，然后才给出答案的第一个词。这一切都与推理时间缩放有关，这在模型能力改变方面是一个非常奇妙的阶梯式进步。它们使得工具使用成为可能，并使得我们之前谈论的更好的软件工程成为可能。而且，当我们说“使得成为可能”时，这几乎完全是由于具有可验证奖励的强化学习训练使得模型能够非常轻松地掌握这些技能。所以让模型学习。所以，如果你看看模型生成大量 token 时的推理过程，它通常会尝试一个工具，看看它得到什么。它会尝试另一个 API，看看它得到什么，以及它是否解决了问题。所以，模型在训练时，会很快学会这样做。然后，归根结底，它会提供一种通用的基础，模型可以在你的仓库中很好地使用 CLI 命令，为你处理 Git，移动东西，组织东西，或者搜索以获取更多信息，如果我们一年前坐在这些位置上，我们并没有真正认为模型会这样做。所以，这只是今年发生的事情，并且完全改变了我们对使用 AI 的看法，我认为这非常神奇。这是一个非常有趣的演变，并且释放了巨大的价值。但是，就像，不清楚下一个突破口会在哪里，以解锁类似的东西。我认为我们将稍后讨论持续学习，但人工智能的某些领域有很多炒作，但没有人知道下一个阶梯式进步何时会真正到来。——你刚才说了很多东西，而且很快就说了深刻的话。最好能稍微展开一下。你说你基本上对所有版本的缩放都持乐观态度。那么我们能从头开始吗？预训练，我们是不是在暗示预训练缩放的低垂果实已经被摘掉了？预训练是否已经达到平台期，或者预训练仍然是你看好的东西？——预训练已经变得非常昂贵。我认为要扩展预训练，也意味着你要为用户提供一个非常大的模型。所以，我认为已经大致确定，GPT-4 及类似模型的最大规模大约有 1 万亿个参数。有很多传言说，随着训练变得更有效率，它们实际上已经变小了。你想让模型变小，因为这样你的服务成本就会相应下降。这些模型的训练成本相对于服务数亿用户而言非常低。DeepSeek 有一个著名的数字，在云市场价格下，预训练成本约为 500 万美元。在 OLMo-1 第 2.4 篇论文中，我们详细介绍了我们为了训练而保留 GPU 集群的时间，包括工程问题、多个种子，以及租用集群来处理训练模型的麻烦大约需要 200 万美元。所以这些模型是相当容易获得的；很多人可以花 100 万到 1000 万美元来训练一个模型，但服务数百万用户的经常性成本实际上是数十亿美元的计算成本。我认为你可以看看一千个 GPU 的租金，每天可能要支付 10 万美元。而这些公司可能有数百万个 GPU。你可以看看这些东西的成本。所以这是一个很大的问题，就像，如果缩放实际上给了你一个更好的模型，它在经济上是否值得？随着 AI 解决更具吸引力的任务，比如 Claude 3 Opus、GPT-4.5，让 Claude Code 能够完成工作，我们将慢慢推出它。我启动了一个名为 ATOM 项目的项目，即美国真正开放的模型，在七月份，那是一个真正的 vibe-coded 网站，我有一个制作图表等的工作。然后我在过去几周回来刷新它，就像 Claude 3 Opus 与当时任何模型相比，都解决了六月和七月构建时遇到的所有问题。它可能是一个更大的模型。很多因素都会影响这一点，但仍然有进展。——所以你所说的是缩放定律 Y 轴的细微差别，即它的体验方式与基准测试上的实际智能可能不同。但仍然，你对预训练的直觉是，如果你扩大计算规模，模型会变好吗？不是从经济可行性的角度，而是仅仅从定律的角度，你认为模型会变得更聪明吗？——是的。而且我认为……这有时会被人工智能公司领导层说出来，他们会说：“它在 13 个数量级的计算中都有效，所以它为什么会停止呢？”所以我认为从根本上说，它不太可能停止。最终，由于更多计算带来的所有问题，我们甚至无法测试更大的规模。我认为有很多关于 2026 年将是大型 Blackwell 计算集群、千兆瓦规模的超大规模设施投入使用的讨论。这些都是在 ChatGPT 之前或之后不久，在 2022 年和 2023 年签署和寻求的电力和数据中心的合同。所以需要两到三年的提前期来构建这些更大的集群来训练模型。虽然显然有巨大的兴趣来建造比这更多的数据中心。所以这就是人们所说的关键：这些新集群正在到来。实验室将拥有更多的计算能力用于训练。他们将利用这一点，但这并非必然。我已经看到了如此多的进展，我期望它，我期望模型稍微大一些。我想说的是，今年我们可能会看到 2000 美元的订阅。我们已经看到了 200 美元的订阅。这可能会再翻 10 倍，而这些都是可能出现的，它们都源于这个更大的模型，它提供了更前沿的东西。——所以，你知道，据报道 xAI 将在 2026 年初达到一千兆瓦的规模，并在年底达到两千兆瓦。你认为他们将如何利用这些来缩放定律？其中有多少是推理？有多少是训练？——它最终是以上所有。所以，我认为你在训练模型时所做的所有决定都回到了预训练。如果你要在模型上扩展 RL，你仍然需要决定你的架构是否支持这一点。我们谈论了其他架构和使用不同类型的注意力。我们还在谈论专家混合模型。MoE 模型稀疏的性质使得生成更加高效，这成为后训练的重要组成部分。你需要让你的架构准备好，以便你能够真正扩展这些计算。我仍然认为大部分计算都用于预训练。因为你仍然可以使模型更好，你仍然想重新审视这一点。你仍然想要最好的基础模型。几年后，这将饱和，而 RL 计算将持续更长时间。——有人不同意你的观点，说预训练已经死了吗？一切都取决于扩展推理、扩展后训练、扩展上下文、持续学习、合成数据？——人们有这种感觉，并这样描述，但我认为这并不是正在发生的实践。——这只是人们说这个东西已经死了的普遍感觉——兴奋点在别处。低垂的果实——……在 RL 方面在别处。例如，我们在十一月发布了我们的模型……每家公司都有截止日期。我们的截止日期是十一月二十日，而我们的……为此，我们的运行时间是五天，与 2024 年相比，这对于仅仅对一个 300 亿参数的模型进行后训练来说是很长的时间。它不是一个大模型。然后在十二月，我们又有了一个版本，我们只是让 RL 运行了另外三个半星期，模型明显变好了，所以我们发布了它。这是分配给将成为你今年最高峰的东西的大量时间……——推理是——在训练模型时，会做出这些类型的决定，它们只是……它们不能永远保留。你必须不断地从你的研究人员那里获得改进。所以你会重新进行预训练，你会进行一个月的后训练，但然后你需要将其交给用户。你需要进行安全测试。所以这就像……我认为有很多东西在支持这个更新模型的循环。有需要改进的地方。你获得了一个新的计算集群，可以让你更稳定或更快地完成某项工作。就像你经常听到 Blackwell 有推出问题，在 AI2，我们预训练的大部分模型都在 1000 到 2000 个 GPU 上。但当你预训练 10000 或 100000 个 GPU 时，你会遇到非常不同的故障。GPU 以奇怪的方式损坏是众所周知的，而在 100000 个 GPU 的运行中，你几乎可以肯定至少有一个 GPU 会出现故障。你需要你的训练代码来处理这种冗余，这是一个非常不同的问题。而我们所做的，比如，“哦，我正在 DGX H100 上玩后训练，”或者你有一本书，或者人们在学习 ML，他们为了训练这些最大的模型而奋斗的是……大规模的分布式规模，而且非常不同。但这在某种程度上不同于这些……就像，这是一个系统问题——……为了实现缩放定律，尤其是在预训练方面。你需要同时拥有所有这些 GPU。当我们转向强化学习时，它实际上适用于异构计算，因为你有许多模型的副本。要为语言模型强化学习做一个入门介绍，你所做的是你有两组 GPU。一组你可以称之为 actor，另一组你称之为 learner。Learner 是你进行实际强化学习更新的地方。这些传统上是策略梯度算法。Proximal Policy Optimization (PPO) 和 Group Relative Policy Optimization (GRPO) 是两个流行的类别。在另一边，你将有 actor，它们正在生成完成，而这些完成是你将要评分的东西。强化学习就是优化奖励。在实践中，你可以让世界各地有许多不同的 actor 解决不同类型的问题，然后将其发送回这个高度网络化的计算集群进行实际学习，你将梯度发送回去，并且你需要一个紧密连接的网络，在那里你可以进行不同类型的并行处理，并分散你的模型以进行高效训练。有很多……每种不同类型的训练和提供都有这些考虑因素，当你扩展时。我们谈论了预训练，我们谈论了 RL，然后是推理时间缩放，如何为数亿用户提供一个思考一个小时的模型？我不知道，但我知道这是一个难题，为了给人们提供这种智能，存在所有这些系统问题，我们需要更多的计算和更稳定的计算来做到这一点。——但我的意思是，你对所有这些缩放都持乐观态度？在推理、推理，甚至预训练方面？——是的，这是一个大问题，但基本上有两个……你可以获得收益的旋钮是训练和推理缩放，所以在我们拥有，比如说，无限计算资源的世界里，你想做所有这些。所以你有训练，你有推理缩放，而训练就像一个层次结构。它是预训练、中期训练、后训练。改变模型大小，更多的训练数据，训练一个更大的模型会给模型带来更多的知识。然后模型，比如说，有一个更好的……它就像一个更好的基础模型。尽管如此，我们称之为基础模型，它解锁了……但你没有让模型在预训练或后训练期间解决你最复杂的任务。你仍然有这些其他的解锁阶段，比如中期训练，或者，例如，用 RL 进行后训练，它解锁了模型在预训练知识方面的能力。而且我认为，当然，如果你进行更多的预训练，你会得到一个更好的基础模型，你以后可以解锁。但就像内森说的，它变得太贵了。我们没有无限的计算能力，所以你必须决定：我是否想把更多的计算能力花在让模型更大？这就像一种权衡。在一个理想的世界里，你想做所有这些。而且我认为从这个意义上说，缩放仍然是很有活力的。你仍然会得到一个更好的模型，但就像我们看到的 GPT-4o 一样，它不值得。我的意思是，就像……因为你可以在此刻通过其他技术解锁更多的性能，特别是如果你看看推理缩放。这是今年 o1 的最大收益之一，它让一个更小的模型比预训练一个更大的模型（如 GPT-4o）走得更远。所以，我不会说预训练缩放已经死了，只是现在有其他更有吸引力的方式来缩放。但总有一天，你仍然会想在预训练方面取得一些进展。还需要考虑的是你想把钱花在哪里。如果你把更多的钱花在预训练上，这就像固定成本。你训练模型，然后它就永远拥有这个能力。你可以随时使用它。通过推理缩放，你在训练期间不花钱，你在之后每次查询时花钱，然后这也是数学问题：如果我在半年后更换我的模型，它将在市场上停留多久？也许花 500 万、1000 万或 1 亿美元进行更长时间的训练是不值得的。也许我只会做更多的推理缩放，并从中获得性能。它可能在用户查询方面花费我 200 万美元。这取决于你有多少用户，然后进行计算，我认为这也是 ChatGPT 所处的位置。我认为他们有很多用户，他们需要稍微便宜一点，他们有那个 GPT-4o 模型，它稍微小一些。其他公司……比如说，如果你的客户有其他权衡。例如，还有数学奥林匹克竞赛或一些数学问题，ChatGPT 或他们有一个专有模型，我敢肯定它只是一个经过微调的模型，但大部分是在推理缩放期间实现的，以在特定任务中达到峰值性能。需要一直如此。但是的，长话短说，我认为所有这些预训练、中期训练、后训练、推理缩放，它们都是你仍然想做的事情。只是要找到……此刻，今年，就是找到能给你带来最佳性价比的正确比例。——我认为这是一个定义预训练、中期训练和后训练的好地方。——所以，预训练是经典的训练：一次预测一个下一个 token。你有一个大的语料库。内森可能也有非常有趣的见解，因为 OLMo。论文的很大一部分关注正确的数据组合。所以，预训练基本上只是在大量的互联网数据、书籍、论文等语料库上进行交叉熵损失训练，训练下一个 token 预测。这些年来它发生了一些变化，人们过去会把他们能找到的一切都扔进去。现在，不仅仅是原始数据。还有合成数据，人们会重新措辞某些内容。所以合成数据不一定意味着纯粹由 AI 生成的数据。它还包括从文章、维基百科文章中提取内容，然后将其重新措辞为问答问题或总结它，改写它，并以此方式制作更好的数据。因为我也像对待人类一样看待它。如果有人，比如说，读了一本书，而不是一本混乱的——抱歉，但就像，Reddit 帖子之类的东西，我认为你会学到————会有关于这个的帖子，Raschka。——一些 Reddit 数据非常抢手，非常适合训练。你只需要过滤它。——我认为这就是想法。就像如果有人把它拿出来，比如说，以一种更简洁、更有条理的方式重新措辞——我认为这是更高质量的数据，可以使 LLM 得到相同的……你最终得到相同的 LLM，但它到达那里更快。它训练得更快，因为如果语法和标点符号是正确的，它就已经学会了正确的方式，而不是从混乱的方式获取信息，然后以后再学习如何纠正它。所以，我认为这就是预训练的演变方式，以及为什么缩放仍然有效，那是因为它不仅仅是数据的数量，还有让数据对你更有用的技巧。然后是中期训练……我的意思是，它曾经被称为预训练。我认为它被称为中期训练是因为预训练和后训练之间有一个中间阶段，对吧？听起来有点奇怪。你有预训练和后训练，但实际的训练是什么？所以，中期训练通常与预训练相似，但它比预训练更专业化。算法是相同的，但你所做的是，例如，专注于长上下文文档。你不在预训练期间这样做的一个原因是，你没有那么多长上下文文档。我们有一个特定的阶段。LLM 的一个问题也是……它是一个神经网络。它有灾难性遗忘的问题。所以，你教它一些东西，它就忘记了其他东西。而你想要……我的意思是，它不是 100% 遗忘，但就像没有免费午餐，你不能……这和人类一样。如果你问我十年前学过的数学，我不知道，我得再查一下。——内森实际上说他正在消耗大量内容，存在灾难性遗忘的问题。——是的，我正在努力学习很多关于 AI 的知识，就像我正在学习预训练并行化。我当时想，“我丢失了一些东西，我不知道那是什么。”——我不想拟人化 LLM，但我认为这与人类学习的方式相同。数量并不总是更好，因为你必须有选择性。而中期训练就是对最终的优质内容有选择性。然后是后训练，所有微调、监督微调、DPO、具有可验证奖励的强化学习、人类反馈等等——精炼阶段。而且成本问题也很有趣，对吧？对于预训练，你现在要花很多钱。RL 少一点。RL，我不会说，你教它知识。它更像是解锁知识。它更像是技能学习，比如如何利用预训练知识来解决问题。实际上今年有三篇论文，或者去年，2024 年，关于 RL 用于预训练的。但我认为没有人这样做。——玩具，玩具例子，现在。——玩具例子，对。但总的来说，RL 后训练更像是技能解锁，而预训练就像吸收知识。——有几件事可能对人们有所帮助。很多人认为合成数据不利于训练模型。你提到了 DeepSeek-V3 几乎是 OCR，即光学字符识别论文。很多实验室都这样做了。AI2 有一篇，Nougat 有多篇。这些实验室之所以有这些，是因为网络上有大量的 PDF 和其他数字文档，它们的格式不是文本编码的。所以你使用这个 Almost CR，或者我们称之为 Almost CR 的 DeepSeek OCR，来提取数万亿个 token 的候选数据用于预训练。预训练数据集的大小是万亿级别的——它以万亿 token 为单位。研究人员的小型模型可能是 5 到 10 万亿。Qwen 的文档显示高达 50 万亿，并且有传言说这些封闭的实验室可以达到 100 万亿 token。仅仅是获取这些潜在数据来输入，它们有一个非常大的漏斗，而你实际训练模型的那个数据只是其中的一小部分。这种字符识别数据将被描述为实验室用于预训练的合成数据。然后还有 ChatGPT 现在提供精彩的答案，你可以训练这些最佳答案，这就是合成数据。它与早期 ChatGPT 的大量幻觉数据非常不同，当人们开始基于合成数据进行接地时。——一个有趣的问题是，如果我没记错的话，OLMo-3 的训练数据比某些其他开源模型，甚至 OLMo-2 的数据要少。但你仍然获得了更好的性能，这可能是数据帮助的一个例子。——这主要归结为数据质量。我认为如果我们有更多的计算能力，我们会训练更长时间。我认为我们会认为这是我们想做的事情。特别是对于大型模型，你需要更多的计算能力，因为我们谈论了更多的参数，我们谈论了知识。本质上，有一个比例，大型模型可以吸收更多的数据，然后你从中获得更多的好处。就像其中一个。你脑海中的任何对数图表都表明，如果你测量大量的 token，小型模型会更早地趋于平缓，而大型模型需要更多。但我们现在在 AI2 并没有训练那么大的模型，获取最高质量的数据是我们自然的起点。——关于数据质量这个话题有什么可说的吗？那里还有什么低垂的果实可以改进质量吗？——就像在转动曲柄。历史上，在公开领域，有一个规范的最佳预训练数据集，它在拥有最新或最佳努力的人之间转移。比如 AI2 的 Dolma 在第一个 OLMo 中非常早，Hugging Face 有 FineWeb。还有一个 DCLM 项目，它是一个——它代表 DataComp Language Model。其他机器学习项目也有 DataComp，它们有一个非常强大的数据集。而且很多时候互联网正在变得相当封闭，所以我们有 Common Crawl，有数万亿个 token，你对其进行过滤。它看起来像科学工作，你训练分类器并根据如何将数据集修剪成最高质量的东西以及适合你任务的东西来做决定。以前，语言模型在知识和对话方面进行了更多的测试，但现在它们被期望进行数学和编码。要训练一个推理模型，你需要重新混合你的整个数据集。这里有一些很棒的科学方法，你可以从你的庞大数据集中采样来自不同来源的许多非常小的东西。所以你说你有 GitHub、Stack Exchange、Reddit、Wikipedia。你可以从它们那里采样小东西，并在每个混合体上训练小模型，并衡量它们在你的评估上的表现。你可以做基本的线性回归，就像，“这是你的最佳数据集。”但如果评估发生变化，你的数据集也会发生很大变化。所以 OLMo-3 的很多内容都来自新的推理来源，以便在数学和编码方面做得更好，然后你进行这种混合过程，它会给你答案。我认为今年在实验室里发生了很多这样的事情，因为有新的热门事物，无论是编码环境还是网页导航，你只需要引入新数据。你需要改变你的预训练，以便你的后训练能够更好地工作。这就是他们对模型的关注点的不断演变和重新确定。——有没有关于我们意想不到的特别高质量的数据来源的有趣轶事？你提到 Reddit 有时可以是一个来源。——Reddit 非常有用。我认为 PDF 绝对是其中之一。——哦，尤其是 arXiv。——是的，AI2 长期以来一直在运行 Semantic Scholar，你可以说它是 Google Scholar 的竞争对手，功能更多。为了做到这一点，AI2 已经找到并抓取了大量 PDF，这些 PDF 是公开可用的论文，可能不会被某个出版商的封闭围墙花园所限制。所以，就像，真正开放的科学 PDF。如果你拥有所有这些并进行处理，你就可以从中获得价值。而且我认为，很多这种工作风格都是由前沿实验室更早完成的。你需要一个非常熟练的研究人员，他了解事物如何改变模型，然后他们将其引入并进行清理。这需要大量的工作。我认为在前沿实验室，当他们扩展研究人员时，会有更多的数据投入。如果你加入一个前沿实验室并想产生影响，最好的方法就是找到新的、更好的数据。而不是那些花哨的、迷人的算法，比如弄清楚如何制作 o1。这是科学家最性感想法。“哦，我找到了如何扩展 RL 的方法。”有一个团队做到了这一点，但大多数贡献都来自——在数据集上——……说，“我要让数据更好，”或者“我要改进基础设施，以便我团队中的每个人都能更快地进行 5% 的实验。”——与此同时，我认为这也是最被严密保守的秘密之一，你的训练数据是什么，出于法律原因。所以，我认为，也有很多工作是为了隐藏你的训练数据是什么——调整模型，使其不泄露来源，因为你有法律原因。——还有一件事，为了完整起见，有些人试图只在许可数据上进行训练，而 Common Crawl 是对整个互联网的抓取。所以，如果我托管多个网站，我很乐意让他们训练语言模型，但我没有明确许可它受什么约束。因此，Common Crawl 在很大程度上是未经许可的，这意味着你并没有明确同意如何使用这些数据。还有一种想法是，你可以只在已明确许可的数据上训练语言模型，这样就可以提供管理合同。我不确定 Appertus 是版权问题还是许可问题。我知道他们这样做的原因是为了符合欧盟的规定，他们想确保他们的模型符合其中一项检查。——在这方面，还有许可的区分。所以有些人，就像你说的，他们只是购买了许可。比如说，他们在线购买一本书，比如亚马逊 Kindle 书，或者 Manning 的书，然后将其用于训练数据。这是一个灰色地带，因为你为内容付费，并且你可能想对其进行训练。但也有一些限制，即使这样也不应该被允许。这就是它变得有点模糊的地方。而且我认为这仍然是一个热门话题，而且像 OpenAI 这样的大公司，他们会联系私营公司获取他们的专有数据，而私营公司也越来越看重他们的数据，因为他们知道，“好吧，这将在几年内成为我的护城河。”而且我认为这是一个有趣的问题，如果 LLM 变得更加商品化，并且很多人了解 LLM，那么将会有更多的人能够训练 LLM。当然，存在基础设施方面的挑战。但如果你想想制药、法律和金融等大行业，我认为他们最终会聘请前沿实验室的人员，在他们自己的专有数据上构建内部模型，这将是预训练的另一个解锁，而目前还没有。因为即使你想，你也无法获得这些数据。你大多数时候无法获得临床试验和这类信息。所以，我认为从这个意义上说，缩放仍然很有活力，如果你也关注特定领域的应用，因为我们仍然只是关注通用 LLM：ChatGPT、Anthropic 等等。它们只是通用的；它们甚至没有触及 LLM 在经过专门训练和设计用于特定任务时所能做到的表面。——我认为在数据方面，这是 2025 年发生的一件事，我们完全忘记了，Anthropic 在法庭上败诉，欠作者 15 亿美元。我认为 Anthropic 购买了数千本书并扫描了它们，并且在法律上获得了豁免，因为他们购买了这些书，这正在通过系统进行。然后另一方面，他们还盗版了一些书，我认为这种盗版是法院判决他们必须向作者支付数十亿美元的原因，这是一个令人难以置信的诉讼，就这样来了又去了。这是如此多的钱——如此多的钱来自风险投资生态系统。——这些法庭案件将定义人类文明的未来，因为很明显，数据驱动了很多东西，而且存在这种非常复杂的人类张力……我的意思是，你可以感同身受。你们都是作者。在某种程度上，我的意思是，你把你的心血、灵魂、汗水和眼泪都倾注在你所写的作品中。有人在未经你署名的情况下训练你的数据，感觉就像偷窃。——而且，正如内森所说，还有两个层面。有人可能会购买这本书然后进行训练，这可以被认为是公平的，也可以不是，但也有一些公司直接使用盗版书籍，这甚至没有补偿作者。我可以说，这就是人们对此感到愤怒的地方。——是的，但必须有一些补偿机制。这正朝着类似于 Spotify 最初为音乐做的流媒体服务发展。你知道，这种补偿是什么样的？你必须定义这些模型并考虑所有这些。我认为人们普遍好奇的另一件事是，我很想听听你的想法。随着 LLM 的使用越来越多，即使你看看 arXiv，但 GitHub，越来越多的数据是由 LLM 生成的。在那种世界里你会怎么做？这是个多大的问题？——最大的问题是基础设施和系统，但从人工智能的角度来看，这是不可避免的。——所以基本上是 LLM 生成的数据，由人类策划，对吗？——是的，我认为很多开源贡献者真的筋疲力尽。如果你有一个流行的开源仓库，有人会说，“哦，我想做开源 AI。这对我的职业生涯有好处，”然后他们就写了一些代码并扔进去。你可能会得到更多这种————比我多。——是的，我实际上有一个案例研究。我有一个名为 mlxtend 的仓库，是我在学生时代开发的，大约 10 年前，它仍然是一个相当受欢迎的库，用于某些算法，特别是频繁数据挖掘。最近有两三个人在很短的时间内提交了大量 PR。我认为 LLM 参与了这些 PR 的提交。我作为维护者，有两件事。首先，我有点不知所措。我没有时间仔细阅读，因为，特别是对于一个旧库来说，这对我来说不是优先事项。同时，我也很欣赏它，因为我认为人们忘记的是，它不仅仅是使用 LLM。仍然有一个人类层来验证某事，而这在某种意义上也是数据标记的方式，对吧？最昂贵的事情之一是为人类反馈阶段的强化学习获取标记数据。这有点像这样，它经过阶段，然后你从中获得更高质量的数据。所以，从某种意义上说，我并不介意。它可能让人不知所措，但我确实认为它有价值。——感觉原始 LLM 生成的数据与经过人类参与验证的 LLM 生成的数据之间存在根本区别，即使这种验证只占代码行数的一小部分。——我认为这适用于任何事情，人们有时会想，“哦，是的，我可以使用 LLM 来学习 XYZ，”这是真的。你可以，但可能有一个专家，他可能使用 LLM 来编写特定的代码。有人类工作来使其变得漂亮，扔掉那些不太好的部分，为你预先消化，这可以节省你的时间。我认为这就是价值所在，有人在过滤东西，甚至正确使用 LLM。这仍然是免费获得的劳动。例如，阅读一篇文章——比如说一篇 Substack 文章。我或许可以问 LLM 给我一些关于它的意见，但我甚至不知道该问什么。我认为阅读这篇文章仍然有价值，而不是我去 LLM，因为你是专家。你选择哪些知识是准确的，哪些应该包含，并给我一个非常精炼的摘要。这是一个巨大的增值，因为我现在不必花三到五个小时自己去研究，可能会得到一些错误的信息等等。所以，我认为这也是作家未来的方向，尽管有 LLM……可以节省你的时间。——观看这一点很有趣——我敢肯定你们也会这样做——但对我来说，看看摘要和原始内容之间的区别。即使是一页长的摘要，关于一页长的内容，看到基于 LLM 的摘要如何削弱了它的边缘也很有趣。比如，它从中移除了什么信号？——声音是我经常谈论的。——声音？我很想听听你说的声音是什么意思，但有时确实有见解。通过移除一个见解，你就在根本上改变了事物的含义。我一直对 LLM 在真正抓住核心见解方面有多糟糕感到失望，而伟大的摘要正是如此。即使我拥有这些广泛而极其详尽的提示，我试图深入挖掘见解，它仍然不够。我的意思是，这是一个关于人类知识和智慧是什么，以及有见地的意义是什么的深刻哲学问题。但是当你谈论声音时，你是什么意思？——所以当我写作时，我认为我试图做的很多事情是，把你的想法，作为一个研究者，那是很原始的。研究者试图将他们理解的前沿思想浓缩成想法，并将一种感觉转化为文字。我试图用我的写作来做到这一点，这使得它显得原始但信息量很高，有些人会理解，有些人不会。这就是研究的本质。我认为这是语言模型做得不好的地方。它们都经过 RLHF 训练，旨在从大量人群那里获取反馈，并平均模型的行为。我认为，当存在这种过滤器时，模型很难做到非常尖锐。这是 RLHF 研究人员的一个美妙而根本的问题：它提供了巨大的效用，使模型更好，但问题表述中也有一个无法克服的结。这些语言模型在其深层表达中没有这种试图达到的先验。我认为这并非不可能。有模型的故事确实让人们震惊。我很想尝试过 Bing Sydney。它有更多的声音吗？因为它经常会偏离轨道，在历史上显然是以一种可怕的方式——比如告诉记者离开他的妻子——这太疯狂了，可能会被普遍采用。但这有点像一种权衡。这个 RLHF 过程在某些方面是否增加了限制？——对于这些前沿实验室和公司来说，这是一个可怕的境地，因为有数百万人正在使用它们。——去年 GPT-4 被移除时，有很多反对意见。我从没用过那个模型，但我跟 OpenAI 的人谈过，他们会收到用户发来的电子邮件，他们可能会检测到部署中的细微差别，即使是在深夜。他们说，“我的朋友不一样了。”他们找到了员工的电子邮件，因为他们如此依恋部署的这套模型权重和配置。我们也在 TikTok 上看到了这一点。我不使用 TikTok，但据说在五分钟内，算法就会抓住你。就像它被锁定了。那些是进行推荐的语言模型。我认为有方法可以做到这一点。在五分钟的聊天中，模型就能理解你。而这是人们还没有真正准备好的。我认为——不要把这个给孩子。……至少在我们知道发生了什么之前。——还有这种机制。随着 LLM 的使用越来越多，会发生什么……不幸的是，人类的本性如此，人们会自杀。记者会广泛报道自杀的人，并且很可能会将他们与 LLM 联系起来，因为他们拥有关于对话的数据。如果你真的在挣扎，如果你很沮丧，如果你在考虑自杀，你可能会和 LLM 谈论这件事。所以记者会说，“好吧，自杀是因为 LLM。”这将导致公司，由于法律问题，削弱 LLM 的尖锐性。所以它会尽可能地通用。在这个领域运营非常困难，因为你不想让 LLM 对人类造成那种程度的伤害，但这也是人类体验的本质：进行一次丰富的对话，一次充实的对话，一次挑战你并让你成长的对话。你需要那种尖锐性。而这是 RLHF 前沿的 AI 研究人员非常难以解决的问题，因为你实际上是在处理人类的状况。——这些公司里的很多研究人员都很有动力，Anthropic 和 OpenAI 在文化上都想为世界做好事。而且是如此……我想，“我不想做这个，”因为很多人将 AI 视为健康盟友，可以与之谈论健康问题，但随后又延伸到谈论心理健康，这令人心碎，因为这将是某人越过边缘的事情，但其他人可能会得救。我想，“我不想……”作为一名训练模型的研究人员，有些事情我不想公开发布图像生成模型，因为我不想让某人能够在他们的笔记本电脑上拥有一个可能伤害他人的工具。我的公司没有基础设施来安全地做到这一点。但是……有很多这样的领域，需要人们以复杂性和信念来对待它，因为它是一个非常困难的问题。——但同时，我们作为社会，作为这些技术的用户，需要确保我们正在进行复杂的对话，而不是仅仅散布恐惧。“大科技正在伤害人类，”或者“窃取你的数据，”等等。这比这要复杂得多。你说得对。这些公司里有非常多的人，其中许多人你认识，许多人我也认识，他们非常关心帮助人们。他们正在考虑来自世界各地的人们的完整人类体验，而不仅仅是硅谷。美国各地的人们，世界各地的人们——这意味着什么，他们的需求是什么。设计一个能够满足所有这些需求的系统非常困难。

能够帮助所有这些不同类型的人，跨越不同的年龄段、文化、精神状态和状况。——我希望人工智能的时机能够有所不同，尤其是在大型科技公司与普通人关系方面。大型科技公司的声誉非常糟糕，而且由于人工智能如此昂贵，它不可避免地会成为大型科技公司的事情。这需要大量的资源，而且人们说美国正在通过这种建设“将经济押注在人工智能上”。同时拥有这些纠缠在一起的东西，使得沟通环境如此困难。对我来说，去与更多憎恨大型科技公司并将人工智能视为这种延续的人交流会很好。——而你推荐的一件事……你谈到的解毒剂之一是在整个系统中找到能动性。而不是以一种无能为力的方式坐视不管，并吞食人工智能的残羹剩饭，因为它迅速、快速地接管了互联网。通过使用人工智能来构建东西、构建应用程序来找到能动性……所以，第一，这实际上有助于你建立直觉，但第二，它具有赋权作用，因为你可以理解它是如何工作的以及它的弱点是什么。它赋予你的声音说：“这是技术的糟糕用法，这是技术的良好用法。”你与系统的联系更紧密，因此你可以更好地理解它，并且作为消费者可以更好地引导它。——我认为这是关于能动性的一点。与其忽视它并说：“好吧，我不会使用它”，我认为长期来看，说：“好吧，它已经存在了。我无法将其收回”可能更健康。就像互联网和计算机刚出现时一样。我如何最好地利用它，以及它如何帮助我提升自己？然而，我担心的一件事是，如果你只是完全用它来做你喜欢做的事情，那么你喜欢做的事情就不再存在了。这可能会导致倦怠。例如，如果我使用大型语言模型来完成我所有的编码工作，那么现在就没有编码了。我只是在管理一个为我编码的东西。两年后，如果我每天这样做八个小时，让别人为我编码，我还会感到满足吗？我的意思是，这是否会伤害我，让我对我的工作和我的所作所为感到兴奋？我是否仍然为构建某样东西感到自豪？——所以关于享受的话题，这很有趣。我们应该把它加进去，最近有一项针对大约 791 名专业开发者的调查，专业开发者意味着拥有 10 年以上的经验。——那是一段很长的时间。作为一个初级开发者？——是的，在这个时代。因此，在许多方面也有令人惊讶的方面。所以他们按初级和高级开发者进行细分。但这表明，初级和高级开发者都在他们交付的代码中使用人工智能生成的代码。所以这不仅仅是为了好玩或中间学习的东西。这是他们交付的代码。而 25%——就像，他们中的大多数人使用大约 50% 或更多的代码。有趣的是，对于你交付的超过 50% 的代码都是人工智能生成的类别，高级开发者更有可能这样做。但你不想让人工智能夺走你热爱的东西。我认为这说明了我的经验——我将要说的这些具体结果。总的来说，大约 80% 的人发现使用人工智能作为他们工作的一部分，要么让他们感到更加愉快，要么显著更加愉快。——我认为这取决于任务。以我个人使用为例，我有一个网站，我有时会调整网站上的东西。我个人不喜欢这样做。所以从这个意义上说，如果人工智能可以帮助我在我的网站上实现某些东西，我完全赞成。这很棒。但同时，当我解决一个复杂的问题时，如果有一个 bug，我追踪这个 bug，然后我找到了它，这是世界上最美好的感觉。你获得了如此多的快乐。你感觉很棒。但现在如果你甚至不考虑这个 bug，你直接去大型语言模型，那么你永远不会有这种感觉，对吧？但之后可能会有一个折衷的办法，就是你尝试自己，找不到，你使用大型语言模型，然后你不会感到沮丧，因为它帮助你继续做你喜欢的事情。所以，看看这些统计数据，我认为差异还在于没有被考虑进去；这是对所有不同场景的平均值。我们不知道这是否是为了核心任务，还是为了那些人们否则不会喜欢的平凡的事情。所以，从某种意义上说，人工智能在做那些耗时耗力的平凡事情方面确实很棒。例如，我的妻子前几天，她有一个关于书籍讨论的播客，一个读书俱乐部，她正在将节目笔记从 Spotify 转移到 YouTube，然后链接不知何故断了。在某些剧集中，因为有太多的书，比如 100 个链接，手动修复每个链接会非常痛苦。所以我建议：“嘿，我们试试 ChatGPT 吧。”我们将文本复制到 ChatGPT 中，它就修复了它们。而不是花两个小时从一个链接到另一个链接，它使这类工作更加无缝。我认为每个人都有人工智能在某些方面很有用的用例，而这些方面会非常无聊，非常平凡。——对我个人而言，既然我们在谈论编码，而你提到了调试……对我来说，享受的很大一部分乐趣，更多的是在 Cursor 端而不是 Cloud 端，是我有一个朋友，我有一个——那叫什么？一个配对程序员。不那么孤单了。你把调试说成是一种巨大的快乐。我会说调试就像在沙漠里走了几天后喝一杯水。所以你跳过了整个受苦的沙漠部分。有时有一个朋友能真正找到 bug，但能给你一些关于代码的直觉，而你和那个朋友一起穿越沙漠，然后一起找到那杯水，这很好。至少对我来说，也许这说明了编程体验的孤独感。那是快乐的源泉。——这可能也与延迟满足感有关。即使是孩子，我也喜欢圣诞礼物——拥有它们，期待它们——比实际得到它们更好。我期待那一天，但然后它就结束了，我感到失望。我认为这与食物相似。当你非常饿的时候，食物的味道更好。而且你说的对，调试并不总是那么好。它经常令人沮丧，但如果你能解决它，那它就很棒。有一个甜蜜的“金发姑娘区”；如果太难了，你就是在浪费时间。但我认为这是另一个挑战：人们将如何学习？在我们查看的图表中，我们看到高级开发者比初级开发者交付更多人工智能生成的代码。这非常有趣，因为直觉上你会认为应该是初级开发者，因为他们还不知道如何做这件事。这可能意味着人工智能还不够好，或者也可能意味着专家更有效地使用它。他们知道如何更好地使用它，他们审查代码，并且更信任它。未来一个问题将是：如果你从未自己尝试过某件事，你将如何成为专家？我的学习方式是通过自己尝试。就像数学课本一样：如果你只看答案，你会学到一些东西，但我认为如果你先尝试，你会学得更好。你会以不同的方式欣赏答案，因为你可以将其纳入你的思维框架。如果大型语言模型一直存在，你真的会费尽心思去挣扎吗？挣扎并不好，对吧？但如果你使用大型语言模型来做一切，在某个时候你将永远无法迈出下一步，然后你可能会得不到作为使用大型语言模型的专家的那种解锁。所以，我认为有一个“金发姑娘”的甜蜜点，也许这里的诀窍是你可以专门安排离线时间，每天学习两个小时，其余时间使用大型语言模型。但我认为，在我看来，人们仍然投资于自己也很重要，不要仅仅把一切都交给大型语言模型。——是的，我们作为一个文明——我们每个人都必须找到那个“金发姑娘”的区域。在编程方面，作为开发者。现在，我们进行了这次精彩的对话，从预训练和中期训练开始。让我们进入后期训练。后期训练有很多有趣的东西。那么，后期训练中有哪些有趣的想法呢？——2025 年最大的一个就是学习带有可验证奖励的强化学习。你可以在那里扩展训练，这意味着进行大量的这种迭代生成-评分循环，这使得模型能够学习工具使用和软件方面的有趣行为。这可能包括搜索、自行运行命令并查看输出，以及训练能够很好地扩展推理时间。而且恰好这个范式与它很好地联系在一起，这种 RL 训练能够扩展推理时间。但推理时间扩展也可以通过不同的方式找到。所以，这是一个完美的风暴，模型发生了很大变化，它们训练的方式是其中的一个重要因素。这改变了人们对后期训练的看法……戏剧性地改变了。——你能描述一下由 DeepSeek R1 推广的 RLVR 吗？你能描述一下它是如何工作的吗？——是的。有趣的事实是，我曾参与了提出 RLVR 这个术语的团队，它来自我们在 DeepSeek 之前的 Tulu 3 工作。我们不认为自己是推广扩展 RL 的人，但作为学者，作为旁观者，能够命名和影响话语，因为封闭的实验室只能说这么多。作为学者，你可以做的一件事是你可能没有计算能力来训练模型，但你可以以一种我称之为的方式来构建事物：一个社区可以围绕这个 RLVR 这个术语聚集在一起，这很有趣。然后 DeepSeek 是那些完成了训练突破的人，他们扩展了强化学习，模型生成答案，然后对完成情况进行评分，如果正确，那么准确性就是强化学习的奖励。所以强化学习经典上是一个在环境中行动的代理，环境给它一个状态和一个奖励，你试图最大化这个奖励。在语言模型的情况下，奖励通常是在一组可验证任务上的准确性，无论是数学问题还是编码任务。它开始变得模糊，涉及事实领域。就像那样，在某种程度上也是可验证的，或者对你的指令有限制，比如只用以 A 开头的词语回答。所有这些事情在某种程度上都是可验证的，而这个核心思想是找到更多可验证的问题，让模型在采取这些 RL 步骤、这些 RL 梯度更新的同时多次尝试。基础设施是从人类反馈强化学习演变而来的，他们试图优化的分数是学习到的奖励模型，代表了人类的整体偏好。所以你改变了问题领域，这使得优化可以进行到更大的规模，这在某种程度上启动了模型能力和人们使用模型方式的重大变革。——RLVR 适用于哪些领域？——数学和代码是最著名的领域，然后有很多关于所谓的评分标准的工作，这与人们可能听说过的“LLM 作为裁判”有关，就像对于每个问题，我都会有一组问题在我的训练数据集中。然后我会有一个另一个语言模型，并问它，“这个问题的答案应该是什么样的？”然后你可以一遍又一遍地尝试这个问题，并根据这个评分标准给出一个分数。所以这不一定像数学和代码领域那样可验证，但这个评分标准的概念和其他可能有点模糊的科学问题是很多关注的焦点，他们试图将这套方法推向这些更开放的领域，以便模型能够学到更多东西。——我认为这叫做带有 AI 反馈的强化学习，对吧？——这是 Anthropic 的 Constitutional AI 论文中提出的一个较旧的术语。所以很多事情都是周期性的。——另外，只是退一步谈谈 RLVR。我认为有趣之处在于，你问大型语言模型一个数学问题，然后你知道正确答案，然后你让大型语言模型，就像你说的，找出答案，但它是如何做到的……我的意思是，你并没有真正限制它。你可以添加一些限制，比如“使用同一种语言，不要在西班牙语和英语之间切换”。但假设你基本上是放手不管的。你只给出问题和答案，然后大型语言模型必须——你知道，只是为了得到正确的答案——但这里的美妙之处在于，实际发生的是大型语言模型会一步一步地描述，就像一个学生或一个数学家一样，你如何推导出解决方案。它会给你，或者它会使用这些步骤，而这实际上有助于模型提高其自身的准确性。然后就像你说的，推理扩展。所以推理扩展大致意味着在使用大型语言模型进行推理时花费更多的计算量，而这里的推理扩展是模型会使用更多的 token。在 R1 论文中，他们表明模型训练的时间越长，响应就越长。它们随着时间的推移而增长。它们使用更多的 token，所以成本更高。对于简单的任务来说很昂贵，但这些解释有助于模型提高准确性。也有一些有趣的文章表明，模型解释的内容不一定正确，或者可能与答案无关，但出于某种原因，它仍然有助于模型。这是它在解释。而且我认为，我再次不想拟人化这些大型语言模型，但它有点像我们人类的运作方式，对吧？如果有一个复杂的数学问题，比如在数学课上，你通常会有一张草稿纸，然后一步一步地做。你划掉东西。模型也会自我纠正，我认为这是 R1 论文中的一个顿悟时刻。他们称之为顿悟时刻，因为模型本身认识到它犯了错误，然后说，“啊，我做错了，让我再试一次。”我认为这太酷了，仅仅通过给出正确的答案并让它找出如何做，它就能在某种程度上做到人类会做的事情。虽然大型语言模型不像人类那样思考，但这有点像一个有趣的巧合，而且……另一个很好的副作用是，我们人类经常看到这些步骤也很好。它建立了信任，但我们也学会了可以核实事情。——这里有很多内容。我认为——今年关于语言模型是否像这些顿悟时刻……我认为顿悟时刻是假的，因为在预训练中你基本上已经看到了整个互联网。所以你肯定看到过人们解释他们的工作，甚至口头解释，比如数学讲座的文字记录。“你试试这个，哦，我搞砸了。”而强化学习，这个 RLVR 非常擅长做的是放大——这些行为非常有用，可以使模型思考更长时间并检查其工作。我同意，这种训练……模型学会以一种如此有用的方式来放大它，以至于最终答案更好，这真是太美妙了。——我也可以给你一个实际的例子。我正在使用 RLVR 在 MATH 500 上训练 Qwen 2.5 基础模型。基础模型的准确率约为 15%。仅仅 50 步，就像在几分钟内使用 RLVR，模型的准确率从 15% 提高到 50%。而模型……你不能告诉我它在数学方面学到了什么根本性的东西————Qwen 的例子很奇怪，因为今年有两篇论文，其中一篇我参与了，是关于 Qwen 的数据污染——特别是它们在很多特殊的中间训练阶段进行了训练，我们————没错。没错。——我们花了一分钟的时间，因为这很奇怪————因为它们在与 MATH 几乎相同的问题上进行训练。——没错。所以你可以看到，基本上 RL，它并没有教会模型任何新的数学知识。你不能在 50 步内做到这一点。所以知识已经存在于预训练中，你只是在解锁它。——我仍然不同意这个前提，因为有很多奇怪的复杂性是你无法证明的，因为指向奇怪性的一个原因是，如果你采用所谓的 Qwen 2.5 基础模型，然后你……你可以谷歌搜索“数学数据集，Hugging Face”，你可以拿一个问题，然后你把它输入 Qwen 2.5 基础模型，所有这些数学问题都有文字，所以它会像“爱丽丝有五个苹果，拿走一个，给了三个人”，这些都是应用题。人们对这些 Qwen 模型持怀疑态度是因为，如果你改变数字但保留文字——Qwen 会生成——在没有工具的情况下——会生成一个非常高精度的答案的十进制表示，这意味着在某个时候它看到了几乎与测试集相同的问题，并且它使用了工具来获得非常高精度的答案，但没有工具的语言模型永远不会真正拥有这个。所以，研究界一直在进行一场关于这个的大辩论。这些在 Qwen 上训练并专门在数学基准上衡量的强化学习论文，关于数据污染有多篇论文，你能在多大程度上相信它们？我认为这就是导致 RLVR 声誉是关于格式化的原因，因为你可以如此迅速地获得这些收益，因此它一定已经在模型中了。但这里有很多复杂性；它不像受控实验，所以我们真的不知道。——但如果不是真的，我会说蒸馏就不会起作用，对吧？我的意思是，蒸馏在一定程度上是有效的，但问题是，最大的问题是研究污染，因为我们不知道数据中有什么。除非你有新的数据集，否则真的不可能。同样——你提到了 MATH 数据集，其中有一个问题、一个答案和一个解释，但甚至更简单的东西，比如 MMLU，这是一个多项选择基准。如果你只是稍微改变一下格式——比如，我不知道，你用一个点代替一个括号或者其他什么东西，模型的准确性就会大不相同。——我认为这可能是一个模型问题，而不是一个普遍问题。——这甚至不是由 LLM 的开发者恶意为之，比如，“嘿，我们想在这个基准上作弊。”它只是在某个时候看到了什么。我认为评估 LLM 的唯一公平方式是拥有一个在 LLM 部署截止日期之后的新基准。——我们能列出后期训练的所有配方吗？你提到 RLVR 是一个非常令人兴奋且有效的工具。也许我们应该详细说明。RLHF 仍然扮演着非常重要的角色。后期训练还有哪些其他想法？——我认为你可以按顺序进行。你可以将其视为是什么使 o1，即第一个推理模型成为可能，或者最新的模型是什么。它们在这些阶段都有类似的干预措施，你从中训练开始，而据说使 o1 和类似模型成为可能的是非常仔细的数据整理，你提供了一套广泛的所谓推理轨迹，这只是模型在正向过程中生成单词，反映了，比如将问题分解为中间步骤并尝试解决它们。在中期训练中，你需要有类似的数据，这样当你进入后期训练时，主要使用这些可验证的奖励，它就可以学习。然后今天发生的是你正在弄清楚要给模型哪些问题以及如何给模型哪些问题以及你可以训练多久以及在解决这些可验证问题时可以启用模型多少推理。所以随着模型越来越好，某些模型会越来越好，某些问题不再……模型将 100% 的时间解决它们，因此信号非常少。如果我们看 GRPO 方程，这个方程很出名，因为基本上给代理的奖励是基于给定动作——一个完成——相对于同一问题的其他答案的好坏。所以如果所有问题都得到相同的答案，就没有信号了。所以他们正在寻找更难的问题，这就是为什么你会听到科学领域这样的事情，它们非常难。在那里得到任何东西，如果你有一个实验室或者什么东西，它就会生成大量的 token，或者更难的软件问题。所以前沿模型都在将这些更难的领域推向极限，因为它们可以训练更多前沿模型正在将这些更难的领域推向极限，在那里它们可以训练更多问题并一次学习更多技能。RLHF 与此的联系是，RLHF 一直并且仍然是模型的最后润色，它通过改进组织、风格或语气使其更有用。不同的东西会引起不同受众的共鸣；有些人喜欢古怪的模型，而 RLHF 可以在实现这种个性方面做得很好，有些人讨厌模型做的这种 markdown 项目符号列表，但它实际上对于快速解析信息非常有用。在 RLHF 中，这个人类反馈阶段对于最终将这一点融入模型来说非常棒。正是它让 ChatGPT 对人们来说如此神奇。而且这种用法实际上一直相当稳定。这种格式化也可以帮助模型在数学问题等方面做得更好。所以它就像风格和格式之间的界限，以及你用来回答问题的方法，实际上——它们在训练这些模型时都非常紧密地联系在一起，这就是为什么 RLHF 仍然可以使模型在数学方面做得更好，但这些可验证的领域是一个更直接的过程，因为这与问题表述更有意义，这就是为什么所有这些最终会融合在一起。但总而言之：中期训练是为模型提供它学习所需的技能。带有可验证奖励的 RL 是让模型尝试很多次——将大量计算投入到困难问题上的反复试验学习。然后 RLHF 将是：完成模型，使其易于使用，并稍微完善模型。——你能评论一下 RLVR 所需的计算量吗？——它一直在增加。我认为 Greg Brockman 曾说过，他们使用与预训练和后期训练相似的计算量。回到扩展讨论，它们涉及非常不同的硬件来扩展。预训练是计算密集型的，就像这种 FLOPs 讨论，它只是关于你可以在一个时间段内完成多少次矩阵乘法。而且因为 RL，你正在生成这些答案，你在真实环境中尝试模型，它最终会成为内存密集型的，因为你正在生成长序列，并且注意力机制具有这种行为，即当你处理更长的序列时，内存会呈二次方增加。所以计算量变得非常不同。当我们在预训练中谈论一个模型时，我认为如果我们回到拜登政府的行政命令，训练一个模型大约需要 10 的 25 次方 FLOPs。如果你在后期训练中使用 FLOPs，那就更奇怪了，因为现实情况是，你分配了多少小时，多少 GPU？而且我认为就时间而言，RL 计算正在越来越接近，因为你无法将其全部放入一个系统中。预训练是如此计算密集，所有的 GPU 都在互相通信，并且非常高效，而 RL 有所有这些移动部件，并且可能需要很长时间才能生成一个包含十万个 token 的序列。如果你想到 GPT-4o 需要一个小时，那么，如果你的训练运行需要采样一个小时，并且你必须确保它被有效地处理呢？所以我认为在 GPU 小时或只是挂钟时间方面，RL 运行可能接近预训练的几天，但它们可能没有同时使用那么多 GPU。有一些经验法则，在实验室里，你不想让你的预训练运行持续超过一个月，因为它们会灾难性地失败。如果你计划一个巨大的集群运行两个月，然后在第 50 天失败，机会成本太大了。所以人们不想把所有的鸡蛋都放在一个篮子里，就像……GPT-4 是终极的 YOLO 运行，而且以前没有人愿意这样做，它花了三个月才训练好，每个人都震惊它成功了。我认为人们现在更加谨慎和循序渐进。——所以 RLVR 的训练量可以无限增加并获得收益，而 RLHF，因为它是偏好调整，你达到某个点后，再花更多 RL 预算就没有意义了。所以只是退一步谈谈偏好调整：有多个人可以对同一件事给出不同的解释，而且它们都可能是正确的，但到某个时候，你学会了一种特定的风格，再继续迭代就没有意义了。我最喜欢的例子是，如果亲戚问我应该买什么笔记本电脑，我会给他们一个解释或问他们，“你的用例是什么？”例如，他们可能优先考虑电池寿命和存储空间。像我们这样的人，例如，我们会优先考虑 RAM 和计算能力。所以……但两个答案都是正确的，但不同的人需要不同的答案。通过偏好调整，你试图以某种方式平均化，就像你要求数据标注者给出首选答案，然后你在此基础上进行训练。但到某个时候，你学会了平均首选答案。再继续在此基础上训练就没有意义了，因为它只是一种风格，而对于 RLVR，你实际上是让模型解决越来越复杂、困难的问题。所以我认为将更多预算长期分配给 RLVR 是更有意义的。现在我们处于 RLVR 1.0 时代，它仍然是那种简单的东西，我们有一个问题和答案，但我们不对中间的东西做任何事情。所以有很多研究论文，比如谷歌的关于过程奖励模型的论文，它们也为解释打分，解释有多正确。我认为这将是下一件事，比如说今年的 RLVR 2.0，专注于问题和答案之间，比如如何利用这些信息来改进解释并帮助它提高准确性。但然后……这是一个角度。还有 DeepSeek Math-V2 论文，其中他们也有有趣的推理扩展，首先，他们开发了能够自我评分的模型，一个单独的模型。我认为这将是一个方面。另一个方面，正如 Nathan 提到的，将是 RLVR 扩展到其他领域。——人们感到兴奋的地方是价值函数，这非常相似。所以过程奖励模型有点像……过程奖励模型为推理过程中的每个中间步骤分配好坏程度，而价值函数则为语言模型生成的每个 token 应用价值。在语言建模和这个推理模型时代，这些在很大程度上都未经证实。出于某种原因，人们现在对价值函数更乐观。我认为过程奖励模型在这个 o1 之前，推理模型时代之前被尝试了很多，而且很多人对此感到头疼。所以我认为这很大程度上是人类的本性……价值模型在强化学习中有着非常悠久的历史。它们是深度强化学习存在的核心事物之一，就是训练价值模型。所以现在在文献中，人们对尝试价值模型感到兴奋，但证据很少。并且在扩展过程奖励模型方面有负面例子。这些东西并不总是能在未来奏效。我们通过谈论扩展来讨论这个。简单总结一下你的意思就是，你不想做太多的 RLHF，因为信号会扩展。人们多年来一直在研究语言模型的 RLHF，尤其是在 ChatGPT 之后引起了强烈的兴趣。第一个推理模型 RLVR 的发布，OpenAI 的 o1，有一个扩展图，如果你将训练计算量对数增加，评估量就会线性增加，这已经被重复了多次。我认为 DeepSeek 也有这样的图。但 RLHF 没有扩展定律，即如果你对数增加计算量，你会得到一些性能。事实上，RLHF 的开创性扩展论文是“奖励模型过度优化的扩展定律”。所以这就像 RLVR 和我们现在及未来的方法之间有一条很大的界限，它们将遵循这种扩展范式，就像最好的运行你可以让它运行 10 倍，你会得到几倍的性能，但你不能用 RLHF 来做到这一点。而这仅仅是定义该领域如何处理它们的方式。虽然我是一个学术界从事 RLHF 的拥护者，但一个好的描述方式是：要做到最好的 RLHF，你可能不需要额外的 10 倍或 100 倍的计算量，但要做到最好的 RLVR，你需要。所以我认为有一篇来自 Meta 实习的开创性论文。它叫做“语言模型强化学习扩展的艺术”。他们描述了一个框架叫做 ScaleRL。他们的增量实验是 10,000 V100 小时，这相当于每次实验数千或数万美元，他们做了很多实验。这个成本对于普通学者来说是无法承受的，这是一个艰难的均衡，我们试图弄清楚如何从每个社区学习。——我想知道我们是否可以稍微偏离一下，谈谈教育和学习。如果你是听众中一个聪明的人，对编程和人工智能感兴趣，我猜从头开始构建东西是一个好的开始。你能告诉我你会推荐人们做什么吗？——我个人会从头开始实现一个简单的模型，你可以在你的电脑上运行它。目标不是拥有一个你每天都用于个人项目的模型。它不会成为取代现有开源模型或 ChatGPT 的个人助理。它的目的是让你确切地了解 LLM 的输入和输出是什么，以及预训练是如何工作的，最好是在你自己的电脑上。然后你将了解预训练、监督微调和注意力机制。你将对工作原理有扎实的理解，但到某个时候你会遇到一个限制，因为家庭模型只能做这么多。学习大规模 LLM 的问题在于，制造一个更大的模型其复杂性呈指数级增长，因为模型不仅仅是变大。你必须考虑将参数分片到多个 GPU 上。即使是 KV 缓存，也有多种实现方式。一种理解它是如何工作的方法是逐步增长缓存，比如说，通过连接列表，但这在 GPU 上不是最优的。你会预先分配一个张量，然后填充它。但这会增加另外 20 或 30 行代码。你每添加一行代码，这本书的诀窍就在于理解 LLM 是如何工作的。它不会是一个生产级别的 LLM，但一旦你有了它，你就可以理解生产级别的 LLM。——所以你试图始终构建一个适合单个 GPU 的 LLM？——是的。大多数都是。我有一些关于 MoE 模型（混合专家模型）的奖励材料。其中一两个可能需要多个 GPU，但目标是将其放在一个 GPU 上。而且美妙之处在于你可以自我验证。这几乎就像 RLVR。当你从头开始编写这些代码时，你可以从 Hugging Face Transformers 库中获取一个现有的模型。该库很棒，但如果你想学习 LLM，我认为这不是一个好的起点，因为代码太复杂了；它必须适应如此多的用例。由于人们在生产中使用它，它非常复杂且相互交织。阅读起来不是线性的。——它最初是一个微调库，然后发展成为每个模型架构的标准表示。Hugging Face 是获取模型的默认位置，而 Transformers 是实现它的软件，因此人们可以轻松加载模型并进行一些基本操作。——而且所有拥有开源模型的 Frontier Labs 都有它的 Transformers 版本，比如从 DeepSeek 到 GPT-2。那是你可以加载的规范权重。但即使是 Transformers 这个库，在生产中也不是这样使用的。人们使用 SGLang 或 vLLM，这又增加了一层复杂性。——我们应该说 Transformers 库有大约 400 个模型。——所以它是试图实现许多 LLM 的一个库，所以你有一个巨大的代码库，基本上。它就像，我不知道，也许数百万————太疯狂了——……数十万行代码。理解你想理解的部分就像大海捞针。但美妙之处在于你有一个可用的实现，所以你可以从它反向工作。我想做的是，或者我也会做的是，如果我想理解，例如，Llama 3 是如何实现的，我会查看模型中心中的权重，配置文件，然后你就可以看到，“哦，他们使用了这么多层。”他们使用了，比如说，Group Query Attention 或 Multi-Head Attention。然后你在一个人类可读的 100 行配置文件中看到所有组件。然后你开始，比如说，用你的 GPT-2 模型并添加这些东西。这里很酷的是，你可以加载预训练的权重，看看它们是否在你的模型中起作用。你想匹配与 Transformer 模型相同的输出，然后你可以将其用作——基本上作为可验证的奖励来使你的架构正确。然后它有点像……有时需要我一天。对于 Llama 3，挑战是 RoPE 用于位置嵌入。他们有一个 YaRN 扩展，并且有一些自定义缩放，我无法完全匹配这些东西，而在这种挣扎中，你才能理解事物。但最终，你知道它是正确的，因为你可以进行单元测试。你可以与参考实现进行比较，我认为这是真正学习的最佳方式之一。基本上是逆向工程。——我认为这是今天任何对 AI 感兴趣的人都应该做的事情。我认为这就是我喜欢你的书的原因，我从 RL 和机器人领域来到语言模型。我从未花时间去学习所有基础知识，而我所描述的 Transformer 架构如此基础，就像深度学习是我过去必须学习的东西，而人们需要这样做。我认为很多人感到不知所措的地方是，“我如何应用它来产生影响或找到职业道路？”因为 AI 语言模型使这些基础知识变得如此易于访问，并且有动力的人会学会它，然后就是，“我如何获得目标周期来为研究做出贡献？”我实际上相当乐观，因为这个领域发展如此之快，以至于很多时候最优秀的人并没有完全解决一个问题，因为有一个更大的问题要解决，这是一个非常容易实现的目标，所以他们继续前进。我认为我在这本 RLHF 书中所做的很多工作都是采用后期训练技术，并描述人们如何思考它们对模型的影响，以及人们在做什么。令人惊讶的是，我认为很多人停止研究了。不。所以我认为人们在学习了基础知识后试图变得狭窄是好的，然后学习了基础知识后阅读也是好的，然后阅读相关论文并参与到生态系统中，就像你一样。随机的人在线上与领先的研究人员的距离。就像，没有人知道……就像，X 上的匿名账户在 ML 中很受欢迎，原因不明，而且没有人知道这些人是谁。他们可能只是深入研究这些东西的随机人，特别是有了 AI 工具，就像，“我不明白这个，继续深入研究它，”我认为这是一个非常有用的事情。但有很多研究领域可能只需要阅读三篇论文，然后其中一位作者很可能会回复你。但你必须在这些电子邮件中投入大量精力才能理解这个领域。比如，我认为对于一个新人来说，很容易需要几周的工作才能感觉自己能够真正掌握一个非常狭窄的领域，但我认为在掌握了基础知识之后变得狭窄对人们来说将非常有益，因为就像我开始对角色训练非常感兴趣一样，也就是如何让模型变得有趣或讽刺或严肃，以及你如何处理数据来做到这一点？就像牛津大学的一名学生联系了我，说：“嘿，我对这个很感兴趣”，我给了他建议。然后那篇论文现在就存在了，而且就像，我不知道，世界上只有两三个人对这个非常感兴趣。他是一名博士生，这给了你优势，但对我来说，这是一个我一直在等待有人说：“嘿，我有时间花在这上面”的话题，我相信还有很多非常狭窄的事情，你只是觉得，“哦，没有答案真是说不通”，我认为这就像有太多的信息涌来，以至于人们觉得，“我抓不住任何一个”，但如果你真的坚持在一个领域，我认为有很多有趣的东西可以学习。——是的，我认为你不能试图做所有事情，因为这会非常压倒性，如果你试图跟上一切，你会筋疲力尽。对我来说，我很久没有跟上计算机视觉了，只是专注于 LLM。但回到你的书，我认为这本书也非常好，而且物超所值，因为你想了解 RLHF。我不会去读 RLHF 的论文，因为你会花两年时间————有些论文是矛盾的。我刚刚编辑了这本书，我说，没有一个章节我不得不说：“X 论文说一件事，X 论文说另一件事，我们将看看什么会是真的。”——只是浏览一下目录，我们可能在后期训练的大图景中错过了哪些想法。所以首先，你做了问题设置、训练概述、什么是偏好、偏好数据和优化工具、奖励建模、正则化、指令调整、拒绝采样、强化学习。然后是 Constitutional AI 和 AI 反馈、推理和推理时间扩展用于函数调用、合成数据和蒸馏、评估以及开放问题部分、过度优化、风格和信息，以及产品用户体验、角色和后期训练。那么，有哪些值得一提的想法可以连接教育和研究这两个方面呢？你提到了角色训练，这很有趣。——角色训练很有趣，因为这方面的内容很少，但我们谈到了人们如何与这些模型互动，以及为什么我们使用它们感觉很好，因为它们是积极的。但这可能会走得太远；它可能过于积极。本质上是：你如何改变你的数据和决策过程，使其完全符合你的期望？例如，OpenAI 有一个叫做 Model Spec 的东西，它基本上是他们内部的指导方针，说明他们希望模型做什么，并将此发布给开发者。所以本质上，你可以知道 OpenAI 训练的失败之处——他们有尚未实现的意图——与他们实际上想要做的事情以及你不喜欢的事情有什么区别。这种透明度非常好，但整理这些文档的所有方法以及遵循它们的难易程度并不为人所知。我认为这本书的设计方式是，RL 章节显然是人们想要的，因为每个人都听说过 RLVR，而且它是相同的算法和相同的数学，但你可以在非常不同的文档中使用它。所以我认为 RLHF 的核心是偏好有多么混乱。它本质上是我几年前写的一篇论文的重述，但这一章会告诉你为什么 RLHF 永远无法完全解决，因为即使是 RL 的设置也假设偏好是可以量化的，并且多个偏好可以被简化为单个值。我认为这与经济学文献中的冯·诺依曼-摩根斯坦效用定理有关。那一章包含了所有这些哲学、经济学和心理学背景，告诉你 RLHF 中压缩了什么。所以你拥有所有这些，而在书的后面，就像：你使用这些 RL 数学来提高数字。我认为这就是为什么它对人们进行研究会非常有益，因为量化偏好是人类设计的一个问题，以便使偏好可以研究。但存在根本性的争论，例如，在语言模型响应中，你关心不同的事情，无论是准确性还是风格。在收集数据时，它们都会被压缩成“我更喜欢这个而不是另一个”。这种情况正在发生，而且世界其他地区有很多关于你实际上应该如何做这方面的研究。我认为社会选择理论是经济学中关于如何汇总偏好的一门学科。我参加了一个研讨会，发表了一篇关于“如何考虑使用社会选择理论进行 RLHF？”的白皮书。所以我想让那些对数学感到兴奋的人来这里，偶然发现并学习这种更广泛的背景。我认为有一件有趣的事情；我保留了一份我喜欢的关于推理模型的所有技术报告的列表。在第 14 章，对 RLVR 进行了简短的总结，有一个巨大的表格，我列出了我喜欢的每一个推理模型。所以，我认为在教育方面，很多都需要是这样的，在这一点上，我喜欢————因为语言模型在数学方面做得很好。例如，著名的 Direct Preference Optimization 论文，它是一种比 RL 更简单的解决问题的方法。附录中的推导跳过了一些数学步骤。对于这本书，我重做了推导，我说：“他们使用的那个对数技巧来改变数学是什么鬼？”但用语言模型来做，他们说：“这是对数技巧。”我说：“我不知道我是否喜欢这种数学商品化。”我认为在阅读这个附录时，一些挣扎……以及遵循数学，我认为对学习有好处。而且我……——是的，我们实际上经常回到这个话题，只是关于教育。你们两位都提到了“挣扎”这个词。所以是有价值的。如果你在这个过程中没有挣扎，你就没有完全遵循正确的学习过程，我想。——一些提供商已经开始为教育开发模型，这些模型的设计不是为了……实际上，我还没有使用过它们，但我猜它们的设计不是为了立即提供所有信息————对——……而是让人去努力。我认为你可以训练模型来做到这一点，这将是一项了不起的贡献。就像书中的所有内容一样，你必须重新评估每一个决定。这真是一个很好的例子。我认为我们有机会在 AI2 工作，我觉得那会很有趣。——这说得通。我前几天为电子游戏做过类似的事情，例如。我有时会玩电子游戏作为消遣，玩益智游戏。你知道，像《塞尔达传说》和《银河战士》。有一款新游戏我卡住了，我真的卡住了，而且没关系。我不想挣扎两天，所以我用了一个 LLM。但然后你说：“嘿，请不要添加任何剧透。只是，我在这里。我接下来该做什么？”你也可以对数学做同样的事情，你说：“好吧，我在这里。我卡住了。不要给我完整的解决方案，但有什么我可以尝试的吗？”你知道，你小心地探测它。但问题是，我认为这需要纪律。而且很多人喜欢数学，但也有很多人需要为他们的家庭作业做，然后就像这个捷径。是的，我们可以开发一个教育 LLM，但其他的

LLM 仍然存在，并且仍然有使用其他 LLM 的诱惑。——我认为很多人，尤其是在大学里，他们理解自己热衷的事物……他们对此有自我意识，并且理解这不应该容易。比如，我认为我们只需要培养良好的品味……谈论研究品味，就像学校对你应该努力的事情的品味……以及你不应该努力的事情。这很难知道，因为有时你对什么对你的职业生涯真正有用没有长远的眼光。但你必须培养那种品味，是的。——我曾和我的未婚妻或朋友谈论过这件事，感觉就像有一个短暂的十年窗口期，所有的家庭作业和考试都可以数字化。但在此之前，每个人都必须在蓝色笔记本上完成所有考试，因为没有其他办法。而现在，在人工智能之后，每个人都需要蓝色笔记本和口试，因为每个人都可以轻易作弊。就像这一代人接受了不同的教育体系，一切都可以数字化，但你仍然无法作弊。而现在它又要回去了。这真的很有趣。——你提到了性格训练。只是从更广泛的主题来看，对于那个主题需要多少计算量？总的来说，作为一名研究人员做出贡献，是否有不需要太多计算量的地方，在那里你可以作为一名个人研究人员做出贡献？——关于性格训练的事情，我认为这项研究是建立在对大约七十亿参数模型进行 LoRA 微调的基础上，这基本上只是微调模型的一小部分权重。我不知道这需要多少 GPU 小时。——但这是可行的。——并非所有学者都可行。一些学者的处境非常糟糕，他们唯一能做的工作就是进行推理，在那里你有闭源模型或开源模型，你可以从中获得补全，然后你可以查看它们并理解模型。这非常适合评估，因为你想成为在创建模型失败或展示某些能力的代表性问题方面最出色的人，我认为你可以通过这个来取得突破。我认为，对于从事评估的研究人员来说，如果你想在职业生涯中获得动力，最高目标是让 Frontier Labs 采用你的评估。你不需要让每个项目都这样做。但如果你来自一个没有计算能力的小型大学，并且你发现了一些 Claude 难以解决的问题，然后下一个 Claude 模型在博客文章中提到了它，那么你的职业生涯就会腾飞。我认为这很难，但如果你想以最小的计算量获得最大的潜在影响，那就是这样，那就是变得非常狭窄，并且需要了解模型的走向。所以你需要构建一个测试 Claude 4.5 将在哪里失败的工具。如果我要开始一个研究项目，我需要考虑八个月后的模型将面临哪些困难。——但开发全新的想法呢？——这是一个权衡。我认为如果你正在攻读博士学位，你也可以说，“在语言模型领域工作风险太高了。我将着眼于更长远的目标，”那就是，“什么将定义十年后的语言模型开发？”我认为我最终会成为一个非常务实的人。我的意思是，我读博士的时候是这样的，“嗯，我被伯克利录取了。最坏的情况是，我拿到硕士学位，然后去科技公司工作。”所以我对此非常务实，所以我是这样想的，在这些人工智能公司工作的人的生活，……比如，OpenAI 的平均年薪是每位员工超过一百万美元的股票。任何一个普通的美国人，进入这个人工智能实验室都将改变他们的人生。所以我对此非常务实。如果你专注于语言模型领域，仍然有很多上升的空间。而且结果是，看看这些工作。但从研究的角度来看，在这些学术奖项中产生的变革性影响，就像成为下一个 Yann LeCun 一样，是来自于不关注——不怎么关心语言模型开发。——在这种情况下，这是一个巨大的经济牺牲。——所以我和一些很棒的学生一起工作，他们说，“我应该去人工智能实验室工作吗？”我说，“你在顶尖学校读博士。你会为了去实验室而放弃吗？”我说，“我不知道。”如果你去顶尖实验室工作，我不会责怪你。不要去一家可能归零的随机初创公司。但如果你要去 OpenAI，我是这样想的，“离开博士学位去那里可能是值得的。”——让我们更严谨地思考一下。那么，你会建议人们在哪里做出研究贡献？选择有：学术界：获得博士学位。花五年时间发表论文。计算资源受限。有一些研究实验室更专注于开源模型，并在那里工作。或者闭源前沿实验室，研究实验室。比如 OpenAI、Anthropic、xAI 等等。——有两个梯度：越封闭，你得到的钱越多，但你得到的认可也越少。所以就建立你所做事情的投资组合而言，作为一名学者，你所做的事情非常清楚。而如果你要用相当合理的进展去换取成为机器中的一个齿轮，这也可以很有趣。所以我认为这是非常不同的职业道路。但作为一名研究人员的机会成本非常高，因为博士生几乎得不到报酬。所以我认为这最终会奖励那些拥有相当稳定的安全网的人，他们意识到自己可以长期运作，并且想要做非常有趣的工作并获得非常有趣的工作。所以，能够说“我将完成我的博士学位，之后再想办法，因为我想做这个”是一种相当特权的位置。同时，学术界正受到资金削减等因素的冲击。所以有很多不同的权衡，我理解很多人说，“我不喜欢它。我无法处理这种资金搜索。我的拨款莫名其妙地被政府削减了，”或者，“我不知道会发生什么。”所以我认为有很多不确定性和权衡，在我看来，这有利于直接接受一份薪酬丰厚且有意义的工作。这并不是说你在 OpenAI 坐着拿钱。你在构建改变数百万人与技术关系的尖端事物。——但就出版物而言，它们越来越保密。所以你发表的越来越少。所以你正在产生规模化的积极影响，但你只是机器中的一个齿轮。——我认为，老实说，这并没有改变太多。我曾在学术界工作过；我现在不在学术界了。同时，我也不想错过我在学术界的时间。但我想在进入那部分之前说的是，我认为这并没有改变太多。我曾从事，比如，我曾将人工智能或机器学习方法应用于计算生物学领域，与合作者一起，很多人直接从学术界去了，他们直接去了谷歌。我认为情况是一样的。当时，教授们，你知道，对他们的学生去了工业界感到难过，因为他们无法在那个意义上延续他们的遗产。我认为情况是一样的。我认为这并没有改变太多。唯一改变的是规模。但是，你知道，工业界总是开发很酷的东西，但它是封闭的。你不能谈论它。我认为现在的区别是，你的偏好。你喜欢谈论你的工作和发表论文，还是你更喜欢在封闭的实验室里工作？这是其中一个区别，当然还有薪酬。但我认为一直都是这样。所以这真的取决于你觉得哪里舒服。而且，没有什么是永恒的。现在唯一不同的是第三种选择，那就是创办一家初创公司。很多人都在创业。这是非常冒险的举动。但它是一种高风险、高回报的情况，而加入工业实验室，我认为是相当安全的。还有上升的空间。老实说，我认为一旦你在工业实验室工作过，找未来的工作就会更容易。但话又说回来，你知道，这就像，你有多喜欢团队和从事专有事物，而不是你有多喜欢发表论文的工作？我的意思是，发表论文是有压力的。确实如此。你知道，会议的接受率可能很随意，可能非常令人沮丧，但如果你发表了一篇论文，回报也很高，你会感觉很好，因为你的名字在那里。你取得了很高的成就，你知道。——我觉得我的教授朋友们平均来说似乎比我在……前沿实验室工作的朋友们更快乐。老实说。因为那只是基础，而且……前沿实验室确实实行 9/9/6……这基本上是全天候工作的简称。——你能描述一下 9/9/6 吗？我认为你可以说它起源于中国，并在硅谷被采纳。什么是 9/9/6？就是早上 9 点到晚上 9 点。——一周六天。——一周六天。那是什么，72 小时？好的。那么，这基本上是硅谷人工智能公司的标准吗？越来越多的人有这种拼搏的心态。——是的，我的意思是，也许不完全是这样，但我认为有一种趋势。而且很有趣。我认为这几乎是颠倒过来了。因为当我还在学术界的时候，我就是这么感觉的，因为作为一名教授，你必须写拨款申请。你必须教学，你必须做你的研究。这就像一份工作，如果你想成功，那就是全职工作。而且我觉得现在，就像内森刚才说的，与实验室相比，教授们的工作压力或工作量比前沿实验室少，因为————我认为他们工作很多。他们只是非常满足。通过与学生一起工作——并拥有持续的指导和以人为本的使命。在一个事物发展非常快且非常混乱的时代，这对人们来说非常有益。——是的，我认为在一家初创公司，这是压力。就像你必须成功。人们投入时间非常重要，但非常困难，因为你必须不断交付，我曾在一家初创公司工作过。我过得很愉快，但我不知道我是否能永远这样做。这是一个有趣的节奏，这正是我们一开始谈到的。这些模型正在相互超越，它们一直在努力与竞争对手竞争。我认为现在真是残酷。——我认为这种相互超越的性质和多个参与者实际上是语言模型进步的一个被低估的驱动力，竞争深深地根植于人们心中，而这些公司有意地创造了非常强大的文化。比如，Anthropic 以其文化上的深度承诺和组织性而闻名。我的意思是，我们很少听到他们的消息，而 Anthropic 的每个人似乎都非常一致。这就像身处一个非常紧密的文化中——而这种竞争动态会让你努力工作并创造出更好的东西。所以这是以人力资本为代价的，也就是说，你只能做这么久，人们肯定会筋疲力尽。我认为我写了一篇关于倦怠的帖子，我自己也经历过，尤其是在试图成为一名管理者，全模式训练的时候。这是一份疯狂的工作。帕特里克·麦基（Patrick McGee）的《后史蒂夫》（After Steve）一书讲述了苹果工程师如何努力在中国建立供应链，他说他们有“拯救婚姻”计划，并在播客中说，“人们死于这种高强度的工作。”所以我认为这只是一个完美的环境，可以基于人类的牺牲来创造进步，而且有很多……人类的牺牲就是我们开始的 996，在那里……人们确实在拼搏。——我也读过这本书。我认为他们有一个暗语，如果有人必须回家与家人共度时光以挽救婚姻。这太疯狂了。然后同事们说，“好吧，这种情况是红色警报。我们这个周末必须让那个人回家。”但同时，我认为他们并没有被迫工作。他们对产品充满热情，所以你会进入那种心态。我有时作为一名学者也有过这种经历，但作为一名独立人士，我有时也有。我过度工作，而且不健康。我曾有过背部问题，颈部问题，因为我没有休息，也许我应该休息的。但没有人强迫我；这是因为我想工作，因为这是令人兴奋的事情。——这就是 OpenAI 和 Anthropic 的样子。他们想做这项工作。——是的，但也有一种狂热感在建立，尤其是在硅谷，这与规模法则的想法一致，那里有一种炒作，认为世界将在几周内发生翻天覆地的变化，而你想成为其中的中心。然后，你知道，我很幸运能与各种各样的人进行对话，从中我可以看到世界各地所有的泡沫和回声室。看到我们人类如何形成它们真是令人着迷。而且我认为公平地说，硅谷是一种回声室，一种筒仓和泡沫。我认为泡沫实际上非常有用和有效。它不一定是负面的，因为你可以超高效。它可能是史蒂夫·乔布斯的现实扭曲力场，因为你只是说服彼此突破即将到来，并通过说服彼此，你使突破成为可能。——伯恩·霍巴特（Burn Hobart）写了一本书，对泡沫进行了分类，但其中一种是金融泡沫，就像投机一样，这是坏的，另一种是，我不知道这个词，但实际上是用于建设的，因为它促使人们去建造这些东西。而且我认为人工智能正处于这个阶段，但我担心它会转变为金融泡沫，那就是……——是的，但在思想领域，那个泡沫，你正在进行现实扭曲，这意味着你偏离了现实，如果你在 996 的同时离现实太远，你可能会错过人类体验的一些基本方面，包括硅谷之外。这是硅谷的一个常见问题：这是一个非常特定的地理区域。你可能不理解中西部的观点，美国乃至全世界其他人类的全部经历，你们彼此以某种方式交谈，你们说服彼此相信某些事情，这可能会给你带来真正的麻烦。无论人工智能是巨大的成功并成为一项强大的技术，还是不是，在这两种轨迹中你都可能陷入麻烦。所以你必须考虑所有这些。你在这里，一个年轻人，试图决定你想做什么。——那个……我甚至都不太理解，但旧金山的 AI 梗已经到了“永久的底层阶级”的地步，那就是 2025 年下半年的想法是唯一能够在一个 AI 初创公司或模型中建立持久价值的时间。否则，所有价值都将被现有公司捕获，你因此会贫穷，这……就像，这是旧金山事物走得太远的一个例子。我仍然认为，对于年轻人来说，如果他们真的热衷于在人工智能领域产生影响，那么身处旧金山是最有可能做到这一点的地方。但它有权衡。——我认为旧金山是一个令人难以置信的地方，但它有点像一个泡沫。如果你进入那个泡沫，它非常有价值，也要走出来。阅读历史书籍，阅读文学作品，去世界其他地方看看。推特不是，Substack 也不是整个世界。——我的一位同事正在搬到旧金山，我需要给他买一本《女巫的季节》（Season of the Witch），这是一本关于旧金山 1960 年至 1985 年的历史，它经历了嬉皮革命，所有同性恋社区接管这座城市并形成文化，然后是艾滋病危机和其他事情。这只是如此近期，有如此多的动荡和痛苦，但也有爱在旧金山。没有人知道这一点。这是一本很棒的书，《女巫的季节》。我推荐它。我的一些旧金山朋友 who get out 推荐给了我。我认为这就是住在那里……我住在那里，但我没有欣赏这种背景，而且它只是，就像，如此近期。——是的。好的，我们……我们谈了很多事情。当然，也谈到了去年令人兴奋的事情。但今年，你们提到令人兴奋的事情之一是文本扩散模型的扩展——只是对文本扩散的另一种探索。你能谈谈那是什么以及它所蕴含的可能性吗？那么，与当前的 LLM 相比，有哪些不同的方法？——是的，我们谈了很多关于 Transformer 架构和自回归 Transformer 架构，特别是像 GPT。这并不意味着没有人研究其他东西。人们总是在寻找下一个大事件。因为我认为不这样做几乎是愚蠢的。因为当然，现在，Transformer 架构是主流，而且效果最好，而且目前没有其他东西。但永远不要把所有的鸡蛋放在一个篮子里是个好主意。所以，人们正在开发自回归 Transformer 的其他替代方案。其中一个例子就是文本扩散模型。听众可能从图像生成中知道扩散模型，比如 Stable Diffusion 使其流行起来。有一篇关于生成图像的论文。当时，人们使用 GAN（生成对抗网络）。然后有一个扩散过程，你迭代地对图像进行去噪，随着时间的推移，这产生了非常高质量的图像。Stable Diffusion 是一家公司；其他公司也构建了自己的扩散模型。然后人们现在在想，“好吧，我们也可以尝试一下文本吗？”这还不符合直觉，因为感觉它不像像素那样是连续的，我们可以区分它。它是离散的文本，那么我们如何实现这个去噪过程呢？这有点类似于谷歌的 BERT 模型。就像回到最初的 Transformer 时，有编码器和解码器。解码器是我们现在在 GPT 等中使用的。编码器更像是一种并行技术，你可以并行填充多个 token。GPT 模型进行自回归生成，一次完成一个 token 的句子。而在 BERT 模型中，你有一个句子有空格。你将它们掩盖掉，然后一个迭代就是填充这些空格。文本扩散就像那样，你从一些随机文本开始，然后你填充缺失的部分或在多次迭代中对其进行迭代式改进。这里很酷的一点是，它可以同时处理多个 token。所以，它有望更有效率。现在，权衡当然是质量如何？它可能更快，但现在你有了去噪过程的这个维度。你进行的步骤越多，文本就越好。你可以以不同的方式进行扩展。研究人员正在尝试看看这是否可能是自回归模型的一个有效替代方案，在以更少的计算量获得相同质量方面。目前，论文表明，如果你想获得相同的质量，你必须增加去噪步骤，然后你最终会花费与自回归模型相同的计算量。另一个缺点是，虽然并行听起来很有吸引力，但有些任务不是并行的，比如推理任务或工具使用，你可能需要让代码解释器给你一个中间结果。这对于扩散模型来说很棘手。所以有一些混合方法。但主要思想是：我们如何使其并行化？这是一个有趣的途径。目前，主要有研究模型，比如 LaMDA 和其他一些模型。我看到一些初创公司在做，但还没有像 Gemini 或 ChatGPT 那样规模的 Diffusion 模型。但谷歌宣布他们将推出 Gemini Diffusion，并将其置于其 Nano 2 模型中。他们说，基本上在大多数基准测试中，对于相同的质量，我们可以生成内容的速度快得多。你提到了下一步——我认为文本扩散不会取代自回归 LLM，但它将是快速、廉价、大规模任务的工具。也许未来的免费层将是这样的。——为了举例说明为什么这要好得多：例如，当 GPT-5 需要 30 分钟才能响应时，它是一次生成一个 token。这个扩散的想法基本上是在一个批次中生成所有这些 token 的补全，这就是为什么它可能快得多。我认为它可能适用于进行代码的初创公司，你有一个代码库，你有一个人正在有效地进行“氛围编码”，他们说，“进行这个更改。”而代码 diff 本质上是模型的一个巨大回复，但它不需要有那么多外部上下文，你可以通过使用这些扩散模型非常快速地获得它。我听到的一个例子是使用文本扩散来生成非常长的 diff，因为使用自回归模型需要几分钟，而用户界面的延迟会导致大量用户流失。每一秒，你都会失去很多用户。所以我认为它将是这种东西，它将……增长并有一些应用，但我实际上认为不同类型的模型将比预期更早地用于不同的事物。我认为工具使用点是阻止它们成为更通用的原因。因为，在 Claude 和 ChatGPT 中，自回归链会与一些外部工具中断，而我不知道如何在扩散设置中做到这一点。——那么今年以及未来几年工具使用的未来是什么？你认为会有很多发展，以及它如何集成到整个堆栈中？——我认为目前，这主要是在专有 LLM 方面，但我认为我们将在开源工具中看到更多。而且我认为，我的意思是，这是一个巨大的解锁，因为然后你就可以真正地将某些任务从记忆外包给实际的计算。与其让 LLM 记住 23 加 5 是多少，不如直接使用计算器。——所以你认为这可以帮助解决幻觉问题吗？——不能解决，但可以减少它。尽管如此，LLM 仍然需要知道何时请求工具调用。第二个是，互联网并不总是正确的。你可以进行网络搜索，但假设我问 1998 年世界杯谁赢了，它仍然需要找到正确的网站并获取正确的信息。所以你仍然可以访问不正确的网站并获取不正确的信息。所以我认为它不会完全解决这个问题，但它确实在某种程度上有所改善。所以，今年早些时候还有另一篇很棒的论文，我认为是在十二月下旬，所以严格来说不是 2024 年……但很接近。它是关于递归语言模型的。这是一个很棒的想法，可以将其进一步发展。所以，只是为了解释一下，内森，你之前也提到过，在学术界做很酷的研究更难，因为计算预算有限。如果我没记错的话，他们用 GPT-4 完成了所有工作，所以他们甚至没有使用本地模型，但想法是，假设你有一个长上下文任务。与其让 LLM 一次性或甚至在一个链中解决所有问题，不如将其分解为子任务。让 LLM 决定什么是好的子任务，然后递归地调用 LLM 来解决它。我认为类似的东西——然后添加工具，你知道，对于每一个任务，你可能有一个巨大的问答任务，所以每一个任务都去网络上收集信息，然后你最后将它们整合在一起并重新组合。我认为使用类似的东西将会有很多解锁，你不需要改进 LLM 本身，你改进了 LLM 的使用方式以及 LLM 可以使用什么。目前工具使用的一个缺点是你必须允许 LLM 使用工具。这需要一些信任，尤其是如果你想解锁诸如让 LLM 回复你的电子邮件，或者甚至不回复，只是为你分类或选择它们之类的事情。我不知道今天是否会给 LLM 访问我的电子邮件的权限，对吧？我的意思是，这是一个巨大的风险。——我认为关于工具使用还有最后一点。我认为你已经暗示了这一点，我们都以自己的方式接触过这一点，那就是开源模型和闭源模型使用工具的方式截然不同，在开源模型中，人们去 Hugging Face 下载模型，然后这个人会说，“我想要什么工具？”Exa 是我首选的搜索提供商，但其他人可能更看重不同的搜索初创公司。当你发布一个模型时，它需要对多个工具、多个用例有用，这真的很困难，因为你正在创建一个通用的推理引擎模型，而这实际上是 GPT-4 所擅长的。但在闭源模型中，你将特定的工具深度集成到你的体验中，我认为开源模型将难以复制我喜欢使用闭源模型做的一些事情，比如引用公共和私人信息的混合。我每三到六个月都会尝试一些像 Cursor 这样的网络工具，它只是提示模型对我的 GitHub 存储库进行更新。而这一系列安全的云环境对于说，“发送它并做这件事，然后回来找我”来说真是太好了。这些可能会帮助定义一些本地的开源和闭源的细分市场，但我认为最初因为有如此大的冲动来让这个工具使用工作，所以开源模型处于劣势，这几乎是不可避免的。前沿实验室有如此多的研究和资源，但当开源模型解决这个问题时会很有趣，因为它将需要一个更灵活、可能更有趣的模型，该模型可能与这个递归想法一起成为一个协调器和一个工具使用模型，所以希望这种必要性能驱动一些有趣的创新。——所以，持续学习——这是一个长期的话题，一个重要的问题。我认为随着模型训练成本的增加，它的重要性也在增加。那么你能解释一下什么是持续学习吗？以及它在今年和未来几年取得进展的重要性如何？——这与“什么是通用人工智能（AGI）和超级人工智能（ASI），以及我们今天的语言模型能做什么”的旧金山时代精神有很多关系。我认为语言模型可以解决很多任务，但人工智能社区的一个关键里程碑是，当人工智能可以取代任何远程工作者，接收信息并解决数字任务时。而人们强调的限制是，语言模型不会像员工那样从反馈中学习。所以如果你雇佣一个编辑，编辑会犯错误，但你会告诉他们。如果你雇佣了一个好的编辑，他们就不会再犯了。但语言模型没有这种修改自身并快速学习的能力。所以想法是，如果我们真的要实现一个真正通用的、可适应的智能，能够进入任何远程工作场景，它就需要能够从反馈和在职学习中快速学习。我个人更看好语言模型能够提供非常好的上下文。你私下里说，你可以为模型编写大量的文档，你说，“我拥有所有这些信息。这是我写过的所有博客文章。我喜欢这种写作风格。我的声音基于这个。”但很多人并没有向模型提供这些信息，而模型以前并没有被设计成接受如此多的上下文。代理模型才刚刚开始。所以这是一个权衡：我们需要通过这种持续学习的东西来更新模型的权重，让它们快速学习吗？还是反论是，我们只需要为它们提供更多的上下文和信息，它们就会通过拥有大量的上下文和非常聪明来表现出快速学习的样子。——所以我们应该提到这里的术语。所以持续学习是指不断改变权重，以便模型根据新传入的信息进行适应、调整，并持续、快速、频繁地进行。而你提到的另一边通常被称为上下文内学习。当你学习东西时，有一个巨大的上下文窗口。你每次提示系统时都可以加载额外的信息，我认为这两种都可以被合法地视为学习。只是学习的地点不同。——说实话，持续学习，权重的更新，我们已经有了不同的形式。我的意思是，如果你考虑一下……所以我认为这里的区别在于，你是为每个人创建一个个性化的定制模型，还是在全球模型规模上进行？我认为我们已经有了，从 GPT-5 到 5.1 和 5.2。它可能不是即时的，但它就像一个精心策划的更新，一个快速精心策划的更新，其中有关于他们无法做的事情的反馈，来自社区的反馈。他们更新了权重，下一个模型等等。所以，我的意思是，这有点像那种味道。其他更细粒度的例子就像 RLVR；你运行它，它会更新。问题是你不能为每个人这样做，因为为每个人更新权重太昂贵了，我认为这就是问题所在。所以除非你……我的意思是，即使在 OpenAI 的规模，建立数据中心，也会太昂贵。我认为这只有在你拥有设备上的东西，成本由消费者承担时才可行。就像苹果试图用苹果基础模型在手机上做的那样，然后他们从经验中学习。——一个有点相关的课题，但这个术语可能有点拟人化：记忆。有哪些不同的机制想法来为这些系统添加记忆，尤其是个性化记忆？——目前，它主要是上下文——基本上是将东西塞进上下文中，然后回忆起来。但同样，我认为这很昂贵，因为你必须——我的意思是，你可以缓存它，但你仍然在那里花费 token。第二个是你只能做这么多。我认为它更像是一种偏好或风格。很多人在解决数学问题时都会这样做。你可以说你可以添加以前的知识和东西，但你也可以给它特定的偏好提示：“做我上次喜欢的事情，”或者类似的东西。但这并不能解锁新的功能。为此，人们仍然使用 LoRA 适配器。这些基本上是——而不是更新整个权重矩阵，有两个较小的权重矩阵，你可以将它们并行或叠加，就像增量一样。但是，是的，你可以做到一定程度，但同样，这是经济学。也有论文表明，例如，LoRA 学到的东西更少，但忘记的也更少。就像，你知道，没有免费的午餐。如果你想学得更多，你需要更多的权重，但成本会更高。然后同样，如果你学得更多，你就会忘记更多；你基本上必须找到那个“金发姑娘”区域。——我们还没有怎么提到它，但这个讨论中隐含的是上下文长度。那里还有很多可能的创新吗？——我认为普遍接受的说法是，这是一个计算和数据问题，你可以……而且有时，比如，小的架构东西，就像注意力变体。我们谈到了混合注意力模型，它基本上是在你的 Transformer 中有一个看起来像状态空间模型的东西。这些更适合，因为你花费的计算量更少来模拟最远的 token。我认为——但这些并不是免费的，因为它们必须伴随着大量的计算或正确的数据。那么世界上有多少个长度为 10 万个 token 的序列，你在哪里找到它们？扩展它们只是非常昂贵。我们已经很快达到了百万 token 的输入上下文长度。我预计它会继续增加，今年达到 200 万或 500 万，但我预计不会达到 1 亿。那将是一个真正的突破，我认为这些突破是可能的。持续学习是一个研究问题，可能会有一个突破，让 Transformer 在这方面工作得更好，而且成本很低。这些事情可能会在如此多的科学关注下发生。但随着时间的推移，它将是持续的增加。——我认为，看看极端情况，同样没有免费的午餐。在一端，为了使其便宜，你有一个具有单一状态的 RNN，你保存了之前所有内容。它就像一个特定的固定大小的东西，所以你永远不会真正增长内存。你将所有东西都塞进一个状态，但随着上下文越来越长，你忘记的信息就越多，因为你无法将所有东西压缩到一个状态中。然后，另一方面，你有 Transformer，它们试图记住每个 token——这有时很有用，如果你想查找特定信息，但非常昂贵，因为 KV 缓存和点积会增长。然后，是的，就像你说的，Mamba 层——它们有同样的问题。就像 RNN 一样，你试图将所有东西压缩到一个状态；你更有选择性。但然后我认为这就像 Nemotron-3 中的“金发姑娘”区域，它们找到了一个很好的比例，需要多少注意力层来处理全局信息，其中一切都可访问，与拥有这些压缩状态相比。我认为我们将通过找到更好的比例来扩展，比如说，“金发姑娘”区域的比例，比如在使计算足够便宜以运行之间，然后又使其足够强大以有用。再提一下，递归语言模型论文是试图解决长上下文问题的论文之一。他们发现的是，与其将所有东西都塞进这个长上下文中，不如将其分解成多个小任务，所以你通过拥有多个小核心来节省内存，你可以获得比让 LLM 一次性尝试所有事情更好的准确性。这是一个新的范式。我们将拭目以待。可能还有其他形式。所以我认为，通过这一点，我们仍然会在长上下文方面取得进步，但是，就像内森说的，我认为问题在于预训练本身，我们没有像其他文档那样多的长上下文文档。所以基本上，研究 LLM 在那个层面的行为更难。——有一些经验法则，当你预训练一个语言模型时，比如 OLMo——我们以大约 8K 的上下文长度进行预训练，然后通过训练扩展到 32K。有一些经验法则，你基本上将训练上下文长度翻倍，需要大约 2 倍的计算量，然后你通常可以再次将上下文长度增加 2 到 4 倍。所以我认为很多时候它最终受限于预训练的计算量，这在……今年所有人都谈论顶级实验室计算量的巨大增长，这应该会反映在更长的上下文窗口上。但在训练后方面，有一些更有趣的事情：随着我们拥有代理，代理将自己管理这个上下文，现在经常使用 Claude 的人会害怕压缩，也就是 Claude 将其全部 10 万个 token 的工作压缩成一个项目符号列表。但下一个模型将要做什么——我确信人们已经在研究这个问题了——基本上是模型可以控制何时以及如何压缩。所以你可以训练你的 RL 算法，其中压缩是一个动作，它会缩短历史，然后问题公式将是，“我希望在模型压缩其历史到最小长度的同时，保持我获得的最大评估分数。”因为这样你就有最小的 token 量来完成这种复合自回归预测。这里有一些相当不错的问题设置，这些代理模型学会以不同于直接前进的方式使用它们的上下文。——一个有趣的近期例子是 DeepSeek-V3，它有一个稀疏注意力机制，以及一个非常高效、小型、轻量级的索引器。它不是关注所有 token，而是选择：“好的，我实际上需要哪些 token？”它几乎回到了注意力的原始想法，即你很有选择性，但注意力始终开启——你对其中一些有零权重，但你使用了所有这些。但它们甚至更像是，“让我们把它掩盖掉，或者甚至不做。”在 OLMo 的滑动窗口注意力中，这也是那种想法。你有一个滚动窗口，你保持固定，因为你并不总是需要所有东西。偶尔，一些层可能需要，但这是浪费。但现在，我认为，如果你使用所有东西，你就安全了。它能给你最好的性价比，因为你永远不会错过信息。而现在，我认为今年将更多地是弄清楚，就像你说的，如何变得更聪明。我认为现在人们想要最先进的技术，而最先进的技术恰好是粗暴、昂贵的东西。然后一旦你有了那个，就像你说的，保持那个准确性，但让我们看看如何使用技巧来更便宜地做到这一点。——是的。所有这些扩展的东西。我们之所以先获得 Claude 3.5 Sonnet 模型，是因为你可以更快地训练它，而且你不会很快遇到计算瓶颈。他们可以尝试更多东西并更快地获得模型，即使更大的模型实际上更好。——我认为我们应该说，人工智能领域有很多令人兴奋的事情。我最近的思绪一直集中在机器人技术上。我们几乎完全没有谈论机器人技术。图像生成、视频生成有很多东西。我认为公平地说，就数量、强度和热情而言，最令人兴奋的研究工作是在 LLM 领域，这就是为什么我认为我们专注于我们正在讨论的 LLM 是合理的。但引入一些可能有用的东西会很好。例如，世界模型；人们对此越来越兴奋。你认为今年在 LLM 领域会有世界模型的用途吗？是的，我认为会有。而且，对于 LLM 来说，有趣的是，如果我们解锁更多的 LLM 功能，它会自动解锁所有其他领域，因为它能加快进步。许多研究人员和工程师使用 LLM 进行编码。所以即使他们研究机器人技术，如果你优化了这些帮助你编码的 LLM，它就会得到回报。但是，是的，世界模型很有趣。基本上就是模型运行世界的模拟——一个真实事物的微型玩具模型——它可以解锁 LLM 不知道的数据能力。它可以模拟事物。而且我认为 LLM 恰好擅长预训练然后进行下一个 token 预测。但我们可以做得更复杂。所以我的意思是……有一篇论文，我认为是 Meta 的，叫做“世界模型”。他们基本上将世界模型的概念再次应用于 LLM，其中，除了下一个 token 预测和可验证的奖励检查答案的正确性之外，他们还确保中间变量是正确的。这有点像模型基本上是在学习一个代码环境，在某种意义上。而且我认为这很有道理。它只是做起来很昂贵，但它使事情更复杂，比如模拟整个事物，而不仅仅是结果。所以它可以增加更多价值。我记得我还是研究生的时候，有一个叫做 CASP 的比赛，我认为，他们进行蛋白质结构预测。他们预测当时尚未解决的蛋白质结构。所以从某种意义上说，这确实很棒，我认为我们也需要类似的东西用于 LLM，即你进行基准测试，然后提交结果，没有人知道解决方案。然后事后，有人会揭示它。但是，AlphaFold 出来的时候，它粉碎了这个基准测试。我的意思是，也有多次迭代，但我记得第一次。我不是这个主题的专家，但第一个明确模拟了分子的物理相互作用和物理学。还有角度，不可能的角度。然后在下一个版本中，他们取消了这一点，只是使用了粗暴的扩展。我认为在 LLM 方面，我们目前正处于这种粗暴的扩展阶段，因为它恰好有效。但我想在某个时候，重新引入这种……建模可能是有意义的。而且我认为，在世界模型方面，这可能确实很酷。当然，对于机器人技术来说，这与世界模型完全相关。——是的。而机器人技术非常明确。存在运动或操纵的问题。运动问题已得到很大解决，尤其是在学习领域。但是，就像最初的蛋白质折叠系统一样，引入传统的基于模型的方法有很大的价值。所以，你不太可能通过端到端学习操纵或全身操纵问题。这是梦想。但当你看到人手的魔力和现实世界的复杂性时，你会意识到，要从头到尾学会这一点真的很难……就像 AlphaFold 2 没有做到那样。——我对机器人学习领域感到兴奋，我认为它正在被整个语言模型领域的兴奋和投资所共同推动。Transformer 的训练基础设施，这是一个通用的建模事物，正在成为世界一流的工业工具，无论机器人技术存在什么限制，它都变得更好。有更多的计算能力。他们将这些语言模型作为中心单元，你可以在已经有效的东西周围进行有趣的探索性工作。然后我看到它出现，就像我们谈到的，Hugging Face Transformer 和 Hugging Face。我认为当我还在 Hugging Face 时，我曾试图让这件事发生，但当时还太早。就像 Hugging Face 上的这些开源机器人模型，人们能够贡献数据并对其进行微调。我认为我们现在已经接近了，机器人技术和自动驾驶汽车的投资是相关的，并且它实现了这一点，一旦你达到了可以拥有这种生态系统的程度，有人就可以下载一个机器人模型，也许可以对其机器人进行微调，或者在世界范围内共享数据集。而且这个领域有一些工作，比如 RTX，我认为是几年前，人们开始这样做。但我认为一旦他们拥有了这个生态系统，它看起来就会非常不同。然后这个 ChatGPT 后的整个繁荣期正在投入更多资源，我认为这是一个做研究的非常好的领域。——这也导致了更好、更准确、更逼真的模拟器的构建，从而缩小了机器人领域的模拟到现实的差距。但是，你知道，你提到了机器人领域的很多兴奋和投资。其缺点是，在炒作周期中会发生这种情况，我个人认为——大多数机器人领域的人认为——它不是……机器人技术不会在被暗示或明确承诺的时间尺度内得到解决。所以，当涌现出所有这些机器人公司，然后它们的产品不起作用时，就会出现这种兴奋的崩溃，这令人紧张。希望会有其他东西出现并继续接管，以便这些想法的持续发展能够继续下去。——我认为这也与持续学习问题有关，基本上，现实世界非常复杂，而在 LLM 中，你并不真正需要让某样东西为用户学习，因为有很多事情是每个人都必须做的。每个人可能都想，我不知道，修复电子邮件中的语法或代码或类似的东西。它的约束性更强，所以你可以为模型做好准备。但为机器人准备现实世界更难。我的意思是，你有机器人基础模型，但你可以学习一些东西，比如抓取东西。但同样，我认为每个人的房子都不同，你知道吗？它非常不同，而且我认为机器人必须在工作中学习。而且我认为，我

猜测，是目前的瓶颈——如何，实时定制它，基本上。

- 我认为我不可能低估那个几乎不被机器人领域的人或任何人谈论的事情的重要性，那就是安全。

我们谈论的所有有趣的复杂性，学习，所有故障模式和故障案例。

我们一直在谈论的关于大型语言模型的一切，有时它会以有趣的方式失败。

所有这些在大型语言模型领域都是有趣的。

在机器人领域，在人们的家中，在数百万分钟和数十亿次互动中，你几乎不允许失败。

当你拥有被推向真实世界的具身系统时，你必须解决许多你从未想过要解决的问题，而仅仅是思考一般的机器人学习问题。

- 我对消费者购买的家用学习型机器人非常看跌。

我对自动驾驶汽车非常看好，我对机器人自动化也非常看好，例如亚马逊配送，亚马逊已经建造了全新的配送中心，首先为机器人而不是人类设计。

人工智能领域对人工智能赋能自动化和大规模制造感到非常兴奋。

我认为机器人实现这一目标的道路更加合理，它是一种被设计和优化来执行人类可以想象但又不想做的重复性任务的东西。

但这也将比人们预测的要长得多。

我认为从人工智能奇点到在美国大规模扩大制造业的飞跃，因为我们拥有巨大的人工智能优势，这会受到许多政治和其他挑战性问题的困扰。

- 让我们谈谈时间线，特别是通往通用人工智能或超人工智能的时间线。

作为起点，说没有人真正同意通用人工智能和超人工智能的定义是否公平？

- 我认为有很多分歧，但我收到了反对意见，人们说同样的话，那就是一种能够复制大多数数字经济工作的东西。

远程工作者是一个相当合理的例子。

我认为 OpenAI 的定义与此有些关系，那就是一种能够完成许多具有经济价值的任务的人工智能。

我不太喜欢这个定义，但我认为它可以是一个基础点，因为今天的语言模型，虽然功能强大，但并不是这种远程工作者的替代品。

而且有些事情可以由人工智能完成，这比远程工作要困难得多，例如找到一个你甚至无法设想的意外科学发现，这将是超人工智能的一个例子。

或者摄入所有医疗记录并找到人们不知道的某些疾病之间的联系，或者发现某种常用药物可以治疗某种小众癌症。

他们会说这是超智能的东西。

所以这些是自然的层次。

我的问题是，它变得与对意义的追求和其中涉及的宗教方面纠缠在一起。

所以有不同的路径可以走。

- 我甚至不知道远程工作者是否是一个好的定义，因为那到底是什么？

实际上，我……我不知道你是否喜欢最初命名的“情境意识”报告。

他们更关注代码和研究品味，所以目标是超人类程序员。

所以他们有几个里程碑系统：超人类程序员、超人类人工智能研究员，然后是超智能人工智能研究员，然后是完整的超人工智能，但……在开发了超人类程序员之后，其他一切都很快随之而来。

在那里，任务是实现完全自主的自动化编码。

所以任何你需要做的为了进行研究而进行的编码都将完全自动化。

从那里开始，人类将与该系统一起进行人工智能研究，他们将能够快速开发一个能够真正为你进行研究的系统。

这就是想法。

最初他们的预测是 2027 年或 28 年，现在他们将其推迟了三到四年到 2031 年，这是平均预测。

可能我的预测甚至超过 2031 年，但至少你可以具体地思考完全自动化编程的难度。

- 是的，我不同意他们的一些假设和动态，但我认为他们在定义具体里程碑的场景方面做得很好，并且讲述了一个有用的故事，这就是为什么“情境意识”文档的 alcance 远远超出了硅谷。

这是因为他们讲述了一个好故事，并且做了很多严谨的工作来做到这一点。

我认为我属于这样一种阵营，即人工智能是所谓的“锯齿状”的，它在某些方面会很出色，而在其他方面会很糟糕。

我认为当它们接近这种自动化软件工程师时，它将擅长传统的机器学习系统和前端，而模型在这方面非常出色，但分布式机器学习，模型实际上非常糟糕，因为关于大规模分布式学习的训练数据非常少。

这是我们已经看到的情况，我认为这只会加剧。

这些权衡有点混乱，然后还有你如何看待人工智能研究以及等等。

- 所以你认为基本上超人类程序员几乎是无法实现的，因为事物的锯齿状性质，你总会有能力上的差距。

我认为这是将完整性赋予一个模型在某些类型的代码上近乎超人类，我认为这种情况会继续下去。

而且人们很有创造力，所以他们会利用这些令人难以置信的能力来弥补模型的弱点并快速前进。

人类能够弥补模型无法做到的事情，而最好的 AI 研究人员是能够实现这种超能力的人，这将是一场持续很长时间的舞蹈。

我认为这些界限，从我们已经看到的例如构建网站的代码来看，你可以在几个小时内建立一个漂亮的网站或进行数据分析。

整个事情将在这些方面不断变得更好，我们也会在这个过程中学习一些新的编码技能，并且与大型科技公司正在发生的事情联系起来，这份“情境意识”报告倾向于奇点理念，我认为研究是混乱的、社交的，并且在很大程度上存在于人工智能模型无法处理的数据中。

但我们今天拥有的非常强大，而这些科技公司正以数十亿美元的投资共同认同这一点。

所以我们将获得一个比现在更好的 ChatGPT 版本和一个比现在更好的 Cursor 版本。

只是很难预测它会走向何方，但这个未来的清晰明朗就是为什么世界上一些最有权势的人会投入如此多的资金。

只是存在细微的差别。

我们实际上不知道更好的 ChatGPT 版本是什么样的，而且，它能自动化人工智能研究吗？

我可能会说，至少在这个时间范围内不行。

大型科技公司将比我们获得能够实现研究奇点的自动化研究员更快地花费 1000 亿美元。

- 那么你的预测是什么？就像，这是一个有用的里程碑吗，还是十年以上？

- 我会说在软件方面不到那么久，但在研究等方面会更长。

- 让我们为了好玩试着想象一个软件编写完全自动化的世界。你能想象那个世界吗？

- 到今年年底，自动化的软件量将非常高。

但它会是诸如尝试使用强化学习训练模型之类的事情，而你需要多组 GPU 相互通信。

那仍然会很难，但会容易得多。

- 思考这一点的一种方式——编程的完全自动化——就是思考编写的有用代码行数与参与其中的人数的比例。

据推测，在很长一段时间内，软件编写都会有人参与其中。

相对于编写的代码量，参与其中的人数只会越来越少，对吧？

对于超人类程序员来说，假设是零——参与其中的人数。

当参与其中的人数是几百人而不是几十万人时，那个世界会是什么样子？

- 我认为软件工程将更多地转向系统设计和结果。

我认为这在过去几周里一直在发生，人们从一个月前说，“哦，是的，代理有点垃圾，”这是 Andrej Karpathy 的一句名言，到现在变成了一个模因：软件的工业化，任何人都可以创建软件。

我确实认为我们更接近于这一方面。

它需要方向和对系统工作原理的理解才能从语言模型中提取最佳结果。

很难接受软件开发将发生多么大的变化，以及有多少人可以在不看代码的情况下完成事情。

- 我认为有趣的是思考这些系统是否会完全独立。

虽然我毫不怀疑大型语言模型在某种意义上最终会解决编码问题，就像计算器解决了计算问题一样，对吧？

在某个时候，人类开发了一种工具，你再也不需要人类来计算那个数字了。

你只需要输入它，它就是一个算法。

在这种意义上。

我认为编码也可能如此。

但问题是……我认为会发生的是，你只会说，“构建那个网站。”

它会做一个非常好的网站，然后你可能会对其进行改进。

但它会独立地做事吗？

你还会让人类要求人工智能做某事吗？

比如会有人说，“构建那个网站？”

还是会有人工智能自己构建网站之类的？

- 我认为谈论构建网站是……

- 嗯哼，太简单了。

网站的问题和网络的问题，HTML 和所有这些东西，它非常能容忍……垃圾。

它会向你展示垃圾；它擅长展示垃圾。

我宁愿考虑安全关键系统，例如要求人工智能端到端生成管理物流——或管理汽车……一群汽车，之类的东西。

它为你端到端生成。

- 我认为一个更中间的例子是像 Slack 或 Microsoft Word 这样的东西。

我认为如果组织允许，人工智能可以非常轻松地端到端实现功能，并且对于你想要尝试的事情来说做得相当好。

你想在 Slack 中添加一个新的标签页，你想使用它，我认为人工智能可以做得相当好。

- 实际上，这是一个非常好的例子。我们离那还有多远？

- 就像今年。

- 看，我不知道。我不知道。

- 我不知道生产代码库有多糟糕，但我认为在未来几年内，很多人将被推向更多地成为设计师和产品经理，你会有多个代理为你尝试事情，它们可能需要一两天来实施一个功能或尝试修复一个错误。

你会有这些仪表板，实际上是一个很好的仪表板，你的代理会和你交谈，然后你会提供反馈。

但是像制作一个像样的网站标志……我认为这些连贯的设计和风格对模型来说会非常困难，并且决定下次添加什么。

- 好的。所以我经常和程序员一起玩，他们中的一些人总体上有点怀疑。

我认为向复杂系统添加功能涉及很多复杂性。

比如，如果你看看浏览器 Chrome。

如果我想添加一个功能，如果我想让标签页而不是在顶部，我想让它们在左侧。

界面方面，我认为我们还没有……这不是明年的事情。

- 在今年的一次 Claude 发布中，其中一项测试是：给它一段软件，让 Claude 运行并完全重现它，它几乎已经可以从头开始重建 Slack，只需给定软件的参数并在沙盒环境中进行。

- “从头开始”这个部分，我几乎更喜欢。

- 可能是规模较小、较新的公司占有优势，它们会说：“我们不必拥有臃肿和复杂性，因此此功能存在。”

- 我认为这涉及到你提到的观点，你与之交谈的有些人持怀疑态度。

我认为这并不是因为大型语言模型不能做 X、Y、Z。

这是因为人们不希望它以这种方式进行。

- 其中一些可能是人类方面的技能问题。

我们必须对自己诚实。

其中一些可能是欠指定问题。

所以编程就像……你只是假设……这就像人际关系和友谊中的沟通问题。

你假设大型语言模型应该读懂你的心思。

我认为这就是规范驱动设计真正重要的地方，你只需使用自然语言来指定你想要什么。

- 如果你和实验室里的人交谈，他们在他们的训练和生产代码中使用这些。

Claude Code 是用 Claude Code 构建的，他们都广泛使用这些东西。

Dario 谈到了有多少 Claude 的代码是通过这种方式生成的。

这些人比我们拥有的能力和他们可能花费的推理成本略有优势。

他们可以花费我们花费的 10 到 100 倍，而我们还在使用每月 100 或 200 美元的低廉套餐。

他们真的让它尽情发挥。

而且我认为，以我们目前的进步速度，似乎——一年前我们还没有 Claude Code，我们也没有真正的推理模型。

今天我们在这里所能做的与我们能用这些模型做的相比，差异巨大。

似乎有很多低垂的果实可以改进它们。

故障模式非常愚蠢。

就像——“Claude，你尝试使用了我没有安装的 CLI 命令 14 次，然后我发送了运行命令给你。”

从建模的角度来看，这种情况是可以修复的。

所以，我不知道。

- 我同意你的看法。我总体上变得越来越看好。

说到你所阐述的，我认为这是一个人类技能问题。

Anthropic 正在引领潮流，与其他公司一起，在理解如何最好地使用模型进行编程方面；因此他们有效地使用它们。

我认为许多程序员都在边缘。

他们就像……他们不……我的意思是，没有一个很好的指南说明如何使用它们。

人们正在努力弄清楚，但是——

- 它可能非常昂贵。入门成本可能每月 2000 美元，这只适用于科技公司和富人。

那可能是。

- 但这可能是值得的。

如果最终结果是一个可工作的软件系统，那可能是值得的。

顺便说一句，我们从关于时间线到通用人工智能的讨论如何收敛到更实际有用的东西，这很有趣。

关于通用人工智能和超人工智能的时间线，有什么具体、有趣和深刻的说法吗？

或者这些讨论是否与日常脱节太多？

- 有有趣的赌注。

所以有很多人正在尝试使用可验证的奖励进行强化学习，但在真实的科学领域，有获得数亿美元资金的初创公司，它们拥有湿实验室，在那里它们让语言模型提出假设，然后在现实世界中进行测试。

我想说它们还处于早期阶段，但随着进步的速度——也许它们早了六个月，它们就成功了，因为它们在那里，或者也许它们早了八年，你真的不知道。

我认为这种“登月”式的努力将这种势头扩展到其他科学领域，就像，好吧，如果 AlphaFold 的时刻发生在所有其他科学领域，由一家初创公司解决这个问题，那将是非常具有变革性的。

我认为有一些初创公司——我认为也许 Harmonic 是其中之一——它们正在全力投入语言模型加上 Lean 用于数学。

我认为你最近在另一个播客嘉宾那里谈到了这一点，就像我们不确啶确切知道花费 1 亿美元用于那个模型会产生什么结果。

其中大多数都会失败，但少数可能会带来与 ChatGPT 或 Claude Code 类型软件体验截然不同的重大突破。

就像一个只有博士数学家才好用，但能让他们效率提高 100 倍的工具……

- 我同意。我认为这将在许多领域发生，尤其是在拥有大量资源的领域，如金融、法律和制药公司。

但话说回来，这真的是通用人工智能吗？

因为我们现在又在专门化它了。

然后，这与过去我们拥有专门算法的日子有什么不同吗？

我认为这只是同一件事，更加复杂，但我不知道，是否有某个阈值我们称之为通用人工智能？

我认为真正酷的事情是，我们拥有可以专门化的基础模型。

我认为这是突破。

目前，我认为我们还没有达到那个阶段，因为首先，它太昂贵了，而且，ChatGPT 不会轻易放弃其模型进行定制。

我认为一旦那成为现实……我可以想象这是一种商业模式，OpenAI 某时会说，比如，“嘿，美国银行，花 1 亿美元，我们将为你做一个定制模型，”或者类似的东西。

我认为这将是巨大的经济附加值。

另一件事是……公司，我的意思是，现在，差异化因素是什么？

如果每个人都使用相同的语言模型，如果每个人都使用 ChatGPT，他们都会做同样的事情。

再说一遍，我的意思是，然后……每个人都在同步前进，但通常公司想要竞争优势，而且我认为别无选择，只能使用他们的一些私有数据进行实验和专门化。

这将很有趣。

- 看到进步的速度，确实感觉事情正在到来。

我认为通用人工智能和超人工智能的阈值并不特别有用。

- 我认为真正的问题，这让我们回到了远程工作者的事情，是我们何时会看到经济影响的巨大、明显的飞跃？

因为目前大型语言模型还没有带来明显的经济影响飞跃，例如。

而且，这与通用人工智能或超人工智能，所有这些东西无关，有一个真正的问题是，“我们何时会看到 GDP……”

“……跳跃？”

- 是的，GDP 由什么组成？

就像，很多是金融服务，所以我不知道这看起来像什么。

- 对，GDP 是——

- 我只是很难想到 GDP 的增长，但我会说，当你不必再看代码时，软件开发就变得有价值了。

当 Claude 会让你成为一个小企业。

基本上，Claude 可以设置你的网站、你的银行账户、你的电子邮件以及其他任何东西。

你只需要表达你想在这个世界上创造什么。

这不仅仅是企业市场，但它很难。

我不知道如何让人们尝试这样做。

我想如果 ChatGPT 可以做到——人们正在尝试 ChatGPT。

- 我认为这归结为科学问题，“使用工具有多难解决？”

因为你暗示的很多事情，远程工作的事情，都是使用工具。

计算机使用，就像你有一个大型语言模型在那里，这个代理系统，并在世界上做某事，并且只犯 1% 的错误。

- 计算机使用——

- 或者更少。

- ……是一个很好的例子，实验室关心什么，而我们还没有看到很多进展。

我们在 2024 年看到了多个演示，比如，Claude 可以使用你的电脑，或者 OpenAI 有 Operator，它们都很糟糕。

他们正在投资这笔钱，我认为这将是一个很好的例子。

而实际上，有些东西似乎相当……比如，接管整个屏幕似乎比拥有一个他们可以调用的后端 API 要难得多，其中一些是你必须为它们设置不同的环境才能工作。

它们不在你的 MacBook 上工作；它们单独与 Google、Amazon 和 Slack 交互，并且它们处理事情的方式与人类截然不同。

所以其中一些可能是结构性障碍。

- 另外，在规范方面，我认为问题是对于任意任务，你仍然必须指定你希望你的大型语言模型做什么。

环境是什么？

你如何指定？

你可以说出最终目标是什么，但如果它无法实现最终目标——对于大型语言模型，如果你要文本，它总是可以澄清或进行子步骤。

你如何将这些信息放入一个系统，比如说，为你预订一次旅行？

你可以说，“你搞砸了我的信用卡信息，”但即使要达到那个点，作为用户，你如何在它甚至尝试之前指导模型？

我认为界面真的很难。

- 是的，它必须在你身上学习很多东西。

这涉及到持续学习——关于在整个过程中犯下的普遍错误，以及通过你犯下的错误。

- 所有的人工智能界面都设置为向人类寻求输入。

我认为我们谈论了很多 Claude。

它寻求反馈。

如果它对你的计划或你的愿望没有足够的规范，它就开始问，“你宁愿？”

我们谈到了 Memory，它可以在聊天之间保存。

它的第一个实现有点奇怪，它会在聊天中提到我狗的名字什么的。

我说，“你不需要对此含糊其辞。我不在乎。”

但有些东西正在出现，比如 ChatGPT 有 Pulse 功能。

它是一个精选的几段文字，带有链接供你查看或讨论。

人们谈论语言模型将如何向你提问，我认为这是一个非常……这可能会奏效。

语言模型知道你去看医生了；就像，“嘿，你感觉怎么样？”

这进入了人类非常容易受到影响的领域，并且将会有很多社会变革。

但他们也在试验让模型参与。

有些人喜欢这个 Pulse 功能；它处理你的聊天并自动搜索信息并将其放入 ChatGPT 应用程序。

有很多事情正在发生。

- 我以前用过那个功能，我感到很抱歉，因为它每天都在做，而我很少检查它。

我想知道有多少计算量被消耗在我不看的东西上，你知道吗？

就像，“哦……”

- 世界上也有很多空闲的计算量，所以不要太难过。

- 好的。你认为需要新的想法吗？

通用人工智能，无论那是什么，无论我们如何定义它——解决计算机使用问题，解决生物学、化学和物理学问题，就像 Dario 对通用人工智能或强大人工智能的定义一样——是否有可能需要全新的想法？

非大型语言模型、非强化学习的想法。

它们可能是什么样的？

我们现在有点进入哲学领域了。

- 对于像奇点这样的事情，我会说是的。

而新的想法可能是架构或训练算法——根本性的深度学习事物。

但本质上，这很难预测。

我认为即使没有这些进步，我们也走不了多远。

我们可能会得到这个软件解决方案，但它可能只停留在软件层面，而没有更多的创新就无法实现计算机使用。

所以我认为会有很多进步，但如果你放大来看，在接下来的 30 年里，仍然会有一些想法看起来像是重大的、像科学创新，它将开启这个的下一章。

我不知道它是一年还是 15 年。

- 是的。我想知道“痛苦的教训”是否会在未来 100 年里适用。

- 如果缩放定律在深度学习中是根本性的，我认为痛苦的教训将永远适用，那就是计算将变得更加丰富，但即使在丰富的计算中，那些具有更陡峭缩放定律斜率或更好偏移的人，就像，这是一个性能和计算的二维图。

即使有更多的计算可用，那些从中获得 100 倍收益的人将获胜。

- 它可能就像绕地球运行的计算机集群，带有太阳能电池板。

- 那样的问题是散热。

所以你获得了太阳的所有辐射，而你没有任何空气来散热。

但有很大的空间来放置集群。

那里有大量的太阳能，你可以解决散热问题，但有很多能量，而且很可能有工程意愿来解决散热问题。

……所以可能存在。

- 是否有可能，我们应该说这绝对有可能，我们今年基本上会停滞不前？

不是在……系统能力方面，而是系统能力对人类文明的实际意义。

所以，在编码方面，将构建非常漂亮的网站。

非常好的自动完成。

非常好的理解代码库和可能帮助调试的方式，但实际上只是编码方面的一个非常好的助手。

它可以帮助数学家做一些数学。

它可以帮助你购物。

它是一个很好的助手。

它是 Clippy 的超级版本。

还有什么？

它可能是一个很好的教育工具，等等，但计算机使用被证明极其难以解决。

所以我想尝试……我想尝试在所有这些领域中构建悲观的案例，其中它有点……没有巨大的经济影响，但要认识到训练这些系统在各个层面的成本，包括预训练和推理，推理的成本，推理，所有这些。

就像，这有可能吗？

你认为有多大可能？

- 当你查看模型时，有太多明显的改进之处，而训练这些模型需要很长时间，而且要做到这一点，以我们现有的想法，需要数年时间才能在任何基准或我们正在寻找的性能方面饱和。

它可能服务于非常狭窄的领域，比如平均的 ChatGPT 8 亿用户可能从中受益不多，但它会通过在不同方面做得更好来服务于不同的人群。

- 但我认为现在大家都在追求的是一个对每个人都有用的通用系统。

所以，如果不是……那可以停滞，对吧？

- 我认为那个梦想实际上正在消亡。

就像你谈到的专业化模型一样……而多模态通常……就像，视频生成是完全不同的东西。

- “那个梦想正在消亡”是一个很大的说法，因为我不知道它是否正在消亡。

如果你问真正的 Frontier Lab 的人，他们还在追逐它，对吧？

- 我确实认为他们仍在匆忙推出下一个模型，它将比前一个模型好得多。

我看不出他们会放慢速度。

我只是认为收益将通过扩展模型来获得或感受到，所以现在我觉得有很多技术债务。

就像，“好吧，让我们把更好的模型放进去，”更好的模型，更好的模型。

现在人们说，“好吧，让我们同时改进它周围的一切。”

比如上下文和推理缩放的工程。

而大型实验室仍然会这样做。

现在小型实验室也将赶上，因为他们现在正在招聘更多的人。

会有更多的人和大型语言模型。

这就像一个循环。

它们也使它们更具生产力，这就像一种放大。

我认为我们可以期待的是放大，而不是范式的改变。

我不认为这是真的，但一切都只会不断放大，而且我可以看到这种情况会持续很长时间，你知道吗？

- 是的。我猜我的说法“那个梦想正在消亡”取决于你认为它到底会做什么。

就像，Claude 是一个通用的模型，可以做很多事情，但它不一定是……它在很大程度上依赖于集成。

就像，我敢打赌 Claude 可以很好地处理你的电子邮件，而最难的部分是弄清楚如何给它信息以及如何让它能够发送你的电子邮件之类的。

但这只是……我认为这回到了“一个模型统治一切”的精神，就像云中的一个东西处理你的整个数字生活，并且比任何人都聪明得多。

就像它在……所以从“Claude 变成那样”是一个有趣的信念，在某些方面……有一些途径可以实现，但我确实认为行业的言论有点不同。

- 我认为我们作为普通用户使用大型语言模型将立即感受到的事情可能与一些琐碎的事情有关，比如制作图表。

目前，大型语言模型在制作图表方面非常糟糕。

这是因为我们得到的是便宜的模型，推理计算量比后台少得多吗？

我们已经可以通过一些方式获得更好的图表，但如果你今天问，“画一个 XYZ 的流程图，”它大多数时候都很糟糕，而且对人类来说这是一个非常简单的任务。

有时画图比写字更容易。

- 是的，多模态理解确实感觉有点奇怪，它还没有得到更好的解决。

- 我认为有一件显而易见的事情是我们没有意识到，一件巨大的、难以衡量的事情：让全人类都能接触到所有人类知识。

我认为很难表述的一件事是，Google 搜索和大型语言模型之间存在巨大差异。

我觉得我基本上可以问大型语言模型任何问题并得到答案，而且它的幻觉越来越少。

这意味着理解我自己的生活，规划职业轨迹，解决我周围的问题，或者学习人类历史上的任何东西。

我觉得没有人真正谈论过这一点，因为他们立即认为这是很棒的。

这就是为什么每个人都在使用它。

你得到问题的答案，并考虑其长期影响。

这不仅仅是在美国。

这遍及全世界。

世界各地的孩子们能够学习这些想法——这对长期产生的影响可能就是真正的、你知道的，GDP 的飞跃。

它不会像一个小小的跳跃。

这就是我们如何到达火星，如何建造东西，如何拥有数百万个新的 OpenAI 和发生的创新。

这只是一个悄无声息的力量，渗透到一切：人类知识。

- 我同意你的看法，在某种意义上，它使知识更容易获得，但这取决于主题是什么。

对于像数学这样的东西，你可以问它问题，它会回答，但如果你想从零开始学习一个主题，我认为最佳选择是……有非常好的数学教科书线性排列，这是学习一个主题的经过验证的策略。

如果你从零开始，使用信息密集型文本来吸收它是有意义的，但然后使用大型语言模型来制作无限的练习。

如果你在某个领域遇到问题或有疑问，或者对某些事情不确定，你要求它生成示例问题，你解决它们，然后你有疑问。

然后你可能需要更多的背景知识，你要求它生成。

但它不会给你任何不是教科书里的东西。

它只是以不同的方式包装它。

如果那有意义的话。

但也有一些事情我觉得它在更及时的意义上增加了价值，那里没有比人类即时完成更好的替代方案了。

例如，如果你计划去迪士尼乐园，并试图弄清楚在什么时候为哪个公园购买哪些门票，嗯，没有关于这方面的教科书。

没有信息密集型的资源。

只有稀疏的互联网，而大型语言模型有很大的价值。

你现在有旅行的限制，我想去那里和那里。

请弄清楚我需要什么，它要多少钱之类的。

这是一个非常定制的、即时打包的东西。

这是个性化的千分之一的例子。

个性化本质上是从稀疏的互联网中提取信息，非信息密集型的东西，那里没有更好的版本。

它根本不存在。

你几乎是从头开始制作的。

- 如果存在，它充满了，说到迪士尼世界，充满了……你会怎么称呼它？

广告垃圾。

这是不可能获得的。

对于世界上任何一个城市，要做什么前 10 件事？

比互联网上的任何东西都好问大型语言模型。

- 目前是这样，因为它们得到了大量的补贴。

它们将通过广告付费。

- 我的天。

- 来了。

- 不。不。我希望在这种情况下，广告和非广告之间有非常明确的指示。

- 这是我几年前提到的。

我不知道，如果你正在寻找一双新的跑鞋，耐克排在第一位是巧合吗？

也许，也许不是。

有明确的法律规定。

你必须清楚这一点，但这就是每个人都担心的：其中微妙的信息。

这也让我们谈到了广告的话题。

我认为这是他们试图在 2025 年推出的东西，因为目前它还没有通过其他方式赚钱。

在里面有广告位……问题是，他们做不到，因为有不带广告的替代品，人们会涌向其他产品。

他们正在互相竞争，花费如此多的钱来获取用户，这真是太疯狂了。

- 我认为是的。

就像 Instagram 广告一样——我不使用 Instagram，但我理解为平台付费以找到真正喜欢你产品的用户的吸引力。

这是 Instagram 广告的最佳情况。

但也有很多广告激励措施很糟糕的情况，我认为人工智能的力量可以与这种积极的观点相结合：“我是一个人，我有一个小企业，我想制造世界上最好的牛排刀，我想卖给需要它们的人。”

如果人工智能能够让这种广告做得更好，这对世界来说将是非常好的，尤其是在数字基础设施方面，因为现代网络就是这样建立的。

但这并不意味着为了向人们展示更多内容而让他们沉迷于信息流是一件好事。

我认为即使是 OpenAI 也会这么说；他们想找到一种方法，既能带来广告的货币化收益，又能让用户拥有自主权。

我个人认为谷歌可能会更好地弄清楚如何做到这一点，因为他们已经有了广告供应。

如果他们设法将 Gemini 应用中的这种需求转化为有用的广告，那么他们就可以开启它。

而且有人会弄清楚——我不知道是否是今年，但会有相关的实验。

- 我确实认为目前阻碍公司的因素是竞争对手没有这样做。

这更多的是声誉问题。

我认为人们现在害怕毁掉或失去声誉，失去用户，因为如果有人推出这些广告，那将成为头条新闻。

- 除非它们很棒，但第一批广告不会很棒，因为这是一个难题。

我们还不知道如何解决它。

- 我认为第一个版本很可能类似于 X 上的情况，就像时间线一样，你有时会在中间看到一个推广帖子。

它会说“推广”或一些小字，然后会有一张图片。

我认为目前的问题是：谁先迈出这一步？

- 如果我们往前看 10 年，广告的价值主张是，你将通过拥有如此多的用户在广告上赚取巨额利润，你可以用这笔钱来资助更好的研发并制造更好的模型，这就是为什么 YouTube 占领了市场。

Netflix 害怕 YouTube。

他们有广告，他们赚——我每月支付 28 美元购买 Premium——他们每月至少从我身上赚取 28 美元，还有很多人。

他们正在视频领域建立如此主导的地位。

这就是价值主张：广告可以让你拥有持续的优势。

……在你每位用户的支出方面。

但现在里面有这么多钱，开始这个飞轮——

……很可怕，因为它是一项长期赌注。

- 你认为今年会有一些疯狂的大动作吗？

比如谷歌或苹果收购 Anthropic 之类的？

- Dario 永远不会出售，但我们开始看到一些类型的整合，Groq 以 200 亿美元……

……以及 Scale AI 以近 300 亿美元，以及无数其他结构不利于硅谷生态系统的交易。

这种许可协议，不是每个人都被带进来，而不是一次完整的收购，使普通员工受益，因为他们的股票得到了兑现。

这对文化来说是一个大问题，因为初创公司生态系统是生命线。

如果你加入一家初创公司，即使它不是很成功，你的初创公司也可能被廉价溢价收购，你将获得股权报酬。

而这些许可协议基本上是在吸引顶尖人才。

我认为 Groq 对 Nvidia 的交易据传对员工更有利，但它仍然是这种反垄断规避的事情。

但我认为这种整合趋势将继续下去。

我和许多我尊敬的聪明人一直期待着整合会更早发生，但似乎有些事情开始转变。

但与此同时，你看到公司筹集了巨额资金——

……原因我不知道。

我喜欢，“我不知道你为什么要拿那笔钱。”

所以今年情况很复杂，但一些整合压力正在开始。

- 我们会看到什么样的令人惊讶的整合？

你说 Anthropic 永远不会。

我的意思是，Groq 是一个大公司。

顺便说一句，Groq 是 Q。

- 是的。

有很多初创公司和对人工智能初创公司的高溢价。

所以可能会有很多——

- 这种事情，是的。

- 100 亿美元范围内的收购，对于一家可能一年前才成立的初创公司来说，这真的很大。

我认为 Manus.ai……这家总部位于新加坡的公司是 Meta 创立的，八个月前创立，然后以 20 亿美元的价格退出。

我认为会有其他大型、数十亿美元的收购，比如 Perplexity。

- 比如 Perplexity，对吧？

- 是的，人们传言它们会被苹果收购。

我认为人工智能领域存在很大的压力和流动性。

大公司面临着产生结果的压力——

……我猜一次大的收购会给人们腾出空间来讲述下一个故事。

- 我的意思是，Cursor——我们一直在谈论代码，如果有人收购 Cursor……

- 他们处于一个非常有利的位置，因为他们拥有如此多的用户数据。

我们谈到了持续学习。

他们在博客文章中有一句最有趣的句子，那就是他们的新 Composer 模型，它是中国一家大型混合专家模型的一个微调。

你可以通过询问 Gossip 来知道这一点，或者因为模型有时会用中文回应——这在美国的任何模型都不会。

他们在博客文章中写道：“我们每 90 分钟更新一次模型权重，基于人们使用它的真实世界反馈。”

这就像最接近真实世界强化学习在模型上发生的情况，而这只是他们博客文章中的一句话——

- 这太不可思议了。

- 而且顺便说一句，我经常使用 Composer，因为它的一个好处是它速度很快。

- 我需要试试，因为每个人都这么说。

- 而且可能会有一些 IPO。

你认为 Anthropic、OpenAI、xAI。

- 他们都可以轻松筹集这么多资金，以至于他们不觉得有必要……只要筹款容易，他们就不会 IPO，因为公开市场会施加压力。

我认为我们在中国看到的是一个不同的生态系统，MiniMax 和 Zhipu AI 都在申请——提交 IPO 文件，看看那个市场如何反应会很有趣。

我实际上会猜测，只要这一切都在进行，并且不是基于他们都在亏损大量金钱的现实，它将与美国一样令人兴奋。

我希望更多的美国大型人工智能初创公司能够公开上市，因为看到它们如何花钱并获得更多见解将非常有趣。

而且也只是为了让人们有机会投资这些公司，因为我认为它们是这个时代最强大的公司之一。

而现在的传统是，美国有这么多大型初创公司不公开上市。

就像我们还在等待 Stripe 的 IPO，但 Databricks 肯定没有。

他们筹集了 Series G 或类似的东西。

而且我觉得这是一种奇怪的市场均衡，就像，我想看到这些公司上市并以一种公司可以发展的方式发展。

- 你认为 10 年后，一些前沿模型公司还在吗？

Anthropic、OpenAI？

- 我绝对看不到它成为一个赢家通吃的局面，除非其中一个真的找到了某种算法秘密，让这个飞轮转动起来。

因为开发路径对所有人都非常相似。

谷歌和 OpenAI 拥有所有相同的产品，然后 Anthropic 更专注于此，但当你与人交谈时，听起来他们正在解决很多相同的问题。

而且会有产品扩散。

有很多……这是一个非常大的蛋糕正在制作中，人们将从中赚钱。

- 我不想轻描淡写，但 OpenAI 和 Anthropic 主要是大型语言模型服务提供商。

而像谷歌和 xAI（与 X 相关）等其他一些公司也做其他事情。

所以，如果人工智能变得更加商品化，那些仅仅提供大型语言模型的公司可能会消失。

- 他们的优势是他们拥有大量用户，我认为他们会进行调整。

我认为，如果他们弄清楚……比如 Anthropic，我认为他们进行了调整。

我认为他们最初并没有计划从事编码工作，但他们发现，“好吧，这是一个不错的利基市场，现在我们在这个利基市场中感到舒适，并且我们正在推动它。”

我可以看到同样的事情一旦……也许，假设性地说，我不确定这是否会是真的，但假设谷歌占据了通用聊天机器人的所有市场份额。

那么 OpenAI 可能就会专注于某个其他子主题。

我认为他们拥有太多的用户，在可预见的未来不会消失。

- 我认为谷歌总是准备好说，“等等，看我的，”关于人工智能模型。

- 我认为问题在于公司是否能够支持估值。

我认为人工智能公司在某些方面被视为 AWS、Azure 和 GCP 都在竞争同一领域，并且都是非常成功的企业。

有可能 API 市场非常无利可图，以至于它们会向上和向下堆栈到产品和硬件。

它们拥有如此多的现金，可以建造发电厂和数据中心，这现在是一种持久的优势。

但也有一个合理的结果是，这些 API 对开发人员来说非常有价值且非常灵活，以至于它们会成为类似 AWS 的东西。

但 AWS 和 Azure 也将拥有这些 API，所以有一些……这是一个艰难的市场，有五六个人在 API 市场竞争。

所以也许它们会被挤出局。

- 你提到了“RIP Llama。”

Meta 有获胜的途径吗？

- 我认为没人知道。

他们正在采取很多行动，所以他们正在与 Black Forest Labs 签订许可协议，这是一家图像生成公司，或者 Midjourney。

所以，在某些方面，在产品和面向消费者的 AI 前沿，现在说还为时过早。

我认为他们有一些非常优秀且积极主动的人，他们非常接近扎克伯格。

所以我认为那里还有一个故事有待展开。

Llama 有点不同，Llama 是该组织最集中的表达。

而且我看不出 Llama 会得到那样的支持。

我认为它对他们来说是一个非常成功的品牌。

所以他们仍然可能参与开放生态系统或将 Llama 品牌延续到不同的服务中，因为人们知道 Llama 是什么。

- 你认为有 Llama 5 吗？

- 不是开源的。

- 这很有趣。

我想也稍微总结一下，我的意思是，Llama 是，我会说，开创性的开源模型。

然后 Llama 1、2、3 获得了很多喜爱。

但我想，然后，假设或推测一下，我认为 Meta 的领导者，比如高管，他们……我认为他们对 LLaMA 感到非常兴奋，因为他们看到了它在社区中的受欢迎程度。

然后我认为问题在于尝试，比如说，货币化或不货币化开源，而是利用它来制造更大的轰动。

这几乎感觉是强迫的，比如，开发这些非常大的 LLaMA 4 模型来超越基准。

但我不认为 LLaMA 模型的目标是超越基准，击败，比如说，ChatGPT 或其他模型。

我认为目标是拥有一个人们可以使用的、信任的、修改的、理解的模型。

它。

所以这包括拥有更小的模型。

它们不必是最好的模型。

而发生的事情就是这些模型……就像，基准测试表明

他们比他们曾经的更好，因为我认为他们有经过偏好训练的特定模型，所以在基准测试上表现出色。这有点像，这种过拟合是为了强迫它成为最好的。但同时，他们也没有制造人们可以使用的小型模型。而且我认为那时没有人能够运行这些大型模型。然后发生了一件奇怪的事。我认为这仅仅是因为人们对推动前沿的头条新闻过于兴奋了。我认为就是这样。——而且在基准同步方面做得太多了。——这太费事了。——我认为它在内部政治斗争和目标不一致的情况下崩溃了。所以，就像，研究人员想构建最好的模型，但有一个组织和管理层试图证明他们做了这些事情。然后有很多关于如何做出一些糟糕的技术决策以及如何发生的传言和猜测。它似乎有点太糟糕了，以至于一切都崩溃了。——是的，但我们也应该，我们也应该，像，给马克·扎克伯格巨大的赞誉。我认为这源于马克，实际上……来自领导层，说开源很重要。事实上，这确实存在，意味着可能会有 LLaMA 5，他们将从基准测试中吸取教训，并说，“我们将成为 GPT 级别的，并提供一个非常棒的开源库。”——人们说，马克和亚历山大·王之间存在争论，亚历山大·王非常聪明，但更反对开源。而且，就他对 AI 组织的影响而言，这似乎不太可能，因为马克似乎是引进他来提供新的领导力和指导 AI 的。如果开放或封闭不再是模型的决定性特征，我不认为这将是马克和亚历克斯之间的一个决定性论点。他们都很聪明，但我很难理解这一切，因为马克在 2024 年 7 月写了一篇文章，这可能是当时最好的博客文章，为开源 AI 进行了辩护。然后到了 2025 年 7 月，情况变成了，“我们正在重新评估我们与开源的关系。”——但我也认为问题……不是问题，但我认为，嗯，我们可能有点过于严厉了，这导致了一些问题。因为我们作为开源开发者或开源社区……即使模型可能不是每个人所期望的，它也受到了很多批评。我认为这有点不幸，因为我可以看到，作为一个公司，他们希望获得积极的头条新闻。而不是只获得没有头条新闻或积极的头条新闻，结果他们却获得了负面的头条新闻。这在一定程度上对公司产生了负面影响，我认为这也是一个可能出于报复心理的反应，就像，“好吧，我们试图做一些好事，我们试图给你一些很酷的东西，比如一个开源模型，而现在你却对我们持负面态度，”所以从这个意义上说，它看起来像是，“好吧，也许我们应该改变主意了。”我不知道。——是的，这就是 X 上的话语动态可能将我们社区引入歧途的地方。因为有时感觉很随机。人们选择他们喜欢或不喜欢的东西。我的意思是，你也可以看到 Grok 4.1 和 Grok Code Fast 1.0 的情况。我不认为，从氛围上来说，人们公开喜欢它。但很多人都在使用它。所以如果你看看 Reddit 和 X，他们并没有真正从编程社区那里得到赞扬，但他们却在使用它。Llama 的情况也可能如此。我不理解正面炒作或负面炒作的动态。我不理解。——我的意思是，2025 年的一个故事是美国填补了 Llama 的空白，那就是这些中国开源权重模型的兴起，以至于这是我在过去五个月里花费大量精力解决的唯一问题，试图通过政策工作让美国进行投资。——那么，请告诉我亚当的故事。——亚当项目最初是我称之为“美国 DeepSeek 项目”，这对华盛顿的受众来说并不奏效，但这是关于我如何用我的职业生涯做最有影响力的事情的故事。这些中国开源权重模型正在培养大量力量，并且有大量需求基于这些开放模型进行构建，尤其是在对这些中国模型非常谨慎的美国企业中。——根据 Perplexity 的说法，亚当项目：美国真正开放模型，是一个总部位于美国的倡议，旨在构建和托管高质量、真正开放权重的人工智能模型和支持基础设施，明确旨在与中国快速发展的开源人工智能生态系统竞争并赶上。——我认为两句话的总结是：第一，开放模型将成为人工智能研究的引擎，因为这是人们开始的地方；因此，拥有它们很重要。第二，因此，美国应该构建最好的模型，以便最好的研究发生在美国，而这些美国公司将从人工智能研究的发生地中获益。而且，如果没有更多的对开放模型的投资——我们在网站上有图表，上面写着，“Qwen，Qwen，Qwen，Qwen”——这些都是来自中国公司的优秀模型，它们正在美国和国际上培养影响力。而且我认为美国在人工智能方面的投入要多得多，而创造比封闭实验室最前沿技术领先半代或一代的开放模型的能力，成本为 1 亿美元，这笔钱很多，但对这些公司来说并不多。所以，我们需要一个想要做这件事的人的中心化力量。而且我认为我们得到了几乎全栈人员的参与，无论是政策方面。——那么，政府是否给予了支持？——我不认为政府中有任何技术人员公开签署了它，但我知道那些在拜登和特朗普政府时期从事人工智能政策工作的人，都非常支持在美国推广开源模型。例如，AI2 从 NSF 获得了 1 亿美元的拨款，为期四年，这是 NSF 有史以来最大的 CS 拨款，用于 AI2 尝试这项工作。我认为这是一个起点。但当有多个组织构建模型时，最好的事情就会发生，因为它们可以交叉授粉思想并构建这个生态系统。我认为如果只有 Llama 向世界发布模型，那就不行了，因为 Llama 可能会消失。同样的情况也适用于 AI2；我不能成为唯一构建模型的人。而且……花了很多时间与人们交谈，无论他们是在政策领域……我知道英伟达对此非常兴奋。黄仁勋一直在谈论这件事的紧迫性，他们在 2025 年做了更多的事情，Nemotron 模型是其中一个重点。他们已经开始发布一些与英伟达的开放模型相关的数据，而很少有公司这样做，尤其是像英伟达这样规模的公司。所以有进步的迹象。我们听说 Reflection AI，他们说他们的 20 亿美元融资致力于构建美国开放模型，我觉得他们的公告推文读起来像一篇博客文章。我认为这种文化潮流正在开始转变。在七月份，我们有四五个 DeepSeek 级别的中国开源权重模型，而美国一个都没有。那一刻，我才意识到，“哦，我想我必须在这上面花精力，因为没有人会做这件事。”所以需要很多人共同努力。我不是说，亚当项目是帮助推动生态系统的唯一事物，而是像我这样的人在做这类事情来宣传。——你喜欢 2025 年的美国人工智能行动计划吗？它包含了开源内容。白宫人工智能行动计划包含一个专门的部分，题为“鼓励开源和开放权重人工智能”，定义了此类模型，并论证了它们对创新和初创企业具有独特的价值。——是的。我的意思是，人工智能行动计划是一个计划，但总的来说，我认为它是政府出台的最连贯的政策文件，我希望它能取得很大成功。我认识一些参与了人工智能行动计划的人，而挑战在于将政策付诸实践。作为一个人工智能研究员，我不知道如何做到这一点，但总的来说，其中很多内容都非常真实。国家正在进行大规模的人工智能建设，而且人们听到了很多问题，从用水到其他一切。我们应该能够在国内建造东西，但同时，我们也不能在建造过程中破坏国内的地区，而且值得为此付出努力。我认为这是联邦政府扮演的角色。他们设定议程。将开放权重作为首要考虑因素设定议程是他们能做的很大一部分，然后人们就会考虑它。——此外，对于这些公司的教育和人才，我认为这非常重要，因为否则，如果只有封闭模型，你如何让下一代人做出贡献？因为你最终只能在你加入一家公司后才能学习。但那时，你如何招聘有才华的人，你如何识别他们？我认为开源对很多事情都很重要，但即使只是为了教育公众和培训下一代研究人员。这是唯一的方法，或者说是唯一的方法。——我本可以使这件事更具病毒性，那就是讲述中国人工智能与威权国家融合的故事，成为 ASI 并接管世界。因此，我们需要我们自己的美国模型。但故意谈论美国的创新和科学，因为我认为这两种结果都更现实，而且是我希望实现的未来。——不过，我想说的是，任何开放权重模型都是有价值的模型。——是的。我的论点是我们应该处于领先地位。但我认为值得如此简单地说出来，因为人工智能生态系统中仍然有一些声音认为我们应该考虑禁止发布开放模型，因为存在安全风险。我认为值得补充的是，实际上，这在不让美国拥有自己的防火墙的情况下是不可能的，而防火墙众所周知效果并不好，因为训练这些模型的成本，无论是 1 亿还是 1 亿美元，对于世界上想要施加影响的绝大多数人来说都是可以承受的，所以这些模型将在世界各地得到训练。而且我们想要这些模型，尤其是当，我的意思是，存在安全担忧时，但我们希望这些信息和工具能够自由地流向世界和美国，以便人们可以使用它们并从中学习。阻止这一点将是对我们互联网的如此大的重塑，以至于似乎不可能。——你认为在这种情况下，来自中国的那些大型开放权重模型实际上对美国公司来说是好事吗？因为也许你之前提到的美国公司在发布开源产品方面通常比他们使用的产品落后一代。例如，GPT-4o 可能不是最先进的模型。Gemma 3 可能也不是，但他们这样做是因为他们知道发布它是安全的。但当这些公司看到，例如，有 DeepSeek-V3，它真的很棒，而且它被使用了，而且没有出现负面反响，没有安全风险，这可能会鼓励他们发布更好的模型。也许从某种意义上说，这是一件非常积极的事情。——百分之百。我认为，如果不是这些中国公司都在发布模型，那么这些中国公司已经启动了一些可能不会发生的事情。所以我想，我几乎可以肯定，领导层已经进行了那些讨论。——是否存在一种可能的未来，即世界上占主导地位的人工智能模型都是开源的？——这取决于你预测的进展轨迹。如果你认为几年内就会出现进展饱和——也就是说，在财务支持仍然非常好的这段时间内——那么开放模型将得到高度优化，运行成本也将大大降低，它们将胜出。本质上，这回到了开源理念，即更多的人将投入资金来优化这些开放权重通用架构的部署，它们将成为标准，然后你就可以拥有专门针对它们的芯片，而且它的成本将远低于这些定制的封闭公司的产品。——我们应该说，态势感知报告预测，它从叙事角度所做的一件事是，将会有大量的中心化。随着人工智能系统的越来越智能，国家安全问题将出现，你将中心化实验室，你将变得超级秘密，并且将会有整个竞赛——从军事角度来看，在中国和美国之间。所以，我们正在进行的关于 LLM 的所有有趣的对话……将军们，士兵们将走进房间说，“好吧。我们现在正处于这个项目的曼哈顿计划阶段。”——我认为 2025 年、26 年、27 年，我认为这种情况根本不可能发生。我的意思是，你也可以对计算机提出同样的论点，对吧？你可以说，“好吧。计算机很强大，我们不希望公众获得它们。”或者芯片，甚至是人工智能芯片，但你看到华为现在是如何制造芯片的。花了几年时间，但是……而且我认为没有办法可以像那样遏制知识。在这个时代，这是不可能的，就像互联网一样。我认为这不是一种可能性。——关于曼哈顿计划，我看到的一个有趣的方面是，我认为一个类似曼哈顿计划的开放模型项目实际上是相当合理的，因为它成本不高。但我认为那会到来。文化上，公司似乎正在改变。但我同意塞巴斯蒂安关于他刚才所说的一切。我只是不认为它会发生，也不会有帮助。——是的。我的意思是，曼哈顿计划背后的驱动力是文明风险。对于开源模型来说，这更难激励。——没有文明风险。——在硬件方面，我们多次提到了英伟达。你认为黄仁勋和英伟达会继续赢下去吗？——我认为他们的劣势在于他们必须进行大量迭代和大量制造。而且我认为他们可能……他们所做的，他们确实在创新，但我认为总有可能有人会做一些根本不同的事情，并且非常幸运。但问题是采用。英伟达的护城河可能不仅仅是 GPU。它更像是 CUDA 生态系统，而这已经发展了二十年。我的意思是，即使在我还是研究生的时候，我们也在一个实验室里进行生物物理模拟、分子动力学，当时我们就有了一块 Tesla GPU 专门用于计算。那已经是 15 年前了。而且他们长期以来一直在构建这个，我认为这就是护城河。不是芯片本身。虽然他们现在有钱进行迭代、构建和扩展，但关键在于兼容性。如果你作为一个公司达到这个规模，为什么你要选择一个有风险的选择，每年只能生产几块芯片？你选择大的那个。但我确实认为，有了现在的 LLM，设计类似 CUDA 的东西会更容易。这花了 15 年，因为它很难，但现在有了 LLM，我们也许可以复制 CUDA。——我不知道训练和推理计算是否会分离，因为我们正在稳定下来，并且需要更多的计算来进行推理。——这应该是 Groq 收购的目的。这就是为什么 Vera Rubin 的一部分——他们有一个新的芯片，没有高带宽内存，这是……或者很少，这是最昂贵的部件之一。它是为预填充设计的，这是推理的一部分，你基本上做了大量的矩阵乘法。然后你只需要在进行自回归生成和 KV 缓存交换时才需要内存。所以他们有一个新的 GPU，是为那个特定用例设计的，然后每浮点运算的拥有成本实际上要低得多。但我认为英伟达的命运在于人工智能的扩散。他们最大的客户仍然是这些超大规模公司。比如，谷歌显然可以制造 TPU。亚马逊正在制造 Trainium。微软也会尝试做自己的事情。只要人工智能进步的步伐很快，英伟达的平台是最灵活的，人们会想要它。但如果出现停滞，那么创建定制芯片，就有更多的时间来做。——有趣的是，英伟达在开发各种不同产品方面非常活跃。——他们试图创造能够使用大量 GPU 的商业价值领域。——但他们不断创新，而且他们做了很多令人难以置信的研究。——每个人都说这家公司非常以黄仁勋为中心，以及他运营上的投入程度。这听起来与我听说过的许多其他大公司截然不同。只要这种文化存在，我认为他们就会期望这种进步继续发生。这就像他仍然处于苹果史蒂夫·乔布斯时代。只要它是这样运作的，我对他们的情况就非常乐观，因为这是他们的首要问题，而且我不知道为整个生态系统制造这些芯片是否是所有其他公司的首要目标。他们会做得很好，但可能不如我们做得好。——既然你提到了黄仁勋，我一直在阅读很多关于历史和历史上杰出人物的文章。你们对历史的单个人物观怎么看？在科技领域，个人对引导历史方向有多重要？所以，你知道，没有黄仁勋的英伟达是什么？你提到了史蒂夫·乔布斯。没有史蒂夫·乔布斯的苹果是什么？没有埃隆的 xAI 或没有德米斯的 DeepMind 是什么？——人们更早、更快地创造事物，而在科学上，许多伟大的科学家都归功于在正确的时间出现在正确的地点，并且仍然进行了创新，而最终其他人仍然会产生这个想法。所以，从这个意义上说，黄仁勋正在帮助比没有这个人更快、更集中地实现 GPU 革命。这使得整个 AI 的构建速度更快。但我仍然认为，最终，像 ChatGPT 这样的东西会出现，并且会发生像这样的构建，但它可能不会这么快。我认为这就是所施加的风格。——人们，这些个体，正在对某件事下注。有些幸运，有些不。但如果没有这些人在掌舵，它就会更加分散。这几乎就像投资 ETF 而不是个股。个股可能会上涨，可能会比 ETF 下跌得更多，ETF 更平衡。它最终会随着时间的推移而上涨。我们会到达那里的。但就像，你知道，我认为重点是：激情和专注。——难道没有一个真实的论点是，如果没有黄仁勋，深度学习革命就不会复兴吗？——这可能是 20 年后，事情是这样的。——是的。20 年————或者另一个 AI 寒冬——就像深度学习寒冬——如果当时没有 GPU，可能会出现。——这可能会完全改变历史，因为你可以想到所有其他可能在此期间出现的科技，而人类文明的焦点将……硅谷将被不同的炒作所占据。——但我确实认为，我的意思是，当然有一个方面是所有事情都经过计划，GPU 的轨迹。但另一方面，也有很多幸运的巧合或好的直觉。例如，对，比如说，生物物理模拟的投资。我的意思是，我认为它始于电子游戏，然后它恰好擅长线性代数，因为电子游戏需要大量的线性代数。然后你有了生物物理模拟。但仍然，我认为计划，总体计划不是人工智能。我认为这只是碰巧是 Alex Krizhevsky。有人拿了这些 GPU 说，“嘿，让我们试试在上面训练一个神经网络。”它恰好效果很好，而且我认为这仅仅是因为你可以购买那些 GPU。——如果英伟达早期破产，游戏就会创造对更快处理器的需求。我就是这么想的。我认为 AlexNet 的 GPU 会有所不同——但我认为在 AlexNet 和 Transformer 的时候 GPU 仍然存在。只是很难知道是一家公司如此成功，还是多家拥有更差芯片的小公司。但我认为这不会延迟 100 年。可能会延迟十年。——嗯，这可能是几十年的延迟。我的意思是，我就是看不到英特尔或 AMD 会做英伟达所做的事情。——我认为不会是现在存在的公司。我认为会是一家不同的公司崛起。——比如硅图或什么的。——是的，某个已经消失的公司会做到。——但看看它，似乎这些杰出的人物，这些领导者，对世界的轨迹产生了巨大的影响。显然，他们背后有令人难以置信的团队。但是，你知道，拥有那种非常独特、近乎教条式的专注对于取得进展是必要的。——是的，我的意思是，即使是 GPT，如果没有一个人，伊利亚，他推动了这种规模化，它也不会存在，对吧？——是的，达里奥也深度参与其中。如果你读一些关于 OpenAI 的历史，你会觉得那些人很早就说，“我们需要连接 10,000 个 GPU，并占用 OpenAI 的所有计算资源来训练一个模型。”那里有很多人不想这样做。——这是多么疯狂的信念——相信规模化，在规模化没有任何迹象表明它将实现之前。再次，杰出人物。说到这个，100 年后——这大概是后奇点，无论那个奇点是什么。当历史学家回顾我们现在这个时代时，他们会特别强调哪些技术突破是导致奇点的突破？到目前为止，我们有图灵到今天。80 年。——我认为它仍然是计算，就像总称计算一样。只是，我不一定认为这是 100 年、200 年后，它不会是人工智能。它仍然很可能是计算机，你知道吗？我们现在更好地利用计算机，但就像计算本身一样。——这基本上是摩尔定律的讨论。即使是 CUDA 和 GPU 的细节也不会被记住，也不会有所有这些软件的动荡。它只会是显而易见的计算。——我总体上同意，但互联网和计算的连接能否合并？还是两者兼有？——我认为互联网可能与通信有关。它可以是手机、互联网或卫星——那些东西。而计算更像是它的规模化方面。——互联网有可能被完全遗忘。互联网被包装到通信网络中。这只是它的另一种表现形式，而真正的突破来自于计算的增加——广义上的摩尔定律。——嗯，我认为人与人之间的联系对它非常重要。所以，就像，你可以和任何人交谈。你想找到世界上最好的某个人，他们就在世界的某个地方。并且能够拥有那种信息流，人工智能也将依赖于此。我认为我一直纠结于我说过的关于一个中心模型的梦想已经破灭，而正在发展的是人们拥有许多用于不同任务的代理。人们已经开始使用不同的云来处理不同的任务。它被描述为数据中心里的许多 AGI，每个 AGI 都进行管理并相互通信。而这非常依赖于网络和信息的自由流动。在计算之上。但网络，尤其是与 GPU 相关的网络，是计算规模化的重要组成部分。数据中心的 GPU 需要相互通信。——关于神经网络的任何东西都会被记住吗？你认为有什么具体而独特的是神经网络被视为突破，就像天才一样，你基本上是在粗糙地复制人脑的结构，人类的思想？——我认为没有人类的思想，我们可能就不会有神经网络，因为它只是一个灵感。但在另一方面，我认为它非常不同。我的意思是，它是数字的，而不是生物的，所以我认为它可能会更多地被归类为一种算法。——这是大规模并行化的……——在这个特定的计算上？——遗传算法也可以并行化。恰好是这个更有效，效果更好。——而且很有可能，我们构建神经网络的方式只是导致奇点的系统的一个小组成部分。——如果你从 100 年后来看，我认为社会可以通过更多的计算和智能来改变，因为自主性。但看看这个，我们记得工业革命中的哪些东西？我们记得发动机，这可能是计算机的等价物。但还有很多其他人们意识到的物理转变，比如轧棉机和所有这些仍然为人所知的机器——空调、冰箱。人工智能的这些东西中的一些仍然会被记住。“Transformer”这个词在 100 年后也可能被遗忘，因为世界各地的人工智能研究人员。但我认为深度学习很可能是一个会被记住的术语。——我不知道未来的空调和制冷是什么，人工智能会带来什么。如果我们向前看 100 年，你认为有什么不同？你认为世界看起来有什么不同？你认为还有人类吗？你认为到处都是机器人走来走去？——我确实认为有专门的机器人来完成某些任务。——人形的吗？——可能是半人形的。我们拭目以待。我认为对于某些事情，是的，会有机器人，因为它们适合环境。但对于某些任务，这可能是有意义的。更难想象的是我们如何与设备互动以及人类如何使用设备。我很确定它可能不是手机或笔记本电脑。笔记本电脑。会是植入物吗？——我的意思是，它必须是脑机接口，对吧？我的意思是，100 年后，它必须……就像，鉴于我们现在看到的进展……——必须有……除非我们与现实的互动方式发生了彻底的改变。——另一方面，如果你想到汽车，汽车已经存在 100 多年了，对吧？而且界面仍然是相同的。我们没有用别的东西取代汽车。我们只是让汽车变得更好，但它仍然是方向盘，仍然是轮子，你知道吗？——我认为我们仍然会随身携带一块物理计算砖……——因为人们想要某种能力来拥有私密性……就像，你可能不像使用手机那样频繁地使用它，但拥有一个属于你的私密信息的东西，作为与互联网其余部分的接口，我认为这是仍然会存在的东西。它可能不像 iPhone，而且使用频率可能低得多，但我仍然希望人们随身携带东西。——你为什么认为智能手机是私密的体现？它上面有摄像头。它有一个————对你来说是私密的，比如加密消息，加密照片，你知道你的生活。我想这是一个关于你对脑机接口有多乐观的问题。所有这些都会存储在云端，存储在你的整个日历中吗？很难想象处理我们通过脑机接口视觉上可以处理的所有信息，向你展示像日历这样的东西。就像，很难知道而不看，你知道你的电子邮件收件箱。就像你向计算机发出信号，然后你就知道你的电子邮件收件箱。那是什么……人脑能够处理非视觉地输入到它里面吗？我不知道这些转换是如何发生的。因为 100 年后人类不会改变。我认为能动性和社区是人们真正想要的东西。——一个本地社区，是的。——所以，就像，你亲近的人，能够和他们一起做事，并且能够为你的生活赋予意义，并且能够做事。我认为，如果不是 100 年后，我认为人类生物学不会在我们可以讨论的时间尺度上发生变化。而且我认为全民基本收入并不能解决能动性问题。我确实预计会有大规模的财富，我希望它已经传播开来，以至于平均生活在 100 年后看起来非常不同。但这在 100 年内仍然有很多事情要做。如果你考虑那些在发展过程中早期获得计算和互联网接入的国家，要建立所有基础设施并制定将一个国家的财富与另一个国家分享的政策……我认为在 100 年内看到这一切发生是乐观的看法……——但可能只是有更好、更精致、更有效的社会支持系统，有助于缓解世界的一些基本痛苦。你知道，社会转型，短期内很多工作都丢失了，我认为我们必须真正记住，每失去一份工作都是一个遭受痛苦的人。这就像一场悲剧。当工作丢失时，规模是一场真正的悲剧。你可以就经济学做出各种论点，或者一切都会好起来的。这对 GDP 来说是好事，会创造新的工作。从根本上说，对于那个人的个人层面来说，这是真正的痛苦。这是真正的个人悲剧。而且我们在开发这些技术时必须记住这一点。而且我对我看到的各种人工智能垃圾的希望是，人类体验的基本方面将越来越受到重视，比如面对面的交流。比如互相看见，面对面交谈。——未来几年，实体商品和活动的价值肯定会增加——而且对垃圾的压力会更大。垃圾才刚刚开始。未来几年将越来越多样化——你认为我们会淹没——垃圾的各种版本。——淹没在垃圾中。这就是什么————所以我希望社会在垃圾中淹没到足以清醒过来并说，“我们无法处理了。”这根本不重要。我们都无法处理。然后实体就有了更高的溢价。——即使是经典的例子，我老实说认为这是真的，而且我认为我们会厌倦它。我们已经有点厌倦了。艺术也是如此。我不认为艺术会消失。你有绘画，实体绘画。有更多的价值，不仅仅是金钱价值，而是对实际绘画的欣赏，而不是那幅画的复印件。它可以是完美的数字重印，但当你去博物馆看到真品时，你会想到，“好吧，一个人。”这就像一种手艺。你对此有所欣赏。我认为写作、交谈、任何类型的体验也是如此，它将是……我确实不幸地认为它将是一种二分法，就像一个叉路，有些事情将被自动化。就像，你知道，200 年前不像现在有那么多绘画。有更多的照片，更多的复印件。但同时，它也不会消失。它会有价值。我认为区别只在于比例。但就我个人而言，我很难阅读那些明显是人工智能生成的文本。对不起。它可能是非常好的信息，但我觉得，“不，不适合我。”——我认为最终它们会欺骗你，而且它会在提供验证或建立信任方式的平台上。所以你会相信 Lex 不是人工智能生成的，因为你在这里。所以你对这个频道有信任。但对于没有这种信任的新人来说，这更难。——嗯，这会很有趣，因为从根本上说，我认为这是一个可以解决的问题，通过信任某些渠道，它们不会这样做，但这一切都将基于信任。会有授权系统，“好吧，这是真的。这不是真的。”会有一些迹象表明你可以分辨出这是人工智能生成的，而这是不是。但有些会非常出色，以至于很难分辨，然后你必须信任。这会变得有趣，也可能有点麻烦。——极端情况是给所有人类内容打上水印。所以我们自己拍摄的所有照片都会有一些水印，直到它们被编辑或类似的东西。软件可以管理与设备制造商的通信——设备制造商来维护人类编辑，这与为 AI 图像打水印的讨论相反。然后你可以制作一个带有水印的谷歌图片，并使用不同的工具来删除水印。——是的。基本上这将是一场军备竞赛。——而且我们主要关注人工智能的积极方面。我们一直在谈论的所有能力都可以用来破坏人类文明，即使是相对愚蠢的人工智能大规模应用，然后是超智能人工智能系统。当然，还有一种“末日论”的观点，在开发这些技术时需要考虑一点。你对人类文明的未来有什么希望？我们一直在谈论的一切。我们会没事的吗？——我认为我们会。我绝对是一个担心者，既担心人工智能也担心非人工智能的事情。但人类确实倾向于找到出路。我认为这就是人类的构建方式：拥有社区并找到解决问题的方法。这就是我们走到这一步的原因。而且要认为人工智能机会和相关技术非常巨大。我认为存在巨大的社会和政治问题需要帮助每个人理解。我认为我们现在正在面对很多这样的问题，就像世界是一个可怕的地方，而人工智能是一个非常不确测定的事物。它需要很多工作，而这些工作不一定是在建造东西。这就像告诉人们并理解人们，而建造人工智能的人在历史上并不被激励或想要这样做。但这是可能做到的事情。它只是会比人们想要的更长。而且我们必须经历那个漫长的、艰难的、令人沮丧的人工智能讨论时期，如果我们想要获得持久的好处。——是的。通过这个过程，我特别兴奋的是，我们有机会更好地了解自己，在个人层面作为人类，在文明层面，并回答一些大谜团，比如这个意识是怎么回事？它似乎是真正特别的。就像，我们的头脑里有一个真正的奇迹。而人工智能就像一面镜子映照出我们自己，我们有机会回答关于这一切是怎么回事的一些大问题。——嗯，关于这一点的一件事是，我也认为是什么让我们与人工智能如此不同，以及为什么我不担心人工智能会失控，就像你说的，意识。我们人类，我们决定我们想做什么。人工智能在其目前的实现中，我看不出它会改变。你必须告诉它做什么。所以你仍然拥有能动性。它不会剥夺你的能动性，因为它变成了一个工具。你可以把它看作一个工具。你告诉它做什么。它会比以前的工具更自动化。它肯定比锤子强大，它可以弄清楚事情，但仍然是你说了算，对吧？所以人工智能不掌权，你掌权。你告诉人工智能做什么，它就为你做。——那么，在后奇点、后末日的人机战争中，你说人类值得为之奋斗吗？——百分之百。我的意思是，这是……电影《终结者》是在 80 年代制作的，基本上，而且我认为，嗯，我唯一能看到出错的地方是，当然，如果事情被明确编程去做有害的事情，基本上。——我认为实际上在这种情况下，在《终结者》类型的设置中，我认为人类会赢。我认为我们太聪明了。很难解释我们是如何弄清楚的，但我们做到了。而且我们可能会使用本地 LLM，开源 LLM 来帮助对抗机器。我为这种荒谬道歉。就像我说的，内森很久以来一直是我的忠实粉丝。塞巴斯蒂安，我很久以来一直是你的忠实粉丝，所以终于见到你真是荣幸。感谢你为世界所做的一切。感谢你写出优秀的书籍。感谢你教导我们。而且，感谢你今天的谈话。这很有趣。——感谢邀请我们来这里，并进行这次人类连接，这实际上是————极其宝贵——人类连接。感谢收听这次与 Sebastian Raschka 和 Nathan Lambert 的对话。要支持这个播客，请查看描述中的赞助商，您也可以在那里找到联系我、提问、提供反馈等链接。现在，让我用阿尔伯特·爱因斯坦的一句话结束。：“不是我有多聪明，而是我能坚持问题更长时间。”感谢您的收听，希望下次再见。