Transcription
今天我将与 Andrej Karpathy 对话。Andrej，你为什么说这将是“智能体”的十年，而不是“智能体”的一年？
首先，非常感谢您邀请我来这里。我很高兴能来到这里。您刚才提到的那句话，“这是智能体的十年”，实际上是对一个早已存在的说法的回应。我不太确定是谁说的，但他们暗示这将是智能体的一年，尤其是在大型语言模型（LLMs）方面，以及它们将如何发展。我之所以受到触动，是因为行业内存在一些过度预测的现象。在我看来，更准确的说法是“智能体的十年”。我们已经有一些非常令人印象深刻的早期智能体，我每天都在使用它们——比如 Claude 和 Codex 等等——但我仍然觉得还有很多工作要做。我的回应是，我们将与这些东西打交道十年。它们会变得更好，这将是美妙的。我只是在回应那些暗示的时间线。
您认为需要十年才能完成什么？瓶颈是什么？
实际上是让它真正起作用。当你谈论一个智能体，或者实验室的想法，也许我自己的想法时，你应该把它想象成一个你要雇佣来和你一起工作的员工或实习生。例如，你在这里和一些员工一起工作。你什么时候会更倾向于让 Claude 或 Codex 这样的智能体来完成这项工作？目前，它们当然做不到。需要具备什么条件才能让它们做到？
为什么你今天不做呢？你今天不做是因为它们根本就不起作用。它们的智能不够，多模态能力不够，无法进行计算机操作等等。它们做不到你之前提到的很多事情。它们没有持续学习能力。你不能告诉它们一件事，它们就会记住。它们在认知上有所欠缺，而且根本不起作用。要解决所有这些问题，大约需要十年时间。
有趣。作为一名专业的播客和远观人工智能的观察者，我很容易识别出缺失的东西：持续学习能力缺失，或者多模态能力缺失。但我并没有一个好的方法来给它设定一个时间表。如果有人问持续学习需要多长时间，我没有任何先验知识，不知道这个项目是需要 5 年、10 年还是 50 年。
为什么是十年？为什么不是一年？为什么不是 50 年？
这涉及到我的一些直觉，以及我对自己在该领域经验的一些推断。我在人工智能领域已经近二十年了。大概是 15 年左右，不算太久。你曾邀请过 Richard Sutton，他在这方面的时间更长。我确实有大约 15 年的经验，看到了人们的预测以及它们如何实现。我还在行业里待过一段时间，在研究领域待过，也在行业里工作过一段时间。我从中获得了一种普遍的直觉。我觉得这些问题是可行的，是可以克服的，但它们仍然很困难。如果我只是平均一下，对我来说就是十年。
这很有意思。我不仅想听听历史，还想听听在各种突破性时刻，在场的人们感觉即将发生什么。他们的感受在哪些方面过于悲观或过于乐观？
我们是否应该逐一讨论？
这是一个巨大的问题，因为你谈论的是 15 年发生的事情。人工智能之所以如此美妙，是因为发生了一系列“地震式”的转变，整个领域突然呈现出不同的面貌。我可能经历过两三次这样的转变。我仍然认为它们会继续发生，因为它们几乎以惊人的规律性出现。
我刚开始职业生涯的时候，当我开始研究深度学习，当我开始对深度学习感兴趣的时候，这纯属偶然，因为我当时就在多伦多大学的 Geoff Hinton 旁边。Geoff Hinton 当然是人工智能领域的“教父”级人物。他当时正在训练所有这些神经网络。我觉得这非常不可思议和有趣。这并不是当时人工智能领域每个人都在做的主流事情。这只是一个非常小众的副业。
这可能是第一个伴随着 AlexNet 等出现的戏剧性的“地震式”转变。AlexNet 重新定位了所有人，每个人都开始训练神经网络，但它仍然是针对特定任务的，非常具体。也许我有一个图像分类器，或者我有一个神经机器翻译器之类的东西。人们对智能体的兴趣开始缓慢增长。人们开始思考，“好吧，也许我们在视觉皮层方面有了进展，但大脑的其他部分呢？我们如何才能拥有一个能够与世界互动的完整智能体或完整实体？”
在我看来，2013 年左右的 Atari 深度强化学习转变是早期智能体努力的一部分，因为它试图让智能体不仅能感知世界，还能采取行动，与环境互动并从中获得奖励。当时，这是 Atari 游戏。
我觉得那是一个失误。即使是我参与过的早期 OpenAI 也犯了这个失误，因为当时的主流思想是强化学习环境、游戏、玩游戏、打败游戏、玩各种不同的游戏，而 OpenAI 就在做这些事情。那是人工智能领域另一个突出的方面，也许两三年或三四年里，每个人都在玩游戏进行强化学习。那都有些失误。
我在 OpenAI 试图做的事情是，我一直对游戏作为通往通用人工智能（AGI）的途径持怀疑态度。因为在我看来，你需要像会计师那样与现实世界互动。我就是不明白游戏如何能达到这一点。例如，我在 OpenAI 的项目属于 Universe 项目的范畴，是关于一个使用键盘和鼠标操作网页的智能体。我真的很想拥有一个能够与实际数字世界互动并能进行知识工作的系统。
结果发现，这太早了，太早了，早到我们不应该去研究它。因为如果你只是在这些环境中摸索，乱按键盘，乱点鼠标，试图获得奖励，你的奖励就太稀疏了，你根本学不会。你会烧掉大量的计算资源，而且永远无法取得任何进展。你缺少的是神经网络的表示能力。例如，今天人们正在训练那些使用计算机的智能体，但他们是在大型语言模型的基础上进行的。你必须先拥有语言模型，先拥有表示能力，然后通过所有预训练和所有 LLM 的工作来实现这一点。
我觉得，笼统地说，人们几次都试图过早地追求完整的东西，我指的是人们真的过早地去追求智能体。那就是 Atari 和 Universe，甚至我自己的经历。在达到那些智能体之前，你必须先做一些事情。现在智能体能力强了很多，但也许我们仍然缺少堆栈中的一些部分。
我会说，人们在做的主要是这三个方面：针对特定任务训练神经网络，尝试第一轮智能体，然后是大型语言模型，在添加其他一切之前，寻求神经网络的表示能力。
有趣。如果我来“钢人化” Sutton 的观点，那就是人类可以一次性掌握一切，甚至动物也可以一次性掌握一切。动物可能是更好的例子，因为它们甚至没有语言的支撑。它们只是被扔进世界，然后必须在没有任何标签的情况下理解一切。那么 AGI 的愿景就应该是某种能够观察感官数据、观察电脑屏幕，然后从零开始弄清楚发生了什么的东西。如果一个人处于类似的情况，并且必须从头开始训练……这就像一个人的成长或动物的成长。为什么这不应该是 AI 的愿景，而不是我们进行数百万年训练的事情？
这是一个很好的问题。Sutton 曾做客你的播客，我看了那个播客，并写了一篇关于那个播客的文章，其中涉及到我的一些看法。我非常谨慎地将动物类比，因为它们是通过一个非常不同的优化过程产生的。动物是进化而来的，它们拥有大量的内置硬件。例如，我在文章中的例子是斑马。斑马出生后几分钟就能跑动并跟着它的母亲。这是一件极其复杂的事情。这不是强化学习。这是内置的。进化显然有一种方法可以将我们神经网络的权重编码到 ATCG 中，我不知道它是如何工作的，但它显然有效。大脑的产生过程与此截然不同，我非常不愿意从中汲取灵感，因为我们并没有真正运行那个过程。
在我的文章中，我说我们不是在制造动物。我们是在制造幽灵或灵魂，或者人们想怎么称呼它们，因为我们不是通过进化进行训练。我们是通过模仿人类和他们在互联网上发布的数据来进行训练。你最终会得到这些飘渺的灵魂实体，因为它们是完全数字化的，并且在模仿人类。这是一种不同的智能。如果你想象一个智能空间，我们几乎是从一个不同的起点开始的。我们并不是真的在制造动物。但随着时间的推移，也有可能让它们变得更像动物，我认为我们应该这样做。
再补充一点。我确实觉得 Sutton 有一个非常……他的框架是，“我们想制造动物。”如果能做到这一点，那将是美妙的。那将是惊人的。如果有一个单一的算法，你可以在互联网上运行它，它就能学会一切，那将是不可思议的。我不确定它是否存在，而且动物肯定不是这样做的，因为动物有进化的外部循环。很多看起来像学习的东西更像是大脑的成熟。我认为动物的强化学习非常少。很多强化学习更像是运动任务；它不是智能任务。所以，我实际上有点认为，大致来说，人类并不真正使用强化学习。
你能重复最后一句话吗？很多那种智能不是运动任务……是什么，抱歉？
在我看来，很多强化学习是更偏向运动的，比如投掷呼啦圈这样的简单任务。但我不认为人类在解决问题等许多智力任务中会使用强化学习。这并不意味着我们不应该为此进行研究，但我只是觉得这就是动物所做的，或者不做的。
我将花点时间消化一下，因为这里有很多不同的想法。这里有一个澄清性的问题，可以帮助我理解你的观点。你认为进化所做的事情类似于预训练在构建能够理解世界的系统方面的作用。不同之处在于，人类的进化必须通过 3GB 的 DNA 来精确控制。这与模型的权重非常不同。字面上说，模型的权重就是大脑，而大脑显然不存在于精子和卵子中。所以它必须被培养出来。而且，大脑中每个突触的信息根本不可能存在于 DNA 的 3GB 中。进化似乎更接近于找到一个算法，然后该算法进行终身学习。现在，也许终身学习并不像你所说的与强化学习类似。这与你刚才说的兼容吗，还是你会不同意？
我认为是的。我同意你的观点，存在一些奇妙的压缩过程，因为显然，神经网络的权重并没有存储在 ATCG 中。存在一些戏剧性的压缩。有一些编码的学习算法，它们会接管并在线进行一些学习。我绝对同意你的观点。我会说我更注重实际。我不是从“让我们制造动物”的角度来看待这个问题。我是从“让我们制造有用的东西”的角度来看待。我戴着安全帽，我只是观察到我们不会进行进化，因为我不知道如何做到。但事实证明，我们可以通过模仿互联网文档来制造这些幽灵般的、灵魂般的实体。这很有效。这是一种让你接触到拥有大量内置知识和某种程度智能的方法，可能类似于进化所做的事情。这就是我称预训练为“糟糕的进化”的原因。这是我们技术和现有资源下，在实践中可能实现的版本，可以让我们达到一个起点，在那里我们可以进行强化学习等工作。
只是为了“钢人化”另一种观点，在做了这个 Sutton 的采访并思考了一下之后，他在这里有一个重要的观点。进化实际上并没有给我们知识。它给了我们寻找知识的算法，这似乎与预训练不同。也许观点是，预训练有助于构建一个能够更好地学习的实体。它教授元学习，因此它类似于寻找算法。但如果说“进化给我们知识，预训练给我们知识”，这种类比似乎就破裂了。这很微妙，我认为你坚持这一点是正确的，但基本上，预训练所做的事情是，你会在互联网上获得下一个 token 预测器，然后将其训练到神经网络中。它做了两件不相关的事情。第一，它吸收了所有这些知识，我称之为知识。第二，它实际上变得智能了。通过观察互联网上的算法模式，它启动了神经网络内部的所有这些小电路和算法，以执行诸如上下文学习之类的事情。你不需要也不想要这些知识。我认为这可能是阻碍神经网络整体发展的因素，因为它有时会让它们过于依赖知识。例如，我认为智能体不擅长的一件事是脱离互联网上存在的数据流形。如果它们拥有的知识或记忆更少，也许它们会做得更好。我认为我们未来必须做的事情——这将是研究范式的一部分——是找到去除一些知识并保留我称之为“认知核心”的方法。这是从知识中剥离出来的智能实体，但它包含了算法，包含了智能、解决问题和策略的魔力等等。那里有很多有趣的东西。
让我们从上下文学习开始。这是一个显而易见的问题，但我认为值得明确地说出来并思考一下。这些模型似乎最智能的情况——我与它们交谈，我说，“哇，另一端真的有什么东西在回应我正在思考的事情——如果它犯了错误，就像，“哦，等等，那是错误的思考方式。我正在后退。”所有这些都在上下文中发生。在那里，我感觉到真正的智能是可以明显看到的。这种上下文学习过程是通过预训练的梯度下降发展起来的。它自发地进行元学习，但上下文学习本身并不是梯度下降，就像我们人类终身学习能力受到进化的影响，但我们终身学习是通过其他过程发生的。
我并不完全同意这一点，但你应该继续你的想法。
好吧，我很好奇地想了解这种类比是如何破裂的。我犹豫是否要说上下文学习不是梯度下降。它不是显式的梯度下降。上下文学习是在 token 窗口内的模式补全。碰巧互联网上有大量的模式。你说得对，模型学会了补全模式，而这存在于权重中。神经网络的权重试图发现模式并补全模式。神经网络内部发生了一些适应，这是神奇的，仅仅因为互联网上有大量的模式而自然产生。
我会说，有一些我认为很有趣的论文研究了上下文学习背后的机制。我认为上下文学习可能在神经网络的层内运行一个小的梯度下降循环。我记得有一篇论文，他们使用上下文学习进行线性回归。你输入神经网络的是 XY 对，XY，XY，XY，它们恰好在线上。然后你输入 X，期望得到 Y。当你以这种方式训练神经网络时，它会进行线性回归。通常，当你运行线性回归时，你会有一个小的梯度下降优化器，它会查看 XY，查看误差，计算权重的梯度，然后进行几次更新。碰巧的是，当他们查看那个上下文学习算法的权重时，他们发现了一些与梯度下降机制的类比。事实上，我认为这篇论文的论证更强，因为他们硬编码了神经网络的权重，通过注意力和神经网络的所有内部机制来执行梯度下降。这只是我唯一的反驳。谁知道上下文学习是如何工作的，但我认为它可能在内部进行一些有趣的梯度下降。我认为这是可能的。我只是反驳了你说它不是在进行上下文学习。谁知道它在做什么，但它可能在做一些类似的事情，但我们不知道。
那么，值得思考的是，如果上下文学习和预训练都在实现类似梯度下降的东西，为什么我们会觉得上下文学习让我们获得了持续学习、真正智能化的东西？而仅仅通过预训练，你却得不到类似的感觉。
你可以这样认为。如果算法相同，有什么可能不同呢？一种思考方式是，模型每接收一条训练信息，它存储了多少信息？如果你看预训练，比如 Llama 3，我认为它是在 15 万亿个 token 上训练的。如果你看 70B 模型，这相当于它在预训练中看到的 token 的 0.07 比特，就模型权重中的信息与它读取的 token 相比而言。而如果你看 KV 缓存以及它随着上下文学习中每个额外 token 的增长，大约是 320KB。所以，模型每 token 吸收的信息量有 3500 万倍的差异。我想知道这是否相关。
我有点同意。我通常的说法是，神经网络训练期间发生的任何事情，知识只是对训练时发生的事情的模糊回忆。这是因为压缩非常剧烈。你将 15 万亿个 token 压缩到只有几十亿参数的最终神经网络中。显然，这里存在大量的压缩。所以我称之为对互联网文档的模糊回忆。而任何发生在神经网络的上下文窗口中的事情——你输入所有 token 并构建所有 KV 缓存表示——对神经网络来说都是非常直接可访问的。所以我将 KV 缓存和测试时发生的事情比作工作记忆。上下文窗口中的所有内容对神经网络来说都是非常直接可访问的。
LLM 和人类之间总有一些令人惊讶的类比。我觉得它们很令人惊讶，因为我们并不是直接试图构建人脑。我们只是发现这样做有效，并且我们正在这样做。但我确实认为，任何存在于权重中的东西，都是对你一年前读过的东西的模糊回忆。任何你在测试时作为上下文提供给它的东西，都直接存在于工作记忆中。这是一个非常强大的类比，可以用来思考问题。例如，当你去问一个 LLM 关于某本书以及其中发生的事情，比如 Nick Lane 的书之类的，LLM 通常会给你一些大致正确的信息。但如果你给它完整的章节并问它问题，你会得到更好的结果，因为它现在已经加载到模型的“工作记忆”中了。所以，用很长的话来说，我同意，这就是原因。
退一步说，人类智能中有什么是我们用这些模型最未能复制的？
很多方面。也许一种思考方式，我不知道这是最好的方式，但我几乎觉得——再次强调，这些类比并不完美——我们通过 Transformer 神经网络偶然取得了成功，它非常强大，非常通用。你可以对音频、视频、文本或任何你想要的东西进行 Transformer 训练，它就能学会模式，而且它们非常强大，而且效果非常好。对我来说，这几乎表明这是某种皮层组织。它有点像那样，因为皮层以其极强的可塑性而闻名。你可以重塑大脑的某些部分。曾经有一些稍微可怕的实验，将视觉皮层重塑为听觉皮层，而动物在这种情况下学习得很好，等等。所以，我认为这是皮层组织。我认为当我们进行推理和规划时，在神经网络内部进行推理，为思考模型进行推理追踪，这有点像前额叶皮层。也许这些就像一些勾选标记，但我仍然认为还有许多大脑部分和核团没有被探索。例如，基底神经节在我们对模型进行强化学习微调时会进行一些强化学习。但海马体在哪里？不清楚那会是什么。有些部分可能不重要。也许小脑对认知、思想不重要，所以也许我们可以跳过其中一些。但我仍然认为，例如，杏仁核、所有情绪和本能。大脑中可能还有许多非常古老的核团，我认为我们还没有真正复制。我不知道我们是否应该追求构建人脑的类似物。我内心深处主要是一名工程师。也许另一种回答这个问题的方式是，你不会雇佣这个东西作为实习生。它缺少很多东西，因为它带有我们与模型交谈时直观感受到的许多认知缺陷。所以它还没有完全到位。你可以把它看作是还没有勾选所有大脑部分。
这可能与思考这些问题将如何快速解决有关。有时人们会谈论持续学习，说：“看，你可以轻松地复制这种能力。就像上下文学习是预训练的结果而自发出现的，持续学习在更长的时间跨度上也会自发出现，如果模型被激励在比一个会话更长的时间跨度上回忆信息。”所以，如果有一个外部循环的强化学习，其中包含许多会话，那么这种持续学习，它会自我微调，或者写入外部内存之类的，就会自发出现。你认为这样的事情是可行的吗？
我只是对它的可行性没有先验的判断。它发生的可能性有多大？
我不知道我是否完全认同这一点。这些模型，当你启动它们时，它们在窗口中没有 token，它们总是从它们最初的状态重新开始。所以我不知道在这种世界观下它看起来是什么样子。也许做一些类比人类——仅仅因为我认为它大致具体且有趣——我觉得当我醒着的时候，我正在构建一个关于当天发生的事情的上下文窗口。但当我睡觉时，会发生一些神奇的事情，我不认为那个上下文窗口会保留下来。有一些提炼到我大脑权重的过程。这发生在睡眠期间等等。我们没有大型语言模型的等价物。对我来说，这更接近于你谈论的持续学习等缺失的东西。这些模型实际上没有一个提炼阶段，即对发生的事情进行分析，进行详尽的思考，进行一些合成数据生成过程，然后将其提炼回权重，也许为每个人拥有一个特定的神经网络。也许是一个 LoRA。它不是一个完整的权重神经网络。它只是权重中一小部分稀疏的改变。但我们确实想创造能够创建这些拥有非常长上下文的个体的方法。这不仅仅是保留在上下文窗口中，因为上下文窗口会变得非常非常长。也许我们有一些非常复杂、稀疏的注意力机制。但我仍然认为人类显然有一些将部分知识提炼到权重中的过程。我们缺少它。我也认为人类拥有一些非常复杂、稀疏的注意力机制，我认为我们已经开始看到一些早期迹象。DeepSeek v3.2 刚刚发布，我看到他们有一个稀疏注意力的例子，这是拥有非常非常长的上下文窗口的一种方式。所以我认为我们正在通过一个非常不同的过程重新创造进化所产生的许多认知技巧。但我们将会在认知上收敛到相似的架构。
在 10 年后，你认为它还会是类似 Transformer 的东西，但具有更多修改的注意力机制和更多稀疏的 MLP 等等吗？
我喜欢这样想：时间上的平移不变性。所以 10 年前，我们在哪里？2015 年。在 2015 年，我们主要拥有卷积神经网络，残差网络刚刚出现。所以，虽然惊人地相似，但仍然有很大的不同。Transformer 还没有出现。所有这些对 Transformer 更现代的调整都还没有出现。也许我们可以打赌的一些东西，我认为在 10 年后，通过平移等变性，我们仍然会使用前向-后向传递和梯度下降更新来训练巨大的神经网络，但它看起来可能有点不同，而且一切都大了很多。
最近我回顾了 1989 年，这对我来说是一次有趣的练习，几年前，因为我当时在重现 Yann LeCun 1989 年的卷积网络，这是我所知的第一个通过梯度下降训练的神经网络，就像现代神经网络在数字识别上通过梯度下降训练一样。我只是对如何现代化它感到好奇。其中有多少是算法？有多少是数据？有多少进步是计算和系统？我通过时间旅行了 33 年，非常迅速地将学习误差减半。所以，如果我通过算法时间旅行 33 年，我可以调整 Yann LeCun 在 1989 年所做的事情，我可以将误差减半。但要获得进一步的提升，我不得不添加更多数据，我不得不将训练集增加 10 倍，然后我不得不添加更多的计算优化。我不得不使用 dropout 和其他正则化技术训练更长时间。所以所有这些东西都必须同时改进。我们可能会有更多的数据，我们可能会有更好的硬件，我们可能会有更好的内核和软件，我们可能会有更好的算法。所有这些，似乎没有一个在过度获胜。它们都出奇地均衡。这已经成为一种趋势。所以，为了回答你的问题，我预计在算法上与今天发生的事情会有所不同。但我同时也预计，一些长期以来一直存在的、可能仍然会存在的东西。它可能仍然是一个通过梯度下降训练的巨大神经网络。这就是我的猜测。
令人惊讶的是，所有这些因素加在一起只将误差减半，30 年的进步……也许一半已经很多了。因为如果误差减半，那实际上意味着……一半已经很多了。但我认为让我震惊的是，一切都需要全面改进：架构、优化器、损失函数。而且它也一直在全面改进。所以我预计所有这些变化都会继续存在。
是的。我正要问你一个非常类似关于 nanochat 的问题。既然你最近刚刚写了它，构建聊天机器人过程中的每一个步骤都还鲜活在你的脑海里。我很好奇你是否也有类似的思考，比如，“哦，从 GPT-2 到 nanochat 的过程中，没有一个单一的事情是相关的。”从构建 nanochat 的经历中，有什么令人惊讶的收获吗？
关于构建 nanochat？所以 nanochat 是我发布的一个代码库。是昨天还是前天？我不记得了。我们可以看到为此付出的睡眠不足……它试图成为最简单的完整代码库，涵盖了构建 ChatGPT 克隆的整个管道。所以你拥有所有步骤，而不仅仅是任何一个单独的步骤，这有很多。我过去曾研究过所有单独的步骤，并发布了展示算法意义上如何完成这些步骤的小代码片段，用简单的代码。但这个处理的是整个管道。
在学习方面，我不知道我是否一定从中有所学。我心里已经知道如何构建它了。这只是机械地构建它并使其足够干净，以便人们可以从中学习并发现它有用。
对于某人来说，学习它的最佳方式是什么？是删除所有代码并尝试从头开始重新实现，还是尝试对其进行修改？
这是一个很好的问题。基本上，它有大约 8000 行代码，带你完成整个管道。我可能会把它放在右边的显示器上。如果你有两个显示器，就放在右边。你想从头开始构建它，就从头开始构建。不允许复制粘贴，允许参考，但不允许复制粘贴。也许我会这样做。但我也认为这个代码库本身是一个相当大的庞然大物。当你编写这段代码时，你不是从头到尾，而是从块开始，然后增长块，而这些信息是缺失的。你不知道从哪里开始。所以需要的不仅仅是一个最终的代码库，还有构建代码库的过程，这是一个复杂的块增长过程。所以那部分还没有完成。我希望在本周晚些时候添加它。可能是一段视频或其他什么。大致来说，这就是我会尝试做的。自己构建东西，但不要允许自己复制粘贴。
我认为有两种知识，几乎是这样。有一种是高层次的表面知识，但当你从头开始构建东西时，你被迫面对你所不理解的，而且你不知道自己不理解它。它总是会带来更深的理解。这是唯一的构建方式。如果我不能构建它，我就不理解它。我相信这是费曼的一句话。我 100% 始终坚信这一点，因为存在所有这些微小的东西，它们没有被正确地组织起来，而你并没有真正拥有知识。你只是认为你拥有知识。所以不要写博客文章，不要做幻灯片，不要做任何这些。构建代码，组织它，让它工作。这是唯一的途径。否则，你就缺少知识。
你发推文说，编码模型对你组装这个代码库的帮助非常小。我很想知道为什么。
我猜我花了大约一个多月的时间来构建这个代码库。我认为人们现在与代码交互有三种主要方式。有些人完全拒绝所有 LLM，他们只是从头开始编写。这可能不再是正确的方法了。中间部分，也就是我所在的位置，是你仍然从头开始编写很多东西，但你使用了这些模型现在提供的自动补全功能。所以当你开始写一小部分时，它会自动为你补全，你只需点击即可。大多数时候它是正确的，有时不是，然后你进行编辑。但你仍然是你所写内容的架构师。然后是“氛围编码”：“嗨，请实现这个或那个”，然后让模型去做。那就是智能体。
我认为智能体在非常特定的环境中工作，我会在特定的环境中 M 使用它们。但这些都是可用的工具，你必须了解它们的优点和缺点，以及何时使用它们。所以，例如，如果你在做样板代码，智能体就做得很好。样板代码就是复制粘贴的东西，它们在这方面做得很好。它们在互联网上经常出现的事情方面做得很好，因为这些模型在训练集中有很多例子。有些事物特征是模型做得很好的。
我会说 nanochat 不是这些例子之一，因为它是一个相当独特的文件库。我所组织的这种代码并不多。它不是样板代码。它几乎是智力密集型代码，一切都必须非常精确地排列。模型有很多认知缺陷。一个例子是，它们不断误解代码，因为它们从互联网上典型的做法中获得了太多的记忆，而我并没有采用。例如，模型——我不知道我是否想深入细节——但它们一直认为我写的是普通代码，而我不是。也许举个例子？你有八个 GPU 都在进行前向和后向传播。同步它们之间梯度的唯一方法是使用 PyTorch 的分布式数据并行容器，它会在你进行后向传播时自动开始通信和同步梯度。我没有使用 DDP，因为我不想使用它，因为它不是必需的。我把它扔掉了，并在优化器的步骤中编写了自己的同步例程。模型试图让我使用 DDP 容器。它们非常担心。这变得太技术化了，但我没有使用那个容器，因为我不需要它，而且我有一个类似它的自定义实现。它们就是无法内化你拥有自己的东西。它们就是无法克服这一点。它们一直试图搞乱风格。它们过于防御性。它们做了所有这些 try-catch 语句。它们一直试图创建一个生产代码库，而我的代码中有很多假设，而且没关系。我不需要所有这些额外的东西。所以我觉得它们在膨胀代码库，膨胀复杂性，它们不断误解，它们使用了许多过时的 API。这完全是一团糟。它只是没有净收益。我可以进去，我可以清理它，但它没有净收益。
我也觉得用英语打出我想要的东西很烦人，因为打字太多了。如果我只是导航到我想要的代码部分，然后去我知道代码应该出现的地方，然后开始输入前几个字母，自动补全就会得到它，并为你提供代码。这是一个非常高信息带宽的指定你想要的东西的方式。你指向你想要的代码位置，输入前几个字母，模型就会完成它。
所以我的意思是，这些模型在堆栈的某些部分做得很好。有两个例子我使用了模型，我认为它们很有启发性。一个是我生成报告的时候。这更像样板代码，所以我部分地“氛围编码”了其中一些东西。那没关系，因为它不是关键任务的东西，而且它运行得很好。另一个部分是我用 Rust 重写分词器的时候。我不太擅长 Rust，因为我刚接触 Rust。所以当我编写一些 Rust 代码时，有一些“氛围编码”正在进行。但我有一个我完全理解的 Python 实现，我只是确保我正在制作一个更高效的版本，并且我有测试，所以我对此感到更安全。它们提高了你可能不熟悉的语言或范式的可访问性。我认为它们在那方面也非常有帮助。那里有很多 Rust 代码，模型在这方面做得很好。碰巧我对它不太了解，所以模型在那里非常有用。
这个问题之所以如此有趣，是因为人们关于人工智能爆炸并迅速达到超智能的主要故事是人工智能自动化人工智能工程和人工智能研究。他们会看到 Claude Code 可以从头开始创建整个应用程序，CRUD 应用程序，然后想，“如果你在 OpenAI 和 DeepMind 等公司拥有同样的能力，想象一下一千个或一百万个你们并行工作，寻找微小的架构调整。”听到你说这是它们不对称地糟糕的事情，这很有趣。这与预测人工智能 2027 年式的爆炸是否可能很快发生有关。
说得好，你抓住了为什么我的时间线会稍长一些。你说得对。它们不擅长编写以前从未写过的代码，也许可以这样说，这就是我们在构建这些模型时试图实现的目标。
一个非常天真的问题，但你添加到 nanochat 中的架构调整，它们是否在某个论文中？它们可能甚至在某个代码库中？你要求“添加 RoPE 嵌入”之类的东西，但它们以错误的方式做到，这是否令人惊讶？
这很难。它们知道，但它们并不完全知道。它们不知道如何将它完全集成到代码库、你的风格、你的代码和你的位置，以及你的一些自定义操作中，以及它如何与代码库的所有假设相匹配。它们确实有一些知识，但它们还没有达到能够集成并理解它的程度。
很多东西都在不断改进。目前，我使用的最先进的模型是 GPT-5 Pro，这是一个非常强大的模型。如果我有 20 分钟，我会复制粘贴我的整个代码库，然后去问 GPT-5 Pro，这个神谕，一些问题。通常它并不太糟糕，而且与一年前存在的相比，出奇地好。
总的来说，模型还没有达到那个水平。我觉得行业跳得太大了，试图假装这很神奇，但事实并非如此。这是粗制滥造。它们没有正视这一点，也许它们是为了筹集资金或其他什么。我不确定发生了什么，但我们正处于这个中间阶段。模型很棒。它们仍然需要大量工作。目前，自动补全是我最喜欢的。但有时，对于某些类型的代码，我会使用 LLM 智能体。
这是另一个有趣的原因。纵观编程史，有许多生产力提升——编译器、代码检查、更好的编程语言——它们提高了程序员的生产力，但并未导致爆炸式增长。这听起来非常像自动补全标签，而另一类是程序员的自动化。有趣的是，你看到了更多属于“更好的编译器等历史类比”范畴的东西。
也许这引出了另一个想法。我很难区分人工智能从哪里开始和在哪里停止，因为我认为人工智能从根本上是计算的延伸，而且是非常根本的。我看到了从一开始的递归自我改进或加速程序员的连续体：代码编辑器、语法高亮，甚至类型检查，比如数据类型检查——所有这些我们为彼此构建的工具。甚至搜索引擎。为什么搜索引擎不是人工智能的一部分？排名就是人工智能。在某个时候，谷歌，甚至早期，都将自己视为一家人工智能公司，经营着谷歌搜索引擎，这是完全公平的。我认为它比其他人更像一个连续体，而我很难划清界限。我觉得我们现在正在获得更好的自动补全，现在我们也获得了一些智能体，这些智能体是循环式的，但有时会失控。
正在发生的是，人类在低级工作上做得越来越少。我们不再编写汇编代码，因为我们有编译器。编译器将我的高级语言 C 转换为汇编代码。我们正在非常、非常缓慢地进行抽象。我称之为“自主性滑块”，越来越多的东西被自动化——在任何时候可以自动化的东西——而我们做得越来越少，并将自己提升到自动化之上的抽象层。
我们来谈谈强化学习。你在这方面发了一些非常有趣的东西。概念上，我们应该如何看待人类仅通过与环境互动就能构建一个丰富的世界模型，而且这些方式似乎几乎与剧集结束时的最终奖励无关？如果有人创业，十年后，她发现公司成功还是失败了，我们会说她获得了大量的智慧和经验。但这并不是因为过去 10 年发生的每一件事的对数概率都被加权或减权了。正在发生一些更深思熟虑、更丰富的事情。
机器学习的类比是什么？它与我们现在使用 LLM 的方式相比如何？
也许我的说法是，人类并不使用强化学习，正如我所说的。我认为他们做的是不同的事情。强化学习比普通人想象的要糟糕得多。强化学习非常糟糕。碰巧的是，我们在此之前所做的一切都更糟糕，因为以前我们只是在模仿别人，所以它有所有这些问题。
在强化学习中，假设你在解决一个数学问题，因为它非常简单。你得到了一个数学问题，然后你试图找到解决方案。在强化学习中，你首先会尝试很多事情。你得到了一个问题，你尝试了数百种不同的尝试。这些尝试可能很复杂。它们可能是这样的，“哦，让我试试这个，让我试试那个，这个没用，那个没用，”等等。然后你可能会得到一个答案。现在你查看书的背面，看到，“好吧，正确答案是这个。”你可以看到其中一个，其中一个，以及其中一个得到了正确答案，但其他 97 个没有。
字面上说，强化学习所做的就是去关注那些效果非常好的，以及你一路上的每一件事，每一个 token 都会被加权，就像，“多做这个。”问题在于，人们会说你的估计量方差很大，但它只是嘈杂的。它很嘈杂。它几乎假设你所做的每一个微小的、导致正确答案的解决方案部分都是正确的做法，而事实并非如此。你可能走过错误的弯路才找到了正确的解决方案。你所做的每一个不正确的行为，只要你找到了正确的解决方案，都会被加权为“多做这个”。这太糟糕了。这是噪音。你做了所有这些工作，结果却发现，最后，你只得到一个数字，比如，“哦，你做对了。”基于此，你会将整个轨迹加权为“增加”或“减少”。
我喜欢这样说，你就像通过吸管在吸取监督。你做了所有这些工作，可能需要一分钟的滚动，然后你通过吸管吸取最终奖励信号的监督片段，然后将其广播到整个轨迹，并用它来增加或减少该轨迹的权重。这太愚蠢和疯狂了。人类永远不会这样做。第一，人类永远不会进行数百次滚动。第二，当一个人找到解决方案时，他们会有一个相当复杂的回顾过程：“好吧，我认为我做得好的部分，我做得不好的部分。我可能应该这样做或那样做。”他们会思考。目前的 LLM 中没有任何东西可以做到这一点。没有等价物。但我确实看到论文开始出现，它们试图做到这一点，因为这在业内显而易见。
顺便说一句，第一次模仿学习是极其令人惊讶、神奇和惊人的，我们可以在人类身上进行模仿微调。那太不可思议了。因为一开始，我们只有基础模型。基础模型就是自动补全。当时我并不清楚，我不得不学习这一点。让我大开眼界的那篇论文是 InstructGPT，因为它指出，你可以采用预训练模型，也就是自动补全，然后如果你只是用看起来像对话的文本对其进行微调，模型就会非常迅速地适应，变得非常健谈，并且它会保留预训练的所有知识。这让我大开眼界，因为我不明白它在风格上可以如此迅速地调整，并通过几次对该类数据的微调，成为用户的助手。对我来说，这工作得如此神奇，真是太不可思议了。太棒了。
这需要两到三年的工作。现在轮到了强化学习。强化学习比单纯的模仿学习做得更好，因为你可以拥有这些奖励函数，并且可以在奖励函数上进行爬坡。有些问题只有正确的答案，你可以在不模仿专家轨迹的情况下进行爬坡。所以这很棒。模型还可以发现人类可能永远想不出的解决方案。这太不可思议了。然而，它仍然很愚蠢。我们需要更多。我昨天看到一篇来自谷歌的论文，试图将“反思与审查”的想法放在心上。是记忆库论文还是什么？我不知道。我见过几篇类似的论文。所以我预计在那个领域，我们将对如何为大型语言模型设计算法进行重大更新。我认为我们需要再有三到四到五篇，大概是这个数量。你非常擅长想出引人入胜的短语。“像吸管一样吸取监督”。这太好了。你的意思是基于结果的奖励的问题在于，你有一个巨大的轨迹，然后在最后，你试图学习关于你应该做什么以及你应该从那个最终结果中学到什么的一切。鉴于这是显而易见的，为什么基于过程的监督作为一种替代方法没有成为让模型更强大的成功方式？是什么阻止了我们使用这种替代范式？基于过程的监督只是指我们不会只在最后有一个奖励函数。在你做了10分钟的工作后，我不会告诉你你做得好还是不好。我会在每一步告诉你你做得有多好。我们没有这样做是因为如何正确地做到这一点很棘手。你有部分解决方案，你不知道如何分配功劳。所以当你得到正确答案时，它只是一个与答案的相等匹配。它非常容易实现。如果你正在做过程监督，你如何以可自动化的方式分配部分功劳？如何做到这一点并不明显。许多实验室正在尝试使用这些大型语言模型作为评判者来做到这一点。你让大型语言模型来尝试做到这一点。你给一个大型语言模型一个提示，“嘿，看看一个学生的局部解决方案。考虑到答案是这个，你认为他们做得怎么样？”然后他们试图调整提示。这很棘手的原因相当微妙。这是因为任何时候你使用大型语言模型来分配奖励，这些大型语言模型都是拥有数十亿参数的庞然大物，而且它们是可以被操纵的。如果你相对于它们进行强化学习，你几乎可以肯定会找到你的大型语言模型评判者的对抗性样本。所以你不能这样做太久。你可能做10步或20步，也许会奏效，但你不能做100步或1000步。我明白这并不明显，但基本上模型会找到小漏洞。它会在巨大模型的角落和缝隙中找到所有这些虚假的模式，并找到一种作弊的方法。一个在我脑海中突出的例子，这可能已经公开了，如果你使用大型语言模型作为奖励的评判者，你只需给它一个学生的解决方案，然后问它学生做得好不好。我们正在用强化学习来对抗那个奖励函数进行训练，而且效果非常好。然后，突然之间，奖励变得非常大。这是一个巨大的飞跃，而且它做得完美。你看着它说：“哇，这意味着学生在所有这些问题上都是完美的。它已经完全解决了数学问题。”但当你查看模型生成的完成内容时，它们完全是胡说八道。它们开始还可以，然后变成了“dhdhdhdh”。就像，“哦，好吧，我们来做二加三，我们这样做，然后是dhdhdhdh。”你看着它，就像，这太疯狂了。它怎么能得到一或100%的奖励？你看看大型语言模型评判者，结果发现“dhdhdhdh”是模型的对抗性样本，它给它分配了100%的概率。这仅仅是因为这是一个模型之外的样本。它在训练期间从未见过它，而你正处于纯粹的泛化领域。它在训练期间从未见过它，而在纯粹的泛化领域，你可以找到这些打破它的例子。你基本上是在训练大型语言模型成为一个提示注入模型。甚至不是。提示注入太花哨了。你正在寻找对抗性样本，正如它们所说的那样。这些是无意义的解决方案，明显是错误的，但模型认为它们很棒。如果你认为这是让强化学习更有效的功能瓶颈，那么这就需要让大型语言模型成为更好的评判者，如果你想以自动化的方式做到这一点。这是否只是一种类似GAN的方法，你必须训练模型使其更具鲁棒性？实验室可能正在做所有这些。显而易见的是，“dhdhdhdh”不应该得到100%的奖励。好吧，那就拿“dhdhdhdh”来说，把它放在大型语言模型评判者的训练集中，然后说这不是100%，而是0%。你可以这样做，但每次你这样做，你都会得到一个新的大型语言模型，它仍然有对抗性样本。存在无限多的对抗性样本。可能如果你迭代几次，找到对抗性样本会越来越难，但我不能100%确定，因为这个东西有万亿个参数什么的。我敢打赌，实验室正在尝试。我仍然认为我们需要其他的想法。有趣。你对其他想法有什么构想吗？这个想法是审查解决方案包含合成示例，当你对它们进行训练时，你会变得更好，并以某种方式进行元学习。我认为有一些论文我开始看到了。我只处于阅读摘要的阶段，因为很多这些论文只是想法。有人必须在前沿大型语言模型实验室规模上以完全通用的方式使其奏效，因为当你看到这些论文时，它们会冒出来，而且有点嘈杂。它们是很好的想法，但我还没有看到任何人令人信服地证明这是可能的。话虽如此，大型语言模型实验室相当封闭，所以谁知道他们现在在做什么。我可以概念化如何训练合成示例或你自己制作的合成问题。但似乎还有人类做的另一件事——也许是睡眠，也许是白日梦，也许只是反思。我不确定机器学习的类比是什么。我还没有想出新问题。显然，最基本的类比只是对反思片段进行微调，但我认为在实践中这可能效果不佳。你对这个类比有什么看法？我确实认为我们缺少一些方面。例如，让我们以读书为例。目前，当大型语言模型阅读一本书时，这意味着我们拉长文本序列，模型预测下一个词，并从中获得一些知识。这并不是人类真正做的事情。当你读书时，我甚至不觉得这本书是你要注意和训练的阐述。这本书是我进行合成数据生成的提示集，或者让你去读书俱乐部和朋友们讨论它。正是通过操纵这些信息，你才能真正获得知识。我们对大型语言模型没有等效的东西。它们实际上并不这样做。我希望在预训练的某个阶段，模型能够思考材料，并尝试将其与已知内容进行协调，并思考一段时间并使其奏效。这没有任何等效之处。这都是研究。有一些微妙的——非常微妙的，我认为非常难以理解——原因是我们无法轻易地做到这一点。如果我只能描述一个：为什么我们不能合成生成并对其进行训练？因为每一个合成示例，如果我只是对模型进行合成生成，让你思考一本书，你看着它，你会说，“这看起来很棒。为什么我不能训练它？”你可以尝试，但如果你继续尝试，模型会变得更糟。这是因为你从模型中获得的所有样本都已悄悄崩溃。悄悄地——如果你看任何一个例子，它并不明显——它们占据了关于内容可能思想的非常小的流形。大型语言模型出来时，它们就是我们所说的“崩溃”了。它们有一个崩溃的数据分布。一个简单的方法是去 ChatGPT 并问它，“给我讲个笑话。”它只有大约三个笑话。它没有给你讲所有可能的笑话。它只知道大约三个笑话。它们悄悄地崩溃了。你没有从这些模型中获得像从人类那里获得的丰富性、多样性和熵。人类的噪音要大得多，但至少它们在统计意义上没有偏见。它们没有悄悄崩溃。它们保持着大量的熵。那么，如何在崩溃的情况下进行合成数据生成，同时保持熵呢？这是一个研究问题。只是为了确保我理解了，崩溃与合成数据生成相关的原因是，你想能够想出不在你的数据分布中的合成问题或反思？我猜我的意思是，假设我们有一章书，我让一个大型语言模型思考它，它会给你一些看起来非常合理的东西。但如果我问它10次，你会注意到它们都一样。你不能仅仅通过不断扩大“反思”的规模，并从相同的提示信息中获得回报。任何单个样本看起来都可以，但它的分布相当糟糕。它非常糟糕，以至于如果你继续训练你自己的东西太多，你实际上会崩溃。我认为可能没有根本的解决方案。我也认为人类会随着时间的推移而崩溃。这些类比出奇地好。人类在其一生中会崩溃。这就是为什么孩子们还没有过拟合。他们会说一些让你震惊的话，因为你可以看到他们的想法从哪里来，但这并不是人们会说的话，因为他们还没有崩溃。但我们已经崩溃了。我们最终会重温相同的想法。我们最终会说越来越多相同的话，学习速度会下降，崩溃会继续恶化，然后一切都会恶化。你有没有看过这篇非常有趣的论文，说梦境是一种防止这种过拟合和崩溃的方式？梦境在进化上具有适应性的原因是让你处于与日常现实非常不同的奇怪情境中，从而防止这种过拟合。这是一个有趣的观点。我确实认为，当你产生脑海中的东西，然后你关注它时，你就在训练自己的样本，你就在训练自己的合成数据。如果你这样做太久，你就会偏离轨道，并且会过度崩溃。你一生中必须始终寻求熵。与他人交谈是熵的一个重要来源，等等。所以大脑可能也建立了一些内部机制来增加这个过程中的熵。这是一个有趣的观点。这是一个非常不成熟的想法，所以我把它说出来让你反应一下。我们所知道的最好的学习者，也就是孩子，非常不擅长回忆信息。事实上，在童年早期，你会忘记一切。你对某个年份之前发生的一切都失忆了。但你非常擅长学习新语言和从世界学习。也许有一种能够“见树木，也见森林”的元素。而如果你把它与另一个极端相比，你有大型语言模型预训练，这些模型将能够逐字复述维基百科页面的下一项内容。但它们快速学习抽象概念的能力，就像孩子一样，要有限得多。然后成年人介于两者之间，他们没有童年学习的灵活性，但他们可以像孩子一样难以记忆事实和信息。我不知道这方面是否有有趣的东西。我认为这方面非常有趣，100%。我确实认为与大型语言模型相比，人类在“见树木，也见森林”方面有更多的元素。我们实际上并不擅长记忆，这实际上是一个优点。因为我们不擅长记忆，所以我们被迫以更普遍的方式寻找模式。相比之下，大型语言模型非常擅长记忆。它们会背诵所有这些训练来源的段落。你可以给它们完全无意义的数据。你可以对一些文本进行哈希处理或类似的东西，你会得到一个完全随机的序列。如果你对它进行训练，即使只是一两次迭代，它也可以突然复述整个内容。它会记住它。一个人不可能读一个随机数字序列并背诵给你听。这是一个优点，而不是一个缺点，因为它迫使你只学习可泛化的部分。而大型语言模型则被预训练文档的记忆所干扰，并且在某种意义上可能非常令人分心。所以这就是为什么当我谈论认知核心时，我想移除记忆，这就是我们谈论的。我希望它们拥有更少的记忆，这样它们就必须查找信息，并且只保留思考的算法、实验的想法以及所有这些行动的认知粘合剂。这与防止模型崩溃有关吗？让我想想。我不确定。这几乎就像一个独立的维度。模型在记忆方面做得太好了，我们应该以某种方式消除它。人们做得差很多，但这是好事。模型崩溃的解决方案是什么？你可以尝试一些非常天真的事情。逻辑值的分布应该更宽，或者别的什么。有很多天真的事情你可以尝试。天真方法的症结是什么？这是一个很好的问题。你可以想象有一个熵的正则化等等。我猜它们在经验上效果不如现在，因为模型已经崩溃了。但我会说，我们对它们的大多数任务实际上并不需要多样性。这可能是正在发生的事情的答案。前沿实验室正试图让模型变得有用。我觉得输出的多样性不是那么……第一，它更难处理和评估等等，但也许它并没有捕捉到大部分价值。事实上，它被积极地惩罚。如果你在强化学习中非常有创造力，那是不好的。是的。或者，如果你写了很多东西，从大型语言模型那里获得帮助等等，那可能很糟糕，因为模型会悄悄地给你提供相同的东西。它们不会探索回答问题的各种方式。也许这种多样性，不是很多应用需要它，所以模型就没有它。但那么，在合成数据生成时间等方面就会出现问题。所以我们通过不允许这种熵在模型中保持来扼杀自己。也许实验室应该更努力。我认为你暗示这是一个非常根本的问题，不容易解决。你直觉上认为是什么？我不知道它是否非常根本。我不知道我是否打算这么说。我确实认为我没有做过这些实验，但我确实认为你可能可以正则化熵使其更高。所以你在鼓励模型给你越来越多的解决方案，但你不想让它偏离训练数据太远。它会开始编造自己的语言。它会开始使用非常罕见的词语，所以它会偏离分布太远。所以我认为控制分布只是很棘手的。从这个意义上说，它可能并不容易。如果你必须猜测，那么智能的最佳核心应该有多少比特？我们放在冯·诺依曼探测器上的东西，需要多大？这在该领域的历史中非常有趣，因为一度一切都非常注重规模化，就像，“哦，我们将制造更大的模型，万亿参数的模型。”模型在尺寸上的变化是它们先变大，然后又变小。最先进的模型更小。即使如此，我认为它们记住了太多东西。所以我很久以前有一个预测，我几乎觉得我们可以拥有非常好的认知核心，即使只有十亿参数。如果你和一个拥有十亿参数的模型交谈，我认为在20年后，你可以进行一次非常有成效的对话。它会思考，而且它更像人类。但如果你问它一些事实性问题，它可能必须查找，但它知道自己不知道，而且它可能必须查找，它会做所有合理的事情。你认为需要十亿参数，这很令人惊讶。因为我们已经有了拥有数十亿参数的模型，或者拥有数亿参数的模型，它们非常聪明。好吧，最先进的模型有万亿参数。但它们记住了太多东西。是的，但我很惊讶在10年后，考虑到这个速度……我们有 gpt-oss-20b。这比原始的 GPT-4 好得多，它有万亿参数以上。考虑到这种趋势，我惊讶于你认为在10年后认知核心仍然是十亿参数。我惊讶于你没有说，“哦，它将是数千万或数百万。”问题在于，训练数据是互联网，这非常糟糕。因为互联网很糟糕，所以有很多可以改进的地方。即使是互联网，当你和我想到互联网时，你想到的是《华尔街日报》。不是这样的。当你查看前沿实验室的预训练数据集，然后查看一个随机的互联网文档时，它是完全的垃圾。我什至不知道这到底是怎么回事。它是一些股票行情，符号，它是来自互联网各个角落的大量废话和垃圾。不像你的《华尔街日报》文章，那是非常罕见的。所以因为互联网很糟糕，我们必须构建非常大的模型来压缩所有这些。大部分压缩是记忆工作而不是认知工作。但我们真正想要的是认知部分，删除记忆。我猜我的意思是，我们需要智能模型来帮助我们改进预训练集，将其缩小到认知部分。然后我认为你可以用一个更小的模型来做到这一点，因为它是一个更好的数据集，你可以对其进行训练。但可能它不是直接在其上训练的，它可能仍然是从一个更好的模型中提炼出来的。但为什么提炼后的版本仍然是十亿参数？我只是觉得提炼效果非常好。所以几乎所有的小模型，如果你有一个小模型，它几乎肯定是提炼出来的。对，但为什么10年后提炼出来的仍然是十亿参数？哦，你认为它应该更小吗？我的意思是，拜托，对吧？我不知道。在某个时候，它至少需要十亿个旋钮来做一些有趣的事情。你认为它应该更小吗？是的。如果你看看过去几年寻找低垂果实的趋势，并在短短两年内从万亿参数模型转向比它们小两个数量级的模型，并且性能更好，这让我觉得智能的核心可能要小得多。正如费曼所说，底部有充足的空间。我觉得我通过谈论十亿参数的认知核心已经很逆反了，而你却超越了我。也许我们可以小一点。我确实认为，从实际角度来看，你希望模型拥有一些知识。你不想让它查找一切，因为那样你就无法在脑海中思考。你一直在查找太多东西。需要有一些基础课程来获取知识，但它不需要晦涩的知识。我们正在讨论什么是可能的认知核心。有一个单独的问题是，随着时间的推移，前沿模型的规模将是多少？我很好奇你是否有预测。我们规模不断扩大，直到大约 GPT 4.5，现在我们看到规模在缩小或趋于平稳。这可能有很多原因。你对未来有什么预测？最大的模型会更大，会更小，还是会一样？我没有非常强烈的预测。实验室只是在务实。他们有浮点运算预算和成本预算。事实证明，预训练并不是你想要投入大部分浮点运算或成本的地方。这就是为什么模型变小了。它们稍微小一些，预训练阶段也小一些，但它们在强化学习、中期训练以及所有后续阶段中弥补了这一点。它们只是在所有阶段都务实，以及如何获得最大的回报。预测这种趋势相当困难。我仍然预计还有很多低垂的果实。这是我的基本期望。我在这里有一个非常宽的分布。你预计低垂的果实与过去两到五年发生的事情在性质上是相似的吗？如果我看看 nanochat 与 nanoGPT 以及你进行的架构调整，你是否期望这种风格继续下去？你不期望任何巨大的范式转变。在大多数情况下，是的。我预计数据集会变得好得多。当你看看平均数据集时，它们非常糟糕。它们太糟糕了，我甚至不知道任何东西是如何工作的。看看训练集中的平均示例：事实错误、错误、无意义的东西。不知何故，当你大规模地进行时，噪音会消失，你就会剩下一些信号。数据集将得到极大的改进。一切都会变得更好。我们的硬件，运行硬件的所有内核以及最大化硬件利用率。英伟达正在逐步调整硬件本身，张量核心，所有这些都需要发生，并且将继续发生。所有内核都会变得更好，并最大限度地利用芯片。所有算法都可能会在优化、架构以及所有建模组件方面得到改进，以及我们正在训练的所有算法。我确实预计没有任何东西会占主导地位。一切加上20%。这大致是我所看到的。人们提出了不同的方法来描绘我们朝着完全通用人工智能（AGI）取得了多少进展。如果你能画出一条线，你就能看到这条线与AGI的交汇点以及它会在x轴上的哪个位置。人们提出教育水平。我们有一个高中生，然后他们通过强化学习上了大学，他们将获得博士学位。我不喜欢那个。或者他们会提出视野长度。也许他们可以自主完成需要一分钟的任务。然后他们可以自主完成需要一个小时的任务，一个人类一个小时，一个人类一周。你如何看待相关的y轴？我们应该如何看待人工智能的进步？我有两个答案。第一，我几乎想完全拒绝这个问题，因为我将其视为计算的延伸。我们是否谈论过如何绘制计算的进展，或者自20世纪70年代以来你如何绘制计算的进展？y轴是什么？从这个角度来看，整个问题有点好笑。当人们谈论人工智能和最初的AGI，以及我们在OpenAI成立时是如何谈论它的时，AGI是一个你可以去并且能够以人类水平或更好的性能完成任何经济上有价值任务的系统。那就是定义。当时我很满意。我一直坚持这个定义，然后人们编造了各种其他定义。但我喜欢那个定义。人们总是做出的第一个让步是他们删除了所有物理方面的东西，因为我们只谈论数字知识工作。与最初的定义相比，这是一个相当大的让步，即人类可以做的任何任务。我可以举起东西等等。人工智能显然做不到这一点，但我们姑且接受。通过说“哦，只有知识工作”，我们正在夺走经济的多少份额？我不知道数字。如果我必须猜测，我认为只有10%到20%是知识工作，有人可以在家工作并执行任务，等等。这仍然是一个非常大的市场。经济的规模是多少，10%或20%是多少？即使在美国，我们仍然在谈论数万亿美元的市场份额或工作。所以这仍然是一个非常巨大的领域。回到定义，我将要看的是这个定义在多大程度上是正确的。是否有工作或很多任务？如果我们把任务看作是任务而不是工作。这很困难，因为问题是社会将根据构成工作的任务进行重组，根据哪些任务可以自动化或不能自动化。今天，哪些工作可以被人工智能取代？最近一个很好的例子是杰夫·辛顿的预测，放射科医生将不再是一个职业，而这在很多方面都被证明是错误的。放射科医生仍然健在并不断发展，尽管计算机视觉在识别他们需要在图像中识别的所有不同事物方面做得非常好。这只是一个混乱、复杂的工作，有很多表面情况，以及与患者打交道以及所有相关的事情。我不知道根据这个定义，人工智能是否已经产生了巨大的影响。我将要寻找的一些工作具有一些特征，使其比其他工作更容易自动化。例如，呼叫中心员工经常被提及，而且我认为是正确的。呼叫中心员工在可自动化性方面具有一些简化特性。他们的工作相当简单。这是一系列任务，每个任务看起来都差不多。你接一个电话，与一个人互动，互动10分钟或 whatever，可能更长。根据我的经验，长得多。你在某个计划中完成某项任务，然后更改一些数据库条目之类的东西。所以你一遍又一遍地重复某件事，这就是你的工作。你确实想引入任务视野——完成任务需要多长时间——然后你还想移除上下文。你没有处理公司服务或其他客户的不同部分。它只是数据库，你，以及你服务的对象。它更封闭，更容易理解，纯粹是数字化的。所以我将寻找这些东西。但即使在那里，我也还没有看到完全自动化。我正在寻找一个自主性滑块。我预计我们不会立即取代人类。我们将替换掉那些完成80%工作量的人工智能。它们将20%的工作量委托给人类，而人类则监督着五个人工智能团队来完成更例行公事的呼叫中心工作。我将寻找新的界面或新的公司，提供某种层，允许你管理其中一些尚未完美的人工智能。然后我预计这将在整个经济中发生。很多工作比呼叫中心员工要难得多。对于放射科医生，我完全是在猜测，我不知道放射科医生实际的工作流程是什么。但一个可能适用的类比是，当 Waymo 最初推出时，前面会坐着一个人，你必须让他们在那里，以确保如果出现什么严重问题，他们会在那里进行监控。即使是今天，人们仍然在观察以确保事情顺利进行。机器人出租车，刚刚部署，里面仍然有人。现在我们可能处于类似的情况，如果你自动化了99%的工作，最后1%人类必须做的工作就非常有价值，因为它瓶颈了所有其他事情。如果放射科医生的情况是这样，就像 Waymo 前面坐着的人必须经过多年的专业培训才能提供最后1%，他们的工资应该会大幅上涨，因为他们是唯一瓶颈广泛部署的东西。我认为放射科医生的工资上涨也是出于类似的原因，如果你是最后一个瓶颈，而且你不是可替代的。Waymo 司机可能与其他司机可替代。所以你可能会看到这种情况，你的工资上涨，直到达到99%，然后随着最后1%的消失而急剧下降。我想知道我们是否在放射学或呼叫中心员工的薪资等方面看到了类似的情况。这是一个有趣的问题。我认为我们目前在放射学方面看不到这种情况。我认为放射学不是一个好例子。我不知道杰夫·辛顿为什么挑上放射学，因为我认为这是一个极其混乱、复杂的职业。我更感兴趣的是今天呼叫中心员工身上发生的事情，因为我认为很多例行公事今天都可以自动化。我没有第一手信息，但我会关注呼叫中心员工身上发生的事情的趋势。我还会预料到的一些事情是，也许他们正在替换人工智能，但我仍然会等待一两年，因为我可能会预料到他们会撤回并重新雇用一些人。有证据表明，在采用人工智能的公司中，这种情况已经普遍发生，我认为这相当令人惊讶。我也觉得非常令人惊讶。AGI，对吧？一个能做一切的事情。我们将排除体力劳动，但它应该能够完成所有知识工作。你天真地会认为，这种进展的方式是，你拿走咨询师做的一项小任务，你把它从桶里拿出来。你拿走会计师做的一项小任务，你把它从桶里拿出来。然后你只是在所有知识工作中这样做。但相反，如果我们相信我们正处于当前范式下的AGI的道路上，那么这种进展的方式就完全不同。咨询师和会计师似乎并没有获得巨大的生产力提升。程序员的工作正被一点一点地蚕食。如果你看看这些公司的收入，排除正常的聊天收入（这类似于谷歌或类似的东西），只看 API 收入，它主要由编码驱动。所以这个“通用”的东西，应该能够做任何知识工作，却压倒性地只做编码。这是 AGI 部署的一种令人惊讶的方式。这里有一个有趣的观点。我确实相信编码是这些大型语言模型和代理的完美起点。这是因为编码一直以来都围绕着文本工作。它是计算机终端和文本，一切都围绕着文本。大型语言模型，它们在互联网上训练的方式，喜欢文本。它们是完美的文本处理器，而且那里有所有这些数据。这是一个完美的匹配。我们还拥有大量预先构建好的处理代码和文本的基础设施。例如，我们有 Visual Studio Code 或你最喜欢的 IDE 显示代码，而代理可以插入其中。如果一个代理对它所做的更改进行了 diff，我们突然就有所有这些代码可以显示对代码库的所有更改。这几乎就像我们预先构建了大量的代码基础设施。将此与一些根本不享受这一点的事物进行对比。例如，有人试图为幻灯片而不是编码构建自动化。我看到一家公司在做幻灯片。这要困难得多。之所以困难得多，是因为幻灯片不是文本。幻灯片是小的图形，它们在空间上排列，并且有视觉组成部分。幻灯片没有这种预构建的基础设施。例如，如果一个代理要对你的幻灯片进行更改，这个东西如何显示 diff？你如何看到 diff？没有东西可以显示幻灯片的 diff。有人必须构建它。其中一些东西不适合人工智能，因为它们是文本处理器，而代码令人惊讶地适合。我不确定这是否能单独解释。我个人曾试图让大型语言模型在纯粹的语言输入、语言输出的领域有用，比如改写文字记录，根据文字记录制作剪辑。很有可能我没有做所有我能做的事情。我把一些好的例子放在了上下文中，但也许我应该做一些微调。我们共同的朋友安迪·马图沙克（Andy Matuschak）告诉我，他尝试了500亿次来让模型擅长编写间隔重复提示。同样，这是非常语言输入、语言输出的任务，应该是这些大型语言模型能力的核心。他尝试了上下文学习和少量示例。他尝试了监督微调和检索。他无法让它们制作出令他满意的卡片。因此，即使在语言输出领域，也很难从这些模型中获得大量经济价值，这与编码分开，这让我感到震惊。我不知道这能解释什么。这说得通。我并不是说任何文本都是微不足道的。我认为代码是相当结构化的。文本可能更华丽，而且文本中的熵要大得多，我想说。我不知道还有什么其他方式来表达它。代码也很难，所以人们会觉得大型语言模型很有帮助，即使是简单的知识。我不知道我有一个很好的答案。显然，文本让事情变得容易得多，但这并不意味着所有文本都是微不足道的。你如何看待超级智能？你认为它会与普通人类或人类公司在性质上有所不同吗？我将其视为社会自动化的一个进程。推断计算的趋势，将会有越来越多的事物被自动化，而超级智能将是这一趋势的延伸。我们期望随着时间的推移，会有越来越多的自主实体来完成大量的数字工作，然后最终甚至包括体力劳动。基本上，我将其视为自动化，粗略地说。但自动化包括人类已经能够做的事情，而超级智能则意味着人类无法做的事情。但人类所做的事情之一是发明新事物，如果这说得通的话，我将把它们归入自动化。但也许不那么抽象，更定性地说，你是否期望某种东西会让你感觉……因为这个东西可以思考得如此之快，或者有如此多的副本，或者副本可以合并回自身，或者更聪明，人工智能可能拥有的任何优势，存在这些人工智能的文明是否会与人类在性质上有所不同？我认为会。它本质上是自动化，但它将是极其陌生的。它看起来会非常奇怪。正如你所提到的，我们可以在计算机集群上运行所有这些，而且速度更快。我开始感到担忧的一些情景是，当世界看起来像那样时，我们将逐渐失去对正在发生的事情的控制和理解。我认为这是最有可能的结果，我们将逐渐失去理解。我们将逐渐在各地添加所有这些东西，而理解它的人将越来越少。然后我们将逐渐失去对正在发生的事情的控制和理解。对我来说，这似乎是所有这些事情如何发生的可能性最大的结果。让我对此进行一些探讨。不清楚的是，失去控制和失去理解是否是同一件事。一家台积电、英特尔公司的董事会——随便说一家公司——他们只是有声望的80岁老人。他们几乎不理解，也许他们实际上并没有控制权。一个更好的例子是美国总统。总统拥有大量的权力。我不是想对现任总统发表什么好话，或者也许我是，但实际的理解水平与控制水平非常不同。我认为这是公平的。这是一个很好的反驳。我认为我期望两者都失去。为什么？失去理解是显而易见的，但为什么失去控制？我们已经进入了一个我不知道它看起来像什么的新领域，但如果我写科幻小说，它们将不会是一个实体控制一切，而是多个相互竞争的实体，它们逐渐变得越来越自主。其中一些会失控，而另一些则会与之对抗。这是我们已经委托给的完全自主活动的混合体。我觉得它会有那种味道。导致失去控制的不是它们比我们聪明，而是它们在相互竞争，而这种竞争产生的任何东西都会导致失去控制。其中许多东西将是人类的工具，它们代表人类行事或类似的事情。所以也许那些人控制着，但也许从社会整体来看，我们想要的结果是失去控制。你有代表个人行事的实体，但这些实体仍然大致被视为失控。这是一个我应该早点问的问题。我们一直在谈论，目前感觉当你从事人工智能工程或人工智能研究时，这些模型更像是编译器而不是替代品。在某个时候，如果你有了AGI，它应该能够做你所做的事情。你是否觉得拥有数百万个你并行的副本会导致人工智能进步的巨大加速？如果真的发生这种情况，你是否期望在拥有真正的AGI后出现智能爆炸？我不是在谈论今天的大型语言模型。我确实认为，但这是常规操作，因为我们已经处于智能爆炸之中，而且已经持续了几十年。基本上，GDP曲线是整个行业各个方面的指数加权总和。一切都在逐渐自动化，而且已经持续了数百年。工业革命是自动化以及一些物理组件和工具构建以及所有这些东西。编译器是早期的软件自动化，等等。我们一直在递归地自我改进和爆炸，已经很长时间了。另一种看待它的方式是，地球是一个相当无聊的地方，如果你不看生物力学等，而且看起来非常相似。如果你从太空看，我们正处于这个烟花爆竹事件的中间，但我们正在慢动作地看到它。我绝对觉得这种情况已经发生很长时间了。同样，我并不认为人工智能是一项与长期以来发生的事情不同的技术。你认为它与这种超指数趋势是连续的吗？是的。这就是为什么这对我来说非常有趣，因为我曾试图在GDP中寻找人工智能。我认为GDP应该上涨。但然后我看了其他一些我认为非常有变革性的技术，比如电脑或手机等等。你在GDP中找不到它们。GDP是相同的指数。即使是早期的iPhone也没有App Store，也没有很多现代iPhone所拥有的功能。所以即使我们认为2008年iPhone问世是一个重大的地震式变革，但实际上并非如此。一切都分散得如此之广，并且传播得如此缓慢，以至于一切最终都被平均化为相同的指数。电脑也是如此。你在GDP中找不到它们，就像，“哦，我们现在有电脑了。”事情不是这样的，因为这是一个非常缓慢的进展。有了人工智能，我们将看到完全相同的事情。它只是更多的自动化。它允许我们编写以前无法编写的不同类型的程序，但人工智能仍然是程序。它是一种新型计算机和一种新型计算系统。但它有所有这些问题，它会随着时间的推移而扩散，并且最终会加起来得到相同的指数。我们仍然会有一个指数，它将变得非常垂直。生活在这种环境中将非常陌生。你是说，如果你看看工业革命之前的趋势到现在，你有一个超指数，从0%的增长到10000年前的0.02%的增长，到现在我们有2%的增长。这是一个超指数。你是说，如果你看看过去300年，你所看到的是技术接踵而至——电脑、电气化、蒸汽机、铁路等等——但增长率完全相同，是2%。你是说增长率会上升吗？增长率也大致保持不变，对吧？只有在过去200、300年里。但在人类历史的进程中，它已经爆炸了。它从0%变成了越来越快。工业爆炸，2%。有一段时间我试图在GDP曲线上找到人工智能或寻找人工智能，我确信这是错误的。即使人们谈论递归自我改进和实验室之类的事情，这也是常规操作。当然它会递归地自我改进，而且它一直在递归地自我改进。大型语言模型使工程师能够更有效地构建下一轮大型语言模型，并且越来越多的组件正在自动化和调整等等。所有工程师都可以访问谷歌搜索，所有工程师都有 IDE，所有工程师都有自动完成或 Claude 代码等等，这一切都是整个事物加速的同一部分。它就是如此平稳。只是为了澄清，你是说增长率不会改变。智能爆炸将表现为它只是使我们能够继续保持2%的增长轨迹，就像互联网帮助我们保持2%的增长轨迹一样。是的，我的期望是它保持相同的模式。只是为了提出相反的论点，我的期望是它会爆炸，因为我认为真正的AGI——我不是在谈论大型语言模型编码机器人，我是在谈论真正取代服务器中的人类——与这些其他提高生产力的技术在性质上是不同的，因为它本身就是劳动力。我认为我们生活在一个非常受劳动力限制的世界。如果你和任何创业公司创始人或任何人都谈谈，你可以问他们，他们还需要什么？他们需要真正有才华的人。如果你有数十亿额外的人在发明东西，整合自己，从头到尾地创建公司，这感觉与单一技术在性质上是不同的。就好像你在这个星球上多了100亿人。也许是一个反驳。我非常愿意在这个问题上被说服，无论哪种方式。但我想说，例如，计算就是劳动力。计算就是劳动力。计算机，很多工作消失了，因为计算机正在自动化大量数字信息处理，而你现在不需要人类来做。所以计算机就是劳动力，而且这种情况已经发生了。自动驾驶作为例子也是计算机在做劳动力。这种情况已经发生了。它仍然是常规操作。你有一个机器，它可能会以更快的速度吐出更多这样的东西。历史上，我们有增长模式改变的例子，你从0.2%的增长变成了2%的增长。对我来说，一个机器然后吐出下一辆自动驾驶汽车和下一个互联网以及任何东西似乎是很有可能的……我明白它的来源。同时，我确实觉得人们会假设，“我们有一个装在盒子里的上帝，现在它可以做任何事情了”，而它不会是这样的。它将能够做一些事情。它会在其他事情上失败。它将逐渐融入社会，我们最终会得到相同的模式。这是我的预测。这种突然拥有一个完全智能、完全灵活、完全通用的盒子里的“人”，并且我们可以将其应用于社会上的任意问题，这种假设，我认为我们不会有这种离散的变化。我认为我们将以同样的方式逐渐渗透到整个行业。在这些对话中，它常常会产生误导。我不想在这个语境中使用“智能”这个词，因为智能意味着你认为会有一个单一的超级智能坐在服务器里，它会神谕般地想出新的技术和发明来导致这种爆炸。这正是我在想象20%增长时所想象的。我正在想象有数十亿非常聪明的人类般的思想，可能，或者这就是所需要的。但事实是，有数亿，数十亿，每个人都在制造新产品，弄清楚如何将自己融入经济。如果一个经验丰富、聪明的移民来到这个国家，你不需要弄清楚如何将他们融入经济。他们自己会弄清楚。他们可以创办一家公司，他们可以发明，或者提高生产力。
在世界上。我们有例子，即使在当前的体制下，也有地方实现了10-20%的经济增长。如果你只是有很多人，而与人口相比资本较少，你就可以拥有香港或深圳或其他任何地方，实现几十年10%以上的增长。有很多非常聪明的人准备利用资源，进行这段追赶时期，因为我们经历了这种不连续性，我认为人工智能可能也类似。
我明白，但我仍然认为你预设了某种离散的跳跃。我们正在等待某种解锁。然后突然之间，数据中心里就会出现天才。我仍然认为你预设了某种离散的跳跃，这种跳跃没有历史先例，我在任何统计数据中都找不到，而且我认为它可能不会发生。
我的意思是，工业革命就是这样一次跳跃。你从0.2%的增长率跃升到2%的增长率。我只是说你会看到另一次这样的跳跃。
我有点怀疑，我得去看看。例如，工业革命前的一些记录不太好。我对此有点怀疑，但我没有强烈的意见。
你是在说这是一次极其神奇的单一事件。你是在说可能还会发生另一次像那样，极其神奇的事件。它将打破范式，等等。
我其实不认为……工业革命的关键在于它并非神奇。如果你仔细观察，在1770年或1870年，你不会看到有什么关键发明。但与此同时，你确实将经济推向了一个进步快得多、指数级增长了10倍的模式。
我期望人工智能也能发生类似的事情，它不会像有一个单一时刻我们做出了关键发明。它是一种正在被解锁的积压。就像可能有一种新的能源。存在某种解锁——在这种情况下，某种认知能力——并且有大量的认知工作积压待完成。没错。你期望当这项新技术跨越门槛时，能填补这种积压。
也许可以这样想，纵观历史，很多增长都源于人们提出想法，然后人们去执行这些想法并创造有价值的产出。在大部分时间里，人口一直在爆炸式增长。这推动了增长。在过去的50年里，人们一直认为增长停滞了。前沿国家的人口也停滞了。我认为我们将回到人口的指数级增长，这将导致产出的超指数级增长。
这真的很难说。我理解那个观点。我直觉上不认同那个观点。
你向我推荐了尼克·莱恩的书。在此基础上，我也觉得它超级有趣，并且采访了他。我有一些关于思考智能和进化历史的问题。现在，你在过去20年里从事人工智能研究，也许对智能是什么，以及开发它需要什么有了更切实的感受。结果，你对进化只是偶然发现它感到或多或少的惊讶吗？
我喜欢尼克·莱恩的书。我刚才在来的路上还在听他的播客。关于智能及其进化，它非常非常晚近。我对它进化感到惊讶。我觉得思考所有那些世界很有趣。假设有一千个像地球一样的行星，它们会是什么样子。我想尼克·莱恩在这里谈论了一些最早的部分。他预计在大多数行星上会有非常相似的生命形式，粗略地说，以及细菌状的东西。其中有一些中断。智能的进化直觉上对我来说应该是一个相当罕见的事件。
也许你应该根据某种事物存在了多久来判断。如果细菌存在了20亿年，什么都没发生，那么进化到真核生物可能就相当困难，因为细菌在地球进化或历史的早期就出现了。我们拥有动物多久了？也许几亿年，多细胞动物四处奔跑、爬行等等。那可能只占地球寿命的10%。也许在那个时间尺度上，这并不太棘手。直觉上，它发展起来仍然让我感到惊讶。我可能只会期待很多像动物一样的生命形式做着像动物一样的事情。你能得到某种能创造文化、知识并积累它的东西，这让我感到惊讶。
有几个有趣的后续。如果你认同萨顿的观点，即智能的核心是动物智能……他引用的那句话是“如果你达到了松鼠的智能，你就离通用人工智能不远了。”我们在6亿年前的寒武纪大爆发之后就达到了松鼠的智能。似乎促成这一点的是6亿年前的氧合事件。但智能算法立即就存在了，以制造松鼠智能。这暗示动物智能就是如此。一旦环境中有氧气，有了真核生物，你就可以直接获得算法。也许进化如此之快地偶然发现它是一个意外，但我不知道这是否意味着最终它会非常简单。所有这些事情都很难说清。
你可以稍微根据某个事物存在了多久，或者感觉某个事物被瓶颈了多久来判断。尼克·莱恩非常擅长描述细菌和古菌中这种非常明显的瓶颈。20亿年里，什么都没有发生。生物化学极其多样，但没有任何东西发展成为动物。20亿年。我不知道我们是否在动物和智能方面看到了完全相同的等价物，就你而言。
我们还可以从我们认为某种智能独立出现过多少次的角度来看待它。这是一个非常值得研究的问题。对此有一个想法。有人类智能，然后有鸟类智能。乌鸦等非常聪明，但它们的大脑部分相当独特，我们没有太多共同之处。这略微表明智能可能出现过几次。在这种情况下，你会期望它更频繁地出现。
一位前嘉宾，格温，和卡尔·舒尔曼，他们对此提出了一个非常有趣的观点。他们的观点是，人类和灵长类动物所拥有的可扩展算法，在鸟类中也出现了，也许在其他时候也出现了。但人类发现了一个进化生态位，它奖励智能的边际增长，并且也拥有一个可扩展的大脑算法，可以实现这些智能的增长。例如，如果一只鸟有一个更大的大脑，它就会从空中坠落。它的智力对于其大脑大小来说非常高，但它所处的生态位并不奖励大脑变得更大。
这可能类似于一些非常聪明的……比如海豚？没错，人类，我们有手，这奖励了我们学习如何使用工具的能力。我们可以将消化外化，为大脑提供更多能量，这启动了飞轮。还有可以操作的东西。我猜如果我是海豚会更难。你怎么生火？在水中，你能做的事情的范围，仅仅从化学角度来看，可能比你在陆地上能做的事情要少。
我确实同意关于这些生态位和所受激励的观点。我仍然觉得这很神奇。我本以为事物会停留在肌肉更发达的动物身上。通过智能是一个非常引人入胜的突破点。
格温的说法是，之所以如此困难，是因为它介于两种情况之间，界限非常紧密：一种是学习某事如此重要，以至于不值得将精确的正确回路直接提炼回你的DNA中；另一种是学习某事根本不重要。它必须是某种能激励在生命周期内构建学习算法的东西。你必须激励某种适应性。你想要不可预测的环境，这样进化就无法将你的算法固化到你的权重中。很多动物在这方面是预设好的。人类出生时必须在测试时弄清楚。你想要这些变化非常快的环境，在那里你无法预见什么会奏效。你创造智能是为了在测试时弄清楚。
昆汀·波普写了一篇有趣的博客文章，他说他之所以不期望出现急剧的腾飞，是因为人类在6万年前似乎就已经拥有了我们今天所拥有的认知架构，那才是急剧的腾飞。1万年前，农业革命，现代化。那5万年里发生了什么？你必须建立这种文化支架，以便能够世代积累知识。这种能力在我们进行人工智能训练的方式中是免费存在的。在许多情况下，它们是字面意义上的提炼。如果你重新训练一个模型，它们可以在彼此之间进行训练，它们可以在相同的预训练语料库上进行训练，它们不必从头开始。从某种意义上说，人类花了很长时间才启动这个文化循环，但它在我们进行大型语言模型训练的方式中是免费获得的。
是也不是。因为大型语言模型并没有真正意义上的文化等价物。也许我们给了它们太多，反而激励它们不去创造文化之类的东西。但文化的创造、书面记录的产生以及彼此之间传递笔记，我认为目前大型语言模型还没有这些的等价物。大型语言模型目前并没有真正的文化，我认为这是其中一个障碍。
你能给我一些关于大型语言模型文化可能是什么样子的概念吗？在最简单的情况下，它会是一个巨大的草稿本，大型语言模型可以编辑它，当它阅读资料或协助工作时，它会为自己编辑这个草稿本。为什么大型语言模型不能为其他大型语言模型写一本书呢？那会很酷。为什么其他大型语言模型不能阅读这本大型语言模型的书，并从中获得启发或震惊之类的呢？所有这些东西都没有等价物。
有意思。你预计这种事情什么时候会开始发生？还有，多智能体系统以及某种独立的AI文明和文化呢？
在多智能体领域，有两个强大的想法，它们都还没有真正被提出或实现。第一个我想说是文化，以及大型语言模型为自身目的拥有不断增长的知识库。第二个则更像是自我对弈的强大想法。在我看来，它极其强大。进化有很多竞争驱动着智能和进化。在AlphaGo中，更具算法性的是，AlphaGo与自己对弈，这就是它如何学会下好围棋的。目前还没有自我对弈的大型语言模型，但我期望它也能存在。还没有人做到这一点。例如，为什么大型语言模型不能创造一堆问题让另一个大型语言模型学习解决呢？然后大型语言模型总是试图提供越来越困难的问题，诸如此类。有很多方法可以组织它。这是一个研究领域，但我还没有看到任何令人信服地声称这两种多智能体改进的东西。
我们主要处于单个独立智能体的领域，但这将会改变。在文化领域，我也会将组织归入其中。我们也没有看到任何令人信服的类似东西。这就是为什么我们仍然处于早期阶段。
你能指出阻碍大型语言模型之间这种协作的关键瓶颈吗？也许我的说法是，其中一些类比是有效的，尽管它们不应该有效，但不知何故，它们确实有效。许多较小的模型，或者说较笨的模型，惊人地像幼儿园学生，或者小学生，或者高中生。不知何故，我们还没有足够成熟到这些东西可以接管一切。我的Claude Code或Codex，它们仍然感觉像这种小学水平的学生。我知道它们可以参加博士考试，但它们在认知上仍然感觉像幼儿园或小学生。我不认为它们能创造文化，因为它们仍然是孩子。它们是天才儿童。它们对所有这些东西都有完美的记忆。它们可以令人信服地创造出各种看起来非常好的粗糙内容。但我仍然认为它们并不知道自己在做什么，而且它们并没有在所有这些我们仍然需要收集的小复选框中拥有认知能力。
你谈到你从2017年到2022年在特斯拉领导自动驾驶。你亲眼目睹了从酷炫的演示到现在数千辆汽车实际自主驾驶的进展。为什么这花了一十年？那段时间发生了什么？
我几乎会立刻反驳的一点是，这甚至还没有接近完成，在很多方面我都会提到。自动驾驶非常有趣，因为它确实是我获得很多直觉的地方，因为我在这上面花了五年时间。它有完整的历史，自动驾驶的首次演示可以追溯到1980年代。你可以看到1986年CMU的一个演示。有一辆卡车在路上自动驾驶。快进。当我加入特斯拉时，我看到了Waymo的一个非常早期的演示。它基本上在2014年左右给了我一次完美的驾驶，所以十年前就有了一次完美的Waymo驾驶。它带着我们在帕洛阿尔托等地转了一圈，因为我有一个朋友在那里工作。我当时觉得它已经非常接近了，但后来仍然花了很多时间。
对于某些类型的任务和工作等等，存在一个非常大的演示到产品之间的差距，演示非常容易，但产品却非常困难。在自动驾驶这种失败成本过高的情况下尤其如此。许多行业、任务和工作可能不具备这种特性，但当你具备这种特性时，这无疑会延长开发时间。例如，在软件工程中，我确实认为这种特性存在。对于很多随性编码来说，它不存在。但如果你正在编写实际的生产级代码，这种特性就应该存在，因为任何一种错误都可能导致安全漏洞或类似问题。数百万乃至数亿人的个人社会安全号码可能会泄露或类似情况。所以在软件领域，人们应该小心，有点像自动驾驶。在自动驾驶中，如果出现问题，你可能会受伤。会有更糟糕的结果。但在软件中，事情可能有多糟糕几乎是无限的。我确实认为它们共享这种特性。
耗费大量时间的原因以及思考它的方式是，它是一个“九”的行进。每一个“九”都是恒定的工作量。每一个“九”都是相同的工作量。当你得到一个演示，并且某个东西在90%的时间里都能工作，那只是第一个“九”。然后你需要第二个“九”，第三个“九”，第四个“九”，第五个“九”。当我在特斯拉工作五年左右的时候，我们经历了大概三到两个“九”。我不知道具体是多少，但这是多次“九”的迭代。还有更多的“九”要走。这就是为什么这些事情需要这么长时间。
看到一个演示对我来说绝对是具有启发性的。我对演示非常不以为然。每当我看到任何演示时，我都极其不以为然。如果那是一个为了展示而精心制作的演示，那就更糟了。如果你能与它互动，那会好一点。但即便如此，你也没有完成。你需要实际的产品。当它与现实接触时，它将面临所有这些挑战，以及所有这些需要修补的不同行为模式。我们将看到所有这些事情的发生。这是一个“九”的行进。每个“九”都是恒定的。演示是令人鼓舞的。但仍有大量工作要做。这是一个关键的安全领域，除非你正在进行随性编码，那一切都很好玩等等。这就是为什么从那个角度来看，这也强化了我的时间表。
听到你这样说很有趣，你从软件中需要的安全保证与自动驾驶并无不同。人们常说自动驾驶之所以耗时如此之久，是因为失败的成本太高。人类平均每40万英里或每七年犯一次错误。如果你必须发布一个至少七年内不会犯错的编码智能体，那部署起来会困难得多。但你的观点是，如果你每七年犯一次灾难性的编码错误，比如破坏某个重要系统……这很容易做到。事实上，就实际时间而言，会远少于七年，因为你一直在输出那样的代码。就令牌而言，可能是七年。但就实际时间而言……在某些方面，这是一个更难的问题。
自动驾驶只是人们做的成千上万件事情中的一件。我想，它几乎就像一个单一的垂直领域。然而，当我们谈论通用软件工程时，它甚至更……有更多的表面积。人们对这个类比还有另一个异议，那就是在自动驾驶中，耗费了大部分时间的是解决拥有鲁棒的基本感知、构建表征以及拥有一个具有一些常识的模型的问题，这样它就可以泛化到当它看到一些略微超出分布范围的东西时。如果有人在路上这样挥手，你不需要为此进行训练。这个东西会对此类情况如何响应有一些理解。这些是我们今天通过大型语言模型或视觉语言模型免费获得的东西，所以我们不必解决这些非常基本的表征问题。因此，现在将人工智能部署到不同领域，有点像将带有当前模型的自动驾驶汽车部署到不同的城市，这很难，但不是一个长达10年的任务。
我不能百分之百确定我完全同意这一点。我不知道我们免费获得了多少。在理解我们正在获得什么方面，仍然存在很多空白。我们肯定在一个单一实体中获得了更具泛化性的智能，而自动驾驶是一个非常特殊的任务，需要。从某种意义上说，构建一个特殊任务在某种程度上可能更难，因为它不是从你大规模进行的更一般的事情中自然产生的，如果这说得通的话。但这个类比仍然没有完全引起共鸣，因为大型语言模型仍然相当容易出错，并且它们有很多空白需要填补。我认为我们并没有在某种意义上完全开箱即用地获得神奇的泛化能力。
我想回到另一个方面，那就是自动驾驶汽车仍然远未完成。部署非常少。即使是Waymo等公司也只有很少的汽车。粗略地说，他们这样做是因为它们不经济。他们建造了一些属于未来的东西。他们不得不把未来拉回来，但他们不得不让它变得不经济。所有这些成本，不仅仅是这些汽车的边际成本及其运营和维护，还有整个项目的资本支出。让它变得经济对他们来说仍然会是一场苦战。此外，当你看到这些汽车无人驾驶时，我实际上认为这有点欺骗性，因为有非常精密的远程操作中心，人们以某种方式与这些汽车形成闭环。我不知道它的全部范围，但人机协作的程度可能比你想象的要多。有些人从某个地方，从空中进行远程操作。我不知道他们是否完全参与到驾驶中。有时他们是，但他们肯定参与其中，而且有人。从某种意义上说，我们并没有真正移除人，而是把他们转移到了你看不到的地方。
我仍然认为，正如你所提到的，从一个环境到另一个环境，仍然会有一些工作要做。要使自动驾驶成为现实，仍然存在挑战。但我确实同意，它肯定已经跨越了一个门槛，感觉有点真实了，除非它真的是远程操作的。例如，Waymo无法去到城市的所有不同区域。我怀疑那是因为在城市的一些地方信号不好。总之，我对技术栈一无所知。我只是在胡编乱造。
你在特斯拉领导自动驾驶五年。抱歉，我对Waymo的具体情况一无所知。顺便说一句，我喜欢Waymo，我一直都在使用它。我只是觉得人们有时对一些进展有点过于天真，而且仍有大量工作要做。在我看来，特斯拉采取了一种更具可扩展性的方法，而且团队做得非常好。我算是对这件事的走向有过预测记录的人。Waymo起步早，因为你可以封装很多传感器。但我确实认为特斯拉正在采取更具可扩展性的策略，而且它会更像那样。所以这仍然需要发展，但还没有。但我不想把自动驾驶说成是花了十年时间的事情，因为它还没有实现，如果这说得通的话。因为第一，它的起点是1980年而不是十年前，第二，终点还没有到来。
终点还远未到来，因为当我们谈论自动驾驶时，通常在我看来，它是大规模的自动驾驶。人们不必考驾照，等等。
我很好奇这个类比可能还有另外两种不同的方式。我特别好奇这一点的原因是，人工智能部署的速度，以及它在早期阶段的价值，可能是当今世界上最重要的问题。如果你试图模拟2030年是什么样子，这是你必须有所了解的问题。
你可能还会想到一件事，那就是自动驾驶有延迟要求。我不知道实际的模型是什么，但我假设它有数千万个参数或类似的东西，这对于大型语言模型的知识工作来说并不是必要的限制。也许对于计算机使用之类的东西可能会有。但另一个重要的，也许更重要的是，关于资本支出这个问题。是的，提供一个模型的额外副本会有额外的成本，但一个会话的运营成本相当低，你可以将人工智能的成本摊销到训练运行本身，这取决于推理扩展的情况等等。但这肯定不像建造一辆全新的汽车来服务另一个模型实例那么多。因此，更广泛部署的经济性要有利得多。
我认为那是对的。如果你只停留在比特的领域，比特比任何触及物理世界的东西都要容易一百万倍。我完全承认这一点。比特是完全可变的，可以以非常快的速度任意重新洗牌。你也会期望行业等方面的适应速度快得多。第一个是什么？延迟要求及其对模型大小的影响？我认为这大致是正确的。我还认为，如果我们谈论大规模的知识工作，实际上会有一些延迟要求，实际上，因为我们将不得不创造大量的计算并提供服务。
我最后想非常简要地谈论的另一方面是所有其余的部分。社会对此有何看法？法律后果是什么？它在法律上如何运作？在保险方面如何运作？它的那些层面和方面是什么？人们在Waymo上放置锥筒的等价物是什么？所有这些都将有等价物。所以我感觉自动驾驶是一个很好的类比，你可以从中借鉴一些东西。汽车上的锥筒的等价物是什么？隐藏起来的远程操作员的等价物是什么，以及它的所有方面。
你对这暗示了当前人工智能建设有什么看法吗？人工智能建设将在未来一两年内将全球可用计算量增加10倍，到本十年末可能增加100倍以上。如果人工智能的使用量低于一些人天真的预测，这是否意味着我们正在过度建设计算能力，还是一个单独的问题？
有点像铁路发生的事情。什么，抱歉？是铁路还是？是的，是铁路。是的。有历史先例。还是电信行业？提前铺设了十年后才出现的互联网，并在90年代末在电信行业制造了一个巨大的泡沫。
我明白我在这里听起来很悲观。我实际上是乐观的。我认为这会奏效。我认为它是可行的。我听起来悲观只是因为当我在我的推特时间线上看到所有这些对我来说毫无意义的东西时。这种情况存在有很多原因。其中很多老实说只是为了筹款。这只是激励结构。其中很多可能是为了筹款。其中很多只是为了吸引注意力，将互联网上的注意力转化为金钱，诸如此类。有很多这样的事情正在发生，我只是对此做出反应。但我总体上仍然非常看好技术。我们将解决所有这些问题。已经取得了快速的进展。我不知道是否存在过度建设。我认为我们将能够吞噬据我所知正在建设的东西。例如，Claude Code或OpenAI Codex之类的东西在一年前甚至不存在。是这样吗？这是一种以前不存在的神奇技术。将会有巨大的需求，正如我们已经看到的ChatGPT等的需求。所以我不知道是否存在过度建设。我只是对人们不断错误地说的那些非常快的时间表做出反应。在我从事人工智能的15年里，我听过很多次，非常有声望的人一直搞错这一点。我希望这能得到适当的校准，其中一些问题也具有地缘政治影响和类似的东西。我不希望人们在那个领域犯错误。我确实希望我们立足于技术的现实是什么和不是什么。
我们来谈谈教育和Eureka。你可以做的一件事是再开一个人工智能实验室，然后尝试解决那些问题。我很好奇你现在在做什么，为什么不是人工智能研究本身？
我想我的说法是，我对人工智能实验室正在做的事情感到某种程度的决定论。我觉得我可以在那里提供帮助，但我不知道我是否能独特地改进它。我个人最大的担忧是，很多这些事情都发生在人类的边缘，人类因此而失去力量。我不仅关心我们将要建造的所有戴森球，以及人工智能将以完全自主的方式建造的戴森球，我关心人类会发生什么。我希望人类在未来过得很好。我觉得那是我可以更独特地增加价值的地方，而不是在前沿实验室进行增量改进。我最害怕的是像《机器人总动员》或《蠢蛋进化论》之类的电影中描绘的那种情况，人类被这些东西边缘化。我希望人类在这个未来中变得更好得多。对我来说，这可以通过教育来实现。
那么你在那里做什么呢？我能描述它的最简单方式是，我们正在努力建造星际舰队学院。我不知道你是否看过《星际迷航》。我没有。星际舰队学院是这样一个精英机构，致力于前沿技术，建造宇宙飞船，并培养学员成为这些宇宙飞船的飞行员等等。所以我只是想象一个技术知识的精英机构，一所非常现代化的一流学府。
我有一类问题想问你，那就是如何很好地教授技术或科学内容，因为你是这方面的世界大师之一。我很好奇你如何看待你已经在YouTube上发布的内容，以及，如果有所不同的话，你如何看待Eureka的内容。
关于Eureka，教育对我来说非常引人入胜的一点是，我确实认为教育会随着人工智能的辅助而发生根本性的改变。它必须在某种程度上被重新设计和改变。我仍然认为我们还处于早期阶段。会有很多人尝试做显而易见的事情。拥有一个大型语言模型并向它提问。做所有你现在通过提示会做的基本事情。这很有帮助，但对我来说仍然感觉有点粗糙。我想做得更好，而且我认为目前还没有我想要的能力。我想要的是一种真正的导师体验。我脑海中一个突出的例子是我最近在学习韩语，也就是语言学习。我经历了一个阶段，自己在网上学习韩语。我经历了一个阶段，在韩国的一个小班里和一群其他人一起学习韩语，那真的很有趣。我们有一个老师和大约10个人一起学习韩语。然后我转到了一对一的导师。我想对我来说最引人入胜的是，我认为我有一个非常好的导师，但只是思考这位导师为我做了什么，那种体验是多么不可思议，以及我最终想要建造的东西的标准有多高。通过一次非常简短的对话，她立刻就明白了作为学生我的水平，我懂什么不懂什么。她能够准确地探究各种问题或事物来理解我的世界模型。目前没有任何大型语言模型能为你做到100%，甚至差得很远。但一个好的导师会做到。一旦她理解了，她真的为我提供了在我当前能力范围内所需的一切。我需要始终受到适当的挑战。我不能面对太难或太琐碎的东西，而导师非常擅长为你提供恰到好处的材料。我感觉我是学习的唯一限制。我总是得到完美的信息。我是唯一的限制。我感觉很好，因为我是唯一存在的障碍。不是我找不到知识，也不是知识没有得到适当的解释等等。只是我的记忆能力等等。这就是我希望人们能得到的。
你如何自动化它？很好的问题。以目前的能力，你无法做到。这就是为什么我认为现在实际上不是构建这种人工智能导师的合适时机。我仍然认为它是一个有用的产品，很多人会建造它，但标准太高，能力还达不到。即使在今天，我也会说ChatGPT是一个非常有价值的教育产品。但对我来说，看到标准如此之高是如此引人入胜。当我和她在一起时，我几乎觉得我不可能建造出这样的东西。
但你正在建造它，对吗？任何有过真正好导师的人都会说：“你打算怎么建造这个？”我正在等待那种能力。我为计算机视觉做过一些人工智能咨询。很多时候，我为公司带来的价值是告诉他们不要使用人工智能。我是人工智能专家，他们描述了问题，我说：“不要使用人工智能。”这就是我的附加价值。我觉得现在在教育领域也是如此，我觉得对于我心中的设想，时机尚未成熟，但时机总会到来。目前，我正在建造一些看起来可能更传统的东西，它有物理和数字组件等等。但未来它应该是什么样子是显而易见的。
在你愿意透露的范围内，你希望今年或明年发布什么？我正在构建第一门课程。我想要一门真正、真正好的课程，一个显而易见的、最先进的学习目的地，在这种情况下是学习人工智能。这正是我所熟悉的，所以它是一个非常好的第一个产品，可以让我在这方面做得非常好。所以这就是我正在构建的。你简要提到的Nanochat，是我正在构建的LLM101N课程的一个毕业设计项目。这是其中非常重要的一部分。但现在我必须构建很多中间部分，然后我必须雇佣一小队助教等等，并构建整个课程。
我还要说一件事，那就是很多时候，当人们思考教育时，他们更多地想到的是我所说的传播知识的“软”组成部分。我心里想的是一些非常硬核和技术性的东西。在我看来，教育是构建通往知识的坡道的非常困难的技术过程。在我看来，nanochat就是通往知识的坡道，因为它非常简单。它是超级简化的全栈事物。如果你把这个作品交给某人，他们仔细研究它，他们会学到大量东西。它给你带来了很多我所说的每秒“尤里卡”（即每秒的理解）。这就是我想要的，大量的每秒“尤里卡”。所以对我来说，这是一个技术问题，即我们如何构建这些通往知识的坡道。所以我几乎认为Eureka可能与一些前沿实验室或那里正在进行的一些工作没有太大不同。我想弄清楚如何非常高效地构建这些坡道，这样人们就不会卡住，一切都不会太难或太琐碎，你总能得到恰到好处的材料来进步。
你设想在短期内，与其让导师能够探究你的理解，不如说如果你有足够的自我意识来探究自己，你就永远不会卡住。你可以在与助教或大型语言模型交谈以及查看参考实现之间找到正确的答案。这听起来自动化或人工智能并不是一个重要的部分。到目前为止，这里最大的优势是你在课程源代码中编码的解释人工智能的能力。这从根本上就是这门课程的本质。
你总是需要根据行业中存在的能力进行校准。很多人会只追求问ChatGPT等等。但我认为现在，例如，如果你去ChatGPT说，教我人工智能，那是不可能的。它会给你一些粗糙的东西。人工智能现在永远不会写nanochat。但nanochat是一个非常有用的中间点。我正在与人工智能合作创建所有这些材料，所以人工智能仍然从根本上非常有帮助。早些时候，我在斯坦福大学建立了CS231n，我认为那是斯坦福大学第一门深度学习课程，它变得非常受欢迎。当时构建231n和现在构建LLM101N之间的差异非常明显。我觉得现在存在的大型语言模型真的赋予了我力量，但我非常参与其中。它们帮助我构建材料，我进展得快得多。它们做了很多无聊的事情等等。我觉得我开发课程的速度快得多，而且它融入了大型语言模型，但它还没有达到可以创造性地创建内容的程度。我仍然在那里做这件事。棘手之处始终在于根据现有情况进行自我校准。
当你想象几年后通过Eureka能获得什么时，似乎最大的瓶颈将是在各个领域找到能将他们的理解转化为这些坡道的卡帕西。这会随着时间而改变。现在，这将是聘请教师来帮助与人工智能和团队人员携手合作，可能还会构建最先进的课程。随着时间的推移，也许一些助教可以变成人工智能。你只需获取所有课程材料，然后我认为你可以为学生提供一个非常好的自动化助教，当他们有更基本的问题或类似问题时。但我认为你需要教师来负责课程的整体架构并确保其合适。所以我看到了这将如何演变的进程。也许在未来的某个时候，我甚至不再那么有用，人工智能在大多数设计方面做得比我好得多。但我仍然认为这需要一些时间才能实现。
你是否设想其他领域有专长的人会贡献课程，或者你觉得根据你对教学方式的理解，由你来设计内容对愿景来说至关重要？萨尔·汗在可汗学院上解说所有视频。你是否设想类似的情况？
不，我会聘请教员，因为有些领域我不是专家。那是最终为学生提供最先进体验的唯一途径。我确实期望我会聘请教员，但我可能会在人工智能领域停留一段时间。对于当前的能力，我确实有一些比人们可能预期的更传统的东西。当我建造星际舰队学院时，我确实可能设想一个实体机构，也许低于那个层次的是一个数字产品，它不是当你有人全职亲自来，我们从头到尾学习材料并确保你理解时你会得到的最先进的体验。那是实体产品。数字产品是互联网上的一堆东西，也许还有一些大型语言模型助手。它在较低的层次上有点花哨，但至少80亿人都可以访问。
我认为你基本上是在为今天可用的工具，从第一性原理出发重新发明大学，并且只选择那些有动力和兴趣真正投入学习材料的人。将会有大量的教育，而且还有再教育。我很乐意在那里提供帮助，因为工作可能会发生很大的变化。例如，今天很多人都在努力专门提升人工智能技能。我认为在这方面，这是一门非常好的课程。从动机方面来看，在通用人工智能（AGI）之前，动机非常容易解决，因为人们想要赚钱。这是你今天在行业中赚钱的方式。通用人工智能之后可能会更有趣，因为如果一切都自动化了，没有人有事可做，为什么还会有人去学校呢？我常说，通用人工智能之前的教育是有用的。通用人工智能之后的教育是有趣的。
以类似的方式，人们今天去健身房。我们不需要他们的体力来搬运重物，因为我们有机器可以做到。他们仍然去健身房。他们为什么去健身房？因为这很有趣，很健康，而且当你拥有六块腹肌时，你看起来很棒。从人类非常深层的心理和进化意义上讲，人们这样做很有吸引力。教育也将以同样的方式发展。你会像去健身房一样去学校。现在，学习的人不多，因为学习很难。你会从材料中跳出来。有些人克服了这个障碍，但对大多数人来说，这很难。这是一个需要解决的技术问题。这是一个技术问题，要做到我的导师在我学习韩语时为我做的事情。它是可行的，可以建造的，而且应该有人建造它。它将使学习任何东西变得微不足道和令人向往，人们会因为它的微不足道而乐在其中。如果我对任何任意的知识都有那样的导师，学习任何东西都会容易得多，人们会去做。他们会出于和去健身房相同的原因去做。
那听起来与使用……所以，在通用人工智能之后，你将这作为娱乐或自我提升。但听起来你也有一个愿景，即这种教育与让人类掌控人工智能有关。那听起来不同。对一些人来说是娱乐，但对另一些人来说是赋能吗？你是怎么看待这个问题的？
我确实认为最终这有点像一场注定失败的游戏，如果这说得通的话。从长远来看确实如此。从长远来看，这比行业中大多数人可能想的要长，这是一场注定失败的游戏。我确实认为人们可以走得很远，而我们才刚刚触及一个人能走多远的表面。那只是因为人们在太容易或太难的材料上碰壁。人们将能够走得更远。任何人都会说五种语言，因为为什么不呢？因为它太微不足道了。任何人都会知道大学本科的所有基本课程，等等。现在我理解了这个愿景，这非常有趣。它在健身文化中有一个完美的类比。我不认为100年前会有人身材健美。没有人能够仅仅凭空卧推两片或三片杠铃之类的。现在这很常见，因为有了在健身房系统训练和举重，或者系统训练跑马拉松的想法，而这是一种大多数人不会自然拥有的能力。你正在设想在许多不同领域进行类似的学习，更加强烈、深入、快速。
没错。我有点隐含地押注于人性的某些永恒性。做所有这些事情将是令人向往的，我认为人们会像几千年来一样仰慕它。这将继续是真的。历史上有一些证据。如果你看看，例如，贵族，或者你看看古希腊之类的，每当你有一些在某种意义上是通用人工智能（AGI）之后的微型环境时，人们都会花很多时间以某种方式蓬勃发展，无论是身体上还是认知上。我对这种前景感到满意。如果这是错误的，我错了，我们最终陷入《机器人总动员》或《蠢蛋进化论》的未来，那么我甚至不在乎是否有戴森球。这是一个可怕的结果。我真的关心人类。
从某种意义上说，每个人都必须成为超人。这仍然是一个无法让我们……就像文化世界一样，对吗？你根本无法仅仅通过自己的劳动或认知来改变技术轨迹或影响决策。也许你可以影响决策，因为人工智能正在征求你的批准，但这并不是因为我发明了什么或者我提出了一个新设计，从而真正影响了未来。也许吧。我认为会有一个过渡期，如果我们理解很多东西，我们将能够参与其中并推动事物发展。从长远来看，那可能会消失。它甚至可能成为一项运动。现在有举重运动员在这个方向上走极端。在认知时代，举重是什么？也许是那些真正试图通过知识来创造奥运会的人。如果你有一个完美的人工智能导师，也许你可以走得非常远。我认为，今天的天才们才刚刚触及人类思维能力的表面。
我喜欢这个愿景。我也觉得你最适合的产品市场就是我，因为我的工作每周都需要学习不同的科目，我非常兴奋。就这一点而言，我也类似。很多人，例如，讨厌学校，想离开它。我真的很喜欢学校。我喜欢学习东西，等等。我想留在学校。我一直读到博士，然后他们不让我继续待下去，所以我去了工业界。粗略地说，我热爱学习，即使是为了学习本身，但我也热爱学习，因为它是一种赋能，一种有用和高效的方式。
你还提出了一个微妙的观点，我想把它阐明。就目前在线课程的情况而言，为什么它们还没有让我们能够让每个人都了解一切？它们只是太依赖动机了，因为没有明显的入门途径，而且太容易卡住。如果你拥有这个东西——就像一个真正优秀的人类导师——那从动机的角度来看，将是一个巨大的解锁。
我认为是这样。从材料中跳出来感觉很糟糕。感觉很糟糕。你投入了大量时间在某事上却没有成功，或者因为你得到的东西太容易或太难而感到完全无聊，这会让你得到负面反馈。当你做得恰到好处时，学习感觉很好。这是一个技术问题，要达到那个境界。一段时间内，它将是人工智能加人类协作，而在某个时候，也许就只是人工智能了。
我能问一些关于如何教好书的问题吗？如果你必须给另一个你好奇的领域的教育者一些建议，让他们制作你制作的那种YouTube教程。也许谈论那些你无法通过让他们编写代码或类似方式来测试某人技术理解的领域会特别有趣。你会给他们什么建议？
那是一个相当广泛的话题。我大概半自觉地运用了10到20个技巧和窍门。但其中很多都源于我的物理学背景。我真的非常非常喜欢我的物理学背景。我有一大段话是关于为什么每个人都应该在早期学校教育中学习物理，因为早期学校教育不是为了在行业后期积累知识或记忆任务。它是关于启动大脑。物理学独特地以最好的方式启动大脑，因为他们在物理学中让你在大脑中做的一些事情在以后极其有价值。构建模型和抽象的概念，以及理解存在一个描述系统大部分的一阶近似，但随后可能存在或不存在二阶、三阶、四阶项。你正在观察一个非常嘈杂的系统，但存在你可以抽象掉的这些基本频率。当一位物理学家走进课堂，他们说：“假设有一头球形奶牛，”每个人都会笑，但这很棒。这是一种非常普遍适用的出色思维，因为它可以在很多方面将奶牛近似为一个球体。有
一本非常好的书，例如《尺度》。它是一位物理学家谈论生物学。也许这也是一本我会推荐阅读的书。你可以从中获得许多非常有趣的近似值和动物的图表缩放定律。你可以查看它们的每分钟心跳次数以及类似的东西，它们会与动物的大小以及类似的东西相吻合。你可以将动物视为一个体积。你可以谈论它的散热，因为你的散热随着表面积的增长而增长，表面积是随着平方增长的。但你的热量产生或生成是随着立方增长的。所以我觉得物理学家拥有解决世界上问题的所有正确的认知工具。因此，由于这种训练，我总是试图找到一切事物的首阶项或二阶项。当我观察一个系统或一个事物时，我的脑海中会有一个错综复杂的想法或知识网络。我试图找到，什么才是重要的？什么是首阶组成部分？我该如何简化它？我如何才能拥有一个展示该事物、展示其运作方式的最简单的东西，然后我就可以添加其他项了？也许我仓库中的一个例子，我认为它很好地说明了这一点，叫做 micrograd。我不知道你是否熟悉它。所以 micrograd 是 100 行代码，展示了反向传播。你可以用简单的操作，如加法和乘法等来创建神经网络。神经网络的乐高积木。你构建一个计算图，然后进行前向传播和后向传播来获得梯度。现在，这是所有神经网络学习的核心。所以 micrograd 是 100 行非常易于理解的 Python 代码，它可以对任意神经网络进行前向和后向计算，但效率不高。所以 micrograd，这 100 行 Python 代码，是你理解神经网络如何训练所需的一切。其他一切只是效率。其他一切只是效率。要获得效率，需要大量的工作。你需要你的张量，你将它们布局，你跨步它们，你确保你的内核，正确地编排内存移动，等等。粗略地说，这一切都只是效率。但神经网络训练的核心智力部分是 micrograd。它有 100 行。你可以轻松理解它。它是链式法则的递归应用，用于推导梯度，这允许你优化任何任意可微函数。所以我喜欢找到这些小阶项，并将它们呈现在盘子上，并发现它们。我觉得教育是最具智力趣味的事情，因为你有一个理解的纠缠，而你正试图以一种方式将其展开，创造一个坡道，其中一切都只取决于它之前的东西。我发现这种知识的解缠作为一种认知任务是如此具有智力趣味。我个人喜欢做这件事，但我就是对以某种方式安排事物着迷。也许这对我有所帮助。它也使学习体验更加有动力。你关于 Transformer 的教程从双字开始，字面意思是一个查找表，从“这是当前单词，或者这是前一个单词，这是下一个单词”。它字面意思就是一个查找表。这就是它的本质，是的。这是一个非常聪明的方法，从一个查找表开始，然后到 Transformer。每一部分都是有动机的。你为什么要添加那个？你为什么要添加下一件事？你可以记住注意力公式，但要理解为什么每一部分都很重要，它解决了什么问题。你在呈现痛苦，然后才呈现解决方案，这有多么巧妙。你想让学生经历这个过程。还有很多其他的小事情让它变得有趣和引人入胜。总是提示学生。有很多这样的小事情很重要，很多优秀的教育者都会这样做。你会如何解决这个问题？在你猜测之前，我不会给出解决方案。那将是浪费。那有点……我不想说脏话，但如果你在给我尝试自己想出来的机会之前就给你解决方案，那对你来说是一种混蛋行为。因为如果你自己尝试想出来，你就会更好地理解行动空间是什么，目标是什么，以及为什么只有这个行动才能实现这个目标。你有一个自己尝试的机会，当我给你解决方案时，你会有一种欣赏。它最大化了每添加一个新事实所获得的知识量。你为什么认为，默认情况下，在其领域真正专家的人通常不擅长向正在学习的人解释？这是知识和专业知识的诅咒。这是一个真实的现象，我深受其害，尽管我尽量避免。但你理所当然地认为某些事情，你无法设身处地为刚刚开始的新人着想。这是普遍存在的，也发生在我身上。有一件事非常有帮助。举个例子，最近有人试图给我看一篇生物学论文，我立刻就有了很多糟糕的问题。我所做的是使用 ChatGPT，在上下文窗口中提问，并附带论文。它解决了一些简单的问题。然后我将对话串分享给了写那篇论文或参与那项工作的人。我觉得如果他们能看到我那些愚蠢的问题，可能会帮助他们将来更好地解释。对于我的材料，我希望人们分享他们与 ChatGPT 关于我创造的东西的愚蠢对话，因为它真的能帮助我再次设身处地为初学者着想。另一个效果惊人的技巧。如果有人写了一篇论文、一篇博客文章或一个公告，在 100% 的情况下，仅仅是他们如何在午餐时向你解释的叙述或转录，不仅更容易理解，而且实际上也更准确和科学，因为人们有一种倾向，倾向于以最抽象、充满行话的方式解释事物，并在解释中心思想之前清嗓子四段。但一对一地与人交流，会迫使你直接说出重点。直接说出重点。我看到了那个推文，我觉得它非常好。我把它分享给了很多人。我多次注意到这一点。最突出的例子是，我记得在我读博士期间做研究的时候。你读某人的论文，然后努力理解它在做什么。然后你抓住他们，稍后在会议上一起喝酒时，你问他们，“所以这篇论文，你们在做什么？这篇论文是关于什么的？”他们会告诉你这三个句子，完美地概括了论文的精髓，并完全让你明白了。而且你不需要读那篇论文。只有当你坐在桌子旁喝啤酒什么的，他们才会说，“哦，是的，这篇论文就是，你采用这个想法，你采用那个想法，然后尝试这个实验，你尝试这个东西。”他们有一种方式，就是用对话的方式完美地表达出来。为什么这不就是摘要呢？正是如此。这是从试图解释一个想法的人应该如何更好地构建它的角度出发的。作为一名学生，你对其他学生有什么建议，如果你没有像 Karpathy 这样的人来阐述一个想法？如果你在读某人的论文或一本书，你采用什么策略来学习你感兴趣但又不擅长的领域的材料？老实说，我不知道我有什么独特的技巧。这是一个痛苦的过程。有一件事一直对我很有帮助——我对此发过一条小推文——按需学习相当不错。纵向学习。我确实觉得你需要交替进行纵向学习，按需学习——你试图完成一个特定的项目，你将从中获得回报——以及横向学习，那就是，“哦，让我们来做任何 101 的课程，这里是你可能需要的所有东西。”学校有很多横向学习，比如，“哦，相信我，你以后会需要这个，”之类的事情。好吧，我相信你。我会学习它，因为我想我需要它。但我喜欢那种通过做某事获得回报的学习，并且是按需学习。我发现的另一件非常有帮助的事情。这是教育中一个更无私的方面，但向人们解释事物是更深入地学习事物的绝佳方式。这对我来说经常发生。它可能也发生在其他人身上，因为我意识到如果我没有真正理解某件事，我就无法解释它。我尝试着，然后我说，“哦，我不明白这个。”要接受这一点很令人讨厌。你可以回去确保你理解了它。它填补了你理解中的空白。它迫使你接受它们并调和它们。我喜欢重新解释事物，人们也应该这样做。这迫使你操纵知识，并确保你在解释它时知道你在说什么。这是一个很好的结束点。Andrej，这太棒了。谢谢。