John Schulman (OpenAI Cofounder) — Reasoning, RLHF, & plan for 2027 AGI

今天我很荣幸能与 John Schulman 交流，他是 OpenAI 的联合创始人之一，并在此领导着训练后团队。他还领导了 ChatGPT 的创建，并且是人工智能和强化学习领域许多最重要、被引用最多的论文的作者，包括 PPO 等。John，非常激动能和你聊天。感谢你来到播客。感谢你邀请我来播客。我是你的忠实粉丝。谢谢你的夸奖。这是我的第一个问题。我们在预训练和训练后之间存在一些区别。让我们超越损失函数和训练机制实际发生的事情。从概念上退一步看，预训练在创造什么？训练后在此基础上做了什么？在预训练中，你基本上是在训练模仿互联网或网络上的所有内容，包括网站和代码等等。所以你得到一个模型，它可以生成看起来像互联网上随机网页的内容。该模型还经过训练，以最大化似然度，它必须为一切事物分配概率。目标基本上是在给定前一个 token 的情况下预测下一个 token。Token 就像单词或单词的一部分。由于模型必须为此分配概率——我们正在训练以最大化对数概率——它最终会非常准确。它不仅可以生成网络上的所有内容，还可以为一切事物分配概率。基础模型可以有效地扮演所有这些不同的角色或生成所有不同类型的内容。当我们进行训练后时，我们通常针对更窄范围的行为，我们希望模型像一种聊天助手一样行事。这是一个更具体的角色，它试图提供帮助。它并不试图模仿一个人。它正在回答你的问题或完成你的任务。我们正在优化一个不同的目标，这个目标更多地是产生人类喜欢并认为有用的输出，而不是仅仅模仿网络上的原始内容。也许我应该退一步问这个问题。目前，我们拥有相当擅长充当聊天机器人的模型。从这些过程目前如何工作的角度退一步看，到今年年底发布模型将能够做什么？如果你将所有内容向前推进五年，你认为进展会是什么样子？五年后，模型会变得好很多。以何种方式？即使在一两年内，我们也会发现模型能够完成比现在更复杂的任务。例如，你可以想象让模型完成整个编码项目，而不是给你一个关于如何编写函数的建议。你可以想象模型接收关于如何编码的高级指令，然后自行出去，编写任何文件，并对其进行测试，并查看输出。它甚至可能对此进行一些迭代。所以只是更复杂的任务。根本的突破是它能够足够长时间地保持连贯性来编写多行代码吗？从现在到那时发生了什么变化？我认为这将来自于将模型训练成执行此类更困难任务的某种组合。大多数训练数据更像是每次执行一个步骤。我预计我们将更多地训练模型来执行这些更长的项目。这适用于任何类型的训练，例如进行强化学习，以学习如何执行这些任务。无论你是监督最终输出还是监督每一步，任何执行这些长期项目的训练都将使模型变得更好。由于整个领域相当新，我认为在这类训练中有很多容易实现的目标。这是一件事。我还预计，随着模型的改进，它们在从错误中恢复或处理边缘情况方面会变得更好。当事情出错时，它们会知道如何从中恢复。模型将更具样本效率。你不需要收集大量数据来教它们如何回到正轨。只需少量数据或它们从其他能力中进行的泛化就能让它们回到正轨。当前的模型可能会卡住并迷失方向。我想具体了解泛化如何帮助你回到正轨。我不确定这两个概念是如何联系起来的。是的，它们没有直接联系。你通常会用少量数据来做所有事情。如果你收集了一个多样化的数据集，你就会从中得到一点点东西。如果你拥有泛化能力很强的模型——即使只是从几个关于如何回到正轨的例子中，或者如果预训练数据中有几个模型回到正轨的例子——模型就能从它看到的其他东西泛化到当前情况。如果你拥有较弱的模型，你可能需要足够的数据才能让它们几乎做任何事情。但你可能需要在特定领域或技能上付出很多努力。而对于一个更强的模型，它可能在没有任何训练数据或任何努力的情况下就能做正确的事情。现在这些模型可以连贯地工作五分钟。我们希望它们能够完成人类需要一个小时、然后一周、然后一个月才能完成的任务。要达到这些基准中的每一个，是否会是每个基准都需要 10 倍的计算量，类似于当前预训练的扩展定律？还是会是一个更精简的过程，只是达到那个点，你已经更具样本效率，并且可以直奔完成任务多年的过程，或者其他什么？总的来说，我同意更长周期的任务将需要更多的模型智能才能做好。它们的训练成本会更高。我不确定我是否会期望一个非常清晰的扩展定律，除非你以非常小心的方式设置它，或者以某种方式设计实验。可能会出现一些阶段性转变，一旦你达到某个水平，你就可以处理更长的任务。例如，当人们进行不同时间尺度的规划时，我不确定他们是否使用完全不同的机制。我们可能会使用相同的心理机制来思考一个月后、一年后或一百年后。我们实际上并没有进行某种强化学习，在那里我们需要担心一个涵盖该时间尺度的折扣因子等等。使用语言，你可以描述所有这些不同的时间尺度，然后你可以做一些事情，比如计划。在当下，你可以尝试朝着你的目标前进，无论它是一个月后还是十年后。我不知道这是否是一个阶段性转变，但我可能会期望模型也如此，可能会有一些能力适用于多个尺度。如果我说错了，请纠正我。你似乎暗示我们现在的模型在每个 token 的基础上都非常聪明。它们在每个 token 的基础上可能和最聪明的人一样聪明。阻止它们像它们本可以那样有用的原因是，五分钟后，它们将不再以连贯的方式编写你的代码，并且与你为你的项目或类似的东西设定的更广泛目标一致。如果一旦你开始这个长周期强化学习训练机制，它就会立即解锁你更长时间保持连贯的能力，那么我们是否应该预测一旦该机制被解锁，就会出现人类水平的东西？如果不是，那么在我们能够规划一年并执行需要这么长时间的项目之后，还剩下什么？一旦我们进入那个机制，我们将会看到什么，以及进展速度有多快，这一点还不完全清楚。这仍然是不确定的。我不认为任何这样的训练都能立即解决所有问题。模型将会有其他杂项缺陷，导致它们卡住或做出比人类更糟糕的决定。我不认为这一个小小的东西就能解锁所有能力。但是，在执行长周期任务的能力方面的一些改进可能会走得很远。你会说这是合理的吗？是否存在其他原因导致瓶颈的可能性很大吗？我也很好奇这些瓶颈的性质是什么。它拥有预训练的所有这些表示。现在，由于长周期强化学习，它可以长时间地保持连贯。还剩下什么？也许人类专家在不同任务中带来了一些其他经验，例如品味或更好地处理模糊性。如果我们想做研究之类的事情，我可以想象这些考虑因素会发挥作用。显然，模型的可及性方面存在一些平淡的限制，以及它是否可以使用用户界面、与物理世界互动或访问事物。因此，可能存在许多平淡的障碍，这些障碍可能不会持续很长时间，但最初会减缓进展。让我们谈谈为这些人工智能设计的网站。一旦它们接受了更多多模态数据的训练，它们是否会与我们为人类拥有的网站有任何不同？需要什么样的用户界面？它将如何弥补它们的优势和劣势？这与我们目前为人类拥有的用户界面有何不同？这是一个有趣的问题。我预计模型将能够使用为人类设计的网站，只需通过视觉，在视觉能力稍有提高后。因此，不会立即需要更改它们。另一方面，一些网站将从人工智能能够使用它们中受益匪浅。我们可能会希望设计那些对人工智能来说更好的用户体验。我不确定那具体意味着什么。假设我们的模型在文本模式下仍然比从图像中读取文本更好，你可能希望为模型提供良好的文本表示。你还希望对所有可交互的元素有一个清晰的指示。但我不会期望网络被完全重新设计以到处都是 API。我们可以让模型使用与人类相同的用户界面。我想这就是语言模型的重大教训，对吧？它们可以像人类一样在相似的可及性范围内运作。我想回到你之前提到的关于这个过程可能更具样本效率的观点，因为它能够从预训练的经验中泛化，了解如何在不同场景中摆脱困境。你见过的关于这种泛化和迁移的最有力证据是什么？对于模型未来的能力来说，最大的问题似乎是如何进行泛化。有什么让你觉得真正引人注目的吗？你是否见过一个模型学会了你意想不到的泛化能力？在训练后，确实出现了一些有趣的泛化实例。一个众所周知的现象是，如果你所有的微调都使用英语数据，模型会自动在其他语言中表现良好。所以，如果你用英语数据训练助手，它在西班牙语中也会做一些合理的事情。有时你可能会在它是否以英语回复或以西班牙语回复方面遇到错误的行为。通常你会得到正确的行为，也就是说，它会用西班牙语回复西班牙语查询。这是一个有趣的泛化实例，模型只是抓住了正确、有帮助的角色，然后自动在不同语言中做正确的事情。我们已经通过多模态数据看到了这种现象的某种版本，即如果你只进行文本微调，你也能在图像方面获得合理行为。早期在 ChatGPT 中，我们试图解决模型理解自身局限性的一些问题。早期版本的模型会认为它可以给你发送电子邮件或为你叫优步之类的。模型会试图扮演助手，并说“哦，是的，当然，我发送了那封电子邮件。”显然它没有。所以我们开始收集一些数据来解决这些问题。我们发现，即使将少量数据混合到所有其他数据中，也起到了作用。我不记得具体有多少个例子，但大约是 30 个例子。我们有相当少量的例子展示了这种普遍行为，解释了模型不具备这种能力。这很好地泛化到了我们没有训练过的各种能力。我仍然想回到这一点，因为我不确定我是否理解了。假设你有一个模型被训练成在更长的时间内保持连贯。撇开这些其他可能存在或不存在的瓶颈不谈，到明年，你是否可以拥有可能达到人类水平的模型？我指的是一个你与之互动就像与同事互动一样的模型，它和你与人类同事互动一样好。你可以告诉他们去做事情，他们会完成。你认为可能实现的能力的这种图景有什么问题？很难确切地说出缺陷是什么。当你与今天的模型交谈时，除了长期连贯性之外，它们还有各种弱点。它们也很难深入思考问题或注意你要求它们做的事情。我不认为稍微提高连贯性就能达到通用人工智能。我想我无法确切地说出阻止它们成为完全功能齐全的同事的主要弱点是什么。看来，你应该计划很快就能拥有通用人工智能。我认为这是合理的。那么，如果没有其他瓶颈，计划是什么？明年或类似的时间，你有了通用人工智能。计划是什么？如果通用人工智能比预期来得早得多，我们肯定会想小心一点。在我们确信我们可以安全地处理它之前，我们可能会想稍微放慢训练和部署的速度。我们需要很好地掌握它将要做什么以及它能做什么。如果它来得比预期早得多，我们将不得不非常小心。在很多方面，我们的理解仍然是初步的。小心意味着什么？假设你已经很小心了，对吧？你在部署之前会进行这些评估。也许这意味着不训练更智能的版本，或者在训练它时非常小心。你可以确保它被正确地沙盒化等等。也许这意味着不大规模部署它，或者小心你部署它的规模。让我们来设想一个场景。明年出现通用人工智能。你没有训练一个更智能的系统，但你正在以一种有节制的方式部署它。假设开发不会特别针对 OpenAI。通用人工智能比我们预期的要容易得多，这就是它发生的原因。所以你稍微等待部署。现在其他公司也拥有类似的能力。接下来会发生什么？在你等待部署的时候，你在等什么？每家公司在这种情况下都在做什么？博弈论很难想清楚。首先，我认为这不会在明年发生，但进行对话仍然有用。可能需要两三年。两三年仍然很近。仍然很近。你可能需要一些协调。每个人都需要就一些合理的部署限制或进一步训练达成一致，这样才能奏效。否则，你就会有竞争动态，每个人都试图保持领先，这可能需要牺牲安全。你可能需要与从事这种训练的大型实体之间进行一些协调。你会协调暂停部署，直到什么时候？直到你弄清楚模型里发生了什么？我们可以暂停进一步训练。我们可以暂停部署。我们可以避免某些可能更危险的训练类型。我们将制定一些合理的规则，规定每个人应该做什么来限制这些事情。限制到什么程度？在某个时候，这种智能中蕴含的潜在能量将被释放。假设两年后我们有了通用人工智能。现在每个人都惊慌失措。人工智能公司已经暂停了。我们计划等到什么时候？我没有一个好的答案。如果我们能那样协调，那将是一个非常好的场景。构建这些模型需要大量资本，而且有很多复杂的部分。并非每个人都会在家重新创建这些东西。考虑到能够训练最大模型实体的数量相对较少，协调似乎是可能的。我不确定如何能长期维持这种均衡，但我认为如果我们达到了那个点，我们将处于一个不错的位置。我们会吗？我仍然很好奇，因为我不确定接下来会发生什么。根本上，好处是将其推送到服务器，现在我们有了一堆智能，或者它们可以将自己推送到服务器。现在我们已经协调好了，但我不知道在这个世界里接下来该做什么。为什么这会让我们走向一个好的结果？如果我们每个人都合理地协调，并且我们觉得我们可以足够好地解决对齐的技术问题，那么我们就可以部署。我们将能够部署非常智能的人工智能，它们可以作为人们意志的延伸，同时也能防止它们被灾难性地滥用。那将是伟大的。我们可以安全地部署这些系统，这将带来巨大的繁荣和更快的科学进步。这才是好的场景应该是什么样子。这说得通。我很好奇几年后的一些事情。在最好的情况下，所有这些参与者都同意暂停，直到我们弄清楚我们正在构建对齐的系统，这些系统本身不会试图政变，也不会使其他人能够这样做。那样的证据会是什么样子？那样的证据会是什么样子？如果我们能够部署比以前更智能的系统，那将更安全。我希望事情的发展不是每个人都必须协调、锁定并安全地发布东西的场景。这会导致巨大的潜在能量积累。我宁愿有一个场景，我们都在不断发布比以前更好的东西。我们将这样做，同时确保我们确信每次差异都会在能力提高的同时提高安全性和对齐性。如果事情开始看起来有点吓人，那么我们就可以放慢速度。这就是我希望的。如果出现更不连续的跳跃，就会出现“你怎么知道你拥有的东西可以安全发布”的问题。我无法给出通用答案。然而，为了使这种情况更可接受，你可能想做的事情是大量的测试模拟部署，某种形式的红队演练。你想以一种比你在现实世界中计划做的事情更容易失败的方式来做。你想有一个非常好的监控系统，这样如果部署的系统开始出现问题，你就能立即检测到它。也许你有一些东西在监控已部署的人工智能，观察它们在做什么，并寻找麻烦的迹象。你需要有很好的纵深防御。你需要某种组合：“模型本身似乎表现得非常好，在一切方面都具有无可挑剔的道德信心”和“我非常有信心它极难被任何形式的严重滥用。”你还希望在其之上进行非常好的监控，以便能够检测到任何意想不到的麻烦。在你进行长周期强化学习或最终开始进行时，你在跟踪什么？在你广泛部署这些系统之前，你如何注意到这种不连续的跳跃？你需要在训练过程中进行大量的评估。具体是什么？知道这可能会发生，在长周期强化学习上进行训练是否有意义？或者这只是一个非常小的可能性？你对此有什么看法？如果你看到很多潜在的可怕能力，在进行这种训练时，你应该非常小心。我想说，现在我们不必为此感到害怕，因为现在让模型做任何连贯的事情都很困难。如果它们开始变得非常擅长，我们将需要认真对待其中一些问题。我们将需要大量的评估来测试它们的错误行为，主要是为了模型的对齐。我们会想检查它们是否不会反抗我们，或者类似的事情。你可能还想寻找能力上的不连续跳跃。你需要对模型的各种能力进行大量评估。你还想确保你训练的内容没有任何理由让模型反抗你。这似乎不是最难做的事情。我们用 RLHF 训练它们的方式，即使模型非常智能，感觉也很安全。模型只是试图生成一个让人类满意的消息。它除了它生成的文本是否被批准之外，不关心世界上其他任何事情。显然，如果你做的事情是模型必须执行一系列涉及工具的长序列操作，那么它可能会有一些动机去做很多奇怪的事情，这些事情在产生最终结果的过程中对人类来说是没有意义的。然而，它不一定有动机去做任何事情，除了在最后产生高质量的输出。有一些关于工具性收敛的旧观点，即模型想要接管世界，以便在最后产生一些很棒的代码。如果你让它写一个 Flask 应用，它会说“哦，是的，首先我需要接管世界。在某个时候，对于像编写应用程序这样定义明确的任务，很难想象你首先需要接管世界。当然，如果你分配了一个任务，比如“赚钱”，那么也许这会导致一些邪恶的行为作为工具性目标。在我们回到这一点之前，让我们退一步谈谈今天的 RLHF 系统和所有东西。我确实想跟进这一点，因为它很有趣。通过今天的 RLHF 以及它影响这些模型的方式，你会如何从人类心理学的角度来描述它？它是一种驱动力吗？它是一个目标吗？它是一种冲动吗？从心理学上讲，它是什么？它在哪些方面发生了变化？不仅仅是聊天机器人的角色，而是“不要那样说话，要那样说话”或者“不要输出那种内容”。可能有一些与人类的驱动力或目标相似之处。你试图朝着一组特定的状态而不是其他状态前进。我认为我们对驱动力或目标的理解还有其他元素，例如实现它时获得的满足感。这些东西更多地与学习算法有关，而不是模型在运行时做什么，当你有一个固定的模型时。可能有一些相似之处，但我不知道有多接近。在某种程度上，模型确实以某种有意义的方式拥有驱动力和目标。在 RLHF 的情况下，你试图最大化人类批准（由奖励模型衡量），模型只是试图生成人们会喜欢并判断为正确的东西。我听说过两种关于利用内部独白来提高推理能力的想法。至少在公开场合，我看到过两种想法，我很想知道你认为哪种更有前景。一种是模型从一系列潜在的思维过程中学习其输出，并学会遵循导致正确答案的那个。然后它在部署之前就对此进行了训练。另一种是你在部署中使用大量的计算来进行推理。这种方法涉及模型在部署时与自己对话。你认为哪种方法更接近模型在变得非常擅长推理时所接受的训练方式？是因为它只是进行了大量的推理计算？是因为你训练它做得很好？你可以将推理定义为需要某种测试时间计算或某种演绎的任务。根据定义，推理是需要某种测试时间计算和逐步计算的任务。另一方面，我也期望通过在训练中进行练习来获得很多。现在，你有这两种模型学习的方式。一种是在训练中，无论是预训练还是训练后。训练中的大部分计算都花在了预训练上，略过了数万亿个 token，略过了数万亿个 token 的信息。如果一个人受到这种影响，他们会完全感到困惑。这根本不是一种非常有效的学习方式。另一种方式是上下文学习。当然，它更具样本效率，但每次实例都会被破坏。我很好奇你是否认为存在一种介于两者之间的路径，它不会在每次实例中被破坏，但也不会像仅仅看到数万亿个 token 那样随意。更主动、更深思熟虑的东西。你的意思是模型拥有某种中程记忆吗？比上下文能容纳的要多，但规模比预训练小得多？可能是记忆。我没有上下文。当然，当我准备这次谈话时，我会想我应该理解什么，仔细阅读，也许在我阅读时思考它。我不确定它在模型方面自然对应什么。那会是什么样子？我明白了。所以它不仅仅是记忆，而且它还在某种程度上专门针对某个任务或将大量精力投入到某个特定项目中。我甚至不确定它是否是专业化。更多的是“我不理解这部分，所以让我更深入地研究一下。我已经理解了这一点。”我想它是针对你现有的知识库进行专业化的。我明白了。所以它不仅仅是训练大量相关来源并在特定领域进行微调。它还涉及推理，通过你自己的推理发展知识，并利用某种内省或自我知识来弄清楚它需要学习什么？是的。这确实感觉像是当今系统所缺失的东西。人们还没有真正深入研究大规模训练——你从中产生一个单一的快照模型，该模型应该像部署的模型一样做所有事情——以及另一方面，上下文学习之间的这种中间地带。部分原因是我们的上下文长度增加了很多，所以没有动力去做。如果你能达到十万或一百万的上下文，那实际上是相当多的。在很多情况下，这实际上并不是瓶颈。我同意你可能还想补充一些微调。通过微调和上下文学习获得的能力很可能是互补的。我预计我们会想要构建进行在线学习的系统，并且还拥有一些认知技能，例如内省自己的知识并寻找填补空白的新知识。这一切是同时发生的吗？它只是一个新的训练机制，所有这些事情都可以同时发生，无论是长周期还是这种训练？它们是分开的还是不分开的？模型是否足够聪明，既能内省又能以更长的周期行动，从而在长周期任务上获得足够的奖励？如果你正在执行某种长周期任务，你是否在执行任务时进行学习？要完成涉及许多步骤的事情的唯一方法是拥有在任务期间更新的学习和记忆。短期记忆和长期记忆之间存在一个连续体。我预计当我们开始更多地关注长周期任务时，对这种能力的需求将变得清晰。在某种程度上，将大量内容放入上下文中将带你走得很远，因为我们现在有非常长的上下文。你可能还想要微调之类的东西。至于内省和主动学习的能力，这可能会自动从模型了解它们所知道的能力中脱颖而出。模型确实对它们所知道的东西有一些校准。这就是为什么模型不会那么糟糕地产生幻觉。它们对自身的局限性有一些理解。同样的能力也可以用于主动学习。有所有这些复杂的强化学习程序，其中许多是你开创的。当模型本身足够聪明，可以充当自己的环境并以更在线、更稳定的方式进行交互时，其中有多少会相关？进步的道路是否会比过去强化学习所需的解决方案更直接？我认为策略梯度算法不是最样本效率的算法。所以，如果你想快速学习，这可能不是你在测试时想做的事情。但谁知道呢？也许没那么糟。我认为动物的运动学习可能类似于策略梯度算法。例如，假设你正在学习如何投篮。这可能需要数千次尝试才能提高准确性。策略梯度算法可能就在下面。如果一个模型试图做一个项目或某种任务，这不会是最快的学习方式。我们希望更多地依赖上下文学习，在那里你实际上有一个学到的算法。它学会了如何探索。它学会了如何穷尽地尝试所有可能性，而不是一遍又一遍地做同样的事情并犯同样的错误。我们将能够做一些看起来更像学习到的搜索算法的事情。那将是在特定任务中使用的东西。有趣。我想退一步问问你自己的历史，至少在 OpenAI。你领导了 ChatGPT 的创建。在什么时间点你意识到这些大型语言模型是必经之路？你什么时候意识到聊天机器人或某种指令它们的方式会很有用？请向我介绍一下从这成为你的主要关注点以及过程是怎样的。在 ChatGPT 之前，OpenAI 有这些指令遵循模型。那里的想法是，我们有基础模型，人们可以以复杂的方式提示它们。但它们也很难提示。它们基本上是自动补全，所以你必须设置一个非常好的提示，其中包含一些示例。OpenAI 的人们一直在努力让基础模型更容易提示。所以如果你只是写一个问题，它就会回答问题，而不是给你更多的问题或类似的东西。所以我们有了这些指令遵循模型，它们就像基础模型，但更容易使用。那些是最初部署在 API 中的模型。或者在 GPT-3 之后，那些是下一代模型。与此同时，肯定有很多人在考虑聊天。谷歌有一些论文，比如 LaMDA 和更早的 Meena。它们有这些聊天机器人。它更像是一个基础模型，专门用于聊天任务。它在聊天方面做得很好。看看论文中的例子，它更多地用于有趣的应用程序，模型会扮演某个角色并假装是那个角色。它不像我重构代码那样功能强大。所以肯定有人在考虑聊天。我之前在一个关于聊天的项目中工作过，叫做 WebGPT，它更多地是关于在网络浏览和检索的帮助下进行问答。当你进行问答时，它确实想进行聊天。你总是想问后续问题，或者有时模型应该问一个澄清问题，因为问题是模糊的。在我们完成了第一个版本后，很明显下一个版本应该是对话式的。所以我们开始着手开发对话式聊天助手。这是建立在 GPT-3.5 之上的，它在 2022 年初完成了训练。那个模型在语言和代码方面都相当不错。我们很快意识到它在编码帮助方面实际上相当不错。这是我们感到兴奋的事情之一。我们花了一年的大部分时间在这上面。我们还将其作为一项功能，尽管后来我们对其进行了弱化，因为模型的内部知识非常好。浏览并不是它最有趣的部分。我们让朋友和家人使用了一段时间，我们正在考虑公开发布。实际上，GPT-4 在那年八月完成了训练。OpenAI 的旗舰强化学习工作是指令遵循工作，因为那些是正在投入生产的模型。GPT-4 的第一个微调使用了整个堆栈。那些模型非常好，每个人在看到指令微调的 GPT-4 后都非常兴奋。它们非常好。它们偶尔会给你惊人的输出，但模型显然也相当不可靠。它有时会产生很多幻觉。它有时会给你相当疯狂的输出。所以它显然还没有准备好，但它显然非常好。在那之后，人们暂时忘记了聊天，这个替代分支。我们进一步推进了它，最终将所有数据集、指令和聊天数据混合在一起，试图获得两全其美的东西。聊天模型显然更容易使用。在模型了解自身局限性方面，它自动具有更合理的行为。这实际上是我在开发过程中感到兴奋的事情之一。我意识到很多人认为语言模型的缺陷，比如明显的幻觉，可能无法完全修复，但你可以用相当直接的方法取得很大进展。关于聊天还有一件事是，当我们拥有这些指令模型时。任务是“完成这段文字，但要以一种好或有帮助的方式”是一个相当定义不清的任务。这个任务对模型和负责数据标注的人类来说都很令人困惑。而对于聊天，人们对一个有帮助的机器人应该是什么样子有一个直观的认识。所以人们更容易理解模型应该做什么。因此，模型拥有更连贯的个性，并且更容易获得相当稳健的合理行为。有趣。任何人都可以使用你公开的微调 API 来创建 ChatGPT 吗？不完全是。我不记得当时哪些模型可以进行微调。假设当时我们有 3.5 可供微调，你就可以做出相当接近的东西。我认为你无法只进行一次纯粹由人类编写的数据微调。你需要进行几次迭代。如果不行，你不会进行强化学习，而我们确实进行了，你需要某种迭代式监督微调，其中人类编辑模型生成的输出。如果你在人类生成的数据上进行训练，即使它质量很高，模型也很难完美地拟合这些数据，因为它可能是模型能够输出的东西。你需要做一些看起来更像强化学习的迭代。如果你那样做了，你就可以做得相当接近，但这并非易事。我们还有一个指令遵循模型，它在 ChatGPT 之前不久通过强化学习进行了训练。如果你给它一个聊天包装器，你就可以做得相当接近，但那个模型在优势方面有一些不同。那个模型擅长写作和诗歌，但它在了解自身局限性、事实性等方面并不那么好。撇开 3.5 不谈，我想你以前说过你对 GPT-2 印象深刻。与你 2019 年的预期相比，人工智能的进展是比你预期的快还是慢？比我预期的快，自从 GPT-2 以来。我非常相信扩展和预训练是一个好主意。但当 GPT-2 完成时，我并不完全确信它会彻底改变一切。直到 GPT-3 之后，我才改变了我的工作和我团队的工作重点。在那之后，我们聚在一起说，“哦，是的，让我们看看我们能用这些语言模型做什么。”但在 GPT-2 之后，我还不确定。假设我们之前谈到的关于强化学习的东西与这些更智能的模型一起更好地工作。未来预训练与训练后所花费的计算比例是否会显著倾向于训练后？有一些论据支持这一点。现在这是一个相当不对称的比例。你可以争辩说，模型生成的输出比网络上的大多数内容质量更高。所以让模型自己思考比仅仅训练模仿网络上的内容更有意义。所以我认为有一个基本原理支持这一点。我们在训练后获得了大量收益。所以我预计我们将继续推行这种方法，并可能会增加我们投入其中的计算量。当前的 GPT-4 的 Elo 分数比最初发布的版本高一百分。这都是因为你所说的，这些由训练后带来的改进吗？是的，大部分是训练后。有很多不同的、独立的改进方向。我们考虑数据质量、数据数量。还有进行整个部署过程和收集新数据的更多迭代。还有改变你收集的注释类型。有很多东西堆积在一起，但它们共同为你提供了相当不错的有效计算增加。这是一个巨大的增长。从训练后有如此大的改进空间，这真的很有趣。什么样的人非常擅长做这种强化学习研究？我听说它非常微妙。你有什么样的直觉，让你能够找到这些弄乱数据和设置这些环境的方法？我在这方面积累了相当多的经验，从强化学习算法（我从研究生院就开始研究）到数据收集、标注过程以及玩弄语言模型。我想说我涉猎过这些东西，而擅长这类研究的人对整个堆栈都有一些看法，并且对其中的不同部分有很多好奇心。你想既要实证，让实验更新你的观点，又要从基本原理思考。假设学习有效，理想的数据收集类型是什么？那种类型。由于自 GPT-4 以来似乎没有模型明显更好，因此有一个假设是，我们可能正在达到某种平台期。这些模型实际上并没有很好地泛化，而且你会遇到一个数据墙，在此之后，通过记忆庞大的预训练数据语料库所解锁的能力将无法帮助你获得比 GPT-4 聪明得多的东西。你认为这个假设是错误的吗？我们已经讨论了一些泛化例子，比如西班牙语到英语。我想到的一例是从代码到语言推理的迁移。如果你对大量代码进行训练，它在语言推理方面会变得更好吗？实际上是这样吗？你是否看到不同模态之间的正向迁移？如果你对大量视频和图像进行训练，它会从合成数据中变得更聪明吗？还是说解锁的能力与你放入训练语料库的确切标签和数据非常局部化？我将尝试回答所有这些问题。首先，我们是否即将达到数据墙？我不会从 GPT-4 发布以来的时间里得出太多结论，因为训练这些模型需要一段时间，并且需要进行所有准备工作来训练新一代模型。我不会从这个事实中得出太多结论。数据量有限确实带来了一些挑战，但我预计我们不会立即遇到数据墙。然而，我预计随着我们越来越接近数据墙，预训练的性质会随着时间的推移而有所改变。在不同类型的预训练数据的泛化方面，我认为对这个问题进行科学研究非常困难，因为你无法创建那么多预训练模型。也许你无法训练一个 GPT-4 大小的模型并进行大规模的消融研究。也许你可以训练大量的 GPT-2 大小的模型，甚至是一个 GPT-3 大小的模型，并混合不同的数据，看看会得到什么。我不知道有任何公开的关于涉及代码数据和推理性能等的消融研究结果。我非常想知道这些结果。我很好奇。其中一件事是，模型越大就越聪明。GPT-2 级别的模型上的消融研究，表明没有多少迁移，这是否为 GPT-4 级别模型在类似领域上的迁移提供了证据？是的，如果迁移在 GPT-2 大小上失败，那么它在更高规模上也会失败，你可能无法得出这个结论。可能是因为更大的模型学习了更好的共享表示，而较小的模型不得不过度依赖记忆。更大的模型可以学会如何进行正确的计算。我预计在某种程度上会是这样。这可能有一个非常简单的答案。你在相同数量的数据上训练更大的模型，它们变得更聪明。或者，要达到相同的智能水平，你只需要在较少的数据上训练它们。为什么会这样？它有更多的参数，看到了更少的东西，现在它和以前一样聪明。为什么是这样？我不认为有人对参数数量的扩展定律有很好的解释。我甚至不知道这是最好的心智模型。显然，如果你有一个更大的模型，你就有更多的容量。所以你最终应该能够获得更低的损失。为什么更大的模型更具样本效率？我可以给你一个粗略的解释。你可以说模型是执行计算的各种电路的集合。你可以想象它在并行执行计算，输出是它们的加权组合。如果你有更多的宽度……实际上宽度与深度有些相似，因为对于残差网络，深度在更新残差流中的内容方面可以做一些与宽度类似的事情。你正在并行学习所有这些不同的计算，并且拥有一个更大的模型，其中有更多的计算。所以你有一个更大的机会，其中一个碰巧猜对了，并且被加权了。有一些算法是这样工作的，比如混合模型或乘法权重更新算法，其中你有——我不想说专家混合，因为它有不同的含义——基本上是具有某种学习到的门控的专家的加权组合。我实际上说错了，但你可以想象类似的东西。仅仅拥有一个更大的模型就能让你有更多机会获得正确的函数。当然，你并不是在对完全不相关的函数进行线性组合。它更像是一个库，你可能以某种方式将函数链接在一起。有一些可组合性。所以我想说一个更大的模型拥有一个更大的不同计算库，包括很多休眠的东西，只在某些时候被使用，但它有更多的空间来寻找有用的电路。退一步，不考虑当前的研究问题，我想了解你对未来几年的模式化场景。在对话的开头，我们谈到了进展非常快的情况，但让我们只考虑模式场景。你在某个时候解锁了长周期强化学习，但正如你所说，可能还有其他瓶颈。发生了什么？这些模型有多好？它们是如何部署的？还有哪些其他模态是它们的一部分，以及在什么阶段解锁？我想了解你对未来几年的更广泛图景。我预计随着时间的推移或很快就会添加新的模态。我预计通过预训练和训练后的结合，能力将普遍不断提高，这将开辟新的用例。目前，人工智能在经济中仍然不是一个巨大的组成部分。只有很小一部分工作它可以提供帮助。我预计随着时间的推移，这个比例会更高，不仅因为模型的改进，还因为人们找到了如何将它们集成到不同流程中的方法。所以即使我们冻结模型，使其保持当前状态，你仍然会看到它们的使用量大幅增长。我预计人工智能将被更广泛地使用，并用于更技术精湛的任务。我之前举了编程的例子，完成更长的项目，同时也帮助各种研究。我希望我们能用人工智能来加速科学研究，因为你可能可以让模型理解一个领域的全部文献，并能够筛选大量数据。这比一个人要有耐心去做。我希望其形式因素是人们仍然在驱动这一切，而你拥有你的

有用的助手，你可以指导它们处理许多对你有用的不同问题。每个人都会拥有所有这些人工智能来帮助他们做得更多，完成更多事情。显然，在某个时候，它们将在它们想做的任何事情上都比每个人都做得更好。这个过程会是什么样子？

现在，它们显然只在帮助你。在某个时候，它们将能够直接为你做事，甚至可能为你经营整个公司。这个过程会顺利吗？到那时，希望我们拥有与用户对齐的系统，足以让他们相信公司会按照他们期望的方式运营。

我们可能不想立即跳到让人工智能经营整个公司。即使模型足够好，能够自己经营一家成功的企业，我们也可能希望有人监督这些重要决策并发号施令。在某种程度上，那里可能存在选择。我认为人们仍然会有不同的兴趣和想法，想让他们的人工智能专注于什么样的有趣追求。

人工智能不一定有任何内在的欲望，除非我们将其放入系统中。所以，即使人工智能变得极其强大，我也希望人们仍然是人工智能最终所做事情的驱动者。

我想知道经济均衡是否离那个状态很远，即公司中存在相当于阿姆达尔定律的情况。流程中最慢的部分将是瓶颈。即使人工智能使公司中所有非人类部分提高了 10 倍的效率，公司仍然会被那个步骤所瓶颈。

如果一家公司决定保留人类参与所有你真正希望人类监督的事情，那么它就会被其他公司击败。如果一个国家决定走这条路，其他国家就会超越它。我想知道这是否是让人们参与其中的可持续计划。

如果我们想让人们参与其中，这似乎是合理的，但事实证明，任何有人的公司都会被没有人的公司击败，那么显然需要某种监管来禁止在经营整个公司时没有人参与。但任何国家，更不用说全世界，都有如此多的公司。

我想知道是否最好在模型部署之前就解决这个问题，这样，如果你决定建立一家公司并依赖这些模型，它基本上就会按照你的意愿行事，而你不需要人类参与？这个问题有意义吗？我只是想知道，在这种情况下，我们如何实际监控每家公司以确保有人参与？如果中国不决定这样做，会发生什么？

你必须让每个国家都同意这个监管体系，或者你需要所有模型基础设施或模型提供商都同意这种要求。这肯定不是一件容易的事。

这是在展望未来，所以在看到类似的世界之前，很难想象它。例如，我们是否真的确信人工智能经营的公司在各个方面都更好？我们认为它们大多数时候都更好，但偶尔会发生故障，因为人工智能在某些方面仍然不够样本高效？考虑当它们必须处理非常奇怪的情况时。人工智能经营的公司可能实际上具有更高的尾部风险，因为它们更容易发生重大故障。

可能存在一些实际问题，这些问题将决定事情如何发展。也许如果你只是要求人们对各种责任负责，这也会改变一些激励措施。

假设事实证明，人工智能在经营一切方面都更好，而且它们也完全是仁慈的。假设我们完全解决了对齐问题，并且它们比人们更能对人们负责。那么也许让人工智能经营公司是可以的。但这很遥远。我们更有可能处于它们在短期内看起来更好，但仍然存在一些严重问题的情况。

实际上是实际考虑因素促使你更多地让人们参与其中，至少在不久的将来是这样。所以这是我们今天必须通过 RLHF 来处理的问题。你必须汇总大量不同人类的偏好。对于未来更强大的系统，这可能会更加明显。

但是，当你谈到我们希望这些最终的人工智能系统能够完全取代公司中的人类时，它们需要对齐，这意味着什么？这意味着它们基本上会按照用户的意愿行事吗？这意味着它们必须产生我们作为 OpenAI 的利益相关者感到满意的一种全球性结果吗？具体来说，这意味着什么？

如果模型被用于这些更高风险的用例，那么我们就必须以一种与现在截然不同的方式来思考 RLHF。我们还没有完全准备好，或者当前的方法可能不够充分。我们需要在涉及的不同利益相关者的需求之间做出妥协。

我们发布了一份名为“模型规范”的文件。它关于我们希望我们的模型在 API 和 ChatGPT 中的行为。我们试图讨论这个问题，即存在不同的利益相关者，有时他们之间会存在冲突。

在我们的案例中，我们将利益相关者视为最终用户（坐在 ChatGPT 或其他应用程序前的人）、开发人员（使用 API 并可能通过其应用程序为其他最终用户提供服务的人）、平台（OpenAI，我们不希望模型给我们带来法律风险）以及全人类（包括不是用户或客户一部分的人）。

显然，用户可能会要求模型做一些我们认为对其他人有害的事情。我们可能不得不拒绝。顺便说一句，这不一定是优先顺序。这些只是四类或左右的利益相关者。实际上，将来你也许也可以说，模型本身。我们还没有到那一步。

总之，我们有这些不同的利益相关者。有时他们有冲突的要求。我们必须就如何解决这些冲突做出一些决定。这并不总是显而易见的。我们必须仔细考虑权衡，基本上粗略的经验法则是，我们主要希望模型遵循你的指示，并对用户和开发人员有用。但是，当这影响到他人的幸福或生活方式时，就会成为一个问题，我们必须阻止某些类型的用法。

我们主要希望模型成为人们意志的延伸，并按照他们的指示行事。我们不想过于家长式。我们希望保持中立，不将我们的意见强加于人。我们主要希望让人们随心所欲地使用这些模型。

我有机会提前阅读了规范。这是一个关于它在多大程度上转化为模型本身行为的问题。我对权衡的合理性印象深刻。我相信实际的边缘情况被明确说明了，而不是那些显而易见的事情。在这种情况下，你确实在处理边缘情况。我们希望它非常可操作，这样它就不仅仅是一堆听起来不错的原则。每个例子都告诉你一些关于非显而易见的情况以及对这种情况的推理。

我对研究本身的现状有几个问题。众所周知，社会科学中的事物很难复制。有一个问题是，有多少科学是真实的，有多少是人为的、定制的实验。当你查看平均的机器学习论文时，它是否感觉像是一份非常扎实的文献，还是经常感觉就像社会科学中的 p 值操纵的等价物？

每个人都对机器学习文献有抱怨。总的来说，我认为这是一个相对健康的领域，尤其与其他一些领域（如社会科学）相比。它在很大程度上基于实用性和让事情奏效。如果你发表的东西不容易复制，人们就会忘记它。

人们普遍认为，你通常不会仅仅报告论文中的某个数字。你还会尝试重新实现他们的方法，并在相同的训练数据集上与你的方法进行比较。如果你发表的方法很难实现或非常挑剔，它们往往会被遗忘。

因此，人们实际上经常开源他们的工作。还有各种不利的激励措施。人们有动力让他们比较的基线方法变得更差。还有其他轻微的病态，比如试图让你的方法在数学上看起来很复杂。但总的来说，我觉得这个领域在进步。

我希望看到更多的科学研究，试图理解事物，而不是仅仅在基准测试上爬升并尝试提出新方法。最近已经有很多这方面的工作了。我们可以做得更多。我认为这对学者来说是一件好事。

在稍微不同的方向上，我非常期待看到更多关于使用基础模型进行模拟社会科学的研究。这些模型对整个世界都有一个概率模型，你可以设置一个模拟的问卷调查或对话，并观察任何事物是如何相关的。你可以想象到的任何特征，你都可以看到它们可能与其他特征相关。

如果人们能够通过以不同的方式提示基础模型并观察哪些特征相关，来复制社会科学中一些更显著的结果，比如道德基础之类的，那将非常酷。斯坦福大学的那个实验是什么？阿希从众实验？如果语言模型也能复制它，那将很有趣。

这非常有趣。我想问一下在大实验室里发生的其他研究。有多少是增加或减少获得某个结果所需的计算量，作为实际的计算乘数，而有多少只是使学习更稳定并构建基础设施？我试图问的更广泛的问题是，自 GPT-4 以来，是否感觉用相同的计算量，你可以训练一个更好的模型？还是感觉你已经确保了 GPT-5 的学习能够更好地、更具可扩展性地发生，但我们现在不能用 GPT-3.5 的预算来训练 GPT-4？

在提高效率方面肯定总是有进步的。每当你有一个一维性能指标时，你就会发现不同的改进可以相互替代。你可能会发现，训练后和训练前都会改进指标。它们在改进哪些指标方面会有略微不同的特征。但归根结底，如果你有一个单一的数字，它们在某种程度上都会相互替代。

对于像人类评估这样的事情，人类喜欢什么，我们在训练前和训练后都取得了很大的进步。

关于 RLHF 的几个快速问题。显然，RLHF 对于使这些模型有用很重要。所以也许“被阉割”的描述是不准确的。然而，在某种意义上，所有这些模型一旦被放入聊天机器人形式，说话方式都非常相似。它们非常想“深入”研究事物。它们想把事情变成要点。它们通常似乎有一种正式而枯燥的说话方式。

有人抱怨它们不如以前有创造力了。就像我们之前谈到的，直到最近它们只能写押韵诗，而不能写非押韵诗。这是因为现在 RLHF 的特定方式吗？如果是这样，是因为评分员是谁吗？是因为损失函数是什么？为什么所有的聊天机器人看起来都这样？

我会说，在确切的训练过程方面，有相当大的空间可以进行变化。我们正在积极努力改进这一点，使写作更生动有趣。我们已经取得了一些进展，比如改进了 ChatGPT 的个性。它更有趣，当你试图与它闲聊时，它会更好。它不那么像机器人了。

一些小习惯是如何产生的，比如“深入”这个词，这是一个有趣的问题。我最近甚至发现自己也在用这个词。我不知道是不是从模型那里传染给我的。实际上，可能还有一些有趣的效应在起作用，即语言模型和提供商之间发生了非故意的蒸馏。

如果你雇佣某人去做标注任务，他们可能只是将其输入模型。他们可能会打开他们最喜欢的聊天机器人，输入它，让模型完成任务，然后复制粘贴回来。所以这可能解释了一些收敛性。

我们看到的一些东西只是人们喜欢的。人们喜欢要点。他们喜欢结构化的回应。人们通常喜欢从模型那里获得的大量信息。所以，有多少只是训练后过程的特定选择和设计的怪癖，有多少实际上是人们真正想要的内在需求，这一点并不完全清楚。

它似乎比一些人想要的更冗长。也许只是因为在标注阶段，评分员会更喜欢冗长的答案。我想知道这是否是固有的，因为它是如何预训练的，并且停止序列并不经常出现，它真的想继续下去。标注中可能存在一些导致冗长的偏见。

事实是我们倾向于一次训练一个消息，而不是整个交互。如果你只看到一条消息，那么一个只是澄清问题，或者一个简短的回应并邀请跟进的消息，看起来就不如涵盖所有可能性的消息完整。

还有一个问题是，人们的偏好是否会根据模型流式传输输出的速度而改变。显然，如果你坐在那里等着 token 出来，你会更喜欢它直奔主题。但如果它立即给你一堆文本，也许你并不真的在乎是否有大量的样板文字或者你将要浏览的内容。你宁愿让所有内容都在那里。

奖励模型是一个非常有趣的产物，因为它是我们最接近于汇总人们想要的东西和他们的偏好的东西。我正在考虑更聪明的模型。一种希望是，你可以给它一份我们想要的东西的清单，这些东西不是微不足道和显而易见的，比如《联合国人权宣言》。另一方面，我认为我听到你提出了一点，即我们的大部分偏好和价值观都非常微妙，所以它们可能最好通过成对偏好来表示。

当你想到 GPT-6 或 GPT-7 级别的模型时，我们是给它更多的书面指示，还是仍然进行这种潜意识的偏好？这是一个好问题。这些偏好模型确实学习了很多关于人们喜欢什么微妙之处，这些微妙之处很难在说明手册中表达清楚。显然，你可以写一本包含大量比较示例的说明手册。这就是模型规范所做的。它包含许多示例和一些解释。

不清楚描述偏好的最佳格式是什么。我猜想，任何你能从捕捉模糊偏好的大型数据集中获得的，都可以提炼成一个更短的文档，主要捕捉这些想法。更大的模型确实会自动学习许多人们可能觉得有用和有帮助的概念。它们会拥有一些复杂的道德理论，可以抓住它们。当然，仍然有很大的空间可以抓住不同的风格或不同的道德观。

所以，如果我们写一份文件，如果我们想要对齐这些模型，我们所做的就是抓住一种特定的风格，一种特定的道德观。你仍然需要一个相当长的文档来准确地捕捉你想要的东西。

训练后的护城河有多大？公司目前通过其模型的大小等来区分自己。谁掌握了你之前谈到的所有关于所有这些数据的挑剔之处，这将是一个巨大的护城河吗？

有一点护城河，因为它是一个非常复杂的操作，需要大量有技能的人来完成。它需要大量的默会知识和组织知识。在训练后，要创建一个真正具有人们关心的所有功能的模型，这是非常复杂的。它需要一个相当复杂的努力和大量的研发积累。这在某种程度上构成了一个护城河。它不是可以立即启动的。

确实，那些投入最认真预训练工作的公司，也正在投入最认真的训练后工作。复制或启动更多这些工作在某种程度上是可能的。还有一个因素使得它不太像护城河。你可以蒸馏模型，或者你可以拿别人的模型来克隆输出。你可以使用别人的模型作为裁判来进行比较。

大多数大型公司可能不会这样做，因为它违反了服务条款。这也会损害他们的自尊心。但我预计一些小型玩家会这样做以起步。这在很大程度上能让你赶上。我想这有助于清除护城河。

中等评分员是什么样的？他们在哪里？他们的政治立场是什么？他们的知识水平如何？

这变化很大。我们肯定为不同类型的任务或项目雇佣了具有不同技能的评分员。一个不错的思维模型是看看在 Upwork 和其他类似平台上的人。看看谁在做远程工作的零工。这是一个相当国际化的群体。美国有相当多的人。

我们为不同类型的标注雇佣了不同的人群，比如我们更关注写作还是 STEM 任务。从事 STEM 任务的人更有可能来自印度或其他中低收入国家。从事更多英语写作和组成的人则更倾向于在美国。

有时我们需要为一些活动雇佣不同的专家。有些人非常有才华，我们甚至发现他们在做这些任务方面至少和我们研究人员一样好，而且他们比我们更仔细。我想说我们现在的人员非常熟练和认真。

关于平台叙事，我听到的一种说法是，这些模型帮助你处理特定事情的许多能力都与监督微调数据集中的非常匹配的标签有关。这是真的吗？它能教我如何正确使用 FFmpeg 吗？是不是有人看到了输入，看到了你需要添加的标志，然后有人弄清楚了这一点并与之匹配？你需要雇佣所有这些具有所有这些不同领域领域专业知识的标注评分员吗？如果是这样，似乎要让这些模型随着时间的推移变得越来越聪明，这将是一个更大的艰苦过程。

你并不完全需要那样。你可以从泛化中获得相当多的东西。基础模型已经接受了大量的文档、代码、shell 脚本等训练。它已经看到了所有的 FFmpeg 手册页、大量的 Bash 脚本等等。即使只是给基础模型一个很好的少样本提示，你也可以让它回答这样的查询。

即使你没有在任何 STEM 上进行训练，仅仅训练一个有用的偏好模型，也会在某种程度上泛化到 STEM。所以，你不仅不需要如何使用 FFmpeg 的例子，你甚至可能不需要任何编程来获得一些合理的编程领域行为。

也许是最后一个问题。我们以不同的方式触及了这个问题，但让我们把它放在一起。你说你在训练更多多模态数据。可以想见，这些东西能理解屏幕的样子，并且能够以更连贯的方式与之交互。此外，你将进行长期 RL，因此它们将能够充当系统中的代理，并在你的工作流程中以更集成的方式发挥作用。你期望那会是什么样子？接下来的步骤是什么？

假设到今年年底或明年，你有一个助手可以在你的屏幕上与你一起工作。这似乎是一个可以预期的合理的事情吗？从那里它会去哪里？

我绝对期望事情会朝着这个方向发展。目前还不清楚哪种形式因素最好。它可能是一种像你电脑上的 Clippy 帮助你，或者更像云中的一个乐于助人的同事。我们将看到哪种形式因素最有效。我期望人们会尝试所有这些。我期望乐于助人的助手或乐于助人的同事的思维模型将变得更加真实。

它将是你可以分享更多日常工作的东西。而不是仅仅给它一次性的查询，你将有一个你正在做的整个项目，它知道你在这个项目上迄今为止所做的一切。它甚至可以主动提出建议。也许你可以告诉它记住问我关于这件事，以及我是否在这方面取得了任何进展。

主动性是缺失的一件事。我希望看到我们从一次性的查询，将模型用作搜索引擎，转向拥有一个我正在与模型合作的整个项目。一个它知道我所做的一切。它主动为我建议尝试的事情，或者它在后台进行工作。这真的很有趣。

这是最后一个问题。你估计你的工作被取代的中位时间是什么时候？哦，它取代了我的工作？也许五年。很快。

有趣。约翰，这太有趣了。非常感谢你抽出时间。这似乎是人工智能过程中一个非常重要但人们不太了解的部分。深入了解并听取你的想法非常有趣。

感谢你邀请我参加播客。很高兴能谈论所有这些事情。