Inside ChatGPT: The fastest growing product in history | Nick Turley (OpenAI)

您曾是 Dropbox 的产品负责人，后来又去了 Instacart。现在，您是历史上最具影响力的产品的产品经理。我不知道我在这里会做什么，因为这是一个研究实验室。我的第一项任务是修理百叶窗，或者类似的事情。当有人给你一艘火箭飞船时，不要问是哪个座位。我们着手构建一个超级助手。它本应是一个黑客马拉松的代码库。它以前叫什么？它本应是“与 GPT-3.5 聊天”，因为我们真的不认为它会成为一个成功的产品。然后 Sam Altman 就说：“嘿，让我发个推特谈谈这件事。”这是人工智能的一个模式，在发布之前你不会知道要打磨什么。我的梦想是我们每天都能发布。当人们听到这个消息时，他们将拥有 GPT-5。大约 10% 的世界人口每周都在使用。规模越大，责任越大。它感觉更生动，更人性化。这个模型有品味。Kevin Weil，您的首席产品官，说要问您关于“它是否已最大限度地加速？”这个原则。我真的很想直奔主题，“为什么我们现在不能这样做？”我一直觉得我在这里的角色就是设定节奏和休眠心跳。每个人都在想，“聊天是所有这些东西的未来吗？”聊天是当时最简单的发布方式。我为它的成功感到震惊，更让我震惊的是有多少人模仿了它。ChatGPT 现在为我的新闻通讯带来的流量比 Twitter 还多。这是一种令人难以置信的留存能力。我一直对我们在搜索方面所做的工作感到非常兴奋。您能让我们一窥它的长期发展方向吗？ChatGPT 感觉有点像 MS-DOS。我们还没有构建 Windows，一旦我们做到了就会显而易见。今天，我的嘉宾是 Nick Turley。Nick 是 OpenAI 的 ChatGPT 负责人。他三年前加入公司，当时它主要还是一个研究实验室。他帮助构思了 ChatGPT 的想法，并将其从零发展到拥有超过 7 亿周活跃用户，数十亿美元的收入，以及可以说是人类历史上最成功和最具影响力的消费软件产品。Nick 令人难以置信。他一直非常低调。这是他有史以来第一次主要的播客采访，您将大饱耳福。我们谈论了所有事情，包括刚刚发布的 GPT-5。非常感谢 Kevin Weil、Claire Vo、George O'Brien、Joanne Jang 和 Peter Deng 为这次谈话提供话题建议。如果您喜欢这个播客，请不要忘记在您喜欢的播客应用程序或 YouTube 上订阅和关注它。如果您成为我的新闻通讯的年度订阅者，您将免费获得一年的一系列令人难以置信的产品，包括 Lovable、Replit、Bolt、n8n、Linear、Superhuman、Descript、Wispr Flow、Gamma、Perplexity、Warp、Granola、Magic Patterns、Raycast、ChatPRD 和 Mobbin。请访问 lennysnewsletter.com 并点击“bundle”。现在，我为您带来 Nick Turley。本期节目由 Orkes 提供，该公司是开源 Conductor 的幕后推手，Conductor 是为现代企业应用程序和代理工作流提供支持的编排平台。传统的自动化工具无法跟上步伐。孤立的低代码平台、过时的流程管理和断开的 API 工具在当今事件驱动、人工智能驱动的代理格局中表现不佳。Orkes 改变了这一点。借助 Orkes Conductor，您可以获得一个代理编排层，该层可以实时、大规模地无缝连接人类、人工智能代理、API、微服务和数据管道，实现企业级规模，可视化和代码优先开发，内置合规性、可观察性和坚如磐石的可靠性，确保工作流随着您的需求动态演变。它不仅仅是自动化任务，更是编排自主代理和复杂工作流，以更快地交付更智能的成果。无论是现代化遗留系统还是扩展下一代、人工智能驱动的应用程序，Orkes 都能加速您从想法到生产的旅程。访问 orkes.io/lenny 了解更多信息并开始构建，即 orkes.io/lenny。本期节目由 Vanta 提供，我非常激动地邀请到 Vanta 的首席执行官兼联合创始人 Christina Cacioppo 加入我进行这次非常简短的谈话。很高兴来到这里。我是播客和新闻通讯的忠实粉丝。Vanta 是本节目的长期赞助商，但对于我们一些新听众来说，Vanta 是做什么的，又是为谁准备的？当然。我们于 2018 年创立了 Vanta，专注于创始人，帮助他们开始构建安全计划，并通过 SOC 2 或 ISO 27001 等合规性认证来为所有这些艰苦的安全工作获得认可。如今，我们目前帮助超过 9,000 家公司，包括一些家喻户晓的初创公司，如 Atlassian、Ramp 和 LangChain，开始并扩展他们的安全计划，并通过自动化合规性、集中 GRC 和加速安全审查来最终建立信任。这太棒了。我从经验中知道，这些事情需要大量的时间和资源，而且没有人想花时间做这些。这正是我们的经验，但在此之前，并在一定程度上在此期间，但关键在于，通过自动化、人工智能和软件，我们正在帮助客户以高效的方式与潜在客户和客户建立信任。我们的笑话是，我们创办了这家合规公司，这样您就不必这样做。我们感谢您为此所做的努力，您为听众提供特别折扣。您可以在 vanta.com/lenny 获得 1,000 美元的 Vanta 折扣，即 vanta.com/lenny 获得 1,000 美元的 Vanta 折扣。感谢您，Christina。谢谢！Nick，非常感谢您的加入，欢迎来到播客。谢谢您的邀请，Lenny。我本来就有十亿个问题想问您，然后你们决定在我们录制这期节目的那一周发布 GPT-5。所以，现在，我至少有二十亿个问题要问您。我希望您有足够的时间。首先，恭喜发布。它将在明天，也就是我们录制之后的一天发布。恭喜。您感觉如何？我猜这会是极其繁重的工作和巨大的压力。您怎么样？这是忙碌的一周，但我们已经为此工作了很长时间，所以能够发布它感觉也很好。所以，当人们听到这个消息时，他们将能够使用 GPT-5，最新的 ChatGPT。最简单的方法来理解它是什么，它解锁了什么，人们可以用它做什么？给个推销词。我非常兴奋 GPT-5。我认为对大多数人来说，它将是一种真正的变革。如果您是普通的 ChatGPT 用户，本周我们有 7 亿用户，您可能已经使用 GPT-4o 一段时间了。您可能甚至不会考虑驱动产品的模型。而 GPT-5，它感觉在类别上是不同的。我将讨论很多细节，但归根结底，氛围很好，至少我们是这么认为的。我们希望用户也能有同样的感受。而且，我认为这是大多数人注意到的事情，对吧？他们不看学术基准。他们不看评估。他们尝试模型并感受它的效果。仅凭这一点，我就非常兴奋。我已经使用它一段时间了，但它也是我们发布过的最聪明、最有用的、最快的尖端模型。在纯粹的智能方面，一种看待它的方式是学术基准，无论是数学、推理还是纯粹的智力。这个模型是顶尖的。我对它在编码方面的表现尤其感到兴奋，无论是 SWE-bench，这是一个常见的基准，还是实际的前端编码，它也非常非常出色，而且我认为 GPT-5 在这方面确实有真正的变革性改进。但无论您如何衡量智能，它都相当 remarkable，我认为人们会感受到升级，尤其是如果您还没有使用 o3 的话。第二个方面是智能之外，它非常有用。编码是效用的一种维度，无论您是否有编码问题还是在进行应用编码，它也是一个非常好的写作者。我以写作谋生，无论是内部还是外部。我刚写了一篇我们周一发布的博客文章，这个东西是一个令人难以置信的编辑器。与一些旧模型相比，它有品味，我认为这非常令人兴奋。对我来说，这是我日常生活中真正有用的东西。还有很多其他领域，比如它在健康方面是顶尖的，当您需要时它很有用，但同样，您无法真正用用例或数据来表达的是模型的情感。它感觉更生动，更人性化，以一种难以言喻的方式，直到您尝试它。所以，对此感觉很好。是的，如前所述，它更快。它也会思考，就像 o3 一样，但您不必手动告诉它这样做。它会在需要时动态决定思考。当它不需要思考时，它会立即响应，这比使用 o3 感觉快得多。然后，也许最令人兴奋的是我们将其免费提供，这是我认为我们 OpenAI 独有的事情。因为我认为许多公司，如果他们有像我们这样的订阅模式，他们会将其限制在付费计划中。而对我们来说，如果我们能够扩展它，我们就会这样做，这感觉很棒。我们对 4o 也这样做了。所以，希望每个人明天都能尝试 GPT-5。这样的东西需要多长时间？我不知道是否有简单的答案，但你们花了多长时间来开发 GPT-5？我们已经为此工作了很长时间。您可以将 GPT-5 视为各种不同努力的结晶。我们有推理技术，我们有更经典的后期筛选方法，因此，很难确定一个开始点，但它确实是我们开始使用各种技术一段时间的终点。您能让我们一窥 ChatGPT 的愿景，以及 GPT 的总体愿景吗？如果从表面上看，它很长一段时间以来都是一个更聪明的头脑，但想法是一样的。我对它的长期发展感到好奇。所以，也许稍微回顾一下，现在，您将 ChatGPT 视为，“它会成为一个普遍的产品吗？”再次，大约 10% 的世界人口每周都在使用。我的天。我认为我们现在有 500 万企业客户。它本身就是一个成熟的类别。但实际上，当我们开始时，我们着手构建一个超级助手，当时我们是这么说的。事实上，我们使用的代码库叫做 SA Server。它本应是一个黑客马拉松的代码库，但事情总是会有点不同。所以，是的，在某些方面，这仍然是愿景。我不经常谈论它的原因是因为我认为助手在我们要创造的心智模型方面有点局限。您会想到一个非常人格化的人类事物，也许是功利主义的，也许是……坦率地说，拥有一个助手对大多数人来说并不特别 relatable，除非他们在硅谷并且是管理者，或者类似的东西。所以，它是不完美的。但实际上，我们设想的是一个能够帮助您完成任何任务的实体，无论是在家、在工作还是在学校，实际上是任何情境，并且它是一个了解您试图实现的目标的实体。所以，与今天的 ChatGPT 不同，您不必详细描述您的问题，因为它已经了解您的总体目标并了解您的生活背景等。所以，这是我们非常兴奋的一件事。给予它更多关于您生活的信息的反面是给予它更多的行动空间。所以，我们非常兴奋能够随着时间的推移，让它能够做一些聪明、有同情心的人类在电脑上可以为您做的事情。而且我认为，一旦您让它访问了这样的工具，您就可以解决的问题类型与您今天在聊天机器人中可能能够解决的问题类型非常非常不同。所以，那是更多的产出。我经常想，“好吧，我是一个通用智能。如果我成为 Lenny 的实习生，或者类似的东西会怎么样？”尽管我提到了这两项属性，但我可能不会特别有效，原因是我认为与这项技术建立关系的想法也非常重要。所以，这也许是我感到兴奋的第三部分是构建一个能够随着时间推移真正了解您的产品。您看到了我们今年早些时候发布的改进的记忆功能，这只是我们希望做的事情的开始，以便它真正感觉像是您的 AI。所以，我不知道超级系统是否仍然是正确的类比，但我认为人们只是将其视为他们的 AI。而且我认为我们可以把它放在每个人的口袋里，帮助他们解决实际问题，无论是变得健康，无论是开始一项业务，无论是对任何事情都有第二意见。在人们的日常生活中，有很多不同的问题可以帮助他们，这就是激励我的。所以，我在这里读到的一条有趣的线索是，愿景是让它成为人们的助手，而不是取代人们。这似乎是拼图中的一个非常重要的部分。也许只是谈谈这一点。人工智能确实让人们感到害怕，我理解有几十年的关于人工智能的电影，它们都有某种固定的心智模型。即使您只看今天技术，我认为每个人都会经历这样一个时刻，人工智能做了一些对他们来说非常个人化的事情，您会想，“嘿，人工智能永远做不到这一点。”对我来说，这是奇怪的音乐理论问题，我当时想，“哇，这个东西实际上比我更懂音乐，”而这正是我热衷的事情。所以，这自然是可怕的。而且我认为对我们来说很长时间以来一直很重要的事情是构建一些感觉对您有帮助的东西，但您在驾驶座上，而且随着这些东西变得越来越代理化，这种感觉就更加重要了，即处于控制之中，而这可以是小事。我们建立了一种方式来观察人工智能在代理模式下做什么。并不是说您实际上会一直观察它，但它会给您一个心智模型，让您感觉处于控制之中，就像您乘坐 Waymo 时，您会看到那个屏幕，对于那些尝试过 Waymo 的人来说。您可以看到其他汽车。并不是说您实际上会观看，但它让您感觉您知道这个东西是如何工作的以及发生了什么，或者我们总是与您核实以确认事情。这有点烦人，但它让您处于驾驶座上，这很重要。因此，出于这个原因，我们始终将技术以及我们构建的技术视为能够放大您的能力的东西，而不是取代它，而且随着这些东西变得越来越强大，这一点变得越来越重要。好的。所以，您提到了 ChatGPT 的开端。我在另一篇采访中读到过。所以，您加入了 OpenAI。ChatGPT 只是一个内部实验项目，基本上是为了测试 GPT-3.5，然后 Sam Altman 就说，“嘿，让我发个推特谈谈这件事，也许看看人们是否觉得有趣，”等等等等。我认为这是历史上最成功的消费产品，无论是用户增长率还是收入，都非常惊人。您能让我们一窥它成为每个人都痴迷的东西之前的早期时期吗？是的。所以，我们决定要推出一些面向消费者的产品，我认为，就在 GPT-4 完成训练的时候，这实际上主要是出于几个原因。我们已经有一个产品了，那就是我们的开发者产品。事实上，我最初就是来帮助它的，而且它非常棒，符合我们的使命。事实上，它已经成熟了。现在，它是 OpenAI 平台，拥有，我不知道，我猜有 400 万开发者。但当时，它还处于早期阶段，我们遇到了一些限制，因为有两个问题。第一，您无法快速迭代，因为每次更改模型，都会破坏每个人的应用程序。所以，尝试新东西非常困难。然后另一件事是很难学习，因为我们得到的反馈是最终用户到开发者再到我们的反馈。所以，它非常去中介化，我们渴望朝着 AGI 取得快速进展，而且我们觉得我们需要与消费者建立更直接的关系。所以，我们正在试图弄清楚从哪里开始。而且，以经典的 OpenAI 风格，尤其是在当时，我们组织了一场黑客马拉松，让爱好者们只是在 GPT-4 上进行黑客攻击，看看我们能创造出什么了不起的东西，也许可以发布给用户，而每个人的想法都是某种形式的超级助手。他们有更具体的想法，比如我们有一个会议机器人，可以拨入会议，而愿景可能是它会帮助您随着时间的推移管理会议。我们有一个编码工具，现在又回到了原点，可能超前了。挑战在于，我们测试了这些东西，但每次我们测试这些更定制化的想法时，人们都想用它来做所有其他事情，因为它是一种非常非常通用的强大技术。所以，在原型设计了几个月后，我们召集了同一批志愿者，这真是一个志愿者团队，对吧？我们有一个超级计算团队的人，他以前做过 iOS 应用。我们有一个研究团队的人，他一生中写过一些后端代码。他们都是这个最初的 ChatGPT 团队的一员，我们决定发布一些开放式的产品，因为我们只是想要真实的用例分布。而且，我认为这是人工智能的一个模式，您必须实际发布才能了解什么才是可能的以及人们想要什么，而不是先验地推断出来。所以，ChatGPT 最终的出现是因为我们想尽快获得学习经验，并在假期前发布了它，想着回来获取数据然后将其停用。显然，那部分的结果完全不同，因为人们非常喜欢这个产品。所以我记得我曾经历过这样的过程：“哦，天哪，仪表板坏了。哦，等等，人们喜欢它。我确定它只是在病毒式传播，事情会平息下来，”到“哦，哇，人们在留存，但我不知道为什么。”然后最终，我们进入了产品开发模式，但这有点偶然。哇。我不知道 ChatGPT 是从一个黑客马拉松项目发展而来的。绝对是最成功的黑客马拉松项目。我喜欢在我们的黑客马拉松时讲这个故事，因为我真的希望人们觉得他们可以发布自己的想法，而且过去确实如此，未来也将继续如此。如果您不想分享这些，但我很好奇那个团队是谁。团队大部分还在。实际上，一些研究 GPT-5 的研究人员一直都是 ChatGPT 团队的一员。工程师还在。设计师还在。我还在，我想。所以，是的，团队还在运营，但显然，我们已经取得了巨大的成长，而且我们不得不这样做，因为规模越大，责任越大。我们很快就会达到十亿用户，您必须开始以适合该规模的方式行事。好的。所以，让我花点时间在那里。所以，我不知道这是否 100% 准确，但我相信它是，ChatGPT 是历史上增长最快、最成功​​的消费产品。也是对人们生活影响最大的产品。感觉它已经成为社会的一部分了。我的妻子和它说话。我遇到的每个问题，我都会问它，语音模式。我的妻子说：“让我问问 ChatGPT。”它已经成为我们生活的一部分了，而且我认为还很早。很多人甚至不知道发生了什么。作为一个领导者，您是否曾经花点时间反思并想，“我的天哪”？我必须这样做。能够运营这样一个产品真是太谦卑了，我必须经常掐自己一下，而且我有时也必须坐下来思考，当事情发展如此之快时，这真的很困难。我喜欢在公司设定快速的步伐，但要自信地做到这一点，我每周至少需要有一天完全断开连接，只是思考要做什么以及处理一周的事情等等。另一件事是我从未在一个产品上工作过，它的本质如此实证，如果您不停止、观察和倾听人们在做什么，您就会错过很多，无论是效用还是风险。因为通常情况下，当您发布产品时，您知道它会做什么。您不知道人们是否会喜欢它，这总是实证的，但您知道它能做什么。而对于人工智能，因为我认为其中很多是新兴的，您实际上真的需要在发布某些东西后停下来倾听，然后迭代人们正在尝试做的事情以及那些还不完全奏效的事情。所以，仅出于这个原因，我认为休息一下并观察正在发生的事情非常重要。好的。所以，您每周休息一天……不是休息。好的，这样说不对。您花一天时间进行深度思考。我需要它。是的，是的，是的。而且我需要在周六或类似的时间完全断开连接。显然——周六 [听不清 00:20:16]。但否则是不可能的。这已经是一场为期三年的巨大马拉松了。是的。就像冲刺马拉松。冲刺马拉松，没错，或者间歇训练，或者别的什么。我不知道如何准确描述 OpenAI 的发布节奏，但您必须以一种可持续的方式为自己做好准备。即使这不是人工智能，它也没有我刚才提到的有趣属性，我认为您也需要这样做。但尤其对于人工智能来说，观察很重要。所以，沿着这个思路，我与许多与您共事的人，与 OpenAI 工作的人交谈过。Joanne 特别提到，紧迫感和节奏是您运作方式的重要组成部分，您认为创造团队的紧迫感非常重要，即使您是历史上增长最快的产品，并且正在疯狂增长。谈谈您对团队节奏和紧迫感重要性的看法。嗯，她这么说很好。两件事，关于 ChatGPT，当我们决定要做的时候，我们已经原型开发了很长时间，我当时就想，“十天之内，我们将发布这个东西，”然后我们做到了。所以，那可能是一个时间点的事情，我当时真的想确保我们能学到东西。从那时起，我花了很多时间思考为什么 ChatGPT 最初会成功，我认为其中有一些因素是，有很多其他公司在 LLM 领域拥有技术但从未发布过。我当时就觉得，在我们能优化的所有事情中，尽快学习是极其重要的。所以我开始围绕这一点召集大家，它以不同的形式出现。有一段时间，当我们处于那个规模时，我每天都运行一个发布同步会议，并让所有需要做出决定的人都参加，我们只是谈论要做什么以及从昨天开始的调整等等。显然，在某个时候，这不再可行了，但我一直觉得我在这里的角色，显然是思考产品的方向，但也是为我们的团队设定节奏和休眠心跳。再说一次，这在任何地方都很重要，但在唯一能找出人们喜欢什么以及什么有价值的方式是将其带入外部世界时，这一点尤其重要。所以，出于这个原因，我认为它已成为 OpenAI 的一项超能力，我很高兴 Joanne 认为我在这方面有所贡献，但这确实需要一个团队的努力。我喜欢这句话，“团队的休眠心率”。这是一种完美的隐喻，即节奏相当于您的休眠心率。事实上，我在 Instacart 工作时学到了这一点，当时我刚到那里，因为我们正处于疫情期间，而且是全体动员。有一段时间，我认为，有一个全公司范围的站会，因为我们解散了所有团队。我们只是试图让网站保持运行。对我来说，我过去总是慢慢来，认真思考事情，这很重要，但我真的在那里学会了如何快速行动，而且我认为这在 OpenAI 很有用。好的。所以，沿着同样的思路，我问了 Kevin Weil，您的首席产品官，该问您什么，他说要问您关于“它是否已最大限度地加速？”这个原则。这很有趣，我们现在有一个 Slack 表情符号，因为我以前经常这么说。现在，我尽量意译。有时，我只是想直奔主题，比如，“好吧，为什么我们现在不能这样做？”或者，“为什么我们不能明天就做？”而且我认为这是一个很好的方法，可以消除团队中大量的障碍，并灌输……尤其是如果您来自一家大公司。在某个时候，我们开始从大型科技公司招聘人员。我认为他们习惯于，“我们下周再来看看这个，”或者，“我们下个季度再回来看看是否可以按计划进行。”而我只是，作为一个……按计划进行，我只是作为一种思想实验，总是喜欢人们问，“好吧，如果这是最重要的事情，并且您想真正最大限度地加速它，您会怎么做？”这并不意味着您就这么做，但它确实是一个很好的强制性功能，可以理解什么才是关键路径，什么可以稍后发生。而且我一直觉得执行力非常重要。这些想法无处不在。每个人都在谈论个人 AI，您可能已经看到了相关新闻，而且我真的认为执行力是这个领域最重要的东西之一，而这是一个工具。所以，它变成了一个梗，这很有趣。就像一个粉红色的小 Slack 表情符号，人们只是把它放在他们试图强行提问的任何东西上。我本来想问，什么梗 [听不清 00:24:47]。所以，它是粉红色的，里面有什么像——它是一个 Comic Sans 表情符号，上面写着，这是最大限度地加速的吗？好的。所以，那里的文化是，当有人在做某事时，推动力是，这是最大限度地加速的吗？我们能做得更快吗？有什么可以解除阻塞的吗？是的。而且我们谨慎使用它，对吧？因为需要根据具体情况来使用。有些事情您不想尽可能快地加速，因为您需要流程。而且我们在这方面非常非常谨慎，因为流程是一种工具。而在我们拥有大量流程的领域之一就是安全。因为 A，风险已经非常高了，尤其是对于这些模型，GPT-5 在许多方面都是前沿的。但 B，如果您相信指数增长，我相信，而且大多数从事这项工作的人也相信，您必须为那些您确实需要流程的时候做好准备，绝对，绝对。这就是为什么我认为将产品开发速度与前沿模型区分开来非常重要，产品开发速度必须非常快，而对于前沿模型，实际上需要一个严格的流程，您需要进行红队测试，处理系统卡片，获得外部输入，然后自信地发布产品，确保它已经通过了正确的安全措施。所以，再次，这是一个微妙的概念，但我发现它非常非常有用，当我们需要的以及对于所有产品开发来说，您都注定要失败，所以尽快发布东西很重要。我们必须开源那些梗，以便其他团队可以借鉴这种方法。绝对。所以，有趣的是，对于 ChatGPT，这并不奇怪，它不仅是历史上增长最快、最成功​​的消费产品，而且留存率也令人难以置信。人们分享了这些数据，即一个月留存率约为 90%，六个月留存率约为 80%。首先，这些数字准确吗？您能分享什么吗？我显然在分享具体内容方面受到限制，但我们的留存数字确实令人兴奋，而且这实际上是我们关注的事情。我们根本不在乎您在产品中花费多少时间。事实上，我们的激励措施只是解决您的问题，如果您真的喜欢这个产品，您就会订阅，但没有激励措施让您长时间停留在产品中。但我们显然非常非常高兴，如果长期来看，三个月等，您仍然在使用这个东西。对我来说，这早期一直是房间里的大象。就像，“嘿，这可能是一个非常酷的产品，但这是您真正会回来的东西吗？”而且，不仅看到强劲的留存数字，而且即使我们的用户群从早期采用者变成普通人，留存率也随着时间的推移而提高，这真是令人难以置信。是的。所以，这一点我认为人们并没有真正理解，当一个产品……用户群来了，尝试了一下，然后留存率随时间下降，然后又回升，人们几个月后又回来使用它。这被称为微笑曲线，微笑曲线，这极其罕见。是的，是的。是的。有一些微笑发生在团队身上，我觉得拥有技术，其中一些不是产品。我认为人们实际上只是在以一种非常有趣的方式适应这项技术，我发现，这也是为什么产品需要不断发展的原因，这种委托给人工智能的想法，对大多数人来说并不自然。这不像您在生活中摸索什么可以委托？硅谷的某些领域会这样做，因为他们处于自我优化模式，并试图委托他们能做的一切。但我认为，对世界上大多数人来说，这实际上是相当不自然的。而且您真的需要学习，“好吧，我的目标到底是什么，另一个智能可以帮助我什么？”而且我认为这需要时间，一旦人们有了足够的产品使用时间，他们就会弄清楚。但当然，我们也在产品中做了很多事情，无论是改进核心模型，还是新的功能，如搜索和个性化等等，或者只是标准的增长工作，我们开始做了。这些事情也很重要，当然。所以，您可能已经在回答这个问题了，但我还是直接问吧。人们可能会看着说，“好吧，他们正在这个神一般的智能之上构建一层。当然它会增长得非常快，留存率也会非常高。你们到底在模型之上做了什么，让它增长如此之快并留存如此之多？”有什么东西非常有效，显著地提高了指标，您可以分享吗？我们学到的一件事是，我将在稍后回答这个问题，但我们从 ChatGPT 学到的一件事是，模型和产品之间真的没有区别。模型就是产品，因此您需要像对待产品一样对其进行迭代。我的意思是，显然，您通常从发布非常开放式的东西开始，至少如果您是 OpenAI [听不清 00:29:38]，那就是一种玩法。但然后您真的需要看看人们在做什么？好吧，他们试图写作，他们试图编码，他们试图获得建议，他们试图获得推荐，您需要系统地改进这些用例。这与产品开发工作非常相似。显然，方法论有点不同，但发现是相同的。您必须与人交谈，您必须进行数据科学，您必须尝试事物并获得反馈。所以，这是我们一直有意识地做的一项工作，即在人们关心的用例上改进模型。而且，还有一种叫做“氛围”的东西，我敢肯定您知道，这也是我为 GPT-5 感到兴奋的原因之一，因为氛围真的很好。所以，这也是，我们有一个模型行为团队，他们非常关注这个模型的个性和它的说话方式。所以，也有这种工作。我想说，这大约占我们看到的留存率提升的三分之一，大致如此。然后，我认为另外三分之一是我称之为产品研究能力的东西。它们肯定是研究驱动的。它们有研究成分，但它们是真正的新产品功能或能力。搜索就是一个例子，如果您还记得在过去，也许是 20 个月前，您会和 ChatGPT 说话，它会说，“根据我的知识截止日期……”或者，“我无法回答，因为那发生在最近，”或者类似的话。而这种能力非常具有留存性，而且有充分的理由。它只是让您能够使用产品进行更多操作，个性化，比如这种高级记忆的想法，它可以随着时间的推移真正了解您，是这种能力的另一个例子。我认为这是另一个重要的部分。然后第三部分是您在任何产品中都会做的事情，而且这些事情也存在。无需登录是一个巨大的成功，因为它消除了大量摩擦。我认为我们从一开始就有这种直觉，但我们一直没有实现，因为我们没有足够的 GPU 或其他限制来真正做到这一点。所以，也有传统的 the product work。所以，我经常将其视为大约三分之一、三分之一、三分之一，但实际上我们仍在学习，并且我们计划对产品进行大量改进，这就是为什么我相信肯定会有新的杠杆。您提到了一些我想快速回来谈谈的事情。您说从黑客马拉松到 Sam 发推特谈论 ChatGPT 上线大约是 10 天？黑客马拉松发生得更早，我们原型开发了很长时间，但后来我们基本上失去了耐心，试图构建更定制化的东西。再次，这主要是因为每次我们测试时，人们总是想做所有其他事情。所以，从我们决定发布到发布只有 10 天。我们测试的研究已经进行了很长时间，它是我称之为指令遵循的演变，即不是简单地完成句子，而是这些模型实际上可以遵循您的指令。所以，如果您说总结一下，它实际上会这样做。而研究已经从那演变成了聊天格式，我们可以进行多轮对话。所以，这项研究花费的时间远远超过 10 天，而且一直在后台进行，但这个产品的产品化非常非常快，而且很多东西都没有包含在内。我记得我们没有历史记录，这当然是我们收到的第一个用户反馈。模型有很多缺点，能够迭代模型真是太酷了。我刚才谈到的，将模型视为产品，在 ChatGPT 之前是不存在的，因为我们会发布更多的硬件，会有 GPT-3 的发布，然后我们会开始开发 GPT-4，这些奇怪的巨额支出研发项目需要很长时间，规格就是规格，然后您必须再等一年。而 ChatGPT 确实打破了这一点，因为我们可以像软件一样对其进行迭代改进。而且，我的梦想是，如果我们能像软件领域那样每天甚至每小时发布，那将是惊人的，因为您可以修复东西等等。但当然，在保持个性的同时不退化其他能力的情况下，如何做到这一点存在各种挑战。所以，这是一个开放的领域。这是“是否已最大限度地加速？”的一个很好的例子。好的，我们将在 10 天内发布 ChatGPT。[听不清 00:33:48]- 我的天哪。我们一直在谈论 ChatGPT。显然，它是一种聊天界面。每个人都在想，聊天是所有这些东西的未来吗？有趣的是，Kevin Weil 提出了一个非常深刻的观点，一直让我印象深刻，当他来到播客时，他说聊天实际上是构建超级智能的绝佳界面，因为这是我们与各种智能的人类互动的方式。它从低端到超级聪明的人都可以使用。因此，作为一种扩展这个光谱的方式，它非常有价值。也许只是谈谈这一点，以及聊天是否是 ChatGPT 的长期界面，我猜它叫 ChatGPT。我觉得我们应该去掉“聊天”或去掉“GPT”中的一个，因为这太拗口了。我们被这个名字困住了，但无论我们做什么，产品都会发展。我认为我同意自然语言有某种深刻之处。它确实是与人类交流最自然的方式，因此，您应该用自然语言与您的软件交流这一点似乎很重要。我认为这与聊天不同。我认为聊天是当时最简单的发布方式。我为它作为一个概念如此受欢迎感到震惊。更让我震惊的是，有多少人模仿了这种模式，而不是尝试与 AI 互动的新方式。我仍然希望这种情况会发生。所以，我认为自然语言将继续存在，但这种想法，它必须是回合制的聊天互动，我认为这是非常有限的。这也是我不喜欢超级系统类比的原因之一，尽管我们过去总是使用它，因为如果您那样想，您就会觉得您在与人交谈，而 GPT-5 在创建出色的前端应用程序方面非常出色。所以，我看不出为什么您不会拥有能够以某种方式渲染自己 UI 的 AI。而且您显然希望使其可预测且感觉良好。但将最终的界面视为聊天机器人对我来说是有限的。它实际上感觉有点反乌托邦，我不想通过某个界面的代理来使用我所有的软件。我喜欢使用 Figma，我喜欢使用 Google Docs。这些对我来说都是很棒的产品，它们不是聊天机器人。所以，是的，关于自然语言，但关于聊天，我的观点是反对的。而且我只是希望总的来说，我们能看到更多关于人们如何与 AI 互动方面的消费者创新，因为有太多的可能性，您只需要尝试一下。这就是为什么聊天会流行起来，因为我们就是这样做的，而且人们喜欢它。所以，我希望我们能看到更多，我们将尽力而为。所以，您提到您似乎被这个名字 ChatGPT 困住了。也许这是答案的一部分，但我很好奇，你们早期是否做过任何偶然的决定，这些决定一直延续下来，并最终改变了历史？有很多，而且很有趣，因为您没有时间去思考它们，然后它们最终变得非常重要。那天是其中之一，我们在发布前一晚从“与 GPT-3.5 聊天”改名为 ChatGPT，稍微好一点，但仍然很糟糕。它以前叫什么？它本应是“与 GPT-3.5 聊天”，因为我们真的不认为它会成为一个成功的产品。我们试图尽可能地做到技术宅，因为那确实是它。它是一个研究演示，而不是一个产品。所以，我们不认为那不好。但我认为在最初发布时，免费提供是一个大问题。我认为我们没有意识到这一点，因为 GPT-3.5 模型在我们的 API 中已经存在了至少六个月。我认为任何人都可以构建这样的东西。它可能在模型方面没那么好，但我认为它会流行起来。所以，免费提供并为其提供一个不错的 UI，其方式非常具有变革性，以至于您现在都认为理所当然。这也是为什么我认为，即使在 2025 年，分发和界面仍然至关重要。付费业务，现在它是一个巨大的业务，无论是消费者领域还是企业领域。它的诞生只是为了最初拒绝需求。并不是说我们头脑风暴，“哦，什么是人工智能的最佳货币化模式？”它实际上是哪种货币化模式或哪种机制可以让我们拒绝那些不那么认真的人，而留下那些真正想使用它的人？而订阅恰好具有这种特性，并发展成了一项庞大的业务。我认为发布非常时髦的功能，在它们变得完善之前，是另一件事，这感觉像是一个战术决定，但它变成了一种玩法，因为我们会学到很多东西。还记得我们发布 Code Interpreter 时，发布后我们学到了很多东西。现在它在 ChatGPT 中被称为数据分析或类似的东西，只是因为我们确实获得了真实的用例反馈，然后我们可以进行优化。所以，我认为随着时间的推移，有很多决定被证明具有变革性，但我们必须非常非常迅速地做出这些决定。每月 20 美元似乎是其中的一个重要部分。感觉现在每个人都在这样做——实际上，我记得我曾有过一次恐慌发作，因为我们真的需要推出订阅服务，因为当时我们每次都不得不暂停产品。我不知道您是否还记得，我们有一个失败的鲸鱼，有一个小 [听不清 00:39:09] 生成的诗歌。所以，他们说，“我们必须把它发布出去。”我记得我打电话给一个我非常尊敬的人，他在定价方面非常出色，我说，“我该怎么办？”我们谈了很多，但我没有时间整合大部分反馈。所以我所做的就是向 Discord 发送一个 Google 表单，上面有，我认为是关于如何为某物定价的四个问题——[听不清 00:39:32]？是的，没错。它确实有这四个问题，我清楚地记得 A，您 [听不清 00:39:38] 回复了一个价格，这就是我们如何达到 20 美元。但 B，第二天早上，有一篇新闻文章说，您不会相信 ChatGPT 团队提出的四个天才问题来为其定价……就像，如果你们知道就好了。所以，在极端公开的场合构建一些东西，人们会比实际情况解读出更多的意图。但我们以 20 美元的价格成交了。当时我们正在讨论一个稍高的价格。我经常想，如果当初那样做会发生什么，因为有这么多其他公司最终模仿了 20 美元的定价。所以，我想，“我们通过这种方式定价，是否抹去了大量的市场份额？”但最终我不在乎，因为我们能让这些东西越容易获得越好。而且我认为，在西方国家，这个价格点对很多人来说是合理的，考虑到他们获得的价值。最重要的是，我们能够定期将一些功能推送到免费层，而且我们总是这样做，当我们能做到的时候 [听不清 00:40:35]，但——所以，这个调查，为了给出官方名称，Van Westendorp 调查就是你们如何为 ChatGPT 定价的？它是 Google 搜索结果的顶部。这发生在 ChatGPT 拥有实时信息之前。否则，它也许可以为自己定价，但它是 Discord 加 Google 表单加一篇关于该方法论的博客文章，让我们达到了那个目标。这太不可思议了。一个有趣的故事。这是 Rahul Vohra 在 Superhuman 的第一轮文章中推广的调查——是的。是的，是的，没错。没错。绝对不要把我当作定价专家，我认为您有更好的人选。无论对错，它现在是世界上增长最快、收入最高的企业。所以，我不会太难过。不，它奏效了。是的。它奏效了。顺便说一句，我使用的是每月 200 美元的套餐，所以显然有空间——谢谢。谢谢。…… [听不清 00:41:25]——那个故事也很有趣，因为最初 Plus 套餐的目的是先提供正常运行时间，然后能够提供我们无法向所有人扩展的功能。而且在某个时候，它吸引了太多 Plus 套餐的用户，以至于失去了这个特性。所以，我们推出每月 200 美元套餐的主要原因是，我们拥有如此多的令人难以置信的研究，这些研究实际上非常非常强大。比如 o3 Pro 或明天的 GPT-5 Pro，并且能够将这些产品提供给真正关心它们的人，这令人兴奋，尽管它有点违反了 SaaS 页面的标准外观，看到 10 倍的增长有点令人震惊。所以，感谢您成为那个套餐的订阅者，也感谢所有其他观看的订阅者，无论您订阅了哪个套餐，这都很棒。我只是想在这个池子里钓条鱼，看看是否有其他类似的故事？您分享了 Chat with GPT-3.5 是原始名称的令人难以置信的故事，您是如何制定定价的。还有其他什么吗？企业也是一个有趣的例子，因为我们在企业领域看到了如此惊人的采用率，而且客观上来说，试图同时建立开发者业务、消费者业务和企业业务是疯狂的。但那里的故事是，在第一个月或第二个月，很明显大部分使用都是工作用途，实际上比今天多得多，今天有如此多的消费者使用该产品，而且它已经融入了流行文化。但当时是写作、编码、分析，这类事情。而且我们以一种我可能在 Dropbox 时见过的方式，当时是我的两个工作之一，我们也有类似的故事，我们有机地进入了 90% 的财富 500 强公司。从那时起，出现了更多的 PLG 公司。但我们之所以做企业业务，还记得我们当时在争论是做企业业务还是发布 iOS 应用，因为团队太小了。我们之所以这样做，是因为我们开始被公司禁止，因为他们都觉得（无论对错）隐私和部署故事等都不够完善。所以我当时就想，“天哪，我们必须做点什么。我们将错过一个建立工作产品的时代机遇。”而且我们确实将 AGI 定义为在经济上有价值的工作中超越大多数人类，或者我可能会 [听不清 00:43:45]，但我认为我们是这样定义的。所以，我觉得我们必须在那里出现，而且当时这是一个相当快的决定，但它已经发展成了一项巨大的业务。我们刚刚达到了 500 万企业订阅用户，比我记得的一个月或两个月前增加了 300 万。所以，它确实是正在蓬勃发展的一个分支，我对此感到非常非常兴奋 [听不清 00:44:11]——您要处理平台，基本上是 API、消费者产品、增长最快、最成功​​的产品，以及 B2B 端，这显然是一项巨大的业务。您是否有任何关于如何权衡这些取舍、同时处理所有这些事情并保持理智并取得成功的经验法则？