Transcription
您今天使用的 AI 模型，将是您一生中用过的最糟糕的 AI 模型。当您真正理解这一点时，这有点疯狂。在我之前工作过的任何地方，您都大致知道您正在构建什么技术。但对于 AI 来说，这完全不是真的。每隔 2 个月，计算机就能做到以前从未做过的事情，您需要完全重新思考您正在做的事情。您可能是当今世界上最重要公司的首席产品官。我想聊聊身处风暴中心是什么样的。我们的普遍心态是，两个月后会有一个更好的模型，它将彻底消除当前的所有局限性。我们也这样告诉开发者。如果您正在构建的产品，其能力恰好处于模型能力的边缘，请继续前进，因为您做得对，再过几个月，模型就会变得很棒，而您目前勉强能用的产品将真正大放异彩。
众所周知，您曾在 Facebook 领导过一个名为 Libra 的项目。Libra 可能是我职业生涯中最大的失望。它从根本上让我感到失望，因为它今天并不存在于这个世界上，因为如果当初我们能够成功推出这款产品，世界将会变得更美好。我们试图推出一个新的区块链。最初它是一篮子货币。它被整合到 WhatsApp 和 Messenger 中。我本可以在 WhatsApp 上免费向您发送 50 美分。它本应存在。说实话，现任政府对加密货币非常友好。Facebook 的声誉却截然不同。也许他们现在应该去建造它。
[音乐]
今天我的嘉宾是 Kevin Weil。Kevin 是 OpenAI 的首席产品官，这可能是当今世界上最重要、最具影响力的公司，处于 AI 和 AGI 的最前沿，也许有一天还会达到超级智能。他曾是 Instagram 和 Twitter 的产品负责人。他是 Facebook Libra 加密货币的联合创始人，我们对此进行了讨论。他还担任 Planet、Strava、Black Product Managers Network 和 Nature Conservancy 的董事会成员。他也是一个非常优秀的人，拥有丰富的智慧可以分享。我们讨论了 OpenAI 的运作方式、AI 的影响以及我们将如何工作和构建产品，OpenAI 等公司不太可能涉足的 AI 生态系统中的哪些市场，因此是初创公司可以拥有的好地方。此外，为什么学习评估（evals）的技巧正迅速成为产品构建者的核心技能。在 AI 时代，哪些技能最重要，以及他正在教他的孩子们专注于什么，还有更多内容。这是一个非常特别的节目，我非常兴奋地为您带来它。如果您喜欢这个播客，请不要忘记在您喜欢的播客应用程序或 YouTube 上订阅并关注它。如果您成为我时事通讯的年度订阅者，您将免费获得一年的 Perplexity Pro、Linear、Notion、Superhum 和 Ranola。请访问 lennisnewsletter.com 查看，然后点击 bundle。
现在，我为您带来 Kevin Weil。本期节目由 EPO 赞助。EPO 是由 Airbnb 和 Snowflake 的校友为现代增长团队打造的下一代 A/B 测试和功能管理平台。Twitch、Miro、ClickUp 和 DraftKings 等公司都依赖 EPO 来支持他们的实验。实验对于推动增长和理解新功能的性能越来越重要。EPO 帮助您提高实验速度，同时解锁严谨的深度分析，这是任何其他商业工具都无法做到的。我在 Airbnb 时，最喜欢的事情之一就是我们的实验平台，我可以轻松设置实验、排除故障并独立分析性能。EPO 拥有所有这些功能，并且更多，它拥有先进的统计方法，可以帮助您节省数周的实验时间，易于访问的用户界面可以深入分析性能，以及开箱即用的报告，可以帮助您避免漫长而烦人的分析周期。EPO 还让您轻松地与团队分享实验见解，激发 A/B 测试飞轮的新想法。EPO 支持各种用例的实验，包括产品增长、机器学习、货币化和电子邮件营销。请访问 get epo.com/lenny 查看 EPO，并将您的实验速度提高 10 倍。网址是 get epo.com/lenny。
本期节目由 Persona 赞助，Persona 是一个适应性强的身份平台，可帮助企业打击欺诈、满足合规要求并建立信任。当您现在收听此节目时，您怎么知道您真的在听我，Lenny？如今，欺诈者窃取个人身份信息、面孔和身份比以往任何时候都容易。这就是 Persona 发挥作用的地方。Persona 帮助 LinkedIn、Etsy 和 Twilio 等领先公司安全地验证世界各地个人和企业的身份。Persona 的独特之处在于其可配置性。每家公司都有不同的需求，具体取决于其行业、用例、风险承受能力和用户人口统计数据。因此，Persona 提供灵活的构建块，允许您构建定制的收集和验证流程，以最大限度地提高转化率并最大限度地降低风险。此外，Persona 的编排工具可自动化您的身份流程，以便您可以打击快速变化的欺诈并满足新的监管浪潮。无论您是初创公司还是企业，Persona 都有适合您的计划。请访问 withpersona.com/lenny 了解更多信息。再次强调，网址是 with pso na.com/lenny。
Kevin，非常感谢您来到这里，欢迎来到播客。非常感谢您的邀请。我们一直想做这件事，终于实现了。我们做到了。我无法想象您的生活有多么疯狂。所以，我非常感谢您为此抽出时间。我们实际上是在您发布新图像模型的那一周录制的，这是一个巧合。我的整个社交动态都被大家的生活和家庭照片的“吉卜力化”填满了。做得好。是的，我的也是。我的妻子伊丽莎白给我发了一张她的照片。所以我完全理解。我能问一下，你们预料到会有这样的反响吗？感觉这是 AI 领域最病毒式传播的事件了，这已经是一个很高的标准了。自从，我不知道，ChatGPT 发布以来。你们预料到会如此顺利吗？内部感觉如何？你知道，在我职业生涯中有几次，你正在做一个内部项目或产品，而内部使用量却爆炸式增长。顺便说一句，我们在 Instagram 上构建 Stories 时也是如此。在我职业生涯中，比任何事情都更重要的是，我们可以感觉到它会奏效，因为我们都在内部使用它，我们会去度过一个周末，你知道，在它发布之前。我们都在使用它，然后我们会回来，我们会知道发生了什么，然后说，“哦，嘿，我看到你去露营了，那怎么样？”你说，“天哪，这东西真的管用。”Imagen 绝对是其中之一。所以，我们一直在玩它，我不知道，几个月了。而且，嗯，当它第一次在公司内部上线时，有一个小画廊，你可以生成自己的。你也可以看到其他人生成的内容，而且它一直都很热闹。所以，是的，我们有预感，人们会觉得玩这个东西会很有趣。这真是一个很棒的衡量标准，就像对你即将推出的产品有信心一样，内部每个人都为之疯狂。是的，尤其是社交方面，因为是的。你们公司在社交方面有一个非常紧密的网络。所以你们彼此认识，而且你们都应该是你们产品的专家，所以从某种意义上说，如果你们在做社交方面的事情，而它在内部没有起色，你们可能会质疑你们的做法。是的。顺便说一下，吉卜力化是你们做的吗？还是它是怎么开始的？这是一种故意的例子吗？我认为这只是人们喜欢的风格，而模型非常擅长模仿风格或理解它，你知道，它非常擅长遵循指令。这实际上是我认为人们开始发现它的一个方面。但你可以做非常复杂的事情。你可以给它两张图片。一张是你的客厅，另一张是你想要的一堆照片或纪念品。然后你说，告诉我你会如何安排这些东西。或者你可以说，“我想让你看看，如果你把这个放在这里，那个东西放在它右边，这个东西放在它左边，但在这个东西下面，它会是什么样子。”而模型实际上会理解所有这些并做到。这非常强大。所以我很高兴人们会想出各种不同的方法。是的。好吧，干得好。干得好，OpenAI 团队。好了，我们来认真点，稍微放大一点。在我看来，您可能是当今世界上最重要公司的首席产品官。我不是要设定太高的标准，但你们正在引领 AI、AGI，最终是超级智能。没什么大不了的。我有很多问题想问您，比问任何其他嘉宾都多。我实际上在 Twitter 和 LinkedIn 以及我的社区上发布了一个呼吁，就像你们想问 Kevin 什么？我收到了 300 多个精心设计的问题。我们将一一过目。所以，我们开始吧。我只是开玩笑。我挑选了最好的，还有很多我真正好奇的东西。这里是下午 1 点了。天还要亮一会儿。所以，我们开始吧。好的，这是第一个。首先，我只是记一下。AGI 什么时候发布？注册路线图是什么时候？我的意思是，我们刚刚发布了一个很好的图像生成模型。这算吗？它正在接近。它正在接近。我喜欢一句名言，AI 就是尚未完成的事情，因为一旦完成，一旦它奏效，你就称之为机器学习。一旦它无处不在，它就只是一个算法。所以，我一直很喜欢，当事情还没有完全奏效时，我们就称之为 AI，然后你知道，当它变成一个推荐你关注的 AI 算法时，哦，那只是一个算法。但这个新事物，比如自动驾驶汽车，我认为在某种程度上我们永远都会在那里，而下一件事总是会是 AI，而我们每天使用的、已经成为我们生活一部分的当前事物，那就是算法。这太有趣了，因为是的，就像在湾区，你看到自动驾驶汽车在街上行驶，这现在非常正常，而三四年前，你看到这个可能会想，“我的天，这是怎么回事？我们正身处未来，而现在我们已经习以为常了。”这，我的意思是，一切都是如此。如果我给你看 GPT3 发布的时候，对吧？我当时不在 OpenAI，我只是一个用户，但它令人震惊。如果我现在给你 GPT3，然后我把它接入 ChatGPT 给你，让你开始使用，你会说，“这是什么东西？”我喜欢这种混乱。混乱。我第一次乘坐 Waymo 时也有同样的经历，对吧？你第一次乘坐，至少我第一次乘坐，我第一次乘坐 Waymo 的前 10 秒，它开始行驶，你会想，“我的天，小心那辆自行车。”你紧紧抓住你能抓住的一切。然后大约五分钟后，你平静下来了，你意识到你正在被一辆没有司机的车带到城市里，而且它还在工作。你只是想，“我的天，我现在正生活在未来。”然后又过了十分钟，你就厌倦了。你在手机上处理电子邮件，回复 Slack 消息，你知道，突然之间，人类发明的这个奇迹就成了你生活中理所当然的一部分。而且，我认为我们适应 AI 的方式确实有类似之处。这些奇迹发生了，计算机可以做以前从未做过的事情，这让我们集体震惊了一周，然后我们就说，“哦，是的，就像，哦，是的，现在它只是机器学习，正朝着算法发展。”你刚才分享的最疯狂的事情实际上是，我不知道 ChatGPT，它现在感觉很糟糕，而 3.5 是几年前的事了，而且，想象一下几年后的生活会是什么样子。我们将进入那个阶段，事情会如何发展，你认为下一个重大飞跃是什么？但我想从您在 OpenAI 的旅程开始。所以，您曾在 Twitter、Facebook、Planet、Instagram 工作过。在某个时候，您被招募到 OpenAI 工作。我对您作为 CPO 加入 OpenAI 的招聘过程有什么有趣的故事感到好奇。如果我没记错时间线的话，我们进行了沟通。我当时正要离开 Planet，我本来打算休息一下，你知道，我不是说不工作，但我也很高兴能度过夏天。这大概是四月左右。我当时想，“太好了，我夏天可以和孩子们一起度过，我们可以去塔霍湖之类的，我真的可以和他们在一起，而不是像我通常那样上下奔波。”然后，你知道，我和 Sam 认识了很多年。他总是参与很多有趣的事情，你知道，比如建造聚变的公司，还有所有这些事情。所以，他一直是我偶尔会打电话的人，如果我开始考虑我的下一件事。因为我喜欢从事大型的、技术驱动的、下一波浪潮之类的事情。然后，我打电话给他，我想 Venode 也帮我们重新取得了联系，这次不是说，“哦，你应该去和那些研究聚变的人谈谈。”他说，“实际上，我们正在考虑一些事情，你应该来和我们谈谈。”我说，“好的，这听起来太棒了，我们开始吧。”而且它进行得非常快，非常非常快。比如，我在很短的时间内，几天内就见到了大部分管理团队，他们告诉我，“看，我们将以我们想要的速度前进。”而且，如果你和每个人交谈，每个人都喜欢你，我们就准备好了。Sam 来吃晚饭，我们一起度过了一个愉快的夜晚，只是谈论 OpenAI 和未来，以及更好地了解彼此。最后我说，我本来打算第二天去参加一个更大规模的面试。Sam 说，“嘿，进展很顺利，我们非常兴奋。”我说，“太好了，我该怎么考虑明天？”他说，“哦，你会没事的，别担心。如果进展顺利，我们基本上就定下来了。”所以，我第二天进去，见了很多很多人，玩得很开心，我真的很喜欢我遇到的每个人，在任何面试中，你总可以自我怀疑，你知道，比如，“哦，我不该说那句话，”或者“我那个问题回答得不好，真希望我能重来。”但我出来的时候感觉还不错。我本来以为我会在那个周末收到消息，因为他们已经设定了预期，如果进展顺利，我们就准备好了。然后我什么都没听到。然后是周一、周二、周三，我仍然什么都没听到。我联系了 OpenAI 的一些人，还是什么都没有。我当时想，“我的天，我搞砸了。”我不知道我哪里搞砸了，但我完全搞砸了。我简直不敢相信。我回去和我的妻子伊丽莎白说，“我做了什么？你觉得我哪里……我开始变得疯狂了。”然后还是什么都没有，最后，大约九天后，他们终于回复了我，结果是，你知道，内部有很多事情发生，等等等等。你知道，有很多事情发生，他们终于说，“哦，是的，进展顺利，我们开始吧。”我说，“哦，好的，太好了，我们开始吧。”但那是九天的折磨，他们只是因为一些内部事务而非常忙碌，而我每天都在担心，一遍又一遍地回顾我们面试过程中的每一句话。这让我想起约会时，你给对方发短信，然后他们不回复，你就会假设有什么不对劲。是的，完全正确。他们可能只是很忙。我仍然会拿这件事来打趣他们。这太疯狂了。我很高兴一切都顺利。而且，我想，那里的教训是，不要轻易下结论。保持一点冷静。
说到这个，我想聊聊身处风暴中心是什么样的。再次，您曾在很多，比如说，传统公司工作过，即使它们不是那么传统，Twitter、Instagram、Facebook 和 Planet，现在您在 OpenAI 工作。我很好奇，您在 OpenAI 的日常工作中最不同的地方是什么？我认为可能是节奏。也许是两件事。一是节奏。二是，你知道，在我之前工作过的任何地方。你大致知道你正在构建什么技术。所以，你花时间思考你正在解决什么问题？你为谁而建？你知道，你如何让他们的生活变得更好？你是否正在解决一个足够大的问题，让你能够改变习惯？你知道，人们是否关心这个问题得到解决？所有这些好的产品问题。但你构建的基础技术是固定的。你知道，你在谈论数据库之类的东西，我敢打赌，你今年使用的数据库可能比两年前使用的数据库好 5%，但对于 AI 来说，这完全不是真的。就像每隔两个月，计算机就能做到以前从未做过的事情，而你需要完全重新思考你正在做的事情。这使得在这里的生活很有趣。还有一点，你知道，我们也许会晚点谈论评估，但在这个世界里，你知道，我们习惯于计算机需要非常明确的输入。你知道，如果你看 Instagram，有按钮可以做特定的事情，你知道它们的作用，然后当你给计算机明确的输入时，你会得到非常明确的输出。你确信如果你做三次同样的事情，你会得到三次相同的输出。LLM 完全不同，对吧？它们擅长模糊、微妙的输入，人类语言和交流的所有细微差别。它们也相当擅长，它们不会真正给你相同的答案。你可能会对同一个问题得到精神上相同的答案，但肯定不是每次都得到相同的词语。因此，你更倾向于模糊的输入和模糊的输出。而且，当你构建产品时，这很重要，你知道，你正在围绕某个用例构建。如果模型能正确处理 60% 的情况，你构建的产品将与模型能正确处理 95% 的情况，或者模型能正确处理 99.5% 的情况截然不同。因此，你还必须深入了解你的用例和评估，才能理解构建正确产品的类型。所以，这根本上是不同的。你知道，如果你的数据库工作一次，它就会一直工作，而在这个世界里，情况并非如此。
让我们来谈谈评估。我绝对想谈谈这个。所以，我们在 Line Friends Summit 上有一个传奇的全体会议。有您、Mike Greger 和 Sir Guo 主持。非常有趣。而让人们印象深刻的是您在会议上的一句话，您说编写评估将成为产品经理的核心技能。是的。我觉得这可能比产品经理更广泛适用。很多人知道评估是什么。很多人根本不知道我在说什么。所以，您能否简要解释一下什么是评估？然后，为什么您认为这对未来构建 AI 产品的人如此重要？是的，当然。我认为最简单的思考方式就是把它看作是模型的一次测验，一次测试，以衡量它对某个特定主题材料的了解程度，或者它在回答特定问题方面的能力。就像你参加微积分课，然后有微积分考试来检验你是否学到了你应该学到的东西。你有评估来测试模型在创意写作方面的能力，在研究生科学方面的能力，在竞争性编程方面的能力。所以，你有一套评估，基本上，你知道，作为模型智能或能力的基准。这是一个简单的思考方式，就像模型的单元测试一样。是的，模型的单元测试，总的来说。完全正确。很好，很好。好的。那么，为什么这对那些不完全理解这里发生了什么的人如此重要？为什么这对构建 AI 产品如此关键？嗯，这回到了我刚才说的。你需要知道你的模型是否会……有些事情模型会 99.95% 的时间正确处理，你可以放心。有些事情它们会正确处理 95% 的情况，有些事情会正确处理 60% 的情况。如果模型在某件事情上正确处理 60% 的情况，你将需要完全不同地构建你的产品。而且，顺便说一句，这些事情也不是一成不变的。所以，评估的一个重要部分是，如果你知道你正在为某个用例构建。所以，假设我们以我们的深度研究产品为例，这是我最喜欢我们发布过的产品之一。对。对于那些没有使用过它的人来说，想法是，你现在可以给 ChatGPT 一个任意复杂的查询，它不仅仅是返回一个搜索查询的答案，我们也可以做到。这是，如果你要自己回答，你会花两个小时上网阅读，然后你可能需要阅读一些论文，然后你会回来开始写你的想法，并意识到你在思考方面有一些差距。所以，你出去做更多的研究。你可能需要一周的时间来写一个大约 20 页的答案来回答这个问题。你可以让 ChatGPT 为你工作 25-30 分钟。你知道，它不像你习惯的那样立即给出答案，但它可能会工作 25-30 分钟，完成需要你一周的工作。所以，当我们构建这个产品时，我们一边思考这个产品将如何工作，一边设计评估。我们试图通过一些典型的用例。你知道，这里有一个你想问的问题。这里有一个关于这个问题的绝佳答案，然后将其转化为评估，然后在此基础上进行优化。所以，不仅仅是模型是静态的，我们希望它在某些事情上表现良好。你可以教模型。你可以让它成为一个持续学习的过程。所以，当我们为深度研究微调模型，使其能够回答这些问题时，我们能够测试它在我们设定的、衡量产品工作情况的重要指标的评估上是否有所改进。当你开始看到这一点，并看到评估上的表现时。你曾就评估发表过类似的评论，即 AI 的惊人程度几乎被我们评估能力的好坏所限制。这是否符合您的看法？还有其他想法吗？这些，我的意思是，这些模型是智能，而智能是多维度的。所以，你可以说一个模型在竞争性编程方面很棒，这可能与该模型在前端编码或后端编码方面很棒，或者将一大堆用 Cobalt 编写的代码转换成 Python 不同，你知道，就像，这仅仅是在软件工程领域。所以，我认为在某种程度上，你可以将这些模型视为极其聪明、非常事实准确的智能，但世界上绝大多数的数据知识过程都不是公开的。它们隐藏在公司、政府或其他事物的围墙后面。同样，如果你要加入一家公司，你会花前两周的时间进行入职培训。你会学习公司特定的流程。你获得了公司特定的数据访问权限。你可以教这些模型足够聪明，你可以教它们任何东西，但它们需要有原始数据来学习。所以，在某种程度上，是的，我认为未来将是极其聪明、基础广泛的模型，它们经过微调和定制，带有公司特定或用例特定的数据，以便它们在公司特定或用例特定的事情上表现出色。而且你将通过自定义评估来衡量这一点。所以，你知道，我所指的只是这些模型非常聪明。如果数据不在它们的训练集中，你仍然需要教它们东西。而且有很多用例不会在它们的训练集中，因为它们与一个行业或一家公司相关。
我将继续沿着您引导我们的思路，但我会回来，因为我还有更多关于其中一些问题。所以，您来到一个我认为很多 AI 创始人都在思考的空间，那就是 OpenAI 未来是否会挤压我，或者其他基础模型。所以，很多人不清楚，我应该在这个领域创业吗？您对 OpenAI 或一般基础模型可能不会涉足的领域有什么建议或指导吗？您有机会建立一家公司？嗯，我的一个……这是 E. Williams 在 Twitter 上说的一句话，一直让我印象深刻，那就是无论你的公司有多大，无论人们有多么不可思议，你公司外面聪明的人比里面多得多。这就是为什么我们如此专注于构建一个优秀的 API。我们有 300 万开发者在使用我们的 API。无论我们多么雄心勃勃，无论我们增长多大。顺便说一句，我们不想增长得太大，有很多用例，AI 可以从根本上改善我们生活的世界各地。我们不会有那些人。我们不会有……你知道，构建大多数这些东西的专业知识。而且我认为，正如我所说的，数据是行业特定的、用例特定的，你知道，在某些公司围墙后面，诸如此类的事情。在世界的每个行业和每个垂直领域，都有巨大的机会去构建基于 AI 的产品，以改进最先进的技术。而且我们自己永远不可能做到这一点。我们也不想。如果我们想，我们也做不到。我们非常兴奋能够为 300 多万开发者以及未来更多开发者提供支持。
回到您早些时候关于技术不断变化、速度越来越快的观点，不确切知道您在发布某样东西时将拥有什么模型能力。我很好奇是什么让您能够快速、持续地发布如此出色的产品？听起来一个答案是自下而上的赋能团队，而不是一个计划到季度的非常自上而下的路线图。是什么让您如此频繁、如此快速地发布如此出色的产品？是的，我的意思是，我们尝试，我们尝试有一个方向感，你知道，将自己指向一个方向，这样我们就有一些大致的对齐感。比如主题上，我一秒钟都不相信，我们做季度路线图，你知道，我们制定了一年的大致战略。我一秒钟都不相信，我们写在这些文件里的东西就是我们三个月后，更不用说六个月或九个月后，真正要发布的。但没关系。有一句……我想这是艾森豪威尔的引言。计划是无用的。规划是有帮助的。我完全赞同，尤其是在这个世界里。如果你考虑季度路线图，例如，这非常有价值。有一个时刻，你停下来，然后说，好吧，我们做了什么？什么奏效了？什么进展顺利？什么不顺利？我们学到了什么？现在，我们认为接下来要做什么？而且，顺便说一句，每个人都有一些依赖关系。你需要基础设施团队做以下事情。与研究部门合作。所以，你想有一个机会来检查你的依赖关系，确保你准备好了，然后开始执行。我们尽量保持轻量级，因为它不会是正确的。你知道，我们会在中途放弃，因为我们会学到新东西。所以，规划的时刻是有帮助的，即使你只能……它只能部分正确。所以，我认为这只是期望你会非常敏捷，而且没有意义去写一个三个月的路线图，更不用说一个一年的路线图，因为技术变化太快了。我们确实尝试非常强力地自下而上地进行，受我们整体方向性对齐的约束。我们有很棒的人。我们有工程师、产品经理、设计师和研究人员，他们对他们正在构建的产品充满热情，并对它们有强烈的看法，而且他们也是构建它们的人。所以，他们对能力有真正的了解，这非常重要。所以，我认为你想以这种方式更加自下而上。所以，我们就是这样运作的。我们乐于犯错，我们经常犯错。这是我非常欣赏 Sam 的一点，他非常努力地推动我们快速前进。但他也明白，快速前进意味着……我们没有完全弄好这个，或者你知道，我们发布了这个东西，它没奏效，我们会回滚。你知道，看看我们的命名，我们的命名糟透了。人们对你有很多问题。模型名称。是的，它绝对是糟糕的，我们知道。我们会在某个时候解决它，但它不是最重要的。所以，我们不会花太多时间在这上面。但这也能说明它为什么不重要。再次，ChatGPT，历史上最受欢迎、增长最快的产品。这些模型是第一大 AI API 和模型。所以，显然它没那么重要。而且我们给东西命名，比如 03 mini high。哦，天哪，我喜欢。好的，所以你谈到了路线图。以及自下而上，我真的很想知道你是如何……有没有一个节奏或仪式来与你或 Sam 对齐，或者他或你审查所有要发布的东西？比如，每周或每月都有一个会议，你们会看到关键项目的进展情况吗？所以，我们确实会进行产品评审之类的事情，就像你期望的那样。没有固定的仪式，因为没有……我永远不想因为等待我和 Sam 的评审而阻止我们发布某样东西。如果我旅行或者 Sam 忙碌，或者其他什么原因，我们无法进行，那将是我们无法发布的糟糕理由。所以，显然对于最重要、最高优先级的项目，我们会有非常密切的关注，但我们真的尽量不这样做，坦率地说。我们希望赋能团队快速行动。而且，我认为发布和迭代更重要。所以，我们有一个我们称之为迭代部署的理念。其想法是，我们都在一起学习这些模型。所以，有一种真正的感觉，就是发布一些东西，即使你不知道全部能力，然后一起公开迭代要好得多。我们和整个社会一起共同进化，当我们了解这些事物以及它们的不同之处、好坏之处以及奇怪之处时。我真的很喜欢这个理念。还有一点，我认为也是我们产品理念的一部分，就是这种“模型最大化”的感觉。模型并不完美，它们会犯错误。你可以花很多时间围绕它们构建各种不同的脚手架。而且，顺便说一句，有时我们也会这样做，因为有时有些错误，你知道，你就是不想犯。但我们不会花太多时间在不符合这些要求的部件周围构建脚手架，因为我们的普遍心态是，两个月后会有一个更好的模型，它将彻底消除你现在看到的任何局限性。所以，如果你正在构建，我们也这样告诉开发者。如果你正在构建，而你正在构建的产品恰好处于模型能力的边缘，请继续前进，因为你做得对，因为再过几个月，模型就会变得很棒，而你目前勉强能用的产品将真正大放异彩。而且，你知道，这就是你如何确保你真正突破界限并构建新事物的方法。
我曾邀请 Bolt 的创始人来参加播客，Stack Blitz 是公司名称，他分享了一个故事，他们一直在幕后工作了七年，但一无所获。然后突然，抱歉提及竞争对手，但 Claude 出来了，或者 Sonnet 3.5 出来了，突然一切都奏效了，他们一直在努力工作，终于奏效了。我在 YC 经常听到这种情况，就像以前不可能的事情，现在随着模型更新，每隔几个月就变得可能了。是的，绝对。让我问一下。我本来没打算问这个，但我很好奇，您是否有什么快速的想法，为什么 Sonnet 在编码方面如此出色，以及您认为您的产品在实际编码方面能否做得同样好甚至更好？是的，我的意思是，向 Anthropic 致敬，他们构建了非常好的编码模型。毫无疑问，我们……我们认为我们可以做到。也许到这个播客发布时，我们会说更多，但无论如何，所有功劳都归于他们。我认为这种智能确实是多维度的。所以，我认为模型提供商……以前是 OpenAI 拥有巨大的模型领先优势，你知道，领先其他人 12 个月左右。现在不再是这样了。你知道，我想我们仍然有领先优势。我敢说我们有，但肯定不是巨大的。这意味着会有不同的地方，你知道，谷歌的模型非常出色，或者 Anthropic 的模型非常出色，或者我们非常出色，而我们的竞争对手会想，“啊，我们必须在那方面做得更好。”而且，一旦有人证明了某件事是可能的，那么在某个方面做得更好就比……你知道，穿越丛林，做一些全新的事情要容易得多。所以，我只是认为，是的，举个例子，就像没有人能跑进四分钟跑完一英里，然后终于有人做到了，第二年又有 12 个人做到了。我认为这种情况到处都是，这仅仅意味着竞争非常激烈，消费者将大获全胜，开发者将大获全胜，企业也将大获全胜。这也是这个行业发展如此之快的原因之一。但是，你知道，向其他大型模型提供商致敬，模型正在变得非常出色。我们将以最快的速度前进，我认为我们有一些好东西即将推出。令人兴奋。这让我想起，在很多方面，其他模型在某些方面更好，但不知何故，ChatGPT 就像……如果你看所有的知名度和使用率，就像无论你们在排名中处于什么位置，人们似乎都将 AI 和 ChatGPT 视为同义词。你认为你们在赢得消费者心智方面做得对吗？至少在目前的知名度方面？我认为首先出现有帮助，这也是我们如此专注于快速移动的原因之一。你知道，我们喜欢率先推出新功能，比如深度研究。而且，我们的模型功能很多，对吧？所以，它们可以接受实时视频输入，你可以进行语音到语音，你可以进行语音到文本和文本到语音。它们可以进行深度研究，可以在画布上操作，可以编写代码。所以，ChatGPT 可以成为一个一站式商店，所有你想做的事情都可以实现。而且，随着我们前进，你知道，我们有更多像 Operator 这样的代理工具，它会在网上为你浏览并为你做事情。你知道，你越来越可以来到这个地方，ChatGPT，给它指令，让它为你完成现实世界中的事情。这其中有一些根本的价值。所以，你知道，我们对此进行了很多思考，我们思考，我们尝试快速移动，这样我们始终是人们最有用、最值得来的地方。
您认为在构建 AI 产品或在 OpenAI 工作后学到的最反直觉的事情是什么？有什么事情是您觉得，“我真的没料到，”也许我应该料到，但其中一件对我来说很有趣的事情是，当你试图弄清楚某个产品如何与 AI 一起工作时，你经常可以像对待另一个人一样来推理，甚至弄清楚为什么某个 AI 事情会是真的，你经常可以像对待另一个人一样来推理，而且它通常奏效。是的。所以，举几个例子。当我们首次推出我们的……我们的推理模型时，对吧？我们是第一个构建能够推理的模型，它能够……而不是立即给你一个快速的，你知道，系统一的答案来回答你提出的每一个问题。它是神圣罗马帝国第三位皇帝。就像，你知道，这里有一个答案。你可以问它难题，它会像我让你做填字游戏一样进行推理，你不能一下子填满所有东西。你可能会想，好吧，在这个横向题上，它可能是这两个中的一个，但这意味着这里有一个 A，所以那个必须是这个，哦，你知道，就像回溯一样，一步一步地从你所在的地方建立起来，就像你回答任何困难的……任何后勤问题，任何科学问题一样。所以，这个推理的突破很重要，但这也是模型第一次需要坐下来思考，而这对于消费者产品来说是一个奇怪的范式。你通常不会有一个产品，你可能需要等 25 秒才能回答一个问题。而且，所以我们试图弄清楚，你知道，这个的用户界面是什么？因为这不像深度研究，模型会去思考 25 分钟。这其实并不难，因为你不会坐着看它 25 分钟。你会去做别的事情。你会去另一个标签页，或者去吃午饭，或者别的什么。然后你会回来，它就完成了。当它需要 20-25 秒或 10 秒时，这是一个漫长的体验。等待的时间很长，但又不足以让你去做别的事情。因此，你实际上需要，你知道，所以，你可以这样想，如果你问我一些我需要花 20 秒才能回答的问题，我会怎么做？我不会只是……你知道，静默下来，什么都不说，然后……你知道，关闭 20 秒，然后回来。所以，我们不应该这样做，我们不应该只是……你知道，有一个滑块在那里。这很烦人。但我也不会开始……你知道，说出我所有的想法。所以，我们可能不应该只是……你知道，暴露整个思考过程，作为模型的思考过程。但你知道，我可能会说，“嗯，这是个好问题。”好的，我可能会这样处理，然后思考，你知道，你可能会……你知道，给出一些更新。而这实际上就是我们最终发布的。你也有类似的情况，你可以……你可以找到一些情况，其中……你从一组模型中获得更好的思考，它们都试图解决同一个问题，然后你有一个模型在查看它们的所有输出并进行整合，然后给你一个最终的答案。我的意思是，这听起来有点像头脑风暴，对吧？就像我肯定会比我一个人在房间里和别人一起头脑风暴时有更好的想法，因为他们和我思考的方式不同。所以，总之，有很多情况你可以像一群人或一个人一样来推理，而且它通常奏效，我不知道，也许我本不该感到惊讶，但我确实感到惊讶。这太有趣了，因为当我看到这些模型运行时，我从来没想过你们会设计那种体验。对我来说，这感觉就像是 LLM 就是这样做的。它只是坐着，告诉我它在想什么。我喜欢你说的这一点，就像，让我们让它感觉像一个人在操作，而一个人是如何操作的？嗯，他们只是大声说出来。他们想，这是我应该探索的事情。我喜欢这种深度序列，对吧？他们只是说，这是我正在做和思考的一切，而人们实际上也喜欢这一点，我想。那让你惊讶吗？哦，也许那也可能奏效。人们似乎喜欢一切。是的，我们从中学习。
实际上。嗯，因为我们，嗯，当我们第一次推出它时，我们有点像给了你模型在思考什么的副标题，但没有更多了。然后 DeepSeek 推出了，有很多内容，我们当时就想，你知道，我不知道是不是每个人都想要那样。看到模型真正在思考什么，会有一种新奇感。我们内部查看时也有这种感觉。看到模型的思维链很有趣，但它不是，你知道，我认为对于像四亿人这样的规模，你不会想看到模型喋喋不休地说一堆东西。嗯，所以我们最终做的是以有趣的方式对其进行总结。所以，你不再只是得到副标题，而是得到一两句话，说明它是如何思考的。你可以从中学习。所以，我们试图找到一个中间地带，我们认为那会是一种对大多数人有意义的体验，但你知道，给每个人展示三段文字，嗯，可能不是正确的答案。
这让我想起了你在峰会上说的另一件事，那件事真的让我印象深刻。这种观点是，人们总是嘲笑聊天，说聊天不像我们与人工智能互动未来的界面，但你提出了一个非常有趣的观点，这可能反驳了这种说法，那就是作为人类，我们通过交谈来互动，人类的智商可以从非常低到非常高，而这一切都奏效，因为我们在和他们交谈，聊天也是一样，它可以在各种智能水平上工作。嗯，也许只是分享，也许我刚刚分享了，但我猜那里有什么关于为什么聊天实际上最终会成为大型语言模型如此有趣的界面。
是的，我不知道我是不是，嗯，也许这是我所相信而大多数人不相信的事情之一，但我实际上认为聊天是一个了不起的界面，因为它非常多功能。嗯，人们往往会说：“哦，聊天。是啊，那就像，你知道，我们会想出更好的东西。”我有点觉得，我有点觉得这，嗯，它非常普遍，因为这就是我们说话的方式。就像我现在可以口头和你交谈一样。我可以，你知道，我们可以互相看到并互动。嗯，我们可以在 WhatsApp 上交谈，你知道，互相发短信，但所有这些都是这种非结构化的，嗯，你知道的沟通方式，这就是我们运作的方式。如果我必须结束，如果我在我们交谈时被允许使用一些更严格的界面，我将只能和你谈论，你知道，少得多的事情，而且它实际上会妨碍我们拥有最大的沟通带宽。所以有一些神奇之处，顺便说一句，过去它从未奏效，因为模型，没有一个模型擅长理解人类语言的所有复杂性和细微差别，这就是大型语言模型的魔力。所以对我来说，它就像一个完全适合这些事物力量的界面。这并不意味着它总是必须像我并非总是想打字那样，但如果你确实想要那种非常开放、灵活的沟通媒介。也许我们正在说话，模型也在回应我，但你仍然想要那种，那种最低限度的，嗯，没有限制的互动方式。
那太有趣了。那真的改变了我对这些事情的看法，就是聊天对于与超级智能对话这个非常具体的问题来说，简直太好了。
顺便说一句，我认为它也不仅仅是聊天。比如，如果你有高流量的使用场景，它们更具规定性，而且你实际上不需要完全的通用性。有很多使用场景，拥有一个灵活性较低、更具规定性、在特定任务上更快的东西会更好，那些也很棒，你知道你可以构建各种各样的东西，但你仍然希望聊天作为任何超出你正在构建的任何垂直领域的东西的基线。它就像一个包罗万象的东西，可以表达你可能想对模型表达的每一种可能性。
我很高兴能与 One Schema 的创始人 Christina Gilbert 聊天，她是我们的长期播客赞助商之一。嗨，克里斯蒂娜。是的，谢谢你邀请我。莱尼，One Schema 的最新进展是什么？我知道你现在与我最喜欢的一些公司合作，比如 RAMP、Vanta、Scale 和 Watershed。我听说你们刚刚推出了一款新产品，帮助产品团队从像 ERP 这样特别棘手的系统中导入 CSV 文件。是的。所以，我们刚刚推出了 One Schema 文件馈送功能，只要你能将 CSV 导出到 SFTP 文件夹，它就能让你在 15 分钟内与任何系统建立集成。我们经常看到客户被各种临时解决方案和变通方法困扰。与我们合作的产品团队不必因为他们的系统难以集成而拒绝潜在客户。我们允许客户提供数千种集成，而无需他们的工程团队参与。我可以告诉你，如果我的团队必须构建这样的集成，能够将其从我的路线图中移除，转而使用像 One Schema 这样的东西，不仅是为了构建它，而且是为了永久维护它，那将是多么美妙。绝对是，莱尼。我们听过太多关于仅仅几条错误记录就导致多日中断的恐怖故事。我们专注于集成可靠性，以帮助团队消除所有因集成而产生的干扰。我们有一个内置的验证层，可以阻止任何错误数据进入你的系统，One Schema 会立即通知你的团队任何看起来不正确的数据。我知道导入不正确的数据会给你的客户带来各种麻烦，并迅速失去他们的信任。克里斯蒂娜，谢谢你加入我们，如果你想了解更多，请访问 oneschema.co，那是 oneschema.co。
看到我想回到你谈论研究人员和产品团队关系的话题。嗯，我 L 想象很多创新都来自研究人员，就像他们有了一个预感，然后构建出一些惊人的东西，然后发布它，而有些想法则来自产品经理和工程师。这些团队如何协作？比如，每个团队都有产品经理吗？很多都是研究主导的吗？就像，给我们一个大致的了解，想法和产品主要来自哪里？
这是一个我们正在大量发展的领域。我对此非常兴奋。坦率地说，我认为如果你回到几年前，当 ChatGPT 刚刚起步时，嗯，显然我当时不在 OpenAI，所以，嗯，但，嗯，我们当时更多的是一家纯粹的研究公司。ChatGPT，如果你记得的话，是一个低调的研究预览版。嗯，它持续了很多年。是的。它并不是团队在推出时就认为它会成为一个巨大的产品。哦，GPT。它只是我们让人们，你知道，玩耍并迭代模型的一种方式。嗯，所以我们当时主要是一家研究公司，一家世界级的研究公司。随着 ChatGPT 的发展，以及我们构建了我们的 B2B 产品、API 和其他东西，现在我们比以前更像一家产品公司了。我仍然认为我们不能，OpenAI 永远不应该成为一家纯粹的产品公司。我们需要既是世界一流的研究公司，也是世界一流的产品公司。两者需要真正地协同工作。这就是，嗯，我认为我们在过去大约六个月里做得越来越好的地方。如果你把这些事情分开处理，你知道研究人员去做一些了不起的事情并构建模型，然后它们达到某种状态，然后产品和工程团队去拿它们做些什么。我们实际上只是我们自己模型的 API 消费者。然而，最好的产品将是，就像我谈论的深度研究一样。它需要大量的迭代反馈。它是理解你试图解决的产品或你试图解决的问题，为它们构建评估，使用这些评估去收集数据并微调模型，使它们在这些你希望解决的使用场景中表现得更好。这需要大量的来回沟通，嗯，才能做好。我认为最好的产品将是产品设计和研究作为一个团队共同努力，去构建新颖的东西。所以这实际上是我们尝试操作的方式，基本上是我们构建的任何东西。这对我们来说是一种新的能力，因为我们作为一家产品公司还比较新，但是，嗯，但这是一个让人们非常兴奋的能力，因为我们看到每次这样做，我们都能构建出很棒的东西，所以你知道现在每个产品都这样开始。
你们 OpenAI 有多少产品经理？我不知道你是否会分享这个数字，但如果你会的话。实际上没有那么多。我不知道，25个。嗯，也许比这多一点，但我个人认为，作为一个组织，你通常希望产品经理的数量相对较少。我带着爱说这句话，因为我本身就是产品经理，但产品经理太多会引发问题。你知道，我们就会用各种演示文稿和想法充斥世界，而不是执行。所以，我认为，我认为当你的产品经理，嗯，可能与稍微过多的工程师合作时，这是一件好事，因为这意味着他们不会介入进行微观管理。你会将大量的，你知道，影响力和责任留给工程师来做决定。这意味着你希望拥有真正以产品为中心的工程师，我们很幸运拥有这样的工程师。我们有一个令人惊叹的、以产品为中心、自主性很强的工程团队。但当你拥有这样的团队时，你的团队会感到超级有力量。你有一个产品经理，你知道，他试图真正理解问题并稍微温和地引导团队，但手头的事情太多，无法深入细节，最终你能够非常快速地行动。所以，这大概就是我们采取的哲学。嗯，我们希望从头到尾都有产品导向的领导和产品导向的工程师。嗯，我们不想要太多的产品经理，但要真正优秀、高质量的。嗯，到目前为止，这似乎运作得相当好。
我想，在 OpenAI 担任产品经理对很多人来说就像梦想成真。嗯，与此同时，我想它并不适合很多人。有研究人员参与，还有非常注重产品的工程师。你们在招聘产品经理时会看重什么？对于那些可能觉得“我可能不应该去那里工作。我甚至不应该考虑那个”的人来说。我想我以前说过几次，但我们真正看重的是高度自主性。那些不会进来等着别人允许他们做某事的人。他们只会看到问题然后去解决它。嗯，这只是我们工作方式的核心部分。我认为那些乐于接受模糊性的人，因为这里存在大量的模糊性。这里不是那种地方，而且我们有时会因为这个原因，嗯，与更初级的产品经理遇到麻烦，因为它不是那种有人会进来然后说：“好的，你知道，这是大局。这是你的领域。我希望你去完成这件事。”的地方。而这正是你作为一名职业生涯早期的产品经理所希望的。我们只是，我的意思是，这里没有人有时间，而且问题太不明确了，我们都是边做边摸索。所以，嗯，高度自主，非常适应模糊性，准备好进来帮助执行并快速行动。那就是我们的秘诀。我认为还要乐于通过影响力来领导，因为我的意思是，作为产品经理，人们通常不向你汇报。嗯，你的团队不向你汇报，等等。但你也有研究职能的复杂性，它甚至更具自主性，与研究团队建立良好的关系非常重要。嗯，所以你知道，我认为情商方面对我们来说也超级重要。
我知道在大多数公司，产品经理进来时，他们会问“我们为什么需要你？”而作为产品经理，你必须，嗯，赢得信任并帮助人们看到价值。我觉得在 OpenAI，这可能是一个非常极端的版本，他们会问“我们为什么需要这个人？我们有研究人员、工程师，你在这里要做什么？”是的，我认为如果做得对，人们会很欣赏。嗯，但你得带着大家一起。我认为产品经理能做好的最重要的事情之一就是果断。所以，这之间有一条非常微妙的界线。你不想总是扮演，我的意思是，我不太喜欢产品经理是产品 CEO 的，嗯，这种错觉。但就像 Sam 在他的角色中一样，如果他在参加的每一次会议中都做出每一个决定，他就会犯错；如果他在参加的任何会议中都没有做出任何决定，他也会犯错。对吧？这是一个，这是一个理解何时将权力下放给你的团队，让人们创新，以及何时需要做出一个决定，而人们要么不舒服，要么没有权力做出，或者一个决定，你知道，有太多不同的、分散在大群体中的优缺点，需要有人果断地做出决定。这是 CEO 非常重要的一个特质。这是 Sam 做得很好的事情，它也是产品经理在更微观层面上的一个非常重要的特质。所以因为有太多的模糊性，在很多情况下答案并不明显。所以，有一个产品经理能够进来，而且顺便说一句，这不一定非得是产品经理。如果是其他人，我完全没问题，但我有点期望产品经理能说，如果存在模糊性，没有人做出决定，你最好确保我们做出决定并向前推进。
这有点触及到我想花点时间谈论的事情，那就是很多人也非常担心人工智能，担心它的走向。他们担心它会取代工作。他们担心，你知道，超级智能未来会压垮人类。你对此有什么看法，以及你认为人们需要听到的那种乐观的情况是什么？
我的意思是，我是一个坚定的技术乐观主义者。我认为如果你回顾过去 200 年，嗯，也许更多的是技术推动了许多进步，使我们成为了今天的世界和社会。它推动经济进步。它推动，嗯，地缘政治进步，生活质量，寿命延长。我的意思是，技术是几乎所有事物的根源。所以我认为很少有例子表明，嗯，从长远来看，这不是一件非常好的事情。这并不意味着没有暂时的混乱，或者没有受到影响的个体，而这些也很重要。所以不能仅仅是平均水平好。你还必须考虑如何尽最大可能照顾好每一个人。所以，嗯，这是我们非常重视的事情，当我们，你知道，与政府合作，与政策制定者合作时，我们尽力在任何可能的地方提供帮助。我们在教育方面做了很多。嗯，你知道，这里的一个好处是，ChatGPT 也许是你可能想要获得的最好的再培训应用程序。它知道很多事情。如果你对学习新事物感兴趣，它可以教你很多东西。所以，但这些都是非常现实的问题。我对长期发展非常乐观，我们需要作为一个社会尽我们所能，确保我们能够，你知道，尽可能优雅和得到良好支持地完成这一转变，让人们了解事情可能走向何方。
这是一个很多人心中的大问题。
所以，有人问了一个我喜欢的问题，那就是，嗯，人工智能已经在很多不同的方面改变了创意工作，写作、设计和编码。你认为下一个重大飞跃是什么？我们应该认为人工智能辅助创意方面的下一个重大飞跃具体是什么？然后广义上，你认为未来几年事情会走向何方？
是的，这也是我非常乐观的一个领域，比如如果你看看 Sora，我的意思是，我们之前谈到了图像生成，以及人们在 Twitter、Instagram 和其他地方展示的绝对的创意源泉。我是世界上最糟糕的艺术家。就是最差的。也许我唯一比艺术更糟糕的就是唱歌了。而且我，你知道，你给我一支铅笔和一张纸，我画得还不如我五岁，不如我们八岁的孩子好。你知道，它就是这样，但你给我图像生成器，你知道，我就可以想出一些创意，然后把东西输入模型，突然间就能得到我自己不可能做出来的输出。那很酷。即使你看看，嗯，那些真正有才华的人。我最近和一位导演谈论 Sora，他执导过我们都认识的电影。而且，嗯，他说，你知道，对于他正在制作的一部电影，比如说，举个例子，某种科幻电影，你知道，想象一下《星球大战》，你有一个场景，一架飞机正在飞向一个像死星一样的东西。所以你看到飞机俯瞰整个星球，然后你想切换到一个场景，飞机就像，你知道，在地面高度，突然你看到了城市和所有其他东西，对吧？你将如何管理那个过场动画和那个过渡？他说，你知道，在两年前的世界里，我会付给，嗯，嗯，你知道，一家 3D 特效公司，嗯，十万大洋，他们会花一个月时间，为我制作这个过场动画的两个版本，然后我会评估它们。我们会选择一个，因为你还能做什么呢，再付五万块钱再等一个月吗？而且，嗯，我们就会接受它，你知道，那会很好，电影很棒，我喜欢它们，而且，嗯，显然我们用现有的技术可以做很多很棒的事情，但你现在看看用 Sora 能做什么，他的观点是，现在我可以使用 Sora 我们的视频模型，我可以得到这个过场动画的 50 种不同变体，就是，你知道，我把想法输入提示，模型也和我一起头脑风暴一下，我就有了 50 个不同的版本。然后，当然，我可以在这些版本的基础上进行迭代和完善，并采纳不同的想法。现在我仍然会去那个 3D 特效工作室制作最终版本，但我会带着头脑风暴过的想法去，并且采取了一种更具创意的方法，结果也更好，而且，嗯，我是在人工智能的辅助下完成的。所以我个人对创造力的总体看法是，没有人会，你不会在 Sora 里输入“给我制作一部很棒的电影”。它需要创造力、独创性和所有这些东西，但它可以帮助你探索更多。它可以帮助你获得更好的最终结果。所以，你知道，我再次倾向于在大多数事情上保持乐观，但我实际上，我，我，我认为这里有一个非常好的故事。
我知道 Sam Altman，我想是他，最近发推文提到了你们正在做的创意写作作品，其中说它在写创意内容方面非常糟糕，但他分享了一个实际上非常好的例子。我想那是另一个投资领域。
是的，内部正在发生一些令人兴奋的事情，嗯，采用了一些新的研究技术。所以，嗯，我们会在某个时候对此有更多要说的，但是的，Sam，嗯，Sam 有时，嗯，喜欢炫耀一些即将推出的东西。嗯，顺便说一句，这非常，嗯，表明了这种迭代部署，嗯，哲学。我们不会取得一些突破然后永远藏着，然后，你知道，某天再赐予世界。我们只是谈论我们正在做的事情，尽可能地分享，尽早频繁地发布，然后在公开场合迭代。我，我，我真的很喜欢这种哲学。
我喜欢所有这些关于即将到来的一些事情的暗示。我知道你不能说太多。你谈到了未来可能会有一次编码上的飞跃，也许在节目播出时就会出现。还有没有什么人们应该考虑的，可能在不久的将来会出现的东西？有没有什么你可以透露的有趣、令人兴奋的事情？
老兄，这还不够你听吗？哦，只有一切都在每天变得更好。是的，我心想，老兄，我希望，嗯，我希望我们能在这一集发布之前把这些东西弄出来。这是你的新时间限制。我不想惹人生气。嗯，不。嗯，对我来说最惊人的事情是，我们之前谈到模型在短短几年内取得了多大的进步。如果你回到 GPT-3，你会觉得它有多糟糕而感到厌恶，尽管两年前的莱尼，你知道，对这些模型的出色程度感到震惊。嗯，很长一段时间以来，我们每隔，你知道，6 到 9 个月就会迭代一个新的 GPT 模型。就像 GPT-3、GPT-3.5、GPT-4。而现在有了这个 O 系列推理模型，我们移动得更快了。我们大约每，你知道，3 个月，也许 4 个月，就会有一个新的 Oser 模型。它们每一个在能力上都有所提升。所以这些模型的能力正在以惊人的速度增长。它们也随着规模扩大而变得更便宜。你知道，你看看，嗯，我们甚至在几年前的状况。最初的，我想最初的，我不知道是什么，GPT-3.5 还是什么，在 API 中，它的成本是今天 GPT-40 mini 的 100 倍。所以几年时间，你在，嗯，成本上降低了两个数量级，却获得了更多的智能。所以我，我不知道世界上还有没有这样的趋势系列。模型变得更智能，更快，更便宜，也更安全。嗯，你知道，它们每次迭代的幻觉都更少。所以，你知道，摩尔定律和晶体管变得无处不在。那是一个关于每 18 个月芯片上的晶体管数量翻倍的定律。如果你谈论的是每年增长 10 倍的东西，那是一个陡峭得多的指数增长。而且它只是，你知道，它告诉我们未来将与今天大不相同。我，我，我仍然，我努力提醒自己的一件事是，你今天使用的人工智能模型是你余生中将使用的最差的人工智能模型。当你真正把这个想法植入脑海时，这有点疯狂。
我本来也想说同样的话。那是我看这个东西时总是牢记的一点。就像你谈论 Sora，我想很多人听到后会说：“不，不，它实际上还没准备好。它不够好。它不会像我在电影院里看到的电影那么好。”但关键是你刚才说的，这已经是它最差的时候了。它只会变得更好。
是的。模型最大化主义。就像，你知道，继续为那些即将实现的能力而构建，模型会迎头赶上并变得惊人。逃到冰球将要去的地方。是的。
嗯，这让我想起来了。我前几天还在用，我在把所有东西都“吉卜力化”，然后我就想，为什么这么久？就像，天哪。那是什么？我说，就像人们常做的那样。如今人们就是这样。我当时就想，用这种惊人的方式生成我家庭的这张图片竟然要花一分钟。拜托。为什么这么久？你就是太习惯于魔法在你眼前发生了。是的，完全是。
好的，最后一个问题。这将走向一个完全不同的方向。很多人都问过这个问题。所以你曾领导 Facebook 的一个著名项目，叫做 Libra，现在叫 Novi。很多人一直想知道那里发生了什么。那是一个非常酷的想法。我知道有些人觉得存在监管挑战之类的问题。嗯，我不知道你是否谈论过很多次。所以我想，你能不能简单地向大家总结一下 Libra 是什么？他们，你正在做的这个项目，以及发生了什么，你对此感觉如何。
是的，我的意思是 David Marcus 领导了它，嗯，你知道我很高兴为他工作，并与他合作。嗯，我认为他是一位有远见的人，嗯，也是一位导师和朋友。嗯，你知道，老实说，Libra 可能是我职业生涯中最大的失望。嗯，当我想到我们当时正在解决的问题，那些都是非常现实的问题。你如果看看，例如，汇款领域，人们向其他国家的家人汇款，这也许，我的意思是，它非常倒退，对吧？那些没有钱可花的人却不得不支付 20% 的费用把钱寄回家给家人，所以费用高得离谱，需要好几天，你还得去取现金，是的，这简直太糟糕了，而我们现在有大约三十亿人在世界各地使用 WhatsApp 每天互相交谈，特别是朋友和家人，正是那种会互相汇款的人。为什么你不能像发送短信一样即时、便宜、简单地发送钱呢？我，它就是那种当你坐下来思考时，它就应该存在的东西。而那正是我们着手尝试去做的事情。现在，我不认为我们打出了所有完美的牌。如果我能回去重来，有很多事情我会做得不同。你知道，我们试图一次性搞定所有事情。我们试图推出一个新的区块链。它最初是一个货币篮子。它是与 WhatsApp 和 Messenger 的集成。我想全世界都像，“哦，天哪，这一下子变化太大了。”而且你知道，它发生的时候，Facebook 的，嗯，声誉正处于绝对的谷底。所以那没有帮助，对吧？它也不是人们想要的那种带来这种变化的信使。我们在开始时就知道所有这些，但我们还是去做了。我认为如果我们，我认为有很多方法可以做到这一点，可以更温和地引入这种变化。你知道，也许仍然能达到同样的结果。嗯，但一次性少一些新事物，然后一次引入一个新事物。谁知道呢。嗯，你知道，那些是我们共同做出的决定。嗯，所以我们都承担责任。当然我承担责任。但它根本上让我失望的是，这个东西今天在世界上不存在，因为如果我们能够推出它，世界会变得更好。
产品。我本可以免费通过 WhatsApp 向您发送，你知道的，50 美分。它会即时结算。每个人都会在他们的 WhatsApp 账户中拥有余额。我们将进行交易。我的意思是，它本应存在的。老实说，我不知道，我的意思是，目前的政府对加密货币非常友好。Facebook 的声誉，Meta 的声誉处于一个非常不同的位置。也许他们现在应该去建造它。我一直在看它的历史，呃，据称他们以 2 亿美元的价格将这项技术卖给了一家私募股权公司。是的。是的。是的。所以，你必须把它买回来。目前有几个呃呃呃区块链是基于这项技术的，因为这项技术从一开始就是开源的。呃，Aptos 和 Miston 是两家基于这项技术的公司。所以，你知道，至少我们所做的所有工作都没有白费，但它在这两家公司中得以延续，而且它们都做得很好，但仍然，你知道，我们应该能够在 WhatsApp 中互相汇款，而今天我们做不到。这里，这里。好吧，谢谢你分享这个故事，凯文。在进入我们非常激动人心的闪电轮之前，您还有什么想分享的吗？或者也许是最后的建议或见解？哦，闪电轮。我们去做吧。我们去做吧。凯文，我们进入了非常激动人心的闪电轮。你准备好了吗？是的，我们去做吧。好的。您经常向他人推荐的两三本书是什么？《共生智能》，作者是伊桑·穆里克。一本关于人工智能以及如何在日常生活中作为学生、作为老师使用它的好书。他非常深思熟虑。顺便说一句，在 Twitter 上也是一个非常好的关注对象。嗯，《意外的超级大国》，作者是彼得·齐恩。呃，如果你对地缘政治和塑造动态的力量感兴趣，这本书非常好。嗯，然后呃，我真的很喜欢《有线电视牛仔》。我不知道作者是谁，但这是约翰·马龙的传记。如果你喜欢商业，尤其是如果你想进入，我的意思是，这个人是一位了不起的交易撮合者，并塑造了现代有线电视行业的许多方面。所以这是一本很好的传记。这些都是第一次提及，这总是很好的。哦，太好了。下一个问题。您最近有没有发现什么特别喜欢的电影或电视节目？嗯，我希望我有时间看电视节目。呃，所以我只是看视频。是的，没错。嗯，我不知道。我小时候读过《时之轮》系列。嗯，现在亚马逊已经有了，他们正在制作第三季。所以，我想看，但我还没看。嗯，《壮志凌云 2》是一部很棒的电影。嗯，我想它不再是新的了，但你知道，这表明你上次看电影是什么时候。嗯，但我喜欢这个想法，就像我我想要更多像美国精神的东西。我想要更多像为自己是强大的而感到自豪的东西。嗯，我认为《壮志凌云 2》在这方面做得很好。就像，你知道，自豪感和爱国主义。我认为美国可以更多地拥有这些。您最近有没有发现什么特别喜欢的产品，除了你们都有权访问的超级智能内部工具之外？我只是在开玩笑。没错。内部 AGR。没错。嗯，我认为像温莎夫这样的产品进行氛围编码非常有趣。嗯，我玩得很开心。我仍然很喜欢我们的首席人事官对一些工具进行了氛围编码。也许另一个是 Whimo。呃，我每次有机会都会骑 Whimo。这是一种更好的骑行方式，而且仍然感觉像是未来。嗯，所以他们做得非常出色。太棒了。顺便说一句，我曾邀请 Windsurf 的创始人参加播客。他们可能在这之前或之后播出。而且 Cursor 的首席执行官也将在这次播客之前或之后参加。哦，太酷了。我对那些家伙所做的事情非常尊重。他们是那些很棒的产品。只是在改变每个人构建产品的方式。没什么大不了的。是的。还有几个问题。您有没有一个喜欢的生命座右铭，您经常对自己重复，并且在工作或生活中发现它非常有用？是的。所以，实际上，这很有趣，它更像是一种哲学，然后我想扎克曾经在一次 Facebook 财报电话会议上概括过它。嗯，我实际上把它做成了一张海报。它放在我的房间里，但是，但是有人在财报电话会议上问马克，这真的是在财报电话会议上。所以，就像一个分析师在财报电话会议上问他，你知道，那是 Facebook 增长了很多的一个季度。那是在 201 年，我想。但是他说，你知道，你们做了什么？你们推出了什么？是什么驱动了你们的全部增长？他说，有时不是某一件事情。它只是在很长一段时间内持续做好工作。这对我一直很有启发。而且我认为确实如此。我的意思是，你知道，我跑超级马拉松。这就像是关于努力奋斗。我认为人们常常寻找像银弹一样的东西，而生活中的很多事情，以及卓越中的很多事情，实际上是每天都出现，做好工作，每天都变得更好一点，你知道，你可能在一周甚至一个月内都注意不到，然后很多人就会变得沮丧并停止，但实际上，如果你继续这样做，收益就会不断复利，在一年、两年、五年内，它就会累积得惊人。所以，在很长一段时间内持续做好工作。该死，我喜欢这个。我得把它做成一张海报。这真是太好了。我非常赞同这一点。好的，我收下了。这真是太好了。好的，最后一个问题。我要问你是否有任何提示技巧，我将先设置好，但请考虑一下你是否有一个可以推荐给人们更好地提示 LLM 的技巧。我曾邀请一位客人，亚历克斯·卡马罗斯基，来参加播客。他是 Stripe 的人，每周都会写关于世界上正在发生的事情的反思。其中很多都与人工智能有关。他曾将 LLM 描述为人类知识的压缩文件，所有答案都在里面，你只需要找到正确的问题来解决每个问题。所以这让我想起了提示工程的重要性以及如何好好提示。你一直在提示 ChatGPT。你发现有什么技巧对你有所帮助，让你得到你想要的东西？嗯，我首先要消除你必须成为一名优秀的提示工程师的想法。我认为如果我们做好我们的工作，这种情况就不会再发生了，你知道，这只是模型中的一个尖锐边缘，专家可以学习，但随着时间的推移，你就不需要知道所有这些了。就像你过去必须深入了解，你知道，你的 MySQL 存储引擎是什么？你使用的是 InnoDB 4.1 还是什么？你知道，对于 MySQL 性能的深度边缘仍然有使用场景，但大多数人不需要关心，你也不应该关心提示的细微差别，如果人工智能真的要被广泛采用的话。但是，嗯，今天我们还没有完全做到这一点。我认为，顺便说一句，我们正在取得进展。我认为现在的提示工程比以前少了很多，但与我之前谈到的微调和提供示例的重要性相结合，你可以通过在提示中包含你想要的示例以及一个好的答案来有效地进行“穷人式微调”。所以，就像这里有一个例子，这里有一个好的答案。这里有一个例子，这里有一个好的答案。现在请为我解决这个问题，模型真的会听从并从中学习。虽然不如完全微调，但比不提供任何示例要好得多。我认为人们这样做不够频繁。太棒了。我听说了一个技巧，我想知道它是否有效，就是你告诉它这对我职业生涯非常非常重要。让它真正理解，如果回答不正确，就会有人死去。这有用吗？你知道，这真的很奇怪。我猜这有一个很好的解释，但你也可以说一些话。是的，我认为这有一些道理。你也可以说，比如，我希望你成为爱因斯坦。现在为我回答这个物理学问题。或者，你是世界上最伟大的营销人员，世界上最伟大的品牌营销人员。现在这是一个命名问题。它确实会改变模型进入某种心态，这可能非常有益。我一直都在使用这个技巧。我总是用它来构思面试问题，偶尔也用它来构思我没想过的事情。我实际上输入了，你是世界上最好的播客主持人，对吧？凯文·凯文·威尔要来参加播客了。是的。而且确实有效。是的。而且，顺便说一句，回到我们之前几次提到的观点，你有时也会对人这样做，对吧？嗯，你有点让他们，你设定了框架，让他们进入某种心态，结果完全不同。所以我认为这有一些人类的类比。再说一遍。凯文，这太棒了。我一直在想一个结束的方式。我的感觉是，我觉得你不仅处于未来的前沿，你和团队实际上是在创造未来的边缘。所以，能在这里见到你，和你交谈，听听你的想法，你认为事情将如何发展，以及我们需要考虑什么，这是一种真正的荣幸。所以，谢谢你来这里，凯文。哦，非常感谢你的邀请。我真的觉得我能和世界上最好的团队一起工作，所有的功劳都归于他们，但我真的很感谢你邀请我来。这非常有趣。我忘了问你最后两个问题。人们可以在哪里找到你，如果他们想联系你，以及听众如何能对你有所帮助？我在几乎所有平台上都是 Kevin Wheel，Kev V I WIL。你知道，这么多年来我仍然是 Twitter 的活跃用户。我猜是 XDAU，LinkedIn，无论哪里。嗯，我想我最希望人们给我反馈。人们正在使用 ChatGPT。告诉我它在哪里，它对你来说效果非常好，你想让我们在哪里加大投入。告诉我它在哪里失败了。我非常活跃，并且在 Twitter 上很活跃。我喜欢听人们谈论什么有效，什么无效。所以，不要害羞。而且我关注你，有助于你了解你每天、每周、每月发布的所有东西。所以这也是一个好处。而且，顺便说一句，每周有 4 亿活跃用户都在给你发反馈。来吧。是的，我们去做吧。这肯定会奏效的。好的。嗯，谢谢你，凯文。谢谢你来这里。好的，伙计。非常感谢。很快见。再见，各位。非常感谢您的收听。如果您觉得这很有价值，您可以在 Apple Podcasts、Spotify 或您喜欢的播客应用上订阅本节目。另外，请考虑给我们评分或留下评论，因为这确实有助于其他听众找到播客。您可以在 lennispodcast.com 上找到所有过去的剧集或了解更多关于本节目的信息。下一集再见。