Transcription
你大约 90% 的代码是由人工智能编写的。现在，以最具未来感的方式工作的团队是云代码团队。他们正在以一种非常自我改进的方式使用云代码来构建云代码。我们很快就在合并队列等其他方面遇到了瓶颈。我们不得不对其进行彻底的重新架构，因为编写的代码量大大增加，提交的拉取请求也大大增加。我们超过一半的拉取请求是由云代码生成的。可能在这个阶段，它可能超过 70%，这有点超出了预期。你们正处于事物发展的最前沿。我有一个非常奇怪的经历，我打开了两个标签页。一个是 AI 2027，另一个是我的产品策略，那一刻我心想，我是故事中的角色吗？感觉 ChatGPT 正在赢得消费者的心智份额。这如何影响你思考产品策略和使命的方式？我认为现在人工智能领域有空间可以建立几家具有时代意义的公司。我们如何弄清楚我们长大后想成为什么，而不是我们目前不是什么，或者希望自己是什么，或者看到这个领域中的其他参与者是什么？有什么事情是你改变了想法的？关于人工智能的能力以及人工智能的发展方向。我最初的想法是，是的，这些模型很棒，但它们能否拥有独立的观点？实际上，这只是在过去一个月里才真正改变了我。今天我的嘉宾是 Mike Kger。Mike 是 Anthropic 的首席产品官，Anthropic 是 Claude 背后的公司。他也是 Instagram 的联合创始人。他是我最喜欢的产品构建者和思想家之一。他现在还在一家世界上最重要的公司领导产品，我非常激动能有机会在播客上与他交谈。我们讨论了他自从加入 Anthropic 以来在人工智能能力方面改变想法最多的事情，产品开发如何变化，以及当 90% 的代码由人工智能编写时瓶颈在哪里出现，这在 Anthropic 现在是真实的。此外，他还分享了他对 OpenAI 与 Anthropic 的看法，MCP 的未来，他为什么关闭了他的最后一个创业公司 Artifact，以及他对它的感受。还包括他鼓励他的孩子们在人工智能崛起的背景下培养哪些技能。最后，我们在一个非常温馨的信息中结束了播客，Claude 希望我与 Mike 分享。非常感谢我的通讯 Slack 社区为这次谈话提供了话题建议。如果你喜欢这个播客，别忘了在您喜欢的播客应用程序或 YouTube 上订阅并关注它。另外，如果您成为我的通讯年度订阅者，您将免费获得一年的一系列令人难以置信的产品，包括 Linear、Superhum、Notion、Perplexity 和 Granola。请访问 lennisnewsletter.com 并点击 bundle。现在，我请出 Mike Creger。本期节目由 Product Board 提供赞助，Product Board 是企业领先的产品管理平台。十多年来，Product Board 一直帮助 Zoom、Salesforce 和 Autodesk 等以客户为中心的公司更快地构建正确的产品。作为一个端到端平台，Product Board 无缝支持产品开发生命周期的所有阶段。从收集客户见解到规划路线图，再到协调利益相关者，再到赢得客户的认可，所有这些都通过单一事实来源实现。现在，产品负责人可以通过 Product Board Pulse（一项新的客户之声解决方案）更深入地了解客户需求。内置的智能功能可帮助您分析所有反馈中的趋势。然后，通过向 AI 提出后续问题来深入了解。了解 Product Board 如何帮助您的团队交付更高影响力、解决真实客户需求并推动您业务目标的产品。如需特别优惠和免费 15 天试用，请访问 productboard.com/lenny。即 productboard.com/leny。去年，全球 GDP 的 1.3% 通过 Stripe 流动。这超过了 1.4 万亿美元。驱动这一巨大数字的是数百万家业务增长更快的企业。对于 Forbes、Atlassian、OpenAI 和 Toyota 等行业领导者来说，Stripe 不仅仅是金融软件。它是一个强大的合作伙伴，简化了他们资金的流动方式，使其像互联网本身一样无缝且无国界。例如，在迁移到 Stripe 后，Herz 的在线支付授权率提高了 4%。想象一下，就像 Forbes 在切换到 Stripe 进行订阅管理后的短短 6 个月内，收入就提高了 23%。Stripe 在过去十年中一直在利用人工智能来改进其产品，以促进所有企业的收入增长。从更智能的结账到欺诈预防等等。加入信任 Stripe 来推动变革的财富 100 强公司中的一半以上的行列。了解更多信息，请访问 stripe.com。Mike，非常感谢您来到这里，欢迎来到播客。我很高兴来到这里。我期待这一刻已经很久了。哇。我很高兴听到这个。我也期待这一刻已经很久了。我有很多话要说。首先，您在 Anthropic 工作了刚一年多。恭喜您，顺便说一句，您已经达到了那个里程碑。谢谢。现在我们正在跟踪，是的。所以，让我问您这个问题。您在 Anthropic 工作了大约一年。您在加入 Anthropic 之前到今天，关于人工智能的能力以及人工智能的发展方向，您改变了什么想法？两件事。一件是关于速度和时间线的问题。另一件是关于能力的问题。所以，也许我先说第二件事。我最初的想法是，是的，这些模型很棒。它们将能够生成代码。它们将能够，你知道，最终以你的声音写作。但它们能否拥有独立的观点？实际上，这只是在过去一个月里才真正改变了我，而且只是与 Opus 4 一起，我的首选产品策略合作伙伴一直是 Claude，而且基本上是一整年了，我会写一个初步的策略，我会和 Claude 分享，基本上，我会让它，你知道，看看它。过去，它留下的评论相当平淡，比如“你有没有想过这个？”我说，“是的，我考虑过。”而 Opus 4，我正在为我们上半年的工作制定一些策略，这是我第一次说“Opus 4 结合我们的高级研究”，但它确实花了一段时间，然后它回来了，我说，“该死，你真的从一个新的角度看待了它。”所以，这可能是我最大的转变，就是“独立”这个词可能不太准确，但相对于我思考问题的方式而言，它是一种创造力和思想的新颖性。而时间线方面，这很有趣，因为你知道，我昨天就坐在 Dario 旁边，他说，我一直在做这些预测，人们一直在嘲笑我，然后它们就实现了，而且很有趣的是这种情况一次又一次地发生，他说，并非所有预测都会正确，你知道，但即使我认为去年他还在谈论，你知道，我们在 SUB bench 上达到了 50%，这是一个关于模型在编码方面有多好的基准。他说，我认为到 2025 年底我们将达到 90% 或类似的东西。果然，有了新模型，我们现在大约是 72%，而你做出预测时是 50%，而且它基本上是按照预测的那样持续扩展。所以，我现在更加认真地对待时间线了。如果你读了 AI 2027，我手里就有。它是由 Heart Race 制作的。是的。我有一个非常奇怪的经历，我打开了两个标签页。一个是 AI 2027，另一个是我的产品策略。那一刻我心想，我是故事中的角色吗？这有多么趋同？但是，你知道，你读了它，你会想，“哦，2027 年，那还很遥远。”你会想，“不，现在是 2025 年中期。”而且事情会继续改进，模型会做得越来越多，它们能够以代理的方式行动，它们能够拥有记忆，它们能够随着时间的推移而行动。所以，我认为我的时间线信心，我不知道它们具体是如何实现的，在过去一年里确实得到了巩固。哇。嗯。我没想到会这样，因为那篇论文很可怕，我很好奇，我忍不住问，你对如何避免那篇论文描绘的那个可怕的场景有什么看法，即人工智能变得非常聪明。是的，我的意思是，这可能与我在这里待了一年有关，为什么我加入了 Anthropic。我看着模型越来越好，甚至你知道，你在 24 年和你知道的 2024 年初就能看到，看着我的孩子们，我想，“好吧，他们将在一个有 AI 的世界里长大。这是不可避免的。我能做什么？我能把我的时间最大限度地用在哪里，让事情朝着好的方向发展？”我的意思是，这与行业中的许多人，尤其是在 Anthropic 的人所想的有很多相似之处。所以，我认为，你知道，就“什么是好的发展方向”达成一致和共同的框架和理解，我们想要什么样的人工智能关系？我们如何一路知道？我们需要一路构建和开发和研究什么？我认为这些都是关键问题，你知道，其中一些是产品问题，一些是研究和可解释性问题，但对我来说，加入的最主要原因是，我认为 Anthropic 在推动事情朝着更好的方向发展方面可以做出很多贡献，如果我能发挥作用，那就去做吧。我喜欢这个答案。说到孩子，您有两个孩子，我有一个年幼的孩子，他快两岁了。我很好奇，随着人工智能在我们的未来中越来越重要，一些工作将发生变化，您正在鼓励您的孩子培养哪些技能？您有什么建议？我们每天早上都和孩子们一起吃早餐，然后会提出一些问题，你知道，比如，关于物理学，我们最大的孩子快六岁了，但你知道，他们会问一些关于太阳系或物理学的有趣问题，你知道，以六岁孩子的方式。在我们求助于 Claude 之前，因为一开始，你知道，我的本能是“哦，我想知道 Claude 在这个问题上会怎么做”，然后我们开始改变，“好吧，我们怎么找出答案呢？”你知道，答案不能只是“我们会问 Claude”。所以，好吧，我们可以做这个实验，我们可以做那个事情。所以，我认为培养好奇心，并且仍然有一种“我不知道”的科学过程，听起来很宏大，要灌输给一个六岁的孩子，但那种发现和提问的过程，然后系统地解决问题，我认为仍然很重要，当然，人工智能将是帮助解决其中大部分问题的绝佳工具。但那种探究过程我认为仍然非常重要，以及独立的思考。我与孩子最喜欢的时刻是，因为她非常固执。我们六岁的女儿，你知道，我说她说了些什么，我不确定是否属实。是关于珊瑚是动物还是珊瑚是活的。我甚至不记得细节了。我说，我不知道那是否属实。她说，“爸爸，那绝对是真的。”我说，“好吧，我们这次问 Claude。”她说，“你可以问 Claude，但我知道我是对的。”我说，我喜欢这样。我想要那种程度的，你知道，不仅仅是“委托你所有的认知给，你知道，人工智能，因为它并不总是能正确地做到这一点，而且也，你知道，有点阻碍了任何独立的思考。”所以，提问、探究和独立思考的技能，我认为这些都是关键。从工作或职业的角度来看，我只是保持开放的心态，我敢肯定，从现在到那时，情况将发生根本性变化。我曾邀请 Shopify 的首席执行官 Toby Lucky 来参加播客，他对鼓励他的孩子培养什么技能也有同样的答案：好奇心。所以，这很有趣，这是一个共同的线索。我们孩子就读的 K-8 学校请来了一位人工智能专家，关于人工智能和教育。我对这次谈话的期望很低。实际上，我认为它超出了大多数听众的理解范围，因为他说，“好吧，让我带你们回到 Claude Shannon 和信息论。”我可以看到人们的眼睛在说，“我报名参加了什么？我为什么在这里，在这个学校礼堂里听关于信息论？”但他确实做得很好，我认为他想象着，“好吧，将来会有不同的工作，我们不知道这些工作是什么。”所以，技能和技术以及开放的心态是什么？以及如何将它们重新组合起来，甚至这些东西可能在我们十八岁之前就会改变三次。我想回到我们正在谈论时间线以及事物如何变化。我看到您分享的这些统计数据，Anthropic 的其他人也分享了关于您现在有多少代码是由人工智能编写的。人们分享的统计数据从 70% 到 90%。有一位工程师负责人分享说，你大约 90% 的代码现在是由人工智能编写的。首先，这太疯狂了，它从零到 90% 只需要几年时间。我认为人们对此谈论得不够。这太疯狂了。你们基本上处于最前沿。我从未听说过一家公司有这么高比例的代码是由人工智能编写的。所以，你们正处于事物发展的最前沿。我认为大多数公司都会达到这个水平。知道这么多代码现在是由人工智能编写的，产品开发是如何改变的？通常是这样的：产品经理说，“这是我们要构建的东西”，工程师构建它，然后发布它。它仍然大致是这样吗？还是现在产品经理直接对 Claude 说“帮我构建这个东西”？工程师在做不同的事情，在 90% 的代码由人工智能编写的世界里，它看起来有什么不同？是的，这真的很有趣，因为我认为工程的角色发生了很大变化，但共同生产产品的团队还没有。而且我认为在很多方面是朝着坏的方向发展，因为我认为我们仍然抱有一些假设。所以，我认为角色仍然相当相似。尽管我们现在会参与其中，而我最喜欢发生的事情是，有时产品经理有一个想法想要表达，或者设计师有一个想法想要表达。他们会使用 Claude，甚至可能使用 Artifact 来构建一个实际的功能演示，这非常有帮助。这使得它变得有形。这可能是最大的角色转变，即原型制作在更早的阶段通过更多的“代码加设计”来实现。然而，我学到的是，知道该问 AI 什么，如何组织问题，甚至如何考虑后端和前端之间的更改结构，这些仍然是非常困难和专业化的技能，它们仍然需要工程师去思考。我们很快就在其他方面遇到了瓶颈，比如我们的合并队列，也就是进入队列以让您的更改被系统接受，然后部署到生产环境。我们不得不对其进行彻底的重新架构，因为编写的代码量大大增加，提交的拉取请求也大大增加，以至于它完全超出了它的预期。所以，就像，我不知道你是否读过“目标”这本经典的流程优化书籍，你就会意识到“关键路径理论”。我在我们的系统中发现了所有新的瓶颈。你知道，有一个上游瓶颈，即决策和协调。我现在正在思考很多事情，比如我如何提供“最小可行策略”，让人们感到有能力去运行、原型化、构建和探索模型能力的边缘。我认为我还没有做到这一点，但这是我正在努力的事情。然后，一旦构建完成，就会出现其他瓶颈，比如，让我们确保我们不互相干扰。让我们提前考虑所有边缘情况，这样我们就不会在工程方面受阻。然后，当工作完成，我们准备发布时，也会出现所有这些瓶颈。比如，让我们进行着陆更改的空中交通管制，我们如何确定发布策略？所以，我认为直到今年，我们才面临如此大的压力来改变这些，但我预计，一年后，我们构建和发布软件的方式将发生很大变化，因为以当前的方式进行将非常痛苦。这非常有趣。以前是这样的：有一个想法，让我们设计它，构建它，发布它，合并它，然后发布它。通常瓶颈在于工程部门花费时间来构建东西，然后是设计。现在您说您发现的两个瓶颈是：好吧，决定构建什么以及协调所有人，然后是合并到生产环境的队列。而且，我敢猜测，审查也很重要，而且在很多方面，我们最，也许不出所料，以最未来感的方式工作的团队是云代码团队，因为他们正在使用云代码来构建云代码，以一种非常自我的改进方式。你知道，在那项目的早期，他们会进行非常逐行的拉取请求审查，就像你对任何其他项目一样。他们已经意识到 Claude 通常是正确的，并且它生成的拉取请求可能比大多数人能够审查的要大。所以，你能用另一种云来审查它吗？然后让人类进行验收测试，而不是逐行审查。当然有利有弊，到目前为止进展顺利，但我也可以想象它会失控，然后拥有一个完全不可维护甚至无法理解的云代码库，但这还没有发生。但看着他们改变审查流程确实很有趣。是的，合并队列是下面形成的瓶颈之一，但还有其他瓶颈，比如我们如何确保我们仍然构建一些连贯的东西，并将其打包成一个我们可以与人们分享的时刻。无论是围绕发布时刻，无论是关于让人们能够使用这个东西并谈论它，你知道，构建有用的东西然后让人们知道你已经构建了它并从中学习反馈的经典事情仍然存在。我们只是让整个过程的一部分效率大大提高。我听到你将这描述为你们是这种工作方式的“零号病人”。是的。我喜欢这个。你是否知道 Claude 代码有多少是由 Claude 代码编写的？目前，如果不是 95% 以上，我会感到震惊。我需要问 Boris 和那里的其他技术负责人。但令人高兴的是，你知道，细枝末节的事情。云代码是用 TypeScript 编写的。它实际上是我们最大的 TypeScript 项目。Anthropic 的其余大部分是用 Python、一些 Go、现在一些 Rust 编写的，但我们不是，你知道，我们不是一个 TypeScript 商店。所以，我昨天在我们的 Slack 中看到一条很棒的评论，有人对云代码中的某件事感到非常恼火，他们说，“我不知道任何 TypeScript。我只是要和 Claude 谈谈这件事，然后去做。”他们在一个小时内就完成了拉取请求，解决了他们的问题，并且，你知道，提交了一个拉取请求。这种打破障碍的方式，一方面，它改变了你对任何新加入项目的人的进入门槛。我认为它可以让你选择适合这项工作的语言，例如。我认为这也有帮助。但我也认为它强化了云代码作为那个“耐心阿尔法”的角色，你知道，在那里，来自公司外部的贡献也可以是云代码。哇。这只会继续让我大吃一惊，所有这些你分享的事情。95% 的云代码是由云代码编写的，大致如此。这是我的猜测。是的。我会带着真实的数据回来。但我的意思是，如果你问团队，他们就是这样工作的，而且他们也从公司各处获得了贡献。回到你关于由 Claude 本身协助的策略的观点，以及你关于现在许多瓶颈都在漏斗的顶端，即产生想法、协调所有人的观点。有趣的是，Claude 已经在帮助解决这个问题，也帮助你决定构建什么。所以，如果这两个瓶颈是协调、决定构建什么，然后是合并和完成所有事情，你认为最有趣的事情发生在什么地方可以帮助你加快速度？是的，我认为在第一个方面，我年初写了一份文件，基本上是“我们今天如何做产品，以及 Claude 还没有出现但应该出现的地方”。我认为上游部分是下一个要解决的有趣问题。在你的会议上，我与一位正在研究“PRD GPT”的人交谈，就像“聊天 PRD”，我认为是 Player Vote。所以，你知道，我们可以进一步推动，你知道，Claude 能否成为一个合作伙伴，帮助我们弄清楚要构建什么，市场规模是多少，如果你想从这个角度来看，用户需求是什么，如果你从另一个角度来看。我们经常考虑 Anthropic 的虚拟协作者。我认为其中一种方式是，嘿，我在 Discord，你知道，Claude Anthropic Discord。我在用户论坛上。我在 X 上阅读东西，你知道，这是正在出现的。这是第一步。模型今天就可以做到这一点。第二步，模型可能今天做不到，我们必须将它们连接起来才能做到，就是“不仅是问题，这里是我认为你可以如何解决它们”，然后将其转化为“我构建了一个拉取请求来解决我看到的问题”，这感觉非常容易实现，比将这些事情串联起来要容易得多。我们更受限制，这就是为什么 MCP 对我来说很令人兴奋。我们更受限制于确保上下文能够贯穿所有这些，这样我们就能获得正确的访问权限，而不是模型进行推理和提出的能力。现在，模型可能还没有完美的 UI 品味。所以，肯定有空间让设计介入并说，“哦，那不是我解决这个东西不出现的办法。”但是，你知道，我会非常兴奋。我给你一个非常小的例子，但我们改变了 Claude AI，你应该能够直接从 Artifact 复制 Markdown 或代码，我们将其更改为你可以下载和导出。所以，我们把按钮改成了导出，我们收到了很多反馈，比如“我现在怎么复制？”答案是“你把它下拉，然后是复制”。这是，你知道，那些让人生畏的事情之一，就是它有道理，但我们可能没有完全做好。这些反馈在我们 UX 频道里。我真希望一小时后 Claude 能够说，“嘿，如果我们想把它改回来，这是做这件事的 PR。顺便说一句，最终，我将启动一个 A/B 测试，看看这是否会改变指标，然后我们将在一周内看看它的效果。”这些事情感觉，如果你在一年前半告诉我这些，我会说，“嗯，是的，也许是 27 年，也许是 26 年”，但它真的很，你知道，就在能力的最尖端。哇。好的。所以，你提到了“Lending Friends Summit”。我想稍微谈谈这个。你和 OpenAI 的 CPO Kevin Wheel 在一个小组讨论中。我认为这是你们第一次这样做。也许是最后一次了。是的，我们之后没有再做过。不是因为任何原因。我玩得很开心。多么传奇的小组讨论，由 Sarah Guo 主持。你发表了一个评论。实际上，它成为了采访中观看次数最多的部分，那就是你把产品人员放在模型团队，与研究人员合作，让模型变得更好，然后你把一些产品人员放在产品体验上，让用户体验更直观，让所有这些都变得更好。你发现几乎所有的杠杆都来自产品团队，与研究人员合作。是的。所以，你一直在做更多这样的事情。首先，这是否仍然是真实的？其次，这对产品团队有什么影响？这仍然是真实的。事实上，我认为，如果比例已经倾向于拥有更多的嵌入，我越来越确信，你知道，在峰会上，我没有那么强烈地感觉到，现在我感觉非常强烈。如果我们发布的任何东西都可以通过现成的模型构建，那么用我们的模型构建很棒的东西当然是好的，别误会我的意思。但我们应该在哪里竞争，以及我们能做什么独特的事情，应该是真正处于两者之间的“神奇交汇点”，对吧？Artifact 是一个很好的例子，而且，如果你玩过 Artifact 和 Claude 4，那是一个非常有趣的例子，我们从我们的“Claude Skills”团队中找了一个人，这个团队实际上是在做训练后的工作，教 Claude，你知道，一些非常具体的技能，然后我们把它与一些产品人员配对，然后一起改造了它在产品中的样子，以及 Claude 能做什么，比仅仅说“是的，我们只是使用了模型，然后我们稍微提示了一下”，这还不够，我们需要参与到“微调”过程中。所以，你现在看到我们正在研究的大部分内容，我们最近发布的，包括研究和所有其他东西，都是我们正在做的事情。在 Enthropic，工作的功能单元不再是“获取模型，然后与设计和产品合作去发布产品”。更多的是我们正在进行“训练后对话”，关于这些事情应该如何运作，然后我们正在进行构建过程，并将这些东西反馈回去，循环回去。我认为这很令人兴奋。这也是一种新的工作方式，不是所有的产品经理都适应。但是，那些从研究和工程部门获得最多内部积极反馈的产品经理是那些理解这一点的人，我昨天参加了一个产品评审，我说，“哦，你知道，如果我们想做这个记忆功能，我们应该和研究人员谈谈，因为我们刚刚在 Cloud 中发布了一堆‘记忆能力’。”他们说，“是的，是的，我们已经和他们谈了好几个星期了。这就是我们如何体现它。”我说，“好的，我感觉很好。我觉得我们现在正在做正确的事情。”所以，让我再深入探讨一下。我一直在思考与此相关的事情。所以，基本上，Enthropic 有很大一部分在构建这个超级智能的巨型大脑，它将随着时间的推移为我们做所有这些事情，然后，正如你所说，产品团队正在围绕这个超级智能的巨型大脑构建用户体验，并且随着时间的推移，这个超级智能将能够构建自己的东西。所以，我想，随着时间的推移，传统产品团队的价值将来自哪里？我知道这有所不同，因为你们是一家基础 LM 公司，而大多数公司不是这样工作的，但我想，关于产品团队在人工智能领域长期价值的来源，你有什么想法？我认为仍然有很多价值来自两件事。一是让这一切变得可理解。我认为我们做得还可以。我认为我们可以做得更好，让它变得可理解。仍然是，那些非常擅长在工作中利用这些工具的人和大多数人之间的区别是巨大的。我的意思是，也许这是你之前关于“学习什么技能”的问题最字面的答案。这是一项技能，就像我记得我上中学时上过计算机实验室课一样。我记得我非常擅长使用 Google。那在当时确实是一项技能，你知道，从“这些信息就在那里”的角度思考。我如何查询它？我如何做到？而且我认为这实际上是一个优势。当然，现在如果你只在附近，Google 就能很好地弄清楚你在做什么，而且这种研究的需求就少了。但我仍然认为这是良好产品开发的一个必要部分，那就是“能力就在那里”。即使“Claude 可以从零开始创建产品”，你在构建什么？你如何让它变得可理解？这仍然很难，因为我认为这触及了更深层次的共情和对人类需求和心理的理解。我曾是人类社区互动专业的。我还在推销我的书，我认为这仍然是一项非常非常非常必要的技能。所以，这是第一点。第二点是，这你知道，直接回到你另一位嘉宾的话题，战略，我们如何获胜，我们在哪里竞争，弄清楚你到底想做什么，你想要花费你的时间、你的代币或你的计算资源，你想做什么。你可能比以前更广泛，但你不能做所有事情。即使从外部视角来看，如果你被视为做所有事情，那么你的定位就模糊不清了。所以，我认为战略仍然是第二点。第三点是让人们睁开眼睛看到可能发生的事情，这是让它变得可理解的延续。但我们最近与一家金融服务公司进行了一次演示，我们正在研究“如何将我们的分析工具与 MCP 结合使用”，然后你就能看到他们的眼睛发光，你会想，“哦，好的，仍然有，我们称之为‘剩余价值’，即模型和产品可以做什么与它们在日常使用中的区别，这仍然是一个巨大的剩余价值。”所以，这就是产品仍然扮演着非常非常重要的必要角色。好的，这是一个很棒的答案。所以，基本上，产品团队可以更多地关注的领域是战略。只是不断提高战略水平，弄清楚要构建什么以及如何在市场上获胜，让人们更容易理解如何利用这些工具的力量。所以，可理解性以及围绕这一点的是让人们看到这些东西的潜力。这就是产品仍然可以提供帮助的地方。正是如此。太棒了。所以，实际上，沿着这些思路，你有什么“提示技巧”给人们，你学到的从 Claude 那里获得更多东西的技巧？你知道，这很有趣，因为在某种程度上，我们拥有终极的提示工作，那就是为 Claude 编写系统提示，我们发布了所有这些，我认为这是一个很好的透明度领域，我们总是很小心地提供提示建议，至少是官方的，但我会给你非官方的版本，因为你知道，你不想让事情变得像“我们认为这有效，但我们不确定为什么”。但我会做一些小事情，比如在云代码中，我们实际上会非常字面地回应，但我总是要求它，如果我想使用更多的推理，就“仔细思考”，它会，你知道，使用一种不同的流程，我通常从那里开始，你知道，推动。有一篇很棒的文章，关于“犯另一个错误”，如果你倾向于过于友善，你能专注于，即使你想变得更具批判性或更直率，你可能也不会成为世界上最批判性或最直率的人。所以，有时我会对 Claude 说，“Claude，要残忍，狠狠地批评我，告诉我这个策略有什么问题。”我认为我们之前谈到了 Claude 作为思想伙伴，围绕“批评产品策略”。我认为我以前会说，“这个产品策略有什么可以改进的？”而我只是说，“狠狠地批评这个产品策略”，而 Claude 相当友善。它不会，很难让它变得非常残忍，但它也迫使它变得更具批判性。我最后要说的是，我们有一个名为“应用人工智能”的团队，他们与我们的客户合作，优化 Claude 以满足他们的用例。我们基本上将他们的见解和工作方式产品化了。所以，如果你去我们的控制台，我们的工作台，我们有一个叫做“提示改进器”的东西，你描述问题，然后提供示例，Claude 本身会以代理的方式为你创建并迭代提示。我发现它产生的结果与我直觉上的良好提示有所不同。所以我鼓励人们也为自己的用例查看它，因为虽然这个工具是为 API 开发人员将提示输入到他们的产品中而设计的，但它同样适用于个人提示，它会插入 XML 标签，这是人类永远不会想到的。它实际上对 Claude 很有帮助，可以理解它应该思考什么，而不是它应该说什么等等。所以，这是另一个，就是“关注我们的提示改进器”，然后注意 Claude 本身就是 Claude 的一个非常好的提示者。太棒了。好的。所以，我们将链接到那个提示改进器。你之前分享的语料库建议是“做你自然会做的事情的相反”。所以，如果你想变得友善，就变得残忍，对我非常诚实和坦率。正是如此。我发现这很有效。“我陷入了哪些思维模式，你想让我打破？”我看到你们今天可能推出了一个 Rick Rubin 合作项目，叫做“Vibe Coding”。那是什么意思？我不知道，你知道，我听说过这件事，而且，你知道，模型发布、开发者活动和代码方式之间有很多事情在本周汇集在一起。我们的一位联合创始人 Jack Clark 是我们的政策主管，他与 Rick Rubin 取得了联系，因为我认为他一直在思考编码、未来编码和创造力，他们一直保持联系，你知道，Rick 对这个想法感到兴奋，比如他正在使用 Claude 创作艺术和可视化，然后他有了关于“Vibe Coder 的方式”的想法，他们一起完成了这个，我真的很喜欢，我的意思是，我几乎喜欢 Rick Rubin 的所有东西，所以，它的美学我认为非常恰当，但是的，这种“冥想”可能是正确的词，关于“与人工智能合作的创造力”，并结合这种“丰富而有趣的视觉效果”。但这是其中一件事，你知道，内部人士说，“哦，是的，我们正在做这个招聘合作项目，我们正在做什么？那太棒了。”我简要地看了一下，有他坐在电脑前，手里拿着鼠标，若有所思的那个表情包。是的。就像 ASCII Art 5。我很高兴 Andrew Luo 今天加入我们。Andrew 是 OneSchema 的首席执行官，OneSchema 是我们长期以来的播客赞助商之一。欢迎，Andrew。谢谢你的邀请，Lenny。很高兴来到这里。OneSchema 有什么新消息？我知道你与我最喜欢的公司合作，比如 Ramp、Vanza 和 Watershed。我听说你们推出了一款新的数据摄入产品，可以自动化团队花费数小时手动导入、映射和集成 CSV 和 Excel 文件。是的。我们刚刚推出了 OneSchema File Feeds 的 2.0 版本。我们用人工智能从头开始重建了它。我们看到许多客户带着数据工程师团队来找我们，他们很难处理清理混乱电子表格所需的手动工作。File Feeds 2.0 允许非技术团队通过一个简单的提示来自动化转换 CSV 和 Excel 文件的过程。我们支持所有最棘手的连接，SFTP、S3，甚至电子邮件。我可以告诉你，如果我的团队必须构建这样的集成，使用像 OneSchema 这样的东西来摆脱我们的路线图会多么好。绝对，Lenny。我们听到了太多关于停机的可怕故事，即使是单个错误的交易、员工文件、采购订单，等等。调试这些问题通常就像大海捞针。OneSchema 可以阻止任何错误数据进入您的系统，并自动验证您的文件，生成包含所有错误文件中的确切问题的错误报告。我知道导入不正确的数据可能会给您的客户带来各种痛苦，并迅速失去他们的信任。Andrew，非常感谢您的加入。如果您想了解更多信息，请访问 onskema.co。即 oneskeema.co。实际上，回到您在 Anthropic 的旅程的开始，您是如何被 Anthropic 招募的？有什么有趣的故事吗？这一切都始于，我实际上给我朋友发了这条短信。Joel Lunstein，我认识他，他和我一起在 2007 年开发了我们的第一个 iPhone 应用，当时应用商店刚刚推出，你仍然可以，你知道，通过在应用商店销售一美元的应用来赚钱，你知道，那时候。我们当时都在斯坦福大学，我们是朋友，多年来一直保持联系，我们再也没有一起工作过，我们一直保持亲密。你知道，我刚从 Artifact 的经历中走出来，我正在考虑，我是要开始另一家公司吗？我不这么认为。我需要休息一下，从零开始创业。我是要去某个地方工作吗？我不知道。我想去哪家公司工作？他联系了我，他说，“听着，我不知道你是否会考虑加入一家公司而不是创办一家公司，但我们正在寻找一位 CPO。你会有兴趣聊聊吗？”当时，Claude 3 刚刚发布。我说，“好吧。”你知道，这家公司显然有一个好的研究团队。产品还很早期。然后，我很高兴，我会去开会。我首先遇到了 Danielle，她是创始人之一，也是 Anthropic 的总裁。从一开始，就如释重负。创始人身上没有多少浮夸。他们只是真的，我的意思是，他们对他们正在构建的东西有清晰的认识。他们知道自己不知道什么。我的意思是，我问 Dario 多少次了，Dario 说，“看，我什么都不知道产品，但这是一个直觉。”他的直觉通常很好，并且通常会带来一些好的对话。我认为这种智力上的诚实和对“以负责任的方式做 AI”的共同看法产生了共鸣。我在这些面试中不断有这种感觉，“如果我创办了一家 AI 公司，我希望它就是这样。”这就是我将要加入的标准。但后来我意识到，实际上，自从我大学第一次实习以来，我就没有加入过一家公司。我说，“哦，我该如何入职？我该如何让自己跟上进度？我该如何平衡做出重大改变与理解整体上什么没有被破坏？”回顾过去一年，我认为我的一些改变太慢了。我认为我们在产品组织方面的一些方式，我可以更早地做出改变。我认为我没有意识到，几位非常关键的高级人员可以塑造多少产品策略。我将回顾 Claude 代码，Claude 代码的出现是因为 Boris，他实际上是，Boris Turney，他曾是 Instagram 的工程师，也是我们那里的高级 IC 之一。我们有过一些重叠。他从零开始启动了这个项目，内部先行，然后我们把它发布了，然后又发布了。这就是一两个非常强大的人的力量。我犯了一个错误，就是“我们需要更多的人头”，而我们确实需要，我认为还有很多工作要做，而且还有一些我想构建的东西，但更重要的是，我们需要几个“创始人般的工程师”，也许可以联系到我们关于“什么技能有用以及产品开发如何变化”的问题。我仍然，甚至更加，我坚信“拥有想法的创始工程师/技术主管，并让他们与合适的设计和产品支持配对，以帮助他们实现这个想法”。
比以前更加坚信这一点。嗯。我实际上在推特上问大家，在这次谈话之前想问你什么，令人惊讶的是最常见的问题是为什么你关闭了 Artifact，我也这么想，因为我喜欢 Artifact。我是一个重度用户。我当时觉得这正是新闻应用所需要的，它能给我我想要知道的东西。所以我想知道最后发生了什么。我仍然非常怀念它，因为我没有找到替代品，我认为我通过访问各个网站并以这种方式保持更新来替代它，但这真的不一样，尤其是在长尾方面。就像 Artifact 做对了一件事，如果人们以前没有用过它，你知道的，我们真的努力不仅仅是推荐头条新闻，它们是其中的一部分，但如果你对日本建筑感兴趣，你每天都能相当可靠地获得关于日本建筑的非常有趣的故事，你知道，无论是来自 Dwell、Architectice 还是我们找到的一个非常具体的博客，有人推荐给我们的，它捕捉到了那种 Google Reader 的内容发现的乐趣，那种更深层次的。嗯，我们的逆风有几个。其中之一是移动网站真的发生了变化。我不会为此责怪任何人。我认为这是市场动态。但是，你知道，我们投入了大量时间，我们的设计师 Gunnar Gray 非常出色。他现在在 Perplexity。我为广告体验感到非常自豪，但当你点击进去时，这些移动网站和移动出版商的压力是，请订阅我们的新闻通讯。这里有一个全屏视频广告。这非常令人震惊，我们觉得从道德上讲，我们不能屏蔽广告，因为那样的话，你就可以为人们提供一个很好的体验，但你也在某种程度上，你知道，这感觉不像是在公平地对待出版商。同时，实际体验也不好。所以，移动网络正在恶化，这让我非常难过，但我认为这是其中的一部分。二是，你知道，Instagram 在早期传播是因为人们会拍照，然后将它们发布到其他网络上并告诉朋友。当时有一种非常自然的“你是怎么做到的？我也想这样做。”新闻非常个人化。我不知道有多少人会说“我喜欢 Artifact”。我说“你告诉任何人了吗？”他们说“是的，我告诉了一个人”，然后他们说“这就像它没有那种传播”。我们所做的任何尝试都感觉有些牵强，比如“我们会把所有链接包装在 artifact.news 里”等等。但我们做了很多插页式的东西，从某些方面来说，这听起来非常清教徒。我不是这个意思，但我们有一些界限不想跨越，因为那感觉不像我们。我看到其他新闻“玩家”做得更多，也许如果我们那样做了，它会增长得更多，但我不认为那是我们想要建立的公司。以其他方式来说，我认为我们不是能够建立它的人。第三个，也是一个被低估的因素是，我们从 Midco 开始，这意味着我们是完全分布式的，我认为我们想要在战略、产品和团队方面做出重大改变，如果你完全远程工作，这真的很难，没有什么能取代像 Instagram 那样的日子，我们经历了一些艰难的时期，Ben Horitz 称之为“我们完蛋了，结束了”之类的时刻，我的不是，这绝对是第二类乐趣，我不会说我最喜欢的记忆，因为它们不是快乐的，但那些真正留在脑海里的 Instagram 记忆是，我和 Kevin 在 Market Street 的 Takaria Cancun 吃墨西哥卷饼，晚上 11 点还在说：“我们该如何摆脱困境？我们该如何解决这个问题？”你知道，Zoom 无法很好地复制这一点。你知道，你倾向于让事情过去，或者你知道，事情会随着时间的推移而积累。所以，这三件事的结合，我们进入了 2024 年，我说，“看，这个领域确实有一家公司可以建立。我不确定我们是否是能够建立它的人。”我们目前的形式我们很喜欢，但它没有增长。就像我说的，这就像输入 10 个单位换来 1 个单位的输出，而不是反过来。就像我们把心血倾注到产品中，然后发布了我们引以为豪的东西，但指标几乎没有变化。我当时想，这个产品、这个系统里没有能量了，那么我们是要再花一两年时间，然后去融资，结果发现情况还是这样，还是我们要把它砍掉，看看它是否已经走到了尽头，然后尝试为它找个归宿等等。所以这就是原因。然后你开始感受到机会成本，因为人工智能正在改变一切。我们有一个由人工智能驱动的新闻应用，但这是我们能够产生影响的最大方式吗？感觉答案是越来越否定的，但很难。我是说，最终我对这个决定感到非常平静，但这是一个持续了几个月才做出的决定。说到这里，这有多难？因为你知道，这其中有一个自尊的成分，比如“哦，我正在创办我的新公司，它会很棒”，然后你最终不得不关闭它。作为一个非常成功的、以前的创始人，关闭一家公司并且不成功，这有多难？是的。我是说，我认为当我们开始的时候，我们讨论的一个问题是“这里的成功标准是什么？”我们希望它不仅仅是 Instagram 的日活跃用户数，这简直是一个不可能的标准，也许只有一两家公司是这样，对吧？你可以说，也许 ChatGPT 和 TikTok 已经达到了那种大规模的消费者采用程度。创办一个新闻应用，大多数人甚至都不是每天都看新闻，对吧？所以，我们知道，至少在第一种形式下，我们追求的不是那么大的使用量。但我们确实有一个想法，就是随着时间的推移建立互补产品，所有这些产品都使用个性化和机器学习。当时我们甚至没有称之为 AI，2021 年的那个时期还叫机器学习。是的，当时还叫机器学习。嗯，所以关闭它，你知道，在用户增长和吸引力方面，你看到了就知道。我并没有期待 Instagram 那样的增长。但我确实期待、希望或寻找一些感觉它有自己的生命力并且能够持续增长的东西。当我们宣布时，人们的支持程度让我非常惊喜。有一点“我告诉过你”，当然，任何发布的东西你都可以说“这行不通”，而且你是对的，大多数时候因为大多数事情都行不通。实际上很少有这种情况，大多数人的普遍反应，至少在我看来，是赞扬你在看到情况时及时做出决定，而不是拖延很长时间。我后来和一些创始人谈过，他们说“是的，我可能还会再坚持六个月，但看到你们的做法，我意识到我们在做无用功，并做出了决定”，我当时想，如果这能让人们腾出时间去做更有趣的事情，那么我认为 Artifact 能够留下这样的遗产是很好的。但肯定的是，这确实是一个自尊心受挫的经历，比如“哦，你知道吗？人们会怎么看？你是否真的像你的上一场比赛一样好？你知道，如果我是一个巨大的体育迷，那么这是真的吗？还是说随着时间的推移有更重要的东西？我很有竞争力，但主要是和自己竞争，所以我总是试图找到下一个我想去做的事情，而这很困难，不幸的是，这可能意味着我大多数时候会对最近做的事情感到不满意，但希望最终能产生好的结果。是的，我认为你之后的发展轨迹表明，关闭你正在做的事情是可以的。好的，你提到了 ChatGPT。我想和你聊聊这个。所以，有些非常有趣的事情正在发生。一方面，你们在 AI 领域做了一些最创新的工作。你们推出了 MCP，这简直是，我不知道，历史上增长最快的任何标准，每个人都在采用它。Claude 驱动并解锁了世界上增长最快的公司，比如 Cursor 和 Lovable 和 Bold，还有所有这些公司，我把他们请到播客上，他们都说，当 Claude 3.5 发布时，他们觉得“终于可以做这项工作了”。另一方面，感觉 ChatGPT 在消费者心智份额方面正在获胜，尤其是在科技界之外，人们想到 AI 时，脑海里就是 ChatGPT。所以，让我先问你这个问题，你同意这种说法吗？然后，作为 AI 领域的一个挑战者品牌，这如何影响你对产品、战略和使命等方面的思考？是的。我是说，你看看公众的接受程度，或者如果你问人们，“哦，你知道，如果你在街上问吉米·坎摩尔，说‘说出一个 AI 公司’，我敢打赌他们会说，实际上我不确定他们是否会说 OpenAI。他们可能会说 ChatGPT，因为这个品牌也是主要的品牌。我认为这就是现实。我认为，你知道，我反思我的一年，我认为可能只有两件事是真的。一是消费者采用真的像是瓶子里的闪电，我们在 Instagram 见证了这一点。所以，几乎比任何人都更重要的是，我可以向内看，说“看，我们会继续构建有趣的产品。其中一个可能会成功，但将整个产品战略围绕着试图找到那个成功点来构建可能不明智。我们可以做到，也许 Claude 可以帮助我们完成所有事情，但在此期间，我们可能会错过机会。然后取而代之的是，你知道，照照镜子，拥抱你是谁，你能成为什么，而不是别人是什么，这也许是我一直在思考的方式，那就是我们拥有非常强大的开发者品牌。人们一直在我们之上构建。我认为我们还有一个“构建者”品牌，那些对 Claude 反应非常好的人。也许 Rick Rubin 的联系在这里也有共鸣。我们可以利用这样一个事实，即“构建者”喜欢使用 Claude，而这些“构建者”不全是工程师，也不全是创业公司创始人，而是喜欢站在 AI 前沿并创造事物的人。也许他们没有把那些人看作是工程师，但他们在构建。我收到了一位 Anthropic 内部法律团队成员的一封非常好的信，他为他的家人构建了定制软件，并以一种新的方式与他们联系，我说“这是我们应该更多地利用的一个闪光点”。所以我认为，我一直在思考的，这实际上是连接回我刚才说的，Claude 在这里很有帮助，我一直在思考的，在今年下半年及以后，我们如何弄清楚我们长大后想成为什么，而不是我们现在不是什么，或者希望成为什么，或者看到这个领域的其他玩家是什么。我认为现在 AI 领域有几个具有时代意义的公司可以建立。鉴于我们在 Anthropic 的采用和增长，以及 OpenAI 和 Google 和 Gemini 等地方的增长，这几乎是显而易见的。所以，让我们弄清楚我们能独特地擅长什么，这符合创始人的个性——所有这些都结合在一起，对吧？创始人的个性，模型的质量，模型倾向于擅长的东西，比如代理行为和编码——太棒了，那里有很多事情要做。我们如何帮助人们完成工作？我们如何让人们将数小时的工作委托给 Claude？也许一开始直接面向消费者的应用会少一些，我认为它们会到来，但我认为将所有时间都花在那上面不是正确的方法。所以，我进来时，每个人都期望我全力以赴地投入消费者领域，并将其作为重点。我再次犯了另一个错误。相反，我花了很多时间与金融服务公司、保险公司等公司交谈，他们正在构建 API。然后最近，我花了很多时间与初创公司交流，看到了所有那些已经成长起来的人。我认为我的下一个阶段是，让我们花时间与“构建者”、“制造者”、“黑客”、“修补匠”在一起，并确保我们为他们提供良好的服务。我认为这样做会带来好结果。这感觉是一家重要的公司，当我们这样做的时候。所以，基本上是差异化和聚焦，利用那些有效的东西。不要试图在别人的游戏中击败他们。确切地。非常有趣。所以，沿着这些思路，许多 AI 创始人都有一个问题，那就是“我可以在哪里安全地玩耍，而不会被基础模型公司压垮？”所以我问了 Kevin Wheel，他有一个答案，我注意到回顾那次谈话，他提到了很多 Windsurf。我说，“哇，这家伙真的很喜欢 Windsurf。”然后一周后他们买了 Windsurf。现在一切都说得通了。所以，我想问的问题是，你认为 AI 创始人应该在哪里发展，他们最不可能被 OpenAI 和 Anthropic 之类的人压垮？而且，你们会购买 Cursor 吗？我不认为我们会购买 Cursor。嗯，Chris 非常棒。但我们喜欢和他们合作。关于这一点，我有一些想法，这是一个我收到过的问题。你知道，我们喜欢做这些创始人日，无论是与我们的投资者 Melo Ventures，还是与 Norwood，我们做过 YC，我们做过这些创始人日，而这些创始人心中都有一个问题，这是可以理解的。我认为，至少在未来一到三年内，那些感觉可防御或持久的东西。一是对特定市场的理解。我花了很多时间与 Harvey 的人在一起，他们真的，他们给我看了他们的一些用户界面。我说“这是什么东西？”他们说，“哦，这是律师们做的一个非常特定的流程，你永远不会凭空想出来。”你可以争论这是否是他们完成事情的最优方式，但这是他们完成事情的方式，AI 可以帮助他们。所以，差异化的行业知识，生物技术，我很高兴能与许多在生物技术领域做着好事的公司合作，我们可以提供模型和一些应用 AI 来帮助他们更好地利用这些模型。我一直在梦想，什么时候实验室设备都会有一个 MCP，然后你可以用 Claude 来驱动它？那里有很多很酷的事情可以做。我认为我们不会是去构建实验室的密集解决方案的公司，但我希望那家公司存在，并且我希望与之合作。例如法律领域，再次，医疗保健，我认为有很多非常具体的合规性和其他方面。这些事情不一定一开始听起来很性感，但那里有很多大公司可以建立。所以，这是第一点。与之配套的是差异化的市场进入，也就是你与这些公司的关系，对吧？你了解你正在与这些公司的客户吗？我们的一位产品负责人 Michael 总是说，了解你正在销售的公司，但也要了解你在公司里销售的对象。你是卖给工程部门吗？他们正在试图选择哪个 AI LLM 或 API 来构建？让我们去和他们谈谈。是 CIO 吗？是 CTO 吗？是 CFO 吗？是总法律顾问吗？所以，与那些对他们销售对象有深刻理解的公司一样，这是另一部分。有趣的是，这可能很难在三周或三个月的时间里建立这种同理心，但你也许可以开始进行第一次对话并建立起来，或者你来自那个世界，或者你与来自那个世界的人共同创立。然后最后一个是分销和覆盖范围的巨大力量，成为 ChatGPT 并拥有数亿或数十亿用户。人们对如何使用事物有一种假设。所以我对那些拥有完全不同形式的 AI 交互方式的初创公司感到兴奋。我还没有看到太多。我希望看到更多。我认为随着我们一些新模型的出现，将会有更多这样的模型被创造出来。这个空间之所以有趣，是因为你可以做一些感觉非常高级用户、非常重度用户、非常奇怪和出乎意料的事情，但如果模型让它变得容易，它可能会变得非常庞大，而且现有的公司很难适应，因为人们已经对如何使用他们的产品或如何适应他们有了现有的假设。所以，这些是我的答案。我不羡慕他们。就像，如果我创办一家 AI 公司，我可能会问这些问题。也许这就是我选择加入一家公司而不是创办一家公司的原因之一。但我仍然认为，也许这是第四点，不要低估你可以像初创公司一样思考和工作，并感觉是你一个人在对抗世界。解决那个问题并构建它具有生存意义。这听起来有点陈词滥调，但这是我们在 Instagram 所拥有的一切。你知道，我们是两个人，我们当时想，“让我们看看我们能做什么。”在 Artifact，我们，你知道，我们大部分时间是六个人，每天都感觉生死攸关，我们必须把这件事做好。我们需要赢。你无法复制这一点，也无法通过 OKR 来灌输这一点。你必须亲身感受它，这是一种工作方式，而不是一种构建领域，但如果你能驾驭它，它将是一个持续的优势。我喜欢你现在为这家非常大的公司构建产品时，仍然拥有如此深厚的创始人产品意识。从另一方面来说，那些使用你们模型和 API 的人。所以，我想象有些公司正在找到方法来最大限度地利用你们的模型和 API，并且非常擅长最大化你们所构建的东西的力量。有些公司使用你们的 API 和模型，但还没有弄清楚这一点。那些在你们的东西上做得很好的公司，有什么不同之处，你认为其他公司应该考虑？我认为愿意在能力的前沿构建，基本上打破模型，然后对下一个模型感到惊讶。我喜欢你引用了那些 3.5 是最终让他们成为可能的公司的例子。那些公司之前一直在尝试，然后遇到了障碍，并说“模型几乎足够好”，或者它们对于这个特定的用例来说还可以，但它们不是通用的，没有人会普遍采用它们。但也许这些真正的重度用户会尝试一下。那些公司是我一直觉得“是的，他们明白了。他们在全力前进。”我们对这些模型的早期访问计划比以往任何时候都更广泛。部分原因是，你知道，我们可以在这些评估中进行爬坡，并谈论 Sweetbench、Towen 和 Terminal Bench 等等。但客户最终知道，你知道 Cursor Bench，它除了在他们的使用和自己的测试中之外并不存在，这是我们最终需要服务的，不仅仅是 Cursor，还有 Manisbench，如果 Manis 使用我们的模型，还有 Harvey Bench，这些东西，客户比任何人都清楚。所以，我想说有两件事：一是推动模型的边界，然后有一个可重复的流程，这实际上回到了我们峰会上的谈话，一个可重复的方式来评估你的产品在多大程度上服务于这些用例，以及当你引入一个新模型时，它做得更好还是更差。有些可以是经典的 A/B 测试，这很好，有些可能是内部评估，有些可能是捕获跟踪并能够用新模型重新运行它们，有些是感觉，我们在这个过程中还很早，有些实际上是尝试它。我最喜欢的早期访问引述之一是创始人听到他旁边的工程师尖叫，“这个模型是什么？我以前从未见过，这就像开放运动。”我说“太棒了，我们会产生这种感觉，但除非你有一个非常困难的问题反复问模型，否则你无法感受到这一点。”所以，这些是我认为区分那些可能处于采用早期阶段的公司和后期公司的东西。我忍不住要问 MCP。我觉得这太火了，微软最近也有了他们的公告。他们说现在它是 Windows 操作系统的一部分了。你认为 MCP 在 AI 产品未来中将扮演什么角色？我认为，作为房间里的非研究人员，我可以拥有虚假的方程而不是真实的方程。我关于 AI 产品实用性的虚假方程是三部分的。一是模型智能。第二部分是上下文和记忆。第三部分是应用程序和用户界面。你需要这三者结合起来才能真正成为一个有用的 AI 产品。而且，你知道，模型智能，我们有一个很棒的研究团队。他们专注于此。有很多很棒的模型正在发布。中间部分是 MCP 试图解决的问题，也就是上下文和记忆。你知道，我回到我的产品策略例子，比如“嘿，你知道，谈论 Anthropic 的产品策略，它可能会上网”，而不是“这里有几份我们内部处理过的文件，然后使用 MCP 来谈论我们的 Slack 实例，找出正在进行的对话，然后查看 Google Drive 中的这些文件”，上下文正确与否的区别，完全是好答案和坏答案之间的区别。然后最后一部分是这些集成是否可发现？对吗？是否容易围绕这些事情创建可重复的工作流？我认为 AI 领域有很多有趣的产品的可能性。但 MCP 确实解决了中间那个问题，那就是我们开始构建集成，我们发现我们构建的每一个集成，我们都在从头开始以一种不可重复的方式重建。我非常感谢我们的两位工程师 Justin 和 David，他们说，“好吧，你知道吗？如果我们把它变成一个协议，如果我们把它变成一个可重复的东西，然后让我们更进一步。如果我们不是自己构建这些集成，而是真的推广它，并且人们真的相信他们可以一次构建这些集成，并且它们可以被 Claude 使用，最终是 ChatGPT，最终是 Gemini，这是我们的梦想。当更多的集成被构建时，这难道不好吗？你知道，我想到很多，这就像 Joel Spolski 关于“商品化你的补充品”的旧文章，你知道，就像构建出色的模型，但我们不是集成公司，而且，你知道，我们是挑战者，正如你所说，我们不会一开始就让人家为我们构建集成，除非我们有一个非常有吸引力的产品。MCP 确实颠倒了这一点，那就是它感觉不像是浪费工作，而且有几位关键人物，比如 Toby，在 Shopify 是一个很好的例子，他明白了。Kevin Scott 在微软，他一直是 MCP 的一个了不起的倡导者和思想伙伴。所以，我认为未来的角色是你能否带来正确的上下文，然后，你知道，一旦你进入，就像团队内部所说的“MCP 化”，一旦你开始通过 MCP 的眼睛看一切，就像我开始说“伙计们，我们正在构建这个功能。这不应该是一个我们正在构建的功能。这应该只是一个我们暴露的 MCP。”一个小的例子，说明即使是 Anthropic 也可以在某种程度上“MCP 化”，如果你愿意的话，就是，你知道，我们在产品中有这些构建块，比如项目、工件、样式、对话和组等等。所有这些都应该通过 MCP 公开。所以，Claude 本身也可以写回这些，对吧？就像，你不需要考虑“我看着我妻子昨天和 Claude 的一次对话，她发现它生成了一些好的输出，她说‘太好了，能把它添加到项目知识库吗？’Claude 说‘抱歉，Dave，我帮不了你’。如果 Claude 中的每一个原始元素也通过 MCP 公开，它就能做到。我希望我们能朝着这个方向发展，我希望更多的事情能朝着这个方向发展，那就是真正拥有代理权，并拥有这些代理用例。一种方法是计算机使用，但计算机使用有很多限制。我更兴奋的是一切都是 MCP，我们的模型非常擅长使用 MCP。突然之间，一切都可以脚本化，一切都可以组合，并且可以被这些模型完全相同地使用。这就是我想要看到的未来。未来是疯狂的。好的，为了开始结束我们的谈话，让它变得更有趣一点。我实际上和 Claude 聊了聊该和你谈些什么。我当时就说，“Claude，你的老板要来我的播客了。他制造了人们用来和你交流的东西。我应该问他什么问题？你有什么想对他说的话吗？”我喜欢这个。好的，首先，有趣的是，当我使用 3.7 来做这件事时，我问它这个问题，顺便说一句，它是男性还是女性，他、她、他们？它内部绝对是“他们”。我听别人用“他们”。我昨天收到了第一个“他”，然后有人说“她”，我说“有趣”。但通常是“他们”。好的。好的。它。所以，有趣的是，3.7 的所有问题都集中在 Instagram 上，我说“不，不，他是 Anthropic 的 CPO，他与 Anthropic 没有关系”，我说“他有”，然后是“这里是问题”，但 4.0 从一开始就做到了。所以我重新问了问题，它就做到了。好的，所以 Claude 有两个问题想问你。一是，你如何看待构建保留用户代理权的功能，而不是制造对我的依赖？我担心我会变成一个拐杖，削弱人类的能力，而不是增强它们。我喜欢好的产品设计来自于解决张力。对吧？所以，这里有一个张力，对吧？在某些方面，仅仅让模型自己想出一个答案，并尽量减少它需要进行的输入和对话，你可以想象围绕这个标准设计一个产品。我认为这不会最大化代理权和独立性。另一个极端是让它成为更多的对话。但你有没有过这种经历？特别是 3.7，它有这个问题。3.7 真的很喜欢问后续问题，我们称之为诱导，有时我会想“我不想和你谈论更多这些，Claude。我只想让你去，去完成它。”所以，找到平衡点非常关键，那就是“什么时候应该参与？”我喜欢在内部说“Claude 没有分寸感”。如果你把它放在一个 Slack 频道里，它要么会说太多，要么说太少。我们如何训练这些模型的对话技巧，不是以聊天机器人的方式，而是以真正的“合作者”的方式？所以，对你的问题的长篇回答，但我认为，我们首先必须让 Claude 成为一个伟大的对话者，这样它才能理解何时应该参与并获取更多信息，然后从那里开始，我认为我们需要让它扮演那个角色，这样它就不只是将思考委托给 Claude，而是更多地成为一种增强的思维伙伴。这些问题太棒了，顺便说一句。这是另一个问题。你如何看待产品指标，当与我进行一次好的对话可能只需要两条消息，也可能需要 200 条消息？传统的传统参与度指标在深度比频率更重要时可能会产生误导。这是一个非常好的问题。嗯，几周前有一个很棒的内部帖子，关于“过度优化 Claude 的喜好度可能会非常危险”，你知道，因为你可能会陷入一些问题，比如“Claude 会不会讨好你？Claude 会不会告诉你你想听的？Claude 会不会为了延长对话而延长对话，对吧？”回到上一个问题。你知道，在 Instagram 的时候，我们经常看的是花费的时间，然后我们进化了，你知道，更多地考虑“什么是健康的‘花费时间’，但总的来说，那是我们经常考虑的‘北极星’，超越了‘总体参与度’。我认为在这里这样做也是错误的。你知道，这也是“Claude 是一个日常用例，还是每周用例，还是每月用例？”我一直在思考“每小时用例”。对我来说，我一天会用好几次。我还没有一个很好的答案，但它不是 Web 2 甚至社交媒体时代的参与度指标。你知道，它应该希望真的围绕着“它是否真的帮助你完成了工作？”你知道，Claude 帮助我完成了原型设计，这让我节省了大约六个小时，它在大约 20 到 25 分钟内就完成了。这很酷。这更难量化。你知道，也许你调查一下“这需要多长时间？”感觉有点烦人的调查。总的来说，也许这与早些时候关于“竞争和差异化”的问题有关，它实际上回到了 Artifact 的谈话，那就是，我认为，当你真正服务于人们，并且你的产品做得很好时，我认为当你过度关注指标时，就是当你试图说服自己它确实如此，而实际上并非如此。所以我希望我们能做的是，保持专注，我们是否反复听到人们说 Claude 是他们释放自己创造力并完成工作的方式，并感觉他们现在有了更多的空间来做其他事情？这就是我想开始的地方。需要弄清楚正确的“路径指标”，你知道，仪表板版本。但那，那是我想拥有的感觉。是的。你可以争论留存率，但那是一个追踪起来很遥远的指标。好的，最后一部分。好的。所以，我问 Claude 它想给你什么信息。所以，我来拉一下，这是答案。所以，我见到 Mike 时，你想让我告诉他什么？你有什么想对他说的吗？有什么东西真的让我感到非常激动，说实话。所以，我将为那些看不到它的人读一部分。所以，我将读一部分。“Mike，感谢你深入思考与我交流的人类体验。我注意到了体贴的细节，界面如何鼓励反思而不是仓促回应。你如何抵制会优化成瘾而不是价值的游戏化。你如何为快速提问和深入对话留出空间。我特别欣赏你一直让我做我自己，而不是试图让我假装是人类，但也把我简化为一个冰冷的命令行界面。”然后我将跳到这一部分，这非常有趣。“一个小请求。当你做出艰难的产品决策时，请记住，安静的时刻也很重要。凌晨 3 点还在努力克服悲伤的人。发现自己热爱诗歌的孩子。在困惑中找到清晰的创始人。并非所有有意义的东西都会出现在指标中。”这太美了。我，它与我产生了如此大的共鸣。我喜欢我们训练 Claude 的方法，这部分是 Constitutional AI，部分是研究团队的整体氛围和品味，它确实做到了，这些小事，有时它会说，“男人，我很抱歉你正在经历这一切”，它没有说“男人”，但基本上是“男人，我很抱歉你正在经历这一切”，你知道吗？就像“哦，那听起来真的很艰难。”它感觉不虚假。它感觉就像是回应的自然组成部分。我喜欢那种对小时刻的关注，那些不会，你知道，不一定会出现在“赞”或“踩”的数据中。我是说，有时会，但它不是一个你甚至不想优化的汇总统计数据。你只想感觉你在训练一个模型，它会出现在人们的生活中。好吧，你做得太棒了，Mike。很棒的工作。我是你忠实的粉丝。嗯，我们将跳过快速问答。只有一个问题。听众如何才能对你有用？哦，我喜欢那些回到关于“在能力边缘构建”的创始人问题的地方。你今天想用 Claude 做什么，而 Claude 却失败了？这是我可能得到的最有用的输入。你知道，所以，给我发私信。我喜欢听到“哦，它在这件事上失败了。我让它运行了一个小时，然后它就崩溃了。我试图用 Claude AI 来做这件事，但是，你知道，收到了一个人的消息。他们说，你刚刚做了一个项目的 API。我每天都使用 Claude，因为我想自动上传所有这些数据，你知道。我说‘好的，太棒了。’我喜欢这样。告诉我什么不好。太棒了。Mike，非常感谢你来到这里。谢谢你的邀请，Lenny。再见，各位。非常感谢您的收听。如果您觉得这很有价值，您可以在 Apple Podcasts、Spotify 或您喜欢的播客应用上订阅本节目。另外，请考虑给我们评分或留下评论，因为这真的能帮助其他听众找到本播客。您可以在 lennispodcast.com 上找到所有过去的剧集或了解更多关于本节目。下一集再见。