Transcription
你是 Meta 的首席技术官。你是 Salesforce 的联合首席执行官，也是 OpenAI 的董事会主席。你认为人工智能市场将如何发展？整个市场将朝着代理（agents）的方向发展。我认为整个市场将朝着基于结果的定价（outcomes-based pricing）方向发展。这显然是构建和销售软件的正确方式。这让我想起，我曾邀请马克·贝尼奥夫（Marc Benioff）来我的播客。你们曾是联合首席执行官。他对代理（agent）深信不疑。销售生产力软件非常困难，我曾为此付出惨痛的代价。当你想到你最大的错误时，有什么故事会浮现在脑海中？我曾是产品经理，当时的产品叫做 Google Local，与玛丽莎（Marissa）和拉里（Larry）进行了一次相当艰难的产品评审，而未能做好这一点，并且还有一个来自 Google 主页的链接，这令人尴尬。我认为，让人们听到，即使在经历如此巨大的失败后，也仍然有可能取得成功，这真的很有力量。他们给了我第二次机会，让我做了它的 V2 版本，最终诞生了 Google Maps。第一天就有大约 1000 万人使用它。是什么样的心态促使你在如此多样化的角色中取得成功？每天早上醒来，我今天能做的最有影响力的事情是什么？今天，我的嘉宾是布雷特·泰勒（Bret Taylor）。布雷特是一位绝对传奇的构建者和创始人。他在 Google 共同创建了 Google Maps。他共同创立了社交网络 FriendFeed，发明了“赞”（like）按钮和实时新闻feed，并将其出售给了 Facebook。之后，他成为 Facebook 的首席技术官。然后，他创办了一家名为 Quip 的生产力公司，并以 7.5 亿美元的价格出售给了 Salesforce。之后，他成为 Salesforce 的联合首席执行官。他目前还是 OpenAI 的董事会主席。他曾一度担任 Twitter 的董事会主席。今天，他是 Sierra 的联合创始人兼首席执行官，Sierra 是一家人工智能公司，致力于构建代理来帮助公司处理客户服务、销售等业务。在我们的对话中，我们涵盖了许多内容，包括哪些技能和心态对布雷特在如此多的角色中取得成功帮助最大，为什么我们仍然低估了代理（agents）对商业世界的影响，未来几年编码将如何变化，初创公司最大的机会在哪里，关于人工智能定价和上市的经验教训，“赞”按钮背后的故事等等。这是一次与一位传奇构建者的史诗般的对话。如果你喜欢这个播客，别忘了在您最喜欢的播客应用程序或 YouTube 上订阅并关注它。此外，如果您成为我时事通讯的年度订阅者，您将免费获得一年份的许多令人难以置信的产品，包括 Replit、Lovable、Bolt、n8n、Linear、Superhuman、Descript、Wispr Flow、Gamma、Perplexity、Warp、Granola、Magic Patterns、Raycast、ChatPRD、Mobbin 等等。请访问 Lenny's newsletter.com 并点击 bundle 查看。现在，我为您介绍布雷特·泰勒。本期节目由 CodeRabbit 赞助，这是一个人工智能代码审查平台，通过人工智能帮助工程团队更快地发布代码，同时不牺牲代码质量。代码审查至关重要，但耗时。CodeRabbit 充当您的人工智能副驾驶，为每个拉取请求（pull request）提供即时代码审查评论和潜在影响。CodeRabbit 不仅仅是标记问题，它还提供一键修复建议，并允许您使用 AST GREP 模式定义自定义代码质量规则，捕获传统静态分析工具可能遗漏的细微问题。CodeRabbit 还直接在 IDE 中提供免费的人工智能代码审查。它可在 VS Code、Cursor 和 Windsurf 中使用。CodeRabbit 迄今为止已审查了超过 1000 万个 PR，安装在 100 万个存储库中，并被超过 70,000 个开源项目使用。使用代码 Lenny，在 CodeRabbit.ai 免费获取一整年的 CodeRabbit。即 CodeRabbit.ai。本期节目由 Basecamp 赞助。Basecamp 是 37signals 公司著名的直观项目管理系统。大多数项目管理系统要么不足，要么过于复杂，但 Basecamp 却清晰明了。它易于上手，易于组织，Basecamp 的可视化工具可帮助您确切地了解每个人在做什么以及所有工作的进展情况。将项目的所有文件和对话直接与项目本身关联，这样您就能始终知道文件在哪里，并且不会不断地切换上下文。经营一家企业很难。管理您的项目应该很容易。我长期以来一直是 37signals 的忠实粉丝，我非常兴奋能与您分享这一点。在 basecamp.com/Lenny 注册免费账户。通过 Basecamp 取得进展。布雷特，非常感谢您来到这里，欢迎来到播客。谢谢您的邀请。我的荣幸。有很多我想谈论的事情。您在职业生涯中取得了许多令人难以置信的成就。您所做的事情令人难以置信，我们将谈论很多这方面的内容，但我想从相反的方面开始。我想谈谈您搞砸了的一次，一次您搞砸了的大事。我们在播客上有一个经常性的环节叫做“失败角”（Fail Corner），所以，我想在深入探讨您所做的所有伟大事迹之前，先从那里开始。当你想到也许你最大的产品构建错误时，有什么故事会浮现在脑海中？这可能不是最大的，但它是我在 Google 担任产品经理时的第一个重大错误。对我来说，它感觉很大，因为它对我作为产品设计师来说非常具有塑造性。我于 2002 年底或 2003 年初加入了 Google，我是公司最早的助理产品经理之一，首先，我负责搜索系统，基本上是将我们的索引从 10 亿个网页扩展到 100 亿个，这在当时是一件大事。现在看来很普通。然后我做得还不错，所以我的老板玛丽莎·梅耶（Marissa Meyer）给了我一个领导新产品计划的机会，这对我是个很大的赌注，这既是为 Google 做事的绝佳机会，同时作为一名年轻的新产品经理，我也受到了严格的审视。给我的前提是，研究本地搜索。当时，黄页（Yellow Pages）仍然占主导地位，而 Google 擅长搜索网络。它并不擅长查找水管工或餐馆，因为当时互联网上并没有太多这方面的内容。所以这些内容不一定在互联网上，即使在互联网上，你也不想找到曼哈顿的水管工，你想找到旧金山的水管工，如果你是我。所以这是一个技术问题，也是一个产品问题，还是一个内容问题。我们推出了我作为产品经理负责的第一个版本的产品，叫做 Google Local，坦率地说，我现在会比当时更严厉地评价它，但它基本上是雅虎黄页（Yahoo Yellow Pages）的一个模仿版本，将黄页搜索嫁接到了 Google 搜索之上，并且通过一个精心设计的查询，您可以在搜索结果的顶部看到这些列表，但一个独立的网站 local.google.com。实际上，这是一个足够重要的计划，以至于 Google 主页上，它有 Web、Images 和 Local，所以它得到了顶级的推广。我的意思是，几乎任何链接都可以放在 Google 主页上，并获得大量流量。尽管如此，它并没有取得很好的效果，而拥有来自 Google 主页的链接却未能取得好成绩，这令人尴尬。作为产品领导者或产品经理，除了给你这样的流量，你还能做什么？产品本身还可以，它能工作，但它并没有真正形成差异化。在很多方面，我认为，再次强调，我认为我比当时更常进行反思，但为什么不使用这个而不是雅虎黄页？但最重要的是，为什么不使用这个而不是黄页？它是之前事物的数字化版本。与玛丽莎、拉里等人进行了一次相当艰难的产品评审，结果还可以。我不会被解雇什么的，但我的声誉的光环有点黯淡。他们给了我第二次机会来做它的 V2 版本，我的感觉是这并不是我的最后一次机会，但我确实因为从一个炙手可热的新产品经理变成一个新事物而感到有些沮丧。所以，我们花了很多时间思考如何才能做出一个更具吸引力的东西，而不仅仅是黄页的数字化版本，也不仅仅是与其他产品如此相似。最终，正是这个思路促使我们推出了 Google Maps。我们从 MapQuest 获得了许可，可以在搜索结果旁边放置这个小地图，它一直是产品中最丑陋的部分，我们内部总是对此发表一些含糊不清的评论，我们花了很多时间思考，如果我们颠倒这里的层级结构，将地图作为画布会怎样？我们最终找到了拉斯（Lars）和延斯·拉斯穆森（Jens Rasmussen），他们一直在研究一款 Windows 地图产品，我们将他们招募到公司，并开始探索这个领域，最终通过这次探索，我们整合了许多不同的产品。我们整合了地图、本地搜索、驾车路线，当时所有这些产品实际上都是独立的产品类别，最终形成了一个重新定义了行业，也肯定改变了我职业生涯的东西。但对我来说，作为产品领导者，它改变了我对产品的看法，因为有功能和特性，然后是“我为什么要使用这个东西？”。值得注意的是，有几个有趣的时刻。当我们推出 Google Maps 时，第一天就有大约 1000 万人使用它，在当时互联网的规模下，这是巨大的。然后，在 2005 年 8 月，我们整合了来自一家名为 Keyhole 的近期收购公司的卫星图像，该公司后来成为了 Google Earth，同一天就有 9000 万人使用它。当图像出来时，每个人都想看看自己房子的顶部。这很有趣，因为其中有许多微妙的产品教训。首先，我认为当你拥有新技术时，与其字面意义上地数字化之前的东西，不如创造一种全新的体验，它回答了新客户的问题：我为什么要花时间在这上面？所以，真正地拆解乐高积木并重新组合成新的东西，而不是仅仅数字化已有的东西。当然，这就是 Google Maps 的教训，它真正地原生于平台，这是纸质地图无法做到的，这是一个非常有意义的突破。然后是卫星图像，它实际上并不是 Google Maps 中最重要的部分，但它是“锦上添花”，它创造了一个病毒式传播的时刻。我们在《周六夜现场》（Saturday Night Live）上亮相，这是最酷的事情。安迪·萨姆伯格（Andy Samberg）在，我想那期节目叫做“懒惰的星期天”（Lazy Sunday），他唱了一首关于 Google Maps 的说唱。拉斯和我互相发短信。我们做到了。我们在《周六夜现场》上了。任务完成。这也表明，当你思考产品时，有你决定使用产品的理由，然后是产品的持久价值。这两者密切相关，但并非完全相同。我从中吸取了许多教训，并将其应用到我之后工作的每一个产品中。这是一个很棒的故事。我认为，即使像您布雷特这样取得了巨大成功的人，也曾有过与 Google 首席执行官 [听不清 00:11:30] 的巨大失败，这让人们感到鼓舞，就像布雷特一样，你也搞砸了。而且这是一个巨大的赌注。所以，第一，这表明即使在经历如此巨大的失败后，仍然有可能像您一样取得成功。然后是一些您分享的产品教训，只是为了强调其中一些内容，因为我认为这很棒，就是您通常不会在仅仅制作出比其他东西更好的复制品时获胜，您应该寻找的是一种全新的体验，一种差异化的东西，一种更具吸引力的东西。让我们转向谈论您从许多事情上取得巨大成功中学到的东西。我看了您的简历，您基本上在职业生涯的各个层级都取得了巨大的成功，并且扮演了如此多样的角色。所以，让我为您不熟悉您背景的各位读一下其中的一些内容。您曾是 Meta 的首席技术官，Salesforce 的联合首席执行官，您还曾是 Salesforce 的首席产品官和首席运营官。在 Google，您作为助理产品经理加入，您曾有名地，您没有提到这一点，但您在周末重写了 Google Maps。我们不会谈论那个。您是 OpenAI 的董事会主席。您曾是 Twitter 的董事会主席。您还创立了三家不同的公司，一家社交网络，一家名为 Quip 的生产力文档公司，以及现在的 Sierra。有趣的事实是，在 FriendFeed，您发明了“赞”按钮，我不知道人们是否知道这一点，还有新闻feed，我在此向您表示敬意。所以您基本上是助理产品经理、独立产品经理、工程师、首席产品官、首席运营官、首席技术官、三家不同公司的首席执行官，包括一家上市公司。一个人能在所有这些类型的角色和所有这些层级上取得成功是非常罕见的。所以，让我问您这个问题。您在自己身上培养了哪些心态、习惯或工作方式，您认为对您在如此多样化的角色和层级上取得成功贡献最大？是的。这实际上是我引以为豪的事情。我喜欢我戴过不同的帽子。当我遇到我认识的同事时，他们通常会通过那个工作的视角来看待我，这很有趣。所以，我去见 Facebook 的人，他们大多认为我是个工程师。我去见 Google 的人，他们大多认为我是个产品人。在 Salesforce，那里的大多数人与我互动时，他们把我当作一个，找不到更好的词，一个西装革履的“老板”。我不确定他们是否认为我是个工程师，即使我可能还在周末为乐趣而写代码。我的一项原则是，对自己的身份有一个非常灵活的看法。我可能会自称为工程师，但更广泛地说，我认为自己是一个构建者，我喜欢构建产品，我认为公司是构建产品的最有效方式之一。还有开源等事物，但我认为我坚信技术和资本主义的结合能够为客户带来令人难以置信的成果。因此，我认为要真正构建有意义的东西，要成为一名伟大的创始人，您真的需要能够不固守自己的身份，以便能够根据公司当时的需求进行转变。您会与任何一位创始人交谈，有一天，我认为销售是成为一名创始人的一大部分。您需要向投资者推销，让他们愿意投资您的公司。您需要向候选人推销，让他们愿意在您的公司工作。您需要向客户推销，让他们愿意使用您的公司生产的产品。您需要有良好的设计品味，不仅是您的产品，还有您的营销，以及基本上是征求您的客户。您需要有良好的工程能力。如果您正在构建一家科技公司，技术是第一位的。这就是为什么这个行业如此具有变革性。我可能归功于，我以前讲过这个故事，但我非常感激她，但我可能归功于雪莉·桑德伯格（Sheryl Sandberg），她真正改变了我对待新工作的方式。这个故事，我可能有点夸张，但我认为大致是准确的。我刚成为 Facebook 的首席技术官，当我刚开始这份工作时，CTO 的职位或者相对较小的团队向我汇报，但我在许多项目中都贡献了作为一名非常高级的架构师。然后，马克·扎克伯格（Mark Zuckerberg）重组了公司，将其分成许多不同的部门。我最终负责一个非常大的团队，下面有 100 人，我基本上负责我们的平台和移动部门、产品、设计和工程。所以，我从几个下属变成了，我不知道，超过 1000 人，或者类似的人。这是一个大团队。这是我最大的管理工作。我在 Google 成为了一名经理，但团队规模不大。所以，我做得还可以，但不是很好。有一次，雪莉看到了我，我想我当时正在编辑一份合作伙伴的演示文稿，因为我收到的演示文稿不符合我的质量标准，我正在编辑它并抱怨它。她把我叫进一个房间，给了我一些关于如何让我的团队达到与我一样高标准的谈话。如果有人没有达到我的期望，我有什么计划让他们离开公司，或者……只是给我一对一的管理指导。她是一位杰出的导师，她可以给你非常直接的反馈，而且通常有点令人不舒服，但你知道她关心你。所以，这是你愿意听取的反馈。那天晚上我回家了，我一直在琢磨这件事，很不高兴。我想，在那种时刻，你自然会有点防御心理。这是真的吗？我真的搞砸了吗？还是她反应过度了？然后我第二天醒来，我说：“不，她是正确的。”我意识到一个潜意识的限制因素限制了我在这份工作中的成功，那就是我试图将工作与我喜欢做的事情相匹配。所以，我花了很多时间在我热衷的某些产品和技术方面，认为我是老板。我应该专注于我想要专注于的事情，而不是思考，“好吧，我负责 Facebook 的移动和平台团队。今天最重要的事情是什么，才能使我们的移动和开发者平台取得成功？”当我这样重新定义工作时，我做了不同的事情。最大的惊喜是，我喜欢它。我以为我喜欢工程和产品，但事实上，当我改变一个组织，并且它变得更成功时，我从看到这种成功中获得了巨大的快乐。我们的开发者平台有很多合作伙伴，当那里出现问题时，我会花时间处理合作伙伴关系，而且奏效了，我们的平台变得更健康，合作伙伴也更成功。我为这种成功感到自豪，然后我开始在我的工作中做得更好，我意识到我真正喜欢的是影响，而不是我以为我喜欢的东西，比如工程或产品设计。所以，那次谈话让我每天早上醒来，有时是字面意义上的，但肯定是在最广泛的意义上说：“我今天能做的最有影响力的事情是什么？”并认真思考，就像，如果你有一个外部顾问委员会告诉你，如果你专注于什么事情，你可以最大化你想要实现的事情发生的可能性？有时是招聘，有时是产品，有时是工程，有时是销售。我变得更加反思，关于什么工作是重要的。我变得更加愿意做我以前会说“不是我最喜欢做的事情”，因为我从产生影响中获得了如此多的快乐，我现在享受更多的事情。所以，我真的归功于雪莉，我非常感激。而且，有趣的是，我认为当我给人们反馈时，我经常会想到这一点，那些可以改变你职业轨迹的时刻。我把这一切都归功于她。有很多人分享雪莉·桑德伯格给他们建议并改变他们生活的故事。真是个好人。是的。我从中学到的最重要的东西是，这个问题“我今天能做的最有影响力的事情是什么？”是一个非常强大的启发式方法，值得牢记。正如您所说，您可能意识到您不想做销售或招聘，但如果那是最有影响力的事，而您最终做了，您可能会意识到我喜欢这个，而且我擅长这个，并且考虑过——我能稍微深入探讨一下吗？当然。我认为这真的很难。创始人、产品经理，尤其是创始人，面临的危险之一是错误的叙事。人们不喜欢我的产品是因为 X。如果你这样告诉自己，也这样告诉你的团队，突然之间，它就从直觉变成了事实。你最好希望你是对的，因为如果你围绕解决一个问题来调整你的战略，而你是错的，你的公司就会失败。那么，你为什么会输掉一笔交易？你可以和负责该账户的销售人员谈谈，或者也许产品经理参与了谈话。在那些时刻，拥有智力上的诚实非常重要，因为你可能会说，“哦，他们没有买，是因为平台成本太高了。”这可能是销售人员会说的话。也许真正的原因是他们实际上并没有看到你的平台的太多价值。所以，它被传达给销售人员，说它太贵了。但实际上，问题是产品差异化。你可能会陷入关于定价的讨论，而实际上，那里有一个更深层次、更难解决的问题。但就像你和某人分手时，你不会说，“是因为我不再喜欢你了。”你说，“不是你，是我。”你说所有这些客套话，因为我们都是社会动物，你想和周围的人保持愉快。所以，字面意义上地接受客户说的话，或者用户在焦点小组或可用性研究中说的话，很少是正确的。它通常与真相有关，但弄清楚真相非常重要。所以，我认为我观察到的一个现象是，尤其是初次创业的创始人，你往往是一个基于你技能的单一议题投票者。所以，如果你是一名出色的工程师，你业务中几乎所有问题的答案都是工程。如果你是一名产品设计师，几乎所有问题的答案都是重新设计，我开玩笑说，这就像一个消费产品的死钱平衡，下一次重新设计将解决我们所有的问题。我不知道这是否奏效过。然后我遇到了很多来自业务开发背景的企业家，他们总是考虑合作关系，哦，如果我们只是完成了这个分销渠道的合作，一切都会改变。我认为，作为创始人，认识到自己会自然而然地、下意识地选择自己最擅长的、最强大的能力作为解决更多问题的方案，这一点非常重要。事实上，如果你认为这是你问题的解决方案，它可能是正确的，但你可能默认应该质疑它。如果你认为你一生都在做的事情是解决你问题的办法，那么至少有 30% 的可能性你选择它是因为舒适和熟悉，而不是真相。所以，我认为我拥有的技能之一是，它确实与你是否有好的联合创始人有关。你有一个好的领导团队吗？如果你是一名产品经理，你是工程和营销的合作伙伴，你真的想进行非常真实的对话，以确保你实际上在做正确的事情。我认为很容易说“今天最有影响力的事情是什么？”我的猜测是，如果很多人尝试这样做，他们会比不诚实地对待自己更多。这是一个非常具有挑战性的问题。能够准确地回答这个问题才是真正困难的部分。这似乎是您学到的一个非常重要的教训。有没有一个例子让您付出了惨痛的代价，您实际上最终……哦，是的。您只想把整个事情都放在我的失败上，但我没关系。您有过太多的成功。Frontier 是我的第一家公司。在我们鼎盛时期，我们有 12 名员工，是我共事过的最优秀的人。我和吉姆·诺里斯（Jim Norris）一起创立了这家公司，他是我从斯坦福认识的一位工程师，还有保罗·布伊特（Paul Buhite）和桑吉夫·辛格（Sanjeev Singh），保罗创立了 Gmail。桑吉夫是 Gmail 的第一位工程师，所以我们有 Google Maps 和 Gmail 的人。这是一个非常棒的创始团队。我们制作了一个社交网络，正如您所说。我们发明了许多后来流行的信息流概念。我们发明了“赞”按钮。这真的很棒。那是一段有趣的时光。我们只在土耳其、意大利和伊朗流行，有一次，我们在伊朗被屏蔽了，所以我们只在土耳其、意大利和硅谷流行。至今，实际上，许多硅谷的人都说：“我喜欢 FriendFeed。”我说，那太棒了。它并不是一个真正成功的企业。我们是一个以关注者为导向的社交网络，而不是以朋友为导向的社交网络，这意味着我们的很多内容更像 X 或 Twitter，而不是 Facebook。我们分享了很多报纸文章、兴趣、科学社区之类的内容。有一段时间，Twitter，当时是我们的竞争对手之一，当时还有很多社交网络。我可能有点搞砸了。我认为奥巴马、阿什顿·库彻（Ashton Kutcher）和奥普拉·温弗瑞（Oprah Winfrey）在一个夏天都加入了 Twitter，而我们却被彻底打败了。这是一个很好的例子，您……我认为那 12 人中有 11 人是工程师，我们只是在做产品，我认为是比兹·斯通（Biz Stone）。如果您和 Twitter 的人谈谈，他们可以告诉您这段历史，但我认为比兹非常专注于让名人加入 Twitter，这完全是显而易见的。如果您有一个以关注他人为导向的社交服务，那么就放一些值得关注的人上去，而我们却完全专注于打磨产品。实际上，我认为在我们最受欢迎的时候，我们非常自信，我认为当时 Twitter 有“故障鲸”（fail whale），它一半的时间都无法使用，人们甚至无法使用它。而我们的产品，我们创新得更快，我们有更多的功能，人们喜欢它，而且我们 100% 的时间都在运行，而我们却完全失败了，这与产品完全无关。这是一个例子，我认为一些著名的谷歌出来的优秀企业家不多，因为谷歌太成功了，我认为作为产品经理很难看到分销、产品设计甚至商业模式，当你有 AdWords 并且金钱像雨一样落下时。没有那么多的审查，我认为像 PayPal Mafia 这样的人比典型的 Google 产品经理学到了更多的创业知识。所以，我们正在被痛击，并为此付出惨痛的代价。所以，这可能是最突出的例子，我认为我们可能有一个……我可以告诉你那个产品的所有缺点，但我认为那不是我们失败的原因。有很多原因。我认为产品有很多缺点，但还有很多其他因素。所以，我学到了，随着时间的推移积累了这些技能，但我说那个问题的难点在于正确回答它，当你在某方面没有经验时，比在某方面有直觉要困难得多。所以，我认为如果有一个结构性缺陷，那不是……我不知道我是否能弄清楚如何联系阿什顿·库彻 [听不清 00:27:28]，他不在我的通讯录里。但我可能没有从正确的人那里征求建议。我认为科技行业很棒的一点是，有很多建议。选择听谁的建议实际上非常困难，但我认为我们有点近视。我们生活在自己的小世界里，创造这个产品，我们没有从外部征求意见，说：“你们看到了什么可能出错的地方？你们看到了什么可能出错的地方？你们在行业里看到了什么我们没有做但您认为我们可能想做的事情？”这就是董事会的重要性。这就是找到合适的顾问，那些顾问会告诉你你不想听但你需要听的话。我认为那可能是缺失的部分。我不确定我当时在市场上做得有多好，但如果我征求了正确的建议，我本可以了解到这是一个缺点。我认为这是我从中吸取的深刻教训。我坚信董事会和获得良好建议。有什么启发式方法或建议可以帮助人们知道听谁的建议吗？您在注意到什么时会说：“好吧，忽略这个人，但听这个人的”？是的，这很难。这归结为良好的判断力和对人品进行判断。特别困难的一点是，一个人表达观点的自信程度与观点的质量之间没有很强的相关性。我不想说它是反比关系，但很有趣，现在有这么多播客，如果有些话题我非常了解，有时关于我非常了解的事情的最雄辩、最自信的陈述，反而是最不准确的，而且听起来非常有说服力。所以，这确实需要非常好的判断力。有一点是，我认为，不仅仅是征求建议，而是问人们：“我应该和谁谈才能获得好的建议？”你会发现一些共同的答案，这通常是良好判断力的一个强烈信号。然后我发现的一点是，当你征求建议时，不要只问做什么，还要问为什么。做一个令人讨厌的两岁孩子，为什么？为什么？为什么？为什么？并努力理解某人给你建议的框架。关于建议有趣的一点是，人们经常从相对较少的经验中推断出来。所以他们会说，永远不要这样做，或者总是这样做。这是因为他们有过一次经历，某件事适得其反，或者如果他们那样做了，事情可能会更好。所以，这是一个有用的轶事，但如果你不问为什么，并且不理解他们只有一次经历以及发生了什么，它可能会被当作一条规则，而实际上，它是 [听不清 00:30:08] 数据，如果你征求三个人的建议，他们都有非常相似的互动，你可以创建一个基本原理框架，从中产生建议。当你开始应用它时，你是带着细微差别来应用的，如果你只是遵循规则，你就无法做到这一点。所以，我认为其中一点是，这确实归结为良好的判断力。我不知道如何教这个。我坚信良好的判断力。这是我招聘时看重的东西。我认为这可能来自于自我完善的结合。作为一名企业家，作为一名产品经理，您真的需要对自己的要求很高。如果您做出了一个糟糕的决定，花时间反思它，第一。并真正尝试理解原因，并努力始终提高您的判断力。我认为归根结底，这就是为什么您是一名优秀的企业家、一名优秀的产品经理。第二，当你获得建议时，真正理解它的来源和原因，这样你就可以形成自己对建议来源的独立看法，并认识到没有人的建议具有统计学意义，或者很少有。如果你从沃伦·巴菲特那里获得投资建议，好吧，那是具有统计学意义的，但大多数建议就像某件事发生在你身上一次，你感到后悔。我喜欢你这样说，“我不知道我有没有一个很好的答案”，然后你就给了我们一个关于这个问题的绝妙答案。我想换个方向。您提到您形容自己是工程师。我知道您仍然通过编码来放松。让我问您一个问题，很多大学生都在思考这个问题。您认为学习编码仍然有意义吗？您认为在未来几年内它会发生显著变化吗？我仍然认为学习计算机科学与学习编码是不同的答案，但我会说，我仍然认为学习计算机科学非常有价值。我之所以这么说，是因为我认为计算机科学不仅仅是编码。如果你理解了像大 O 符号（Big O notation）或复杂性理论（complexity theory），或者研究算法，以及为什么随机算法有效，为什么两个具有相同大 O 复杂度的算法，一个在实践中表现更好，为什么缓存未命中（cache miss）很重要，以及所有这些小……编码不仅仅是编写代码。我认为这是因为我认为创建软件的行为将从在终端或 Visual Studio Code 中输入代码，转变为操作一个代码生成机器。我认为这是创建软件的未来。但我认为操作代码生成机器需要系统思维，我认为计算机科学，也有其他学科，但计算机科学是学习系统思维的绝佳专业，归根结底，人工智能将促进创建这些软件。我们可能会在未来几年内做很多现在无法想象的事情，但你作为代码生成机器的操作员的工作是创造产品或解决问题，你真的需要有很强的系统思维，并且你将管理这个机器，它将完成许多繁琐的工作，比如制作按钮或连接到网络。但当你思考技术和商业问题的交叉点时，你试图影响一个系统，该系统将为你的客户大规模地解决这个问题，而系统思维一直是创建产品的最难的部分。我给你一个，这是一个俗气但简单的例子，但我认为它很有代表性。在 Facebook，我们花了很多时间设计新闻feed，如果你曾经有一个非常非常好的设计师，当时他给你看了一个新闻feed的 Photoshop 模型，它看起来非常漂亮。照片，字体都很漂亮，家庭很幸福，照片也很完美，帖子也都语法正确，长度也恰到好处，评论也很……一切都很完美。然后你实现了这个设计，然后你看了看自己的新闻feed，它看起来很糟糕，因为事实证明，并不是每个人的照片都是由专业摄影师拍摄的。帖子的长度各不相同。评论就像，“你真差劲”之类的……所有这些东西。然后你突然意识到，设计一个新闻feed，Photoshop 是容易的部分。你需要设计一个系统，在内容和视觉设计上，都能在输入不可控的情况下，提供令人愉悦的体验。这是一个系统，它是一种设计，我们实际做的是，我确信自 2012 年我离开以来，它已经发生了很大变化，我们建立了一个系统，让设计师必须用真实的、混乱的新闻feed数据来展示他们的新闻feed设计，而不是任何人工数据，因为我认为这迫使过程更加现实。但我之所以这么说，是因为我认为，无论人工智能是编写代码，还是进行设计，还是做所有其他事情，你都需要学会如何在脑海中建立一个系统。你需要了解什么容易，什么困难，什么可能，什么不可能的基础。而且，顺便说一句，人工智能也可以帮助你做到这一点。但我确实认为这是一项非常有用的技能。我认为总的来说，随着人工智能代理的出现以及人工智能在某些领域接近超智能，我认为我们工作所使用的工具将发生很大变化。我认为对我们工作的方式保持非常松散的依恋非常重要，而那个我们不会谈论的关于我重写 Google Maps 的故事，每个人都在谈论那个故事，我认为是因为保罗 [听不清 00:35:57] 在某个播客上讲了它，它才流传开来。我认为那将成为过去的遗迹，就像 NASA 在计算机发明之前的“人类计算器”一样，哇，一个人竟然是计算器？哇，真有趣。讲讲那个故事吧。我认为我擅长的事情将不再有用，或者至少在未来不再有价值，这没关系。所以，我认为我们需要对它有一个非常松散的看法，但“不应该学习这些学科”的想法，就像人们说，“我不想学数学，因为我不会在我的职业生涯中用它来做 X。”嗯，学习数学非常重要。它教会你如何思考。它教会你世界是如何运作的，物理学、数学，我认为计算机科学尤其如此，至少是它的基础，将继续是我们构建软件的基础，并且理解这一点，当你与比你聪明的东西互动时，生成你可能不完全理解的代码，你如何限制它，以及你如何让它产生这些结果。我认为这实际上需要很多复杂性。这是一个很棒的答案。总有一种关于“我应该学习编码还是不应该学习编码”的二元论。而您的观点是，学习理解工程如何运作，系统如何运作，您的代码做什么，以及它们如何相互连接，但您实际在桌边进行编码的方式将发生重大变化。这让我想起您最近在播客上提到的一件事。您认为将会有，或者应该有一种新的编程语言，它更多地是为大型语言模型（LLM）而不是人类设计的。您能谈谈这个吗？因为我认为很多人没有想到这一点。我不知道它是否是一种语言，我称之为编程系统，因为我认为语言可能太有限了。我将过去 40 年的计算机，也许更多，简化为：我们创建了计算机硬件，然后我们创建了打孔卡，这是在 70 年代末（也许是 70 年代中后期）告诉计算机做什么的方式。然后我们发明了早期的操作系统和分时系统，从 Unix 在贝尔实验室和伯克利的发明开始，您就有了 C 编程语言、Fortran 和许多更高级的编程语言。我认为是 Fortran，然后是 C。我们提高了抽象层次。没有人再使用打孔卡了，显然。很少有人写汇编语言。有些人写 C，有些人写 REST。但很多人写 Python 和 TypeScript 之类的东西。随着我们发明越来越多的抽象，我们使得做高杠杆的事情变得更容易。所以，如果你看看 Google 当年有多么了不起，或者 Google Maps，你可能会给很多 React 程序员一个任务，让他们现在做一个可拖动的地图，我认为很多人都能做到。这在当时是真正的研发。当 Salesforce 在 1998 年创建时，仅仅是将数据库放在云端就很困难，这本身就是一个技术护城河，现在借助 Amazon Web Services 已经变得微不足道，而这个技术护城河非常狭窄，但产品护城河却相当大。我认为，如果编写代码的行为正从成本非常高昂的事情转变为边际成本趋近于零，那么我们构建的多少抽象是基于人类编程或生产力的？我认为很多。我总是笑，我假设 Python 可能是最常见的生成代码，因为它的训练数据量很大，而且数据科学家喜欢 Python，我也喜欢 Python。它对于人工智能来说是一个非常可笑的不好的东西，因为它是有史以来效率最低的编程语言之一。如果你知道全局解释器锁（global interpreter lock）以及它的缓慢。我写了很多高规模的 Web 服务，它非常慢，而且很难验证。它不像 Perl 那么糟糕，但如果你有一个大型 Python 程序，你会发现多少错误是在运行时而不是在发布之前发现的？所以，Python 被设计成非常符合人体工程学，几乎看起来像人类的伪代码，让我以一种令人愉快的方式编写代码。这就是为什么数据科学家如此喜欢它的原因。所以，当我们进入一个世界，让我们假设一下，我不确定这是否完全正确，我们作为人类将不会编写太多代码。我们将操作这些代码生成机器。我们可能不关心编程语言的人体工程学如何。我们关心的是，当这台机器生成代码时，我们是否知道它做了我们想让它做的？如果它没有，我们是否想让它做，我们能否轻松地改变它？我认为编程语言中有许多见解可以服务于此。所以我认为 Rust 很有趣，因为如果我让你看一个 C 程序并说，“它会泄露内存吗？”你可能做不好，因为这真的很难，如果这是一个非常大的 C 程序，一百万行，那将非常非常困难。如果我让你验证一个 Rust 程序不会泄露内存，你只需要编译它。因为它有编译时内存安全，仅仅编译成功就告诉你这是真的。我认为我们需要更多这样的东西，因为如果人工智能正在生成这些代码，那么根据定义，如果你必须阅读每一行代码，这将是生成代码的限制因素，或者更糟的是，你根本不会阅读每一行代码，并且你会将大量不安全、未经验证的代码发布到野外。所以，问题是如何让人们拥有尽可能大的杠杆作用？这意味着使用计算机来代表你工作。显然，最简单的形式是人工智能监督人工智能，进行代码审查，这很棒。当然，自我反思是提高人工智能系统鲁棒性的非常有效的方法。但我确实认为，如果编写代码有多么乏味并不重要，你可能可以添加一些已经过时的技术，比如形式化验证、单元测试等等。如果你将所有这些都添加进来，我将其视为，我作为一个……就像《黑客帝国》里那个绿色字母滚动的家伙，我如何才能创造一个让我作为代码生成机器的操作员能够以惊人的速度生成极其复杂、大规模的软件，并且知道它有效？如果你以此为你的设计中心，我认为你可能会改变语言，你可能会改变系统，你可能会改变所有这些东西，你可能会带来很多东西。而有趣的是，你可以放松很多限制，比如编码是免费的。好吧，那很酷。考虑到这一点，你想做什么？什么最适合语言、编译器、测试、自我反思、监督模型，所有这些东西？我认为这更像是一个编程系统而不是一种语言，但我认为当我们创造这样的东西时，它可以真正地赋能创作者、构建者来创建极其健壮、极其复杂的系统。我对 VibeCoding 非常兴奋，但我不知道生成原型一直是软件的限制因素。实际上是构建越来越复杂的系统，并以敏捷的方式改变它们。如果你看看著名的 Netscape 一到 Netscape 二的重写，在某种程度上，很多人将其归因于他们相对于 Internet Explorer 失败的部分原因。就像制造这些东西并不难。维护它们很难，确保它们健壮也很难。我认为我们正处于定义这个新的软件开发系统是什么的非常早期阶段，我非常期待看到它出现。我觉得我们绝对生活在未来，因为像您这样的人建议我们构建一个类似《黑客帝国》的体验，而这可能将是编码和构建的未来。我迫不及待了。这感觉是一个绝佳的机会和一个有趣的挑战。本期节目由 Vanta 赞助，我非常兴奋地邀请 Vanta 的首席执行官兼联合创始人克里斯蒂娜·卡西奥波（Christina Cacioppo）与我进行一次非常简短的对话。很高兴来到这里。我是播客和时事通讯的忠实粉丝。Vanta 是本节目的长期赞助商，但对于我们一些新听众来说，Vanta 是做什么的，它适合谁？当然，我们在 2018 年创立了 Vanta，专注于创始人，帮助他们开始构建他们的安全计划，并通过合规认证来获得他们所有辛勤的安全工作的认可。
就像 SOC 2 或 ISO 2701。今天，我们目前帮助超过 9,000 家公司，包括一些家喻户晓的初创公司，如 Atlassian Ramp 和 LangChain，启动和扩展他们的安全计划，并最终通过自动化合规性、集中 GRC 和加速安全审查来建立信任。这太棒了。我从经验中知道，这些事情需要大量的时间和大量的资源，而且没有人想花时间做这件事。这正是我们的经验，但在公司成立之前，并在一定程度上，在公司成立期间。但理念是，通过自动化、人工智能、软件，我们正在以一种高效的方式帮助客户与潜在客户和客户建立信任。我们的笑话是，我们创办了这家合规公司，这样你就不用了。我们感谢你这样做。听众有特别折扣。他们可以在 vanta.com/lenny 上获得 Vanta 的 1,000 美元折扣。那就是 V-A-N-T-A .com/lenny，可享受 1,000 美元 Vanta 折扣。感谢你，克里斯蒂娜。谢谢。好的。关于这一点还有一个问题，然后我想放大一下人工智能的去向，以及我喜欢问像你这样处于人工智能前沿的人一个问题，那就是你在教你的孩子什么。我知道你有孩子，我觉得当他们长大时，世界将大不相同。你鼓励他们学习什么，你认为这可能与前几代人不同，以帮助他们在人工智能丰富的世界中取得成功？我不知道我是否在以不同的方式教他们，但我真的在努力鼓励他们将人工智能融入他们的生活。我实际上在反思，当我参加 97 年、98 年的 AP 微积分考试 AB 和 BC 时，我可以使用图形计算器。我还没有做这项研究，我本来想在我们的谈话之前把它输入到 ChatGPT 中，但我会在之后做。允许在考试中使用计算器之前和之后，微积分考试是否发生了变化？我猜是的。但本质上，当你允许在考试中使用计算器时，你需要确保没有任何问题会使人们因为拥有计算器而受益或受损，这实际上迫使你重新思考那些不依赖于像路边算术或你可以在图形计算器上做的其他事情来测试微积分知识的问题。我认为很多教育并不假设你口袋里有一个超级智能。所以，如果你让某人写一篇关于他们读过的书的文章，你可能会很容易地从 ChatGPT 等大型提供商那里虚构一篇。也许如果你足够擅长提示，也许你的老师甚至不知道它是人工智能写的。那么你该怎么办？你如何以不同的方式教孩子？对老师来说现在真的很难，因为我认为我们还没有经历将计算器添加到考试中的转变。所以，我认为我们用来评估学生的许多机制都因 ChatGPT 的存在而失效。所以我认为我们正处于一个非常尴尬的阶段，但我认为我们仍然可以教孩子如何思考，也可以教孩子如何学习。我认为我们的教育系统可以赶上，而且我实际上认为这些模型可能是历史上最有效的教育工具之一。我不知道你是一个视觉学习者还是一个阅读学习者。我喜欢阅读。我不喜欢听讲座。我从它们那里学不到太多东西。我喜欢读这本书，如果你有一个老师的教学风格不适合你，你现在可以回家让 ChatGPT 用另一种方式教你。我的孩子们用 ChatGPT 在考试前对他们进行测验。你可以使用音频模式或聊天模式。它比抽认卡好。我的女儿带回家一本莎士比亚的书，她拍了一张她不理解的页面的照片，ChatGPT 对她的解释比我好得多。我认为世界上每个孩子都有一个个性化的导师，可以以他们最擅长的方式教他们，无论是视觉、音频还是阅读。我们有一个可以测试你、可以测验你的平台。我认为它确实是能动性的放大器。我认为有能动性、有学习愿望的孩子，我认为你拥有你曾经拥有的每一位老师和这些模型的最佳组合，你可以使用它。所以，我的孩子们，我的大女儿学会了编程，她正在做一个网站，每次她有问题问我时，我都会让她使用 ChatGPT。不是因为我想成为一个令人讨厌的父亲，而是因为我想让她学会使用这个工具，因为它太棒了。所以，我真的在努力让他们学会如何在生活中建设性地使用它。但说了这么多，我确实对现在的公立学校老师感到非常同情。这非常困难，因为技术的发展速度比我们的教育系统快。而且我认为，特别是当它涉及到评估时，对老师来说现在真的很有挑战性。我担心，因为这些技术放大了能动性，反之亦然。如果你是一个试图不学习的学生，我认为这些工具可能也提供了很多避免学习的机制。所以，我认为这对父母和老师来说是一个挑战，而且我认为我们将在几年内完成。但我之所以提到微积分 AP 考试，是因为，图形计算器不是 ChatGPT，别误会我的意思。但我认为我们已经设法相对成功地将家庭作业、课堂学习和考试围绕我们可用的技术进行了调整。我很有信心我们会解决这个问题，而且我认为它会……而且从更积极的一面来看，我不知道，我上的是公立学校，我不知道你是不是也上过。有时你会遇到一些非常糟糕的老师，现在，你有一个出路。你不再需要成为那个能负担得起辅导老师的富家子弟了。如果你是一个擅长数学的孩子，而你的学校没有高级统计学课程，那么，现在你有了。所以我认为这只是一个对有能动性的孩子来说极其民主化的力量，而且我认为这非常令人兴奋。我希望现在有一个 11 岁的孩子将在 10 年后创办一家非常了不起的公司，而 ChatGPT 将是导致这一结果的主要导师。我认为这很酷。我有一个两岁的孩子，感觉就像有一个新的里程碑，比如什么时候给他们手机，什么时候给他们，我不知道，Snapchat，孩子们现在用什么，然后就是什么时候给他们第一个 ChatGPT 账户。嗯，不，我想知道那应该多久发生一次。我认为我个人的看法是，这与前两者不同。我不认为手机对学校或孩子来说很好，我个人主张等很长时间。但我认为 ChatGPT 更像谷歌搜索，拥有一部令人上瘾且带有推送通知的设备是一回事，但使用人工智能学习是另一回事。所以，我认为这两者是不同的。而且我真的认为人工智能从根本上是一种效用。我认为在 ChatGPT 之前，很多父母并没有问：“我应该什么时候让我的孩子使用谷歌搜索？”那是一种不同的工具。我认为这样想是我思考这些技术的方式。你的孩子使用的设备是 iPad、笔记本电脑还是其他什么？是的。他们使用桌子上的电脑。明白了。好的。好建议。随着我的孩子长大，这些对我来说都是很好的学习。好的，我将放大一下，让我们谈谈商业战略人工智能。如今，许多创始人都在思考的最大问题之一就是他们应该在哪里构建？基础模型公司不会压垮并自己完成什么？作为一名创办了一家非常成功的人工智能公司并担任 OpenAI 董事会成员的人，您对什么可能是个好主意，什么可能不是个好主意，有着非常独特的视角。您认为人工智能市场将如何发展，您认为创始人应该关注什么，同时也要尽量避免什么？我认为人工智能市场有三个细分市场将成为非常有意义的市场，然后我将以我认为它将如何发展来结束。首先是前沿模型市场或基础模型市场。我认为这最终将是少数几家超大规模公司和非常大的实验室，就像云基础设施即服务市场一样。原因在于，创建前沿模型完全取决于资本支出。你需要一家拥有巨额资本支出能力的公司来构建这些模型之一。所有试图这样做的初创公司都已经被整合，或者几乎所有这些公司，Inflection、Adapt、Character 等等。我认为对于初创公司来说，没有可行的商业模式，因为所需的资本支出金额巨大，而且没有足够的融资跑道来达到逃逸速度。而且，模型作为一种资产类别，其价值会相当快地下降。所以，你需要巨大的规模才能从对一个价值迅速下降的模型进行投资中获得回报。所以，我认为最终不会有创业者应该构建前沿模型。这是我的看法。除非你是埃隆。是的。哦，是的。他不一样。而且他有能力筹集数十亿美元的资金，我猜你的大多数其他听众都没有，而且他是史上最伟大的，有原因，而且他不一样。你不要和他比较。市场的另一部分是工具，我认为在淘金热中有很多人在卖矿镐。这是数据标记、服务。这是数据平台，这是评估工具。更专业的模型，如 11 Labs 拥有一套很棒的语音模型，很多公司都在使用，质量很高，就像如果你想在人工智能领域取得成功，你需要哪些不同的工具和服务？工具市场存在一些风险，因为它离太阳很近。所以，如果你看看基础设施即服务市场和云工具市场，比如 Confluent、Databricks 和 Snowflake，亚马逊、Azure 等公司在这些领域都有竞争性产品，因为它们非常接近基础设施本身，而且每个基础设施提供商都在试图通过向上移动堆栈来区分自己，而你就在那里。所以，有一些真正有意义的公司，正如我提到的，比如 Snowflake、Databricks、Confluent 等等，但还有很多其他公司被基础设施提供商本身的技术所淘汰。所以，这些公司可能是开发者日面临最大风险的公司，因为这些大型基础模型公司发布了他们所做的事情。所以，可能很多人需要你的工具，但问题是，如果或何时，其中一个大型基础设施提供商推出竞争对手，为什么人们会继续选择你？所以，这是一个好市场，但正如我所说，它有点接近终点。然后是应用人工智能市场。我认为这将适用于构建代理的公司。我认为代理是新的应用程序。我认为这将是产品形式。有像 Sierra 这样的公司，我们帮助公司构建代理来接听电话或通过聊天来处理客户体验和客户服务。有像 Harvey 这样的公司，它们为法律、律师助理行业、反垄断审查、合同审查等提供代理。有做内容营销的公司。有做供应链分析的公司。我认为这就像软件即服务市场。它们可能会是利润率更高的公司，因为你销售的是实现业务成果的东西，而不是模型本身的副产品。它们几乎肯定会向模型提供商支付费用，这就是为什么这些模型提供商最终会拥有极大的规模，但利润率可能略低，而且我认为它们市场的技术含量可能较低。如果你想到软件即服务的纯粹形式，你不会问它使用什么数据库？它实际上是关于功能和特性。我认为代理将走向那里。我认为随着时间的推移，它将更多地是关于产品而不是技术。回到我的比喻，在 1998 年，当马克和帕克创办 Salesforce 时，仅仅在云中运行数据库就像一项技术成就。如今，没有人会问这个问题，因为你可以在 AWS 或 Azure 中启动一个数据库，这没问题。我认为今天，在模型之上编排代理流程听起来非常棒，而且非常困难，所有这些东西。我敢肯定，在三四年内它会变得容易。就像技术进步一样。所以，随着时间的推移，你会说，什么是代理公司？嗯，它看起来有点像服务。你谈论如何处理模型的时间会少一些，就像现代 SaaS 一样，很少有人问你使用什么数据库，但你会问很多关于工作流程以及你正在推动哪些业务成果的问题。你是为销售团队产生潜在客户吗？你是在最大限度地减少你的采购支出吗？无论你提供什么价值，它都会慢慢地朝着那个方向发展。我非常兴奋。我认为初创公司可能不应该构建基础模型。但如果你对未来有远见，你可以尝试一下。但我认为这是一个已经整合的具有挑战性的市场。我对其他两个市场非常兴奋。我特别兴奋的是，随着构建代理变得越来越容易，我看到了很多长尾代理公司的出现。我查看了股市上排名前 50 的软件公司的网站，显然，排名前五的是那些非常非常热门的公司，如微软、亚马逊、谷歌等等，但接下来的 50 家都是 SaaS 公司，其中一些非常令人兴奋，一些非常无聊，但这就是软件市场的发展方式，我认为我们将看到类似的情况与代理。它不仅仅是像我们现在所处的客户服务和软件工程这样的大市场。它将是人们花费大量时间和资源的地方，而代理可以解决这些问题，但这需要一个真正深刻理解该业务问题的创业者，我认为这将在人工智能市场中解锁大量价值。这非常有帮助。这让我想起，我曾邀请马克·贝尼奥夫参加播客，你们曾是联合首席执行官，他非常支持代理。他唯一想谈论的就是 Agentforce。显然，你也非常支持代理。我从未听过“agent-pilled”这个词。显然，你们看到了什么，就像，好吧，我们需要全力投入代理。这就是未来。你认为人们在软件工作方式的根本性改变方面错过了什么？人们看不到什么？如果你和一位经济学家，比如拉里·萨默斯（他与我同在 OpenAI 董事会）交谈，他们会谈论技术的价值是什么？它是否有助于提高经济生产力。如果你看看经济生产力的一个大飞跃是在 90 年代，我认为我交谈过的许多人都认为，实际上是第一波计算浪潮，人们创建了 ERP 系统，并将会计和数据库，甚至大型机，我们谈论的是个人电脑时代。因为它是一个巨大的飞跃，想象一下一家大型跨国公司在之前拥有的数字账本，它真正改变了部门。我给你举一个简单的例子。我父亲刚退休。他是一名机械工程师，他谈到他刚开始职业生涯时，在 70 年代末，他进入一家机械工程公司，公司的大部分员工都是绘图员。基本上，你接受一个工程设计，但你需要从所有不同的角度和所有不同的楼层进行绘制，然后交给承包商去做。现在，他的公司里已经没有绘图员了。你只需在 AutoCAD 和 Revit 中进行设计，它就是一个 3D 模型，绘图实际上已经被淘汰了。这不再是需要做的事情。实际的设计和绘图，绘图已不复存在。它只是一个设计。这是真正的生产力提升，对吧？就像机械工程公司的业务是进行设计。绘图是承包商必需的产出，但它并没有真正增加价值。这就像供应链的改变。如果你看看从个人电脑开始的软件行业历史，已经有了有意义的生产力提升，但远不如第一次巨大飞跃那么有意义。我不够聪明，不知道确切原因，但有趣的是，技术带来的生产力提升的承诺并没有像一些人预期的那样实现。我认为代理将真正再次开始弯曲曲线，就像我们在计算的早期所做的那样，因为软件正从帮助个人提高一点生产力转变为自主完成工作。因此，就像机械工程公司不再需要绘图员一样，你将不再需要有人做那件事了。这意味着他们可以做一些更有影响力、更具生产力的事情，而且你实际上……一小群人可以完成更多工作，真正推动经济的生产力提升。而且我认为，如果你曾经销售过企业软件，你就会陷入与客户的讨论中，在那里你会进行价值讨论，并做一些有些曲折的事情，比如，好吧，这就像你在销售一个销售的东西。好吧，如果每个销售人员多卖 5%……你应该付给我们一百万美元。大致就是这样的对话，而且它如此难以归因，尤其是……这就是为什么销售生产力软件如此困难，我曾艰难地学到，很难知道让每个人提高 10% 的生产力有什么价值？你真的让他们提高了 10% 的生产力，还是其他什么改变了？你真的不知道所有这些。但现在，随着代理真正完成一项工作，它不仅真正地提高了生产力，而且是可衡量的。所以，所有这些加在一起意味着我认为这实际上是我们思考软件方式的又一次飞跃，因为它自主地完成了一项工作，这更显而易见，是一个生产力驱动因素。它是可衡量的，所以人们也以不同的方式看待它，这就是为什么我也相信基于成果的软件定价。所有这些加在一起，我认为这就像云计算一样重要，或者我认为在技术上更重要，但就它如何改变软件行业的商业模式而言，将会有前后之分。我不知道还有多少人还在销售永久许可的本地软件，但目前这已经微不足道了。我认为我们将经历类似的转变。整个市场将转向代理。我认为整个市场将转向基于成果的定价，不是因为它是唯一的方式，而是因为市场将把每个人都拉向那里，因为它显然是构建和销售软件的正确方式。让我抓住最后一个线索。所以，我们最近邀请了 Madhavan 来参加播客，他是定价专家、传奇人物、货币化创新作者，他谈到了 AI 公司的定价策略，他非常支持你的观点，如果可以的话，你需要将你的产品定价为基于成果的产品，并且他使用了你分享的例子，那就是，如果你能归因影响并且它是自主的，它正在自行运行，你就可以做到。他实际上以 Sierra 作为这一成功的闪耀例子之一。你能简单解释一下什么是基于成果的定价，给那些以前没听过这个术语的人，然后解释一下 Sierra 是如何运作的，举个例子吗？是的，我将从例子开始，然后扩大范围。所以，在 Sierra，我们帮助公司创建面向客户的人工智能代理，主要用于客户服务，但更广泛地说，用于客户体验。所以，如果你对你的 [听不清 01:04:58] 有问题，你会打电话或与 Harmony 聊天，她是他们的人工智能代理。如果你有 ADT 家庭安全系统，而你的警报器不起作用，你可以与他们的人工智能代理聊天。Sonos 音箱，很多不同的消费品牌。如果你考虑运营一个呼叫中心，你接听的每一个电话都有成本。大部分是劳动力成本，但如果你有一个，比如说，典型的电话费用在 10 到 20 美元之间。有些是软件，有些是电话，但很多只是接听电话的人的时薪。所以，如果一个人工智能代理能够接听电话并解决问题，这在行业中通常被称为呼叫转移或遏制。这基本上意味着你节省了大约 15 美元，因为你不需要有人接听电话。所以，在我们这个行业，我们基本上说：“嘿，如果人工智能代理解决了客户的问题，他们对此很满意，而且你不需要接听电话，”那么有一个预先协商好的费率，我们称之为基于解决方案的。还有其他成果。我们有一些销售代理，令人难以置信的是，他们按销售佣金支付。我们有。我们真的将我们的代理视为真正的客户体验，就像你的品牌的礼宾服务一样，我们希望确保我们的业务模式与客户的业务模式保持一致。正如你所说，这些代理需要自主，并且成果必须是可衡量的。这并不总是可能的，但我认为它总体上是可能的。而且最棒的是，如果你和任何首席财务官或采购主管谈谈他们的大供应商，他们会查看物料清单，这令人不知所措，而且不可能知道你是否从合同中获得了预期的价值。我认为基于消费的定价，尤其是在基础设施领域很受欢迎，接近于此。但我也不确定代币是否是衡量人工智能价值的好方法。我总是用这个类比，比如现在，大多数编码代理都是按代币或按使用量定价的，但有一个著名的故事，一位苹果工程师有一个糟糕的经理，他让你每天报告你写了多少行代码？世界上任何一位工程师都知道，这是衡量生产力的一种愚蠢的方式。他著名地带着一份负数报告进来，因为我认为他进行了大规模重构，删除了很多代码，这是他表达“去你的”的方式。我认为代币也类似。是的，你使用了大量的代币，很好，它是否产生了好的拉取请求？我认为这就是这一切的重点。我认为基于成果的定价和基于使用量的定价之间存在巨大差异，尤其是在人工智能领域，它们不一定相关，而且你可能会有一个很长的电话，但没有解决客户的问题，他们会在网上给你差评，并再次打电话给呼叫中心，所有这些努力都白费了。事实上，你可能增加了负面价值。所以，我非常相信这一点。有趣的是，它真的……我认为每个科技公司都渴望成为合作伙伴，而不是供应商。而且我认为在 Sierra，我们是所有客户真正的合作伙伴，因为我们都致力于实现我们的目标。而且我认为这确实是软件行业应该发展的方向。它需要不同形状的公司。你必须能够帮助你的客户实现这些成果。你不能只是把软件扔到墙上，因为如果它不起作用，你永远不会得到报酬。如果你做得对，你的定位就会变得极其以客户为中心。我认为这只是软件行业的一个更好版本。所以我认为这是从第一原理出发的，它对采购合作伙伴来说是正确的，而且它对世界来说也是正确的。我们一直在谈论生产力提升。如今，新闻头条充斥着对人工智能实际做什么的怀疑。它真的在帮助人们提高生产力吗？实际上有一项研究，我不知道你是否看到过，他们发现工程师使用人工智能的效率降低了，因为它只是把他们引向不同的方向。他们不得不研究所有的问题，这里出了什么问题？所以，我认为客户体验是一个很好的例子，你在那里清楚地看到了收益。你在你的公司或你合作的任何其他公司，除了客户体验之外，是否看到了生产力方面的实际收益，是明确的“是的，这正在奏效，而且是一件大事”？我对人工智能带来的生产力提升非常看好，但我确实认为目前的工具和产品还不太成熟，而且相当违反直觉。例如，几乎我认识的每一个软件工程公司都使用 Cursor 之类的东西来帮助他们的软件工程师。大多数人现在使用 Cursor 作为代码自动补全，尽管他们有很多代理解决方案，而且还有很多……OpenAI 有 Codex，Cloud 有……我不记得 Anthropic 的产品了。所以，有很多代理正在涌现。有趣的是，由于技术不成熟，它生成的代码经常有问题。有很多人正在努力实现这些生产力提升，因为任何写过大量代码的工程师都会告诉你，很容易查看和编辑你自己写的代码。审查别人的代码，或者尤其是在别人的代码中找到微妙的逻辑错误，实际上非常困难。实际上比编辑你自己写的代码要难得多。所以，如果编码代理生成的代码经常不正确，它实际上会消耗大量的认知负荷和时间来修复它。事实上，如果你最终给客户带来了很多问题，你可能会产生很多功能，但实际上是在稍微弄乱机器，并产生一些不理想的东西。有几种技术我认为很有趣。首先，我认为现在有很多人工智能开始研究代码审查之类的事情。我认为这种代理自我反思的想法非常重要。让人工智能监督人工智能实际上非常有效。想想看，如果你生成一个 90% 的时间都正确的 AI 代理，那并不算太好，但要让另一个 AI 代理找出另外 10% 的错误有多难？这可能是一个可以解决的问题。而且如果那个东西 90% 的时间都正确，为了论证起见，你可以将它们连接起来，得到一个 99% 的时间都正确的东西。所以，这只是一个数学问题，结果是你可以创建一个生成代码的东西，你可以创建一个审查代码的东西，你基本上是在利用计算能力来获得认知能力，并且你可以添加更多的认知、思考和推理层，并生成越来越健壮的东西。所以我对此非常兴奋。但另一件事是根本原因分析。所以，我们在 Sierra 有一位工程师，他专门负责模型上下文协议服务器，为我们的 Cursor 实例提供服务。我们的整个理念是，如果 Cursor 生成了不正确的内容，而不是仅仅修复它，而是尝试找到根本原因。尝试让 Cursor 下次生成正确的代码，本质上是上下文工程。Cursor 缺少什么上下文才能产生正确的结果？所以我认为那些想在软件工程等部门获得生产力提升的人需要停止等待模型神奇地工作，如果他们现在想看到收益的话。你真的需要进行根本原因分析和系统分析，并说，我们如何找到每一个错误代码的根本原因，并实际提供正确的上下文并生成正确的系统，以便模型今天就能做到。随着时间的推移，这可能就不那么必要了，你需要的上下文工程也会减少，但你真的需要将此视为一个系统，我认为人们正在等待模型神奇地变得更好。我说，嗯，这最终会发生，但如果你现在想要收益，你就得努力。这基本上就是应用人工智能公司存在的原因。而且这项工作并非微不足道，但你可以做到。所以，对于使用 Sierra 等平台的客户来说，是的，人工智能代理并不完美，但我们正在创建一个系统，让客户能够创造一个良性的改进循环。如果你想从 65% 的自动化解决方案率提高到 75%，我们有数十亿种工具可以让 AI 帮助你做到这一点，识别改进的机会，找出人们为什么感到沮丧，我们可以为我们的代理添加哪些新功能来提高解决方案率？你让 AI 代表你找出问题的关键，我认为这就是优化这些系统的真正方法。我从未听说过通过添加额外上下文来改进 Cursor 的技术。实际的方法是什么？你是构建一个 MCP 服务器，所有东西都通过它运行，还是你添加 Cursor 规则？实际的方法是什么？我可能有点外行，但本质上是 MCP，因为那是你为 Cursor 提供上下文的方式。而且我认为，几乎总是当模型做出糟糕的决定时，如果它是一个好的模型，那就是缺乏上下文。所以，你真的想找到你的特定产品和代码库与这些编码代理和系统可用的上下文的交集，并在根源上修复它，这就是这里的原则。明白了。这很酷。我从未听说过人们这样做，模型上下文协议，这很有道理。我们已经谈论了客户体验之外的生产力提升。为了让你有机会分享你所构建的东西有多么神奇，你看到了人们使用 Sierra 的哪些收益？是的，我们的客户的客户服务互动中有 50% 到 90% 完全自动化，我认为这非常令人兴奋。而且我们服务于非常非常广泛的客户。我们服务于健康保险行业、医疗保健提供商领域、银行。你实际上可以使用代理来再融资你的房子。我们的一位客户在我们平台上为电信行业、DIRECTV、SiriusXM 以及许多零售商构建了产品，这非常有趣。从 Wayfair 到 OluKai 和 Chubbies Shorts 等服装零售商，应有尽有。最棒的是，它有非常多样化的用例，从帮助你注册……我们有一个代理帮助一个大型约会应用程序的客户支持，到帮助你升级或降级你的 SiriusXM 套餐。实际上，这很有趣，我们提供从家庭报警系统到声纳音箱，再到最近的 CAT 扫描机的技术支持，我认为这很棒。所以，技术人员在修理 CAT 扫描机时可以与人工智能代理聊天，以帮助他们指导他们完成这个过程。我们是该领域的领导者，我们正努力让世界上每个公司都能创建自己的代理，并以他们的品牌为核心，我认为这将成为像他们的网站或移动应用程序一样有意义的数字接触点。短期内，它可以真正改变客户服务团队的运营成本。而值得称道的是，它能以非常高的客户满意度得分做到这一点。我相信那个 Weight Watchers 代理的客户满意度得分为 4.6 分（满分 5 分），这非常了不起。而关于服务有趣的是，人们经常遇到问题。所以，当你有一个清晰的……我不知道你是否在机场使用过它们，我认为那个代理的 CSAT 得分为 4.7 分（满分 5 分），人们带着问题进来，然后 [听不清 01:16:19] 很高兴。我认为这就是这里的机会。我们的整个愿景是，我们将朝着一个世界迈进，在那里你与客户的每一次互动都可以是即时的。它可以是多语言的，可以是音频的，可以是聊天的，可以是数字的，可以是电话的，而且可以是高度个性化的。我认为这真的，真的令人兴奋。如果你想一想你与品牌有过所有最好的时刻，就像那个你知道的店员一样，对我来说，就像杂货店的屠夫一样。我喜欢做饭，他认识我。我们聊天。你能为拥有 1 亿客户的公司大规模生产这个吗？你能以非常个性化的方式做到吗？我认为我们正处于实现这一目标的边缘。在我进入非常令人兴奋的闪电轮之前，我还有最后一个问题。许多创始人都在为 AI 应用的上市而苦苦挣扎。如今有太多的应用程序，太多的产品，太多的东西涌向买家，涌向大型 B2B 公司。显然，你们已经找到了解决办法。我想你的名字有帮助，投资者也有帮助，但你从成功地进行 AI 产品（例如特定于代理的产品）的上市中学到了什么，你认为这对那些试图做得更好的人会有帮助？我认为有少数几种被证明有效的上市模式，我认为选择适合你所追求的产品类别的模式很重要。我想说的一个类别是开发者主导。这是 Stripe 和 Twilio 等公司最初做得非常出色的地方。本质上，这里的上市模式是吸引 CTO 部门中的个别工程师，他们既有责任，也有相当大的自由度来选择解决方案。如果你的产品是平台产品，这会起作用。例如，如果你的产品旨在帮助一个业务部门，这就不起作用，因为业务部门通常没有专门的工程团队，更不用说自由下载新库或使用类似的网络服务了。如果你向初创公司销售，这尤其有效，因为初创公司通常拥有相当大的自由度来选择服务来帮助他们解决创始人提出的问题。然后是产品主导增长。这显然是一个宽泛的术语，每个公司的产品都很重要，但产品主导增长更具体地说意味着用户可以从网站注册，通常会进入试用期。通常你可以用信用卡购买几席，而这些在用户和买家是同一个人的地方有效。所以，它几乎总是适用于小型企业软件，因为个体经营者会做所有事情。所以，你正在销售小型企业软件，比如早期的 Shopify，还有很多其他类似的产品，你试图销售给小型商家。这很棒。当你的买家和软件用户不同时，它效果不佳。所以，我将以费用报告软件为例。该软件的用户是个人员工，但买家通常是财务部门。所以，用信用卡注册和购买是没有意义的，因为使用它的人不是持有信用卡的人，而且它就是不起作用。然后是直销。直销已经过时了，我不想说过时，但如果我想起最好的直销公司，可能有很多源自 Oracle，但你想想 SAP、Oracle、ServiceNow、Salesforce、Adobe 也许还有其他公司。这些公司以相对传统的销售模式向大型业务部门销售。我认为，因为产品主导增长变得非常流行。我认为很多公司都使用了它，这很棒，这种模式产生了很棒的产品，但如果 PLG 意味着你实际上没有与你的软件买家互动，你就不会增长。所以，我最近看到，随着许多人工智能公司的出现，直销又开始流行起来，因为我认为人工智能中的许多机会实际上符合这个要求，即买家和用户不一定是同一个人，而且它确实需要这种上市模式。我看到企业家在这里跌倒，他们会选择一种上市模式，而不去思考购买该软件的过程是什么？评估该软件价值的过程是什么？我认为人们需要对此更加本着第一原理，更加深思熟虑。坦率地说，我认为很多公司应该比现在更多地利用直销。即使因为这些直销公司产品的质量有时是合理的声誉，它已经声名狼藉。我认为我很高兴看到它在很多人工智能市场中回归。我觉得这个信息是很多创始人需要听到的，特别是那些没有商业背景的创始人，销售让他们反感，他们认为自己不会擅长销售。这个推动可能就是你必须真正擅长的，以及你如何获胜，而你不能仅仅依赖产品增长。是的。布雷特，你还有什么想分享的吗？有什么最后的智慧吗？有什么你想深入探讨的，然后我们进入我们非常令人兴奋的闪电轮？不，请继续。好的，我们开始吧。欢迎来到我们非常令人兴奋的闪电轮。我有五个问题要问你。你准备好了吗？是的，请继续。你发现自己最常推荐给别人的两三本书是什么？我不怎么读非虚构类书籍，但如果我必须在我们讨论的主题领域选择一本，那就是《与运气竞争》，这本书产生了“待办事项”的概念，这是一个我非常相信的框架。我唯一的批评是，我认为大多数商业书籍应该像一篇文章。所以，也许买这本书然后把它输入到 ChatGPT 中获取摘要。但买这本书，克莱顿·克里斯滕森谈到了它，这是一个非常好的框架，用于思考如何通过你的产品提供价值。而且我认为它肯定影响了我。实际上，我确实推荐的一本书是《耐力》，这是关于沙克尔顿去南极探险的故事。书的一半是他饿死并和他的船员一起吃海豹肉，他们被冻在船上。我一生中从未见过比这更好的毅力故事。这是一个真实的故事，这真是太不可思议了，如果你是一位正在经历困难时期的企业家，读读这本书，你会想，“好吧，情况可能会更糟。”这本书也很棒。这是一个真实的故事，这真是太不可思议了。他做的一件很棒的事情是为加入那家著名报纸的人设定了期望。那则报纸广告。我不知道那是否是真的。如果那是真的，那真是太不可思议了。哦，可能不是真的。我不知道。互联网。谁知道？该死的。即使是当时的深度伪造。好的。你最近有没有喜欢的电影或电视节目，你真的很喜欢？我最近没有看任何新电视节目？我们和孩子们一起看了《盗梦空间》，他们很喜欢，这让我欣赏克里斯托弗·诺兰和一部很酷的电影。这是一种电影，你看完后可以讨论两天。所以，这是一部很棒的电影。我看到有人使用 VO 3 来创建他们自己的《盗梦空间》视频，世界在相互缠绕。哦，天哪。好的。你最近有没有发现什么喜欢的产品，或者你长期以来一直喜欢的产品？我真的很喜欢 Cursor。我认为它改变了。我喜欢创造软件，但我对代理感到兴奋。我一直很兴奋。我很高兴看到 OpenAI 的 Codex 等。所以我认为 Cursor 在其当前形式下是一个过渡产品。而且我知道他们也在开发代理，但我真的很喜欢将我热爱的东西，这已经是我一生的热情，并真正深入研究这个人工智能工具，并看看它如何改变我创造软件的方式。所以我花了很多时间使用这个产品，因为它与我热爱的事情的核心非常相关，而且它是一个制作精良的产品。我认为这是第一次有人在回答中提到 Cursor，所以这可能是趋势的开始。迈克尔·特雷尔曾参加过播客，他对代码的未来、代码之后是什么以及将有一个额外的伪代码层叠加在代码之上的概念，他的信息与你开始时的信息非常相似。你有没有一个你经常回想并觉得在工作或生活中很有用的生活座右铭？预测未来的最好方法就是创造它，我认为这归功于 Xerox PARC 的 Alan Kay。他发明了我们今天在计算中使用的许多核心抽象。我是一名企业家，这就是我喜欢构建的原因，这绝对是我的生活座右铭。我觉得很多人都这么说，我觉得你实际上已经做了很多次了。你真的活出了这个座右铭。最后一个问题。我们谈到了你在 FriendFeed 发明了“喜欢”按钮。除了“喜欢”之外，还有其他关于他们会如何称呼它的想法吗？它只是显而易见的“喜欢”吗？还是有其他想法？这是在表情符号出现之前。所以，如果你阅读 FriendFeed 帖子的评论，至少有 70% 的评论是“酷”、“哇”或“是的”或“好”。FriendFeed 的一个主要用途是就事物进行讨论。所以，你会有一个帖子，然后在下面有一个相当完整的讨论。与 Twitter 等相比，这是一个进行这些讨论的好地方。所以，我们试图解决的产品问题是让所有一个词的回答消失，这样讨论就可以是实际的评论，而不是你读了东西的确认。所以，最初的构想是“一键评论”。我们是这样想的。所以我做的第一个版本有一个心形，她否认记得这一点，但现在是 Anna Muller 的 Anna Yang，她曾在公司工作过，她讨厌它。她说，“如果我看到每个帖子上都有心形，我会呕吐。”这太多了。而且也很有趣，我们在模拟，就像一篇关于悲剧的文章。心形真的不合适。实际上很难翻译的是，它是一种更中性的情绪，这就是为什么它很难翻译，因为它很微妙。所以，这就是我们最终得到它的方式。我们从心形开始，我不知道我们是否听过“爱”这个词，但我们肯定从图标开始，然后是“喜欢”，这感觉就像一种积极但尽可能中性的积极情绪，这样它就可以适用于更复杂的故事。但这一切都是因为我们需要一个“一键评论”。这个概念就源于此。哇。我以前从未听过这个故事。这让我想起现在的 LinkedIn。他们基本上试图解决同样的问题。他们有所有这些自动回复的标签。我认为人们不太喜欢它们。是的。他们有很多功能。这么多人工智能功能。布雷特，这太棒了。这是我的荣幸。我非常感谢你来参加这个播客。最后两个问题，人们在哪里可以在网上找到你，如果他们想联系你，也许想看看他们是否想在 Sierra 工作，以及听众如何能对你有用？如果你想要一个人工智能代理来帮助客户服务，请访问 sierra.ai。如果你想在这里申请，请访问 sierra.ai/careers，我们在旧金山、纽约、亚特兰大和伦敦设有办事处，并且在每个部门都积极招聘。所以，如果你有兴趣，请联系我们。听众如何能对你有用？是尝试 Sierra，还有其他吗？是的，尝试 Sierra。我是一个单一议题的选民。[听不清 01:28:26] 信息。我喜欢它。是的。布雷特，非常感谢你来到这里。是的，谢谢你邀请我。再见，各位。非常感谢您的收听。如果您觉得有价值，可以在 Apple Podcasts、Spotify 或您喜欢的播客应用上订阅本节目。另外，请考虑给我们评分或留下评论，因为这确实能帮助其他听众找到播客。您可以在 Lennyspodcast.com 上找到所有过去的剧集或了解有关该节目的更多信息。下一集再见。