Transcription
最值得信赖的代理不是永远正确的那个。而是那个不总是令人惊讶的。>> 如果你从构建开始，比如你如何让[音乐]变得越来越容易？人们购买的不是技术，而是解决方案。与两三年前的[音乐] Rag 相比，我们已经走了很长一段路。随着技术的发展，工作流程是如何发展的？[音乐] >> 我们一直都知道模型会变得非常出色，智能也会变得非常出色。那么，与工程师类似，你需要哪些不同的[音乐]工具来处理法律工作，然后客户就会告诉我们用例。>> 欢迎来到“建造者”，这是 Kleiner Perkins 的一个视频系列。每一集，我和 Lee Marie 都会与创始人及运营者坐下来，他们正在构建将定义未来十年技术的产品和工具。>> 我们保持简单。炸鸡、啤酒、[音乐]以及与我们试图弄清楚下一步是什么时会打电话的人进行的坦诚的非结构化对话。[音乐]这些是我们 Kleiner Perkins 在幕后进行的对话。现在，我们很高兴与您分享。当我想到今天在人工智能领域真正构建的是什么时，比如人工智能应用公司实际上在扩展什么，尤其是在企业和真实公司内部，我认为你们两家公司都会浮现在脑海中，嗯，CR 和 Harvey。嗯，所以我想深入探讨一下你们的产品是如何构建的，你们如何与客户合作，以及今天人工智能领域真正发生和真正被使用的是什么。那么，当你考虑要拥有哪个客户工作流程时，你如何确定优先级？所以我们开始，所以当然你知道我们专注于法律领域，但我们专门从交易性公司业务开始，你知道，如果你正在创建一个基金，比如私募股权基金，或者你正在收购一家公司，或者你作为风险投资家资助一家公司，需要进行一定程度的法律工作来，你知道，成立实体并，你知道，完成这项工作，原因是因为你可以在一个上下文中拥有一个完整的独立工作空间。你不需要去外面。你不需要，你知道，出去获取其他信息。例如，如果你正在对一家公司进行尽职调查，你知道我的客户，你知道的律师事务所正在收购一家公司，你需要实际关注的主要事情是该公司拥有的数据。你知道，例如，该公司拥有的供应商协议中是否有会给我们带来巨大风险的东西？所以，总的来说，对于人工智能和，嗯，你知道，特别是企业人工智能，你需要这个上下文完整的独立工作空间，这样你就有做出决定所需的所有上下文。嗯，而且交易性工作通常量很大，重复性很强，可怜的助理花费数周数周的时间梳理手动文件，因此非常适合颠覆，有很多单调的工作，而且你拥有所需的所有数据。所以，早期我们会去这些律师事务所说，嘿，我们可以，你知道，帮助你进行尽职调查，我们可以帮助你进行并购，而我们需要构建的两件事是，你知道，当时对五份文件进行问答就像一件令人震惊的事情，然后对五份文件进行提取。所以我们构建了这些，然后连接到 SEC 数据库，你需要引用，所以仅做这两件事，你就可以基本上利用我们两年前就拥有的智能，你可以基本上完成很多交易性工作，或者至少增强它。所以，你知道，从那时起，我们当然已经扩展了，但我认为这个切入点对于证明价值至关重要。而且我认为还有一点值得一提的是，很多人认为你需要整个案例法语料库和整个，你知道的数据来完成法律工作，有些情况下是这样，但大多数特别是交易性工作是基于偏好的，而不是基于事实的。这就像这些合同集中的风险与我公司中的风险相比如何，这是一个非常主观的事情，有人必须想出来，所以它非常适合这个镜头，即使在早期。>> 你知道，Sierra 当然在构建代理和客户体验领域，对吧？这在我加入公司之前，但当公司刚起步时，它非常专注于那种组合式设计，并保持主要事物是主要事物。但我认为另一件非常有趣的事情是，在持续的基础上，每次我们与新客户合作时，你如何为该客户逐步配备一个代理，并弄清楚要处理什么，对吧？这非常取决于业务。例如，你知道，Sonos 是一家我们合作了很长时间的公司，对吧？而且在内部，他们跟踪的一个指标，它是一个跨职能指标，他们衡量的是“音乐到达时间”，这实际上非常有趣，因为当你想到客户体验时，人们可以打电话咨询什么，或者，你知道，可以通过聊天、电话、电子邮件、WhatsApp 等方式进行咨询，原因可能是无限的，但你如何实际与客户合作，了解对 Sonos 及其客户来说，什么是一个真正好的、高影响力的用例，就频率、覆盖范围以及最终的“音乐到达时间”指标而言？嗯，而且我认为与你所说的类似，两三年前，我认为，你知道，酷的事情是能够，你知道，RAG 就像是新的，对吧？它仍在被优化等等。但从那里开始，就是你如何真正专注于那种真正的代理，并让代理实际采取行动，对吧？所以我们正在逐步完善这些用例。就像，好吧，关于“音乐到达时间”的一件事是，我可以帮助 Lee Marie 订购一套新的扬声器，但我如何实际连接到正确的系统？我如何获得我整个产品目录的知识和政策的访问权限？我如何实际进行工具调用或 API 调用来实际处理这个新订单并向你运送扬声器等等。>> 所以我认为这只是找到那种，客户体验是一个非常广泛的领域。所以，即使在客户体验领域，你几乎每天都需要做出这些决定，对吧？>> 我觉得如果你能帮我设置我的 Sona 扬声器，那就是 AGI。>> 你知道 Wi-Fi 故障排除。是的。>> 播放我所有的扬声器。我的天哪，太棒了。嗯，所以这些是第一个工作流程。我实际上很好奇，你知道，随着技术的演进。我的意思是，你知道，我们已经走了很长一段路，从两三年前的 Rag 开始。随着技术的演进，工作流程是如何演进的，更详细地说？>> 其中一部分是规模更大，另一部分是新型工作流程。所以，你知道，例如，我们从两年前神奇的五份文件问答开始，但如果你正在进行一项非常大的交易，你知道，最近新闻中的大交易是 Netflix 和华纳兄弟的收购。有成千上万甚至数万份不同的合同和文件需要分析。那么，人类今天是如何做到的？我们如何大规模地做到这一点？嗯，更重要的是，你如何帮助验证信息是否正确，以及你如何帮助律师实际验证？所以，我们在这种交易性工作中深入了很多，你知道，你知道，代理会进入并从 10,000 份文件中提取 70 个不同的条款，然后，你知道，说这里的置信度很低。嘿，助理，请看看这个。所以，更多的规模，更多的在这方面的努力，然后是新型工作流程。令人欣喜的是，你知道，Harvey，我们一直都知道模型会变得非常出色，智能也会变得非常出色。所以我们真正专注于如何基本上拥有律师的 IDE，你知道，与工程师类似的工具，你需要处理法律工作，然后客户就会告诉我们用例。所以，基本上，法律工作就像一个文档编辑器。它是一个电子表格，它是在搜索，搜索我的内部数据或搜索外部数据。所以我们构建了这个通用平台，并且有机地出现了许多不同的用例。人们说，嘿，我用它来做投资者演示。我用它来生成，这太疯狂了，人们用它来在律师事务所进行审查周期。它就是有太多不同的用例了。我认为我们现在开始做的是，我们非常关注如何让这个合伙人或助理真正高效和有效。现在我们开始转向更多的组织生产力。比如，你知道，在律师事务所或公司法律部门，工作很少是个人在做。它是高度协作的。多人审查，多人检查。所以工作流程开始变成，助理做一部分工作，然后传给下一个助理，下一个合伙人，他们审查，他们验证。嗯，所以，你知道，在律师事务所内部，以及在律师事务所外部，我们如何开始让它变得更加多人化，而这正是我认为人工智能正在走向的方向，不仅仅是个人生产力，而是扩展这些涉及多人参与的不同工作流程。>> 我认为从我们的角度来看，到处都是工作流程。所以，你知道，你如何让客户体验团队、运营团队，甚至可能在客户体验领域工作的开发团队取得极其成功。我发现有帮助的一件事是，实际上是以你思考软件开发生命周期的方式来思考代理开发生命周期。所以，如果你从构建开始，你如何让团队构建代理变得越来越容易，对吧？定义进入代理构建的那些目标和限制因素，最终一切都归结为艺术，人们仍然在学习上下文工程，并弄清楚那种正确的平衡是什么，对吧？所以，你如何从纯粹的产品角度让它变得超级容易，并且还结合了无代码解决方案和 SDK 等等。然后，从那里开始，你知道，下一步是测试，对吧？在过去的一年半左右的时间里，我们在这一领域取得了很大进展，例如大规模模拟测试，确保人们拥有工具箱中的工具，以便在代理发布之前获得信心。然后，在另一边，一旦代理被部署，你如何基本上拥有，我的意思是，好的一点是，你可以不断地为所有这些添加人工智能，使这些工作流程中的许多变得强大，对吧？你拥有所有这些丰富的对话数据，它可能是通过语音、聊天等等，你如何让客户体验团队从中获得见解，对吧？所以，例如，我们构建了这个深度研究风格的工具，你可以去询问你所有的对话，所以你可以说，你知道，向我展示所有可能导致代理转移到人类的对话，或者一个，你知道，也许是一个快乐的部分，客户打电话时很沮丧，然后情绪在对话过程中有所改善，你可以继续提问，变得更加明显，代理在哪里做得好，在哪里需要改进，下一步应该去弄清楚什么，等等。所以，我想说，我们的许多工作流程实际上都与收紧整个生命周期有关。>> 实际上，关于代理开发生命周期，我认为它引起了很多共鸣。通常，我认为实际上人工智能会打破传统的产品管理，你知道，传统的产品管理说，选择一个用户，选择他们的用例，解决他们的用例，使其非常狭窄。有了人工智能，你实际上可以扩大用户数量、ICP 数量、实际可以使用它的人数，如果你只是给他们工具，因为我们不会确切地知道人们会构建什么，或者代理会解决哪些类型的用例。所以，我们也创建了这个无代码工作流程构建器，它基本上将确定性模式与概率性 LMS 相结合。我们对它的采用程度，人们正在使用的工作流程类型感到非常惊讶。现在人们想运行，你知道，当我收到客户关于信贷协议的电子邮件时，运行这个工作流程，运行所有这些风险分析，并给我一个分数。所以，我们从来不知道这是一个具体的事情，而且为这个特定用例构建它将需要很多努力。嗯，我认为一个教训是，首先，只是向你的客户开放，然后打开一个宽阔的漏斗，然后，你知道，你可以看到他们使用什么，然后深入研究那些更有价值的特定事物。>> 你关于无代码的评论，这有点跑题了，但它让我想起了部署工程师的 FTE 的大趋势。这是你们公司目前正在采用的趋势吗？你们与他们密切合作吗？你们是否因为你们应该产品化一切而鄙视他们？你们对这个新的 FTE 趋势有何反应？>> 我曾经是一名 FTE，10 年前。嗯，我在 Palunteer 工作了几年，负责前线部署工程。所以，我觉得在我成为这个热门新事物之前，我就已经体验过了，你知道吗？而且我只是觉得，我不知道你是否，但我感觉这是一个如此强大的杠杆，可以让你深入了解你的客户，并且最终，尤其是在当今时代，人们购买的不是技术，而是解决方案，对吧？而且从我们的商业模式开始，我们是基于结果收费等等。一切都取决于我们是否真的在构建并帮助我们的客户构建更好的客户体验，对吧？为此，我认为 FTE 模型实际上非常适合你，因为你与客户非常一致，你知道，我们在这里的人才经常去客户那里，真正了解问题是什么，然后弄清楚，好吧，这可能是我们正在处理的一个行业，你如何实际扩展其中一些，对吧？所以，这不仅仅是为了一个客户，而是你实际上在扩展它，甚至可能将见解带回平台方面。>> 所以，现在 CRM，另一方面，这是一种有趣的合作，因为你与其他产品经理和工程师合作，他们，你知道，你们在同一个频道上，你可以深入了解特定的客户，并与大量的丰富的第一手知识合作。所以我知道我非常非常非常喜欢这个模式，我认为更多的公司应该这样做。是的。>> 酷。>> 实际上，关于这一点有一个快速的问题。你们今天是否为每个客户部署了前线部署工程师，这是否是你们衡量客户成功的某种方式？这确实差异很大，但基本上所有客户都从我们的团队获得一定程度的支持，当然，最终我认为，你知道，你无法获得，我认为有时存在一种误解，即如果你有一个 FTE 团队，你就不需要构建产品，你需要两者兼顾，对吧？例如，以 Palunteer 为例，继续这个例子，你有 Foundry 和围绕它的整个产品套件，对吧？同样，在 Sierra，无代码构建产品有助于让客户直接进入我们的平台等等。你无法摆脱，产品仍然需要非常非常简单。但我认为，让客户接触到这些房间里的专家，尤其是当你几乎可以把他们看作是你客户团队的延伸时，对吧？尤其是在我们谈论的整个上下文工程艺术如此新颖的时候。人们不知道最佳实践是什么，对吧？所以，如果你能有一个来自能够指导你并引导你走向正确方向的公司的人，分享最佳实践、常见陷阱等等，那就非常有帮助了。但是，你知道，你当然也必须产品化解决方案，对吧？我不知道这是否回答了你的问题。>> 不，不，这确实回答了。我认为我们有一个你可以直接购买的软件产品，你知道，我们基本上提供 SaaS 定价，你可以购买，而且，你知道，我们可以让你上手。我认为随着我们的成长，为了取得真正的成功，我认为我们已经开始这样做，你知道，前线部署的模式，我认为有两种层次。一种是，而且我认为最终取决于，你知道，谁是最有效的人。第一层是，最终，许多客户只是想要一个前线部署的律师。这是一个领域专家，他可以进去，了解产品，了解他们的法律领域，并对它有极大的同情心，并说，嘿，看看我用我们的亚洲建设者黑客的东西，它解决了你的一位助理告诉我的一个特定问题，看看它，让我们部署它。所以，实际上，我们大部分的前线部署工作都是这些前线部署的律师，他们是专家。然后是另一个更高级别的，那就是前线部署的工程师和产品经理，他们实际上构建了一些定制解决方案。我们发现这对于企业团队来说是最有效的。所以，你知道，私募股权公司，比如 Blue Owl。我们刚刚宣布，我们刚刚宣布了 Walmart，他们在那里有很多遗留的集成数据、API 可以利用，以充分利用 Harvey。那就是你需要工程师和产品经理。当然，前线部署的律师和前线部署的工程师之间存在反馈循环，所以他们学到的一切都会反馈到产品中。但是，是的，我认为我们已经确定了这些不同的层次，我认为有时很多公司都急于说，“嘿，前线部署，把他们扔进一个问题，让我们弄清楚。”而这就像你必须更细致一点。这就像客户实际上会产生共鸣的人是谁，以及在规模上最有效的是什么。>> 我实际上很好奇，当你想到你们两家公司的 FTE 时，你发现哪些特质或背景使 FTE 如此成功？因为越来越多的公司正在探索招聘 FTE 之类的人，无论他们可能称之为什么，我认为很多人都有这个问题，比如，这些角色中最成功的人是什么样的？他们看起来怎么样？>> 我认为我可能有几个。一，我认为这只是技术好奇心。而且我可能会将其扩展到产品 FTE 或不是今天的那种，因为一切都在快速变化。而且我认为甚至不是技术好奇心，而是好奇心，因为你必须了解业务，了解客户，了解他们的客户，了解代理在所有这些方面的表现，对吧？所以我认为这真的归结为好奇心，也许还有饥渴感。从背景来看，我认为更传统的 P 或工程背景实际上非常有帮助，因为你带来了很多基本原理，对吧？比如，让我理解问题，让我从那里开始，与客户一起思考解决方案，让他们参与进来，建立所有这些信任等等。是的。>> 是的。我认为这肯定引起了共鸣，就是超级好奇，也许还有几点要补充，我认为人们必须具有商业好奇心和商业头脑，因为我认为你经常必须选择那些能带来最大回报的用例或工作流程。你不想浪费时间做一些没有超级价值的事情。我认为这需要一些直觉来判断，比如，这对客户有价值吗？这对最终客户有价值吗？这是 Harvey 和我们团队时间的最佳利用吗？因此，做出这样的决定，我认为具有商业好奇心很重要。另一件事可能是大多数人的基本要求，就是超级 AI 原生，能够在客户现场，并立即编写代码给他们看，我认为这种敏锐度，这种 AI 原生性质非常重要。而且，你知道，这可能有点争议，但我实际上不认为它必须是工程师。它可以是传统的工程师。它可以是那些做过很多解决方案角色的人，他们，你知道，以前与客户一起部署过，甚至是一些具有软件工程背景的产品经理。如果他们提交生产代码，当然，拥有软件工程师会很有帮助。但有了人工智能，有了与客户交谈，你就可以通过拥有一个拥有这种组合的人来获得非常有效的成果。实际上，在这方面，我认为还有很多流动性，在某种程度上，前线部署的产品经理或代理产品经理和代理工程师之间，这两者的界限实际上非常模糊。我认为在前线部署方面，它们一直很模糊。所以，那些有那种“把事情做完”的心态，没有什么能阻止我，我就是会弄清楚并学习，并在过程中寻求帮助等等的人。而且，你知道，人们可以朝着不同的方向倾斜，因为你可能需要建立关系。你需要帮助建立代理或引导客户走向正确的方向，你知道，理解问题，所有你提到的那些事情，对吧？所以，那些更具动态性的人，我认为也非常适合这个角色。是的。>> Sacha，你与这些 FTE 团队的互动有多少？比如，这是每周一次的事情，他们不断地向你提供客户部署方面的反馈吗？>> 老实说，一直都有。我认为现场帮助也很有帮助。老实说，一直都有，当然，我有，你知道，我有一群人，我，你知道，从公司第一天起，我就一直在获取反馈，而且我与某些客户合作得更紧密。嘿，这是一个新的想法，我不太确定。我想把这个想法反馈回去。所以，这是一种双向的。它是一个很好的试金石，就像有人可能就在我旁边的桌子一样。>> 那很酷。>> 你仍然可以与客户交谈，对吧？所以，我仍然，至少在我最后一个团队，我们有一个经验法则，每个产品经理每周应该与至少五位客户交谈。所以，我个人仍然努力坚持这一点，因为没有什么可以替代直接与客户打交道，对吧？>> 我喜欢这一点。我很好奇关于设定路线图。我的意思是，我们在这里有点像在流沙中，但是，比如，你是如何做到的？一年或两年的路线图是否不可能设定？一切都必须是三个月吗？当你们考虑在公司设定路线图时，你们会想到什么？因为你们现在都有数百人。>> 随着规模的扩大，以及在我们所处的环境中，这无疑是一个挑战。我认为要记住的一件事，我总是提醒我的团队，你必须不断地重新获得产品市场契合度，一直如此。客户的期望在改变，新的模型出现了，竞争对手推出了什么，当然，你会有所有这些客户，但它一直在不断变化。所以，你今天和明天会发生的事情，可能不是三个月后能赢得客户的事情。它将完全改变。所以，我认为路线图，是的，一年现在有点不可能，但我想我们已经，当我刚开始的时候，我是第一个产品经理，有八名工程师，我们每天都在计划。我认为我们已经达到了可以预测地提前三个月计划的程度。嗯，我们确实必须这样做，因为所有团队都参与其中。所以，是的，我们提前三个月计划，并真正专注于，你知道，大石头，而不是小鹅卵石。比如，我们要做的一件大事是什么，它将塑造团队的月份或季度，并集中精力把这件事做好，因为其他所有事情都会改变。嗯，有 KTLO 会出现，有很多混乱，优先级会改变，等等。但只要你把这件事计划对了，并专注于构建它、销售它、营销它，你知道，你就可以很有把握地做正确的事情。所以，我认为这是一件事。第二件事是了解并对模型和模型公司将走向何方有一个理论。我总是说，如果我告诉我的团队的所有产品经理，你知道，如果你在 Anthropic、OpenAI、XAI 等公司管理路线图，你会怎么做？真正站在他们的角度来看，这有很多残酷的教训，没有预料到，你知道，我举一个例子，我们花了一个月的时间构建我们自己的深度研究功能，然后 OpenAI 就发布了深度研究，而且它比我们构建的任何东西都好。它可以利用我们已有的知识，而且，你知道，这对我们的客户来说是令人震惊的。所以，你必须同时管理他们的路线图和自己的路线图。所以，你知道，现在，记忆和连接器是两件大事，你知道，你可以很有把握地认为，你知道，这些公司将创建一些架构来处理记忆，并为模型提供持续的上下文。你知道，连接器也是如此，企业搜索，每个人都在做，他们可能会暴露其中的一部分。所以，我认为这是预料到这一点，并确保你没有下注，这将是浪费工作或不太有用，并且你专注于 Harvey 或公司能够有效完成的独特事情。>> 那很酷。你认为 Sierra 也是类似的三个月节奏吗？>> 不。所以，老实说，我有很多话要说。这是一个棘手的问题。一，只是区分愿景和路线图变得如此重要，并思考，好吧，我真正想实现的目标是什么，与我将要做的事情来实现那个目标。对吧？我认为更传统的企业软件，你知道，过去的公司的等等，通常有一个黄金标准，你知道差距是什么，你想如何在市场上找到你的切入点等等。我认为对于像 Sierra 和 Harvey 这样的公司，没有黄金标准，但我们正在努力构建它，对吧？所以，拥有一个愿景非常重要，但要非常敏捷和灵活，这样你才能最终实现它，但要非常扎根于客户的现实等等。对吧？而且，你知道，随着业务规模的增长，客户数量的增长，等等，支持每个人的需求真的很难，对吧？所以，你必须找到那个共同点，什么最有影响力，又回到了之前关于与客户建立信任的讨论，对吧？比如，为什么我们不做 A，因为我们在做 B。你认为这有用吗？答案可能是，希望是肯定的，对吧？比如，如果你在同一页面上，并且在这些事情上是透明的。我认为，在战术上，当涉及到规划时，我们试图做到这一点，专注于目标是什么，公司范围内的大赌注是什么，等等，就像你提到的那样。然后，甚至不到三个月，我们试图保持非常紧凑，不到那个。所以，只是试图持续规划，在每个月或六周的周期，或者无论是什么，只是重新评估和分享，是的，我还在做这些事情，或者，不，我学到了这个新东西，这很可能是事实，所以现在我将，而不是这个，我将转移五度，这是我的理由，对吧？老实说，如果你不这样做，鉴于事态发展的速度，可能有些事情不对劲。是的。>> 天哪。这样快速的进展感觉像是在挣扎吗？也许是。>> 感觉像是在挣扎，但我想，如果你要在人工智能领域工作，如果你要在这些公司工作，你必须接受这是现实。我总是给候选人一个反例，当我说它是挣扎的。有很多事情正在发生，我们可能会突然改变方向，因为有什么东西宣布了，如果他们仍然非常兴奋，那么它就很合适。但是的，我认为这只是，你知道，无论你是创始人，无论你是产品经理，无论你是这些公司的一员，你都必须接受我们所处的现实。另一件事也引起了我的共鸣，我认为你有时可能会在孤岛中计划并弄清楚该做什么，但很多时候你通过让客户参与进来学到很多东西，再次回到现场编码。你可以展示模型，比如，我们正在考虑这个，我们现在正在做，因为我们正在进行第一季度的规划。嘿，我们正在考虑这个方向。你们客户怎么看？然后我们开始向客户公开我们的路线图。这提供了大量的反馈，关于我们是否走在正确的方向，或者我们没有。我认为让你的客户参与到这个旅程中，不仅有助于构建正确的东西，而且还能让整个组织和整个公司都参与进来，因为如果我们说我们要做 X，而客户说不，做 X 加 Y，那不是挣扎，那是客户反馈和客户学习，对吧？所以，是的，我认为让你的客户参与进来非常重要。>> 而且，我的意思是，你和我最初是在 Scale 认识的，我觉得我们在那里学到了很多教训，因为我的意思是，转型是 Scale 旅程中如此重要的一部分。所以，甚至到了现在，我合作的一些人工智能应用公司会说，嘿，我只想雇佣所有前 Scale 的人，因为我知道我知道那是一群被选中去倾听客户反馈，并且乐于在多年内进行重大转型的人。所以，在这方面，我在 Scale 学到的一个重要教训是，跟随前沿客户，谁在要求在别人之前六个月就提出的疯狂的事情。而且，你知道，在 Harvey 应用这一点，例如，我们的一位客户，他们与 Paul Weiss 合作，他们要求通过五个不同的工具和六个不同的知识库进行深度研究。而且，你知道，深度研究是为了做一些事情，比如起草一份驳回动议，你必须查找判例法。你必须查找你的先例。你必须从用户那里获取上下文。我们当时想，这似乎是不可能的。这似乎很疯狂。比如，你知道，人们真的会信任，你知道，Harvey 和人工智能来做这件事吗？事实证明他们是对的。而且，你知道，每个人都在要求这些长期任务，基本上是起草整个 300 页的文件。而且，你知道，谢天谢地，我们听取了他们的意见，并开始朝着这个方向构建。所以，是的，我认为这只是倾听那些有远见、提前思考的客户，并识别出那些人。>> 我认为我们现在也处于巨大的优势，因为你可以原型化并可以在几小时或几天内完成，而不是几周或几个月，对吧？所以，即使你有一些内部信号，来自客户，来自其他产品，无论它是什么，你都可以如此快速地获得反馈。>> 当你想到模型层时，所以，无论是你使用的模型，比如你是否进行任何微调或强化学习，你在这方面有多大程度的参与？你如何看待它，因为它最终会推动能力向前发展？>> 我不知道。我认为我在推特或其他地方看到了这一点，但我认为向产品经理、工程师和所有人传授模型感这个想法很重要，就是真正理解模型擅长什么，而不仅仅是评估指标等等，只是去感受，它们是否擅长你正在努力解决的事情？这是文档，写 PRD 或其他什么，真正建立这种模型感很重要，以了解模型正在增长什么，它们擅长什么，不擅长什么。所以我认为，作为产品构建者，你必须非常积极地参与其中，因为一旦你知道它们擅长什么，不擅长什么，你就可以围绕它构建所有的脚手架、产品和一切，以弥补弱点或优势。>> 而且，实际上我认为用户体验仍然被低估了，作为一种处理模型不同方面的方式。比如，你知道，例如，我们的任务之一是提取特定条款，而且，比如，如果模型一次就能做到，它可能会正确，也可能不正确，但如果你在执行任务之前先问用户，嘿，哪些条款，这里有两个例子，我从第一份文件中得到了，这是正确的吗？你会得到一个更好的答案。一旦你这样做了，而且你只有通过尝试才能知道这一点，你知道，以多种方式。所以，是的，我认为用户体验和产品构建正在学习模型层对于确保它有效至关重要。>> 是的，我完全同意。而且我认为，就像堆栈中的任何其他部分一样，只是非常清楚什么重要，你正在优化什么，代理的性能。所以，你需要在这种情况下为最佳任务选择最佳模型，对吧？所以，例如，我们的一个客户是 Safe Light，一家玻璃公司。所以，如果有人闯入你的车，你需要更换挡风玻璃，或者类似的事情，你会打电话给 Safe Flight，对吧？而且，如果你处于这种压力大且罕见的情况下，而代理在转录和综合方面很糟糕，因为我们没有选择最佳模型，或者没有在提供商之上进行足够的微调，而代理无法读出以解释你的车牌号码，这将是一种非常糟糕的客户体验，对吧？所以，像这些事情，即使是最高级别的，并且有这些目标，你知道，如果它是语音，这是目前最受欢迎的渠道，响应延迟很重要。那么我们如何优化它呢？我们如何优化转录质量、综合质量、这些复杂事物（如车牌号码和出生日期）的准确性？然后，通过堆栈，你可以快速地在对话中对安全和滥用相关问题进行分类。所以，速度很重要，但准确性也很重要，对吧？在这种情况下，准确性可能比速度更重要。你如何平衡所有这些事情？我认为这取决于你优化什么，并对此非常清楚，然后特别是当你与研究团队合作时，我认为可以走很长一段路。是的。>> 是的。是的，我认为延迟实际上是一个非常重要的观点，因为如果你增加用户体验，你可能会增加延迟，然后获得更高的质量，所以你只有通过实际理解模型可以多快地完成某事，或者增加更多的模型调用来增加延迟，然后展示一个更酷的用户体验，因为它正在做它的事情或提供输入，你才能真正理解这一点。所以我认为所有这些因素，延迟、质量、用户体验，都是产品人员可以用来拥有最佳产品的工具包。>> 而且其中一些实际上也是凭感觉，对吧？比如，我为什么要说我正在为你查找？我应该直接告诉你你的订单在哪里，你知道？但如果这是一件非常复杂的事情，我需要更多时间去完成，那么我可能会告诉你，嘿，我需要一分钟。我正在查找这些系统，所有这些事情，然后让你参与进来。但类似的事情，你知道，这确实是一点艺术和感觉，而且很难量化，但我们都在学习，对吧？>> 你有没有产品经理来找你说，这个模型的感觉真的很好，我认为我们应该继续前进。这种情况经常发生。这总是发生，你知道，Gemini 3，你知道，我们的一位产品经理，他与我们的 AI 团队合作，他说，这是改变游戏规则的。我们应该用它来编辑 300 页的文件。感觉很棒。我刚刚试过一次，它奏效了。而且，我认为有时人工智能人士、产品人士，你想要对所有这些事情进行科学的分析。哦，指标是什么？那是什么？而且感觉好吗？我认为这通常会再次，如果你信任说感觉好的人，并且你知道他们已经建立了那种理论，我宁愿信任那个人，而不是信任所有这些我们完成的 700 封电子邮件。是的。>> 比如，我们有，你知道，我们的一位早期员工，Julio，他以前是一名律师，现在他与所有模型合作来理解它，而且他是公司里最了解任何实验室的新模型是否擅长某个法律任务的人。如果我真的给他发消息说，感觉很好，他说，好的，然后我说，好的，发货。>> 你知道，这来自于实践、理论和信任的建立。我不是说一切都凭感觉。>> 但是，你知道，我认为有时产品经理会陷入这种模式，只是说，这个百分比更高，或者其他什么，而这只是，>> 我们在 Sierra 创造了一个新的角色。它被称为声音侍酒师。>> 真的吗？>> 实际上是声音制造者和侍酒师。所以，更有趣。比如，以 Chick-fil-A 为例，我们的一个客户有一个很大的南方客户群，让一个有轻微南方口音的代理实际上提升了他们所有的 60 等等。所以，你知道，事后看来似乎很明显，但当时没有什么能告诉我们，对吧？但你仍然可以尝试，比如，在 10% 的流量上使用不同的声音，或者使用不同的模型，或者其他什么，然后看看数据是什么样的，你知道。>> 我的意思是，这是一个很好的例子。我们在英国做过这个，模型，我们不太常使用语音，但模型会用英国拼写回应，你知道，color with the U，或者 customize eyes with an S 而不是 Z。人们立刻就注意到了。我们只是为英国改变了它，只是为了测试一下。人们立刻就使用了它。留存率上升了，参与度上升了。>> 而且没有评估会真正告诉我们这一点。而且这只是，你知道，告诉模型用户是英国人，并用英式英语回应，它就奏效了。>> 是的。这也是我认为在这个行业工作中最有趣的事情之一，每天都有很多细节需要考虑。比如，没有两个小时是相同的，你知道？现在这非常有趣。>> 那么，假设明天 Gemini 4 发布了。是“红色警报”，我们去测试一下，试用一下，然后发货吗？你们需要多快地整合这些东西？客户是否要求它，还是你们会说，嗯，我们有时间，我们有几个月，等等？>> 绝对不是后者。
[笑声] 但这就像是几天。你得转个弯。 >> 是的，我们可能会，也可能不会最终使用，比如最新的模型，因为我们有，当然，比如我们的评估框架，用于常见的分类任务，比如响应任务，诸如此类的事情。安全检查，所有这些。所以我们会根据我们的框架非常快速地进行评估，如果需要的话，我们会调整 debas，然后做出决定。我们是否想，比如，引入一些代理作为设计合作伙伴，一部分流量，看看那是什么样子。 >> 我明白了。 >> 曾出现过新模型发布的情况，我们决定，你知道，我们认真考虑过，鉴于目前的情况，我们是否应该使用它。 >> 是的。 >> 是的。我认为对我们来说也一样。我认为你知道我们处于一个幸运的境地，可以在早期阶段与所有实验室合作，你知道，当他们创建新模型并为他们提供评估并交换反馈时，所以你知道我们至少有几天的通知，你知道，比公众早，所以我们可以为此做好准备，但你知道，一旦它发布了，就像我们的客户一样，那些挑剔的少数客户最终成为最重要的买家和最重要的用户，他们真的非常想要所有最新的东西，所以我们最终不得不非常快速地测试它，评估它，即使我们不把它放在核心产品或核心流程中，我们也会把它放在我们为代理构建器提供的模型选择器中，你知道，你可以用不同的代理构建模型等等，所以默认情况下，它就在那里，一直都在那里，然后理想情况是，如果它对某个特定的工作流程或特定的产品表面区域具有颠覆性。 >> 太棒了。 >> 我想当你考虑内部的评估和机器学习基础设施时，你们自己构建了多少，购买了多少？这是我经常与公司谈论的事情。 >> 所以，我认为有评估，然后是技术基础设施。我认为评估与客户满意度、留存率以及其他一切最相关的最大因素就是律师的偏好，你知道，我们招募了世界各地的律师，我们给他们不同的模型和不同的输出，让他们进行并排排名，绝对排名，使用我的规模知识。我认为你知道，我们通常倾向于自己拥有很多这方面的东西，因为这几乎就像，你为什么要评估对你所做的事情如此关键的事情，为什么要将你的产品管理外包给某样东西，就像你不会将整个设计团队外包给另一家公司一样，所以评估，我认为你，你知道，我们强烈倾向于拥有它，然后还有所有用于进行自动评估或基础设施或数据库的软件工具，总的来说，我认为我们 >> 早些时候，我们采取了太多自己构建一切的策略，因为安全要求，因为我们的客户非常挑剔，如果我们引入什么东西。我认为随着我们变得越来越大，越来越受信任，我们可以引入更多的供应商，比如，向 Reductto 致敬，我们经常使用他们进行文档处理，令人惊叹的产品，令人惊叹的团队，我们宁愿让整个团队专注于文档摄取和文档处理问题，而不是占用我们的团队来解决这个问题，所以是的，我认为这些都是，你知道，这些都是我认为我们开始使用更多其他产品来构建基础设施的例子。 >> 是的，类似。我们在内部做了很多工作，尤其是在评估方面，测试方面，所有这些，因为这就像，它就是如此，你知道，针对用例和模式以及所有这些角度，就像我们之前聊到的语音问题一样，什么才真正构成良好的客户体验，对吧？所以我不太喜欢，那就像，而且微调也是如此，那些都不是我们外包的层，但我们肯定是在，嘿，让我们来构建代理开发生命周期，让它对我们所追求的受众等等来说超级容易。我们正处于那个阶段，所以现在更多地倾向于在内部构建。是的。听到你们有这么多相似之处，尽管 Harvey 更像是一个垂直领域，而 co-pilot 越来越多地成为 pilot，而你们的 SR 更具横向性并完全自动化，试图尽可能端到端地完成工作，这非常有趣。 >> 嗯。 >> 也许这是一个很好的过渡，进入信任，因为我猜想你会很快失去信任。当你想到如何建立信任并确保全新的客户真正、深刻地相信你们所做的事情，并且你们会为他们取得成功时，你会想到什么？是的，有几件事我们已经产品化了，我认为这也回到了基本原则，就是深刻理解客户的问题。如果是一家保险公司或一家银行，或者可能在一个高度管制的行业，他们可能有一套与在不同行业工作的人不同的担忧，对吧？所以，从那里开始，然后就实际产品而言，我认为在我们已经构建并继续努力的代理开发生命周期中，有一些步骤，对吧？所以，一个例子是，在你上线之前，即使在你上线时，我们也有一个模拟套件在运行，你作为一家企业，你知道，就像 Sonos 的例子一样，Sonos 可以进入并进行自己的模拟，根据他们业务的需求进行定制。所以，它让你能够，好吧，这些是通常与我的公司互动的人格类型。这些是他们所处的场景。但我也要检查一下，如果用户试图做一些狡猾的事情，或者我不知道，谈论一些与 Sonos 无关的敏感话题等等，对吧？所以，你会尝试在你可以想象的模拟中捕捉所有这些东西，就像这些预发布检查一样，然后你可以在你对代理进行任何更改时运行它们。你也有内置的回归测试。 >> 太棒了。然后一旦代理上线，它就像在每一个进来的消息上，以及当代理响应时，我们平均进行大约 20 次推理调用，对吧？所以我们运行在线的监督模型，对吧？所以，如果用户在说些什么，代理在响应，我们会同时理解用户说了什么，监督者会进行判断。同样，代理的响应也是如此，对吧？我们正在并行处理所有这些。所以，当推理层正在生成下一个工具调用或实际响应客户的响应时，监督者也在运行，所以响应永远不会被发送，除非监督者也给出绿灯，所以我们有这些在线检查，我认为最后一件事，实际上非常有趣的是，在每次对话结束时，我们还会进行另一次分析，对吧？对话中发生了什么？情绪是什么？所有这些事情，然后你可以事后添加安全检查等功能，除了底部的检查之外，你还有更多的时间，可以进行更彻底的分析，然后信任的一个重要部分来自于透明度，对吧？我们如何将所有这些数据交给我们的客户，使用我们之前谈到的洞察产品，这样客户就可以去过滤，嘿，代理永远不会完美，有哪些实例，你知道，我知道，它可能不是一个安全问题，但也许是一个需要改进的领域，无论如何，并从可能已经收到的数百万次对话中获得洞察。对。 >> 太棒了。 >> 是的。我认为信任有两个部分。有产品，然后是品牌。我认为在产品方面，你知道，我们学到的一个教训是，最值得信赖的代理不是总是正确的那个。它只是那个不会总是让人惊讶的。他们总是，你知道，幸福是期望和现实之间的差异。我们学到的一件事是，如果你引导用户完成一些工作输出，然后给他们验证这些工作输出的工具，他们对那个代理和那个人工智能会更加宽容。如果你听说过宜家效应，你知道，宜家效应是，你知道，当宜家刚开始的时候，他们通过让组装家具的过程变得非常令人愉快来建立了一个狂热的追随者。很酷的小图纸，非常容易组装的零件。这让人们对产出和他们创造的东西感觉更加负责，因为他们参与了创造过程。所以，这是对法律的一个误解，就是你必须永远正确。并非如此。如果你只是提供杠杆，提供透明度，展示思考过程，沿途征求意见，令人惊讶的是，有多少次人们会说，“哦，对不起，哈维，我的意思是这个，而不是那个。”我认为我们通过这一点赢得了许多信任。然后当然，我们还有像在线幻觉检测这样的东西，在我们所有的生产查询上运行，所以我们可以拥有统计数据等等，你知道，实际验证事情是否健康并且运行良好。但我认为有很多产品上的巧妙技巧，以及你可以进行的许多自动评估。然后在品牌方面，就是谈论我们正在做的很多事情。我们定期发布一个叫做 big lawbench 的东西，这是我们的评估基准，客户喜欢它，我们可以验证，给他们数据集。我认为这是被低估的一件事，因为每个人都说，哦，产品会赢。这是营销和品牌，以及你与谁合作，你展示什么，以及你向客户，尤其是企业买家展示的透明度，实际上，你知道，会走很长的路。所以，你知道，继续同时做这两件事，我认为是成功的。 >> 同样，在传统软件中，SLO 的概念是在 20 多年前发明的，对吧？从那时起，S 团队就与错误预算等事物一起工作，因为我们已经了解到 100% 的正常运行时间目标或可靠性目标并不是真正的目标，你必须以九个的数量等来衡量这些事情，对吧？我认为代理也是如此，你不想让完美成为好的敌人，所以如果事情出了问题，你知道，可能是在万分之一的对话中，或者类似的东西，它是否在范围内，对吧？你当然不希望出现与信任或品牌相关的问，但也许代理的语气有点不对，或者也许它说话比应该的慢了几毫秒，或者类似的东西。也许这些事情是可以的，只要你公开这些数据，我认为这会走很长的路，对吧？理解任何事情，尤其是非确定性软件，都很难做到完美。 >> 说得好。 >> 所以，你问了一些尖锐的问题。也许我们可以出去，但是，除了你们自己的领域之外，你对哪些人工智能应用类别感到乐观，又对哪些不太乐观？也许容易的答案是我感到兴奋的是，你知道，所有与专业法律服务相关的领域。比如会计、保险、理赔处理，你需要非常深入的领域知识和专业知识，并且要为最终客户实现最终价值，需要经过多层企业人员。而且我认为这些可能看起来不性感或不酷，但在企业中，尤其是在专业服务中，有很多平凡的工作，没有人想做，你知道，比如投资银行的 CFO 套件，会计，我认为这仍然被低估，仍然非常不发达，你只需要一个领域专家，一个人工智能专家，将他们结合起来，你就可以做一个非常令人震惊的演示，让企业买家大吃一惊，突然你就有了第一个客户。所以我认为这些与法律合规相关的领域是另一个令人兴奋的领域，大多数人认为合规并不令人兴奋。 >> [笑声] >> 我认为在乐观方面，我认为每个工作职能，每个行业，我认为都有空间来改变这些运作方式，并摆脱与之相关的某些琐碎任务，这可能以前说过，但我仍然对整个编码类别非常乐观。我认为代理已经，工具，围绕 LLM 的产品已经取得了长足的进步，它只是，它正在将稀缺资源变得更加丰富。所以我对此感到非常兴奋，并且我每天都在体验它的力量。如果你愿意，我也乐于不那么乐观。我喜欢，我不知道这是否算一个类别，但我看到了一些产品，你知道，比如为 PM 构建的，他们收集反馈，综合反馈，给你洞察等等。我不乐观，也许是因为我是一名 PM，因为我认为，回到我们之前的讨论，亲身听到事情，提出后续问题，真正内化你用户每天面临的一些问题，这非常有价值。所以我永远无法想象摆脱整个层。我不认为这是琐碎的工作。我认为这是工作的核心。 >> 是的。我认为任何自动化 VC 的产品都只是 >> 对。是的。 >> 是的。也许我对企业搜索以及与企业搜索相关的一切不太乐观，比如搜索 Slack 和 Salesforce 和 Gong 来找到这些洞察或创建一个报告，你知道，每天根据所有发生的客户电话来创建这个报告。我认为我看到无数公司都在做，就是“这是企业搜索”，而且所有的大公司都在那里投入时间，所有的连接、集成等等，那就是 Open Glean、Microsoft、Anthropic。而且它可能看起来是这样，如果你有一个有优势的客户说，“嘿，我喜欢用这个来做我的小参谋长，或者别的什么。”如果你展望一年甚至两年，所有这些都会成为任何人工智能工具搜索你的企业上下文的基本功能。我认为你必须垂直化并专注于特定的问题或用户类型，而不是仅仅说，“嘿，我们将通过连接到你的公司数据来解决所有人的所有问题。” >> 也许在这方面，你们都在一个资金充足且竞争激烈的类别中，但我认为你们各自的公司在很大程度上都是市场领导者。你认为在人工智能世界中，从产品角度来看，什么驱动着竞争优势？ >> 是的，这是一个非常 VC 的问题，但我很乐意回答。 >> [笑声] >> 嗯，我认为我认为有几件事。所以，我认为对我们来说，你知道，Harvey 特别是，我认为网络效应实际上会走很长的路。比如，你知道，我之前提到过，我们开始进入一个世界，法律事务所希望在 Harvey 中与他们的客户合作，反之亦然。财富 500 强公司告诉他们所有的律师事务所，嘿，我们正在使用 Harvey。我们希望每个人都使用 Harvey，然后我们将在 Harvey 中合作，你知道，进行真实的交易。我们上周宣布了共享空间，你知道，这个构造就是为了实现这一点，允许多方聚集在一起，与 Harvey 的代理合作，并获得一些工作产出，尤其是在专业服务和法律领域，我认为网络效应和品牌壁垒实际上会走很长的路。如果你知道你在购买一家公司，并且你押注 8000 万美元或 800 亿美元，它会成功，你想使用最有效的工具，而不是仅仅是其他长尾的人工智能公司。所以我认为网络效应实际上会走很长的路，也许这有点独特于我们的市场，而且信任会走很长的路。然后第二件事是，我认为只是企业数据，也许是最常被引用的，但确实有很多价值，再次是专业服务，你知道，这些公司的数据被锁在纽约的一个本地服务器上，纽约的一个壁橱里，而且，如果 AGI 明天出现，它也无法访问这些数据。所以，你如何获得对数据的访问权限，建立信任，让人们将你的系统投入使用，然后有效地利用它来创建组织记忆，提前预测交易，并真正利用那些锁在服务器机房里的洞察。当我提到服务器机房时，我们 50% 的客户的数据是本地的。所以，你真的必须去办公室，看看房间，你知道，做那个。所以，再次，我认为是，你找到那些数据被锁定的领域。所以，是的，我认为网络效应和数据壁垒实际上确实对我们来说意义重大。 >> 太棒了。你同意这个观点吗？ >> 我认为是的。我认为，对于 Sierra 而言，我认为这只是回到了构建真正良好的客户体验，贯穿始终，对吧？所以，我不会说这是一个明确的答案，但最终，如果我们的客户满意、留存并随着品牌的增长而增加使用量，我们的公司就会成功。而这也会让我们成功，对吧？所以，只是与我们合作的这些企业最重要的问题保持高度一致，然后说实话，公司越大，问题就越多。如果你有数千万，数亿甚至数百万用户或订阅者，你无法与每个人建立关系。所以，我们如何将这种客户体验的心态真正地带到我们的代理和我们与这些客户的关系中？所以，像记忆这样的东西，我们如何从将整个体验的原子单位视为一次对话转变为一种关系？就像你昨天打电话来询问其他事情，你今天又打电话来，我如何从我们上次中断的地方继续，与你建立关系，主动联系你，当有你可能感兴趣或关心的事情时？所以，基本上是认真思考这个，每个人都有自己的礼宾模型，你如何在产品中将其发挥到极致？然后，你知道，还有这些事情，比如你如何对待你的客户等等，就像通过产品，通过你的关系，以及所有这些来体现真正好的 CX。我认为这最终是最重要的事情。如果我们能够，我认为我们所做的是毫不动摇的。它在我们公司的价值观中。我们毫不动摇地专注于此，我认为这很有效。是的。 >> 是的。我认为只是补充一点，我认为仍然被低估的是最终用户体验的价值。当然，你可以争辩说它不是长期的结构性壁垒，但如果你每天都在取悦用户，并且默认选择是去 Harvey 或你的产品来完成他们的任务，那么无论企业买家说什么，他们都不会把它去掉，因为如果那个公司 99% 的用户都喜欢你的产品，对吧？所以，你知道，它不是一个结构性的东西，但我认为真正关注最终用户体验确实很重要。 >> 也有趣的是，我认为你们两家公司的产品都是各自市场的先行者。你们知道，在开放证据和医疗保健等领域，有很多例子，先行者在一段时间内似乎是赢家。好了，各位。非常感谢。太棒了。谢谢。