Transcription
而且我认为，如果你试图将人工智能塞进这些非常小的、狭小的框子里，然后你再加一层代码，你就有点忽略了当今人工智能的真正潜力。我认为，如果你构建了让这些人工智能代理能够处理任何标准操作程序并端到端地运行该流程的能力，那么这正是我们正在以极快的速度朝着的方向。
在本期《训练数据》节目中，我们与 Pace 的创始人兼首席执行官 Jamie Cuff 进行了对话，探讨人工智能代理如何悄然革新保险业，以及这对高复杂性、高监管环境下的未来工作意味着什么。Jamie 分享了真正的突破之处不仅在于自动化任务，还在于构建人工智能以处理以前认为需要人工触感和人工判断的细致的端到端流程。我们深入探讨了如何与世界上一些最大、最古老的公司建立信任，为什么前置部署工程师正成为人工智能公司的秘密武器，以及人工智能取代 BPO 如何从根本上重塑整个经济部门。
请欣赏节目。
>> Jamie，感谢您的到来。
>> 谢谢您的邀请。很高兴来到这里。嗯，我们很想深入了解您正在构建的东西。我很好奇，您去年创办了一家公司。您在构建什么？为什么？
>> 是的，PACE 是保险业的代理流程外包商。嗯，这意味着，您知道，在过去的几十年里，我们看到了从 onshore 到 BPO 工作的大转变，而我们的理论是，在接下来的十年里，我们将看到从外包到人工智能外包的大转变。因此，我们专门专注于保险公司，帮助他们自动化许多关键的后台运营，而这些运营传统上是外包给 BPO 的。
>> 我可以问问您是如何走到这一步的吗？普林斯顿大学的顶尖学生，红杉资本的投资者，Retool 的冉冉升起的新星，保险 BPO。这似乎并不是旅程中显而易见的下一步。您能解释一下您是如何走到这一步的吗？
>> 您知道，这是一条精心规划的道路。有趣的是，我实际上是从那里开始的。我一生都在保险业中长大。我出生在伦敦，在纽约、伦敦和百慕大之间长大，这些地方都是保险业的中心。贯穿其中的是，我父亲实际上在一家再保险公司和一家伦敦的劳埃德保险经纪公司担任过运营主管。所以，我一直都知道这个问题。嗯，但您知道，大学毕业后创办公司，直到我进入 Retool，我并没有立即朝着这个方向发展，直到我进入 Retool，实际上，我们的大量客户都来自金融服务业。嗯，您知道，从外面看，我认为很多人想到 Retool 都会想到初创公司，但您知道，Retool 实际上正在攻克这个围绕定制软件的巨大市场，而定制内部工具最多的地方就是那些运营最密集的企业，而金融服务公司就是其中很多，因为它们没有太多现成的优秀软件。
因此，我们看到的是，许多非常大型的、遗留的保险公司都在使用 Retool，一直到最前沿的技术公司，您知道，像 Ethoses 和 vouchers 这样的公司，一直到 Progressive 和 Birchcliff Halfway 这样的公司。在那时，您知道，作为一名前置部署工程师，您能够近距离观察到这些公司正在处理的许多问题。嗯，非常酷的是，很多人会构建 Retool 应用程序，这些应用程序实际上有助于简化他们的一些 BPO 运营。因此，我得以看到我父亲在他的业务中也面临的许多问题，例如保单管理、索赔提交接收，嗯，许多对保险运营至关重要的核心工作流程。嗯，当时，您知道，我认为通过软件，您可以对 BPO 支出产生一点影响，您可以使其变得更好 10%。嗯，我认为这就是 OCR 和 RPA 以及一些先前技术所承诺的。
但 ChatGPT 事件之后发生了什么？嗯，当我幸运地在 Retool AI 和 Retool 的一些新产品上工作时，您看到了一个机会，可以彻底改变这个行业的经济效益。嗯，因此，与其用软件增强外包服务，不如实际去彻底取代垂直服务。嗯，因此，保险是一个特别好的起点，因为这个行业的通用语言是电子邮件和 PDF。
>> 嗯，主要原因是存在许多中间商，而且它们之间没有一个通用的工作系统。因此，您知道，由于缺乏 API，替代方案就是电子邮件、PDF、电话。嗯，因此，现在，您知道，人工智能代理确实有能力弥合这一差距。嗯，因此，催生了大量 BPO 工作的原因，也就是这种手动数据输入处理这些文件和电子邮件的工作，现在也正是它完美地定位了人工智能代理，因此，我们将其视为在更长期的跨多个行业的代理流程外包商的机遇中一个非常好的起点。
那么 Jamie，您如何建立一个比上一代 BPO 更好的企业，即使您正在接管相同的工作流程和今天的大部分相同支出？
>> 是的，人们经常问我，是什么让我夜不能寐，而这正是我一直在思考的主要问题，也是我一直在思考的主要问题，那就是，我们现在非常幸运地与许多令人难以置信的客户合作，并且有机会构建一家非常大的公司，仅仅作为一家 BPO，您知道，有数十亿美元的上市公司，它们的毛利率为 10-15%，有成千上万的人在做这项工作，显然，这些都是伟大的企业，嗯，拥有卓越的团队。但对我们来说，我们认为有更大的成果。因此，当我与我的团队谈论我们正在追求的目标时，那就是失败的情况。所以，我们构建了这种数十亿美元的 BPO，但没有改变这个行业的经济效益。
>> 我们的目标是将一个毛利率为 10% 的企业转变为一个毛利率为 80% 的企业，而不是拥有数十万人的团队，而是拥有数十万个人工智能代理和一个小型的保险专家团队。嗯，因此，我认为这是一个大得多的公司。嗯，然后我认为最后一步是，我们如何不仅在一个垂直领域这样做，而且在多个垂直领域这样做。因此，我认为我考虑这两件事。我认为人们说，好吧，您知道，将毛利率推迟到以后，或者它不那么重要，或者我认为人们对此有很多看法。我认为这很重要，而且我认为它不一定从第一天起就重要，但您需要有一条通往它的道路。而且，您知道，人们经常谈论飞轮，而我们想要创造的飞轮是，每一次我们改进产品，毛利率就会上升。
嗯，因此，我认为我们正在努力的重点是，您知道，即使我们今天的毛利率较低，随着我们承担更困难、更复杂的任务，我们如何才能随着时间的推移不断看到这个数字的上升？
>> 当您构建代理并开始接入这些电子邮件和文档处理工作流程时，我很好奇您在实践中看到哪些有效。我们在这里与 OpenAI 的人谈过。他们正在进行微调。他们拥有所有数据。他们拥有这个惊人的基础设施。我们看到一些公司的后端流程要轻得多。在实践中，什么对您有效？
>> 是的。因此，我们关注的许多工作流程都是这些关键任务流程，这些流程已经被外包了，所以他们希望您端到端地完成这项工作。因此，我认为，您知道，在人工智能出现之前的上一代，当您处理这些问题时，是的，从非结构化文档中提取数据很棒，但它只是问题的一部分。它是提取它，您知道，它可能是在此基础上进行推理，应用人工判断，然后它还能够写回这些内部系统，并真正解决以前只能由人类完成的问题。
一种思考方式是，嘿，让我们构建一个类似工作流程 DAG 构建器，并在不同的地方注入人工智能节点，您会说，好吧，现在我们可以进行文档提取，或者我们可以进行电子邮件的来回发送，或者类似的事情。BPO 工作之所以存在，部分原因是很难确定性地对其进行编码。原因在于存在这种人工判断的组成部分和出现的许多边缘情况。而且，我认为，如果你试图将人工智能塞进这些非常小的、狭小的框子里，然后你再加一层代码，你就有点忽略了当今人工智能的真正潜力。嗯，我认为这实际上是，如果这个产品立场实际上是相对短视的。嗯，我认为，如果你构建了让这些人工智能代理能够处理任何标准操作程序并端到端地运行该流程的能力，那么这正是我们正在以极快的速度朝着的方向。
>> 那么，您现在有人在循环中吗，还是没有？
>> 所以，对于我们的大部分工作流程，没有人参与其中。嗯，它是人工智能端到端处理。我们确实有自己的运营团队，我们正在为最复杂的工作流程构建它，而且，您知道，我们看待“人在循环中”的角色是，我们有我们的运营团队来做这件事。我们可以升级给我们的客户，但主要是在入职过程中使用。嗯，因此，当我们让客户启动并运行时，我们基本上希望能够标记大量的示例，并确保代理正在这样做，您知道，开箱即用，准确率可能为 90%，然后我们如何将其提高到客户在关键工作流程中要求的 99.5% 以上。嗯，因此，这就是我们看到这种人工标记组件以及帮助我们实现这一目标的自我改进循环的地方。然后，随着时间的推移，我们只是减少了其中人工的参与，并将运营团队转移到处理下一个最困难的任务上。
>> 那么，当您与保险公司合作时，他们有 X 个工作流程目前正在外包，或者可以外包给某种传统的保险 BPO，我猜您今天无法完成所有这些工作。
>> 是的，如果能做到，那真是太棒了。
>> 您今天能做什么？您是如何参与的，以便您能够挑选出今天真正适用于人工智能的工作流程，然后您如何随着时间的推移来承担更多的工作流程？
>> 因此，我们倾向于专注于那些已经很好地外包的用例。所以他们必须已经大规模地使用 BPO。原因在于，它已经被编码为标准操作程序。已经有一种方法可以检查准确性，因为您知道这通常由内部人员审查，或者至少是抽样进行质量保证。最后一部分是，当您考虑变更管理时，关闭一个 BPO 服务比重新培训或调动 W2 劳动力要容易得多。因此，我们从大型保险公司的运营团队 BPO 开始。我们倾向于专注于最高吞吐量的用例，在那里我们认为投资回报率最高。因此，您只需查看 BPO 的明细项目，他们花费最多的地方在哪里，以及他们可以从人工智能中获得多少投资回报率。
>> 通常这意味着我们从漏斗的顶部开始。所以是提交接收，他们接收新的风险并提取数据。
>> 然后运行他们的业务逻辑，并将其写回他们自己的新业务承保平台。同样的事情也可能发生在索赔方面。所以是损失的首次通知或索赔接收，将信息输入他们的内部系统。然后，一旦您这样做了，您就知道客户会要求您在保单服务生命周期中向下工作，进行批注处理和其他保单管理任务，一直到账单，以及在索赔方面也是如此，从索赔接收一直到支付和质量保证。因此，这通常是我们采取的路径。
“之前”和“之后”的情况通常是怎样的？您知道，人工 BPO，然后是 Pace 人工智能 BPO，就像，当他们从之前和之后过渡时，哪些指标会发生变化？
>> 是的。所以，在 BPO 领域很有趣。我认为您开始的地方是，好吧，有一项新技术现在可以帮助我节省大量成本，而且，您知道，与 BPO 相比，我认为客户满意度相当低，而且这是客户的一项巨大支出，您知道，对我们许多客户来说，支出高达八位数以上。而且，因为它通常始于成本，而成本很大，而且，您知道，对我们的一些客户来说，我们能够在很短的时间内实现 50% 到 75% 的成本节约。
嗯，但通常之后发生的是，他们意识到还有许多其他事情对他们来说实际上更重要。嗯，通常是以前 BPO 无法做到的事情，而现在随着人工智能以超人的速度工作，您现在拥有了这种能力。因此，一个例子是，您知道，如果您考虑提交接收流程，通常，接收该提交的承保人并不是唯一接收该提交的承保人。因此，如果您能更快地回复，您实际上可以更快地完成业务。
>> 同样，我们考虑可扩展性。所以，就像，您知道，BPO 工作不仅仅是，您知道，在一年中完美地线性进行。它是高度季节性的。所以你可以想到像第一代注册期，或者您知道，像我们现在正在经历的飓风季节。嗯，因此，您知道，如果飓风索赔出现大量激增，您就必须启动大量的其他 BPO 工作人员来完成这项工作。而现在，您可以让人工智能为您 24/7 工作，在积压工作变成积压工作之前就将其处理掉。嗯，所以这些是其中的几个。然后，我想说最后一件事是可观察性，也就是过去很多 BPO 工作都是一个黑箱。很难看到，您知道，什么被完成了，什么阶段，您知道，每个任务处于什么状态，瓶颈可能在哪里。而其中一些只是，您知道，老式的软件工作流程，也就是，您知道，现在您能够通过代理完成这项工作，并且能够确切地看到任务所花费的时间、推理和原因，您现在可以将所有这些信息反馈给客户，以便他们可以重新设计他们的工作流程，而不仅仅是做他们以前用 BPO 做的同样的事情。
我很好奇，当您与这些大型公司合作，处理这些关键任务，如处理索赔或支付等核心业务工作流程时，要帮助他们取得成功需要什么？就像我们这边看到麻省理工学院的研究表明 95% 的人工智能试点项目失败，然后我们也看到我们的投资组合公司没有失败。您看到了什么？您如何确保您看到很多公司没有失败？
>> 是的，正是如此。
>> 是的。您知道，我认为 95% 的数字，我认为，您知道，引起了头条新闻，每个人都说，“哦，我的天哪，发生了什么？”嗯，您知道，我认为事实是，在生产环境中让人工智能正常工作确实不是，您知道，一个已完成的交易，当您走进去的时候。嗯，而且肯定有一些，您知道，我们在这个行业看到的挑战，比如，您知道，其他供应商或自己构建，他们没有成功。因此，对我们来说，我们真正关注的是我们公司的核心价值观之一是“缩小差距”。
嗯，我们很幸运，我们所有的试点项目都 100% 成功，并且已经投入生产。嗯，我对此非常自豪。
>> 是的。您是如何做到的？这不寻常。
>> 是的，我认为主要的事情是我们真正相信前置部署工程。嗯，所以，您知道，我认为这可能有点激进，我很想听听您的想法，但这是我的想法。您知道，我认为我们只是在采取，您知道，您前几天谈到的技术输出与客户驱动之间的关系，而我们非常倾向于客户驱动的观点。您知道，当我们进去的时候，我们和客户在一起，我们飞过去，我们深刻理解保险行业，我们只专注于这些工作流程。我们有，您知道，我们团队有大量的保险经验。因此，当我们进入这些客户那里时，他们会和我们交谈，他们会说，“好吧，他们在说我们的语言。他们了解我们在做什么。”嗯，但接下来是，我们必须做艰苦的工作。而且，通常是前期做艰苦的工作，而不是在您的七位数合同已经生效后。这是，您知道，与客户合作，作为合作伙伴来证明这可以奏效。而且，在人工智能领域，这一点更为重要，因为人们，您知道，早期有很多令人兴奋的演示，但可能没有成功。因此，您知道，我们与客户的重点是真正帮助他们尽快实现价值并投入生产。
因此，这意味着我们的前置部署工程团队，这是我非常幸运在 Retool 建立的团队，我认为当时前置部署工程，在我离开之后，Retool 可能拥有规模最大的前置部署工程团队之一，而真正起作用的配置文件是前创始人。所以，就像想要商业化的工程师，或者有技术能力的商业人士，而关键在于尽一切努力让客户成功。因此，这是理解用例。当他们需要人工智能模型帮助时，我们会帮助他们进行提示调整并使其成功。这是深入研究运营数据并找出如何为他们创建真正干净的评估集。这是帮助他们集成到他们的内部系统。而所有这些艰苦的工作实际上使这些试点项目成功。
>> 嗯，我很好奇，因为我们在其他一些领域专注的人工智能应用公司也看到了这一点。您是雇佣人工智能人才并教他们保险，还是雇佣保险人才并教他们人工智能？您是只雇佣运动员，然后让他们边做边学？您如何看待技术技能和领域知识的交叉点？您在寻找什么？
>> 是的，我认为关键是您必须在团队中同时招聘，而且，您知道，让他们与客户紧密地坐在一起，这样您就可以获得这种星座方法，每个人都可以互相学习。嗯，您知道，对我们来说，这意味着直接从保险行业招聘人员，他们在顶级保险公司大规模地从事这些关键任务运营。嗯，然后让他们与，您知道，一位前 YC 创始人紧密合作，他曾在一个人工智能公司工作，该人工智能公司处于构建人工智能代理的最前沿，然后他们一起合作，为客户完成这项工作。嗯，因此，我认为我们的经验是，已经精通人工智能代理的人不多，而且，您知道，在保险界，我们很幸运地找到了一些非常有远见的人，他们热衷于帮助 usher 这种变革。我认为部分原因是，您知道，人们认同这个理论，很多人曾在 BPO 世界工作过，他们看到了，好吧，这就是世界的发展方向。而且，我对我能够从这两种背景中获得的人以及他们快速掌握这些技能的能力印象非常深刻，以至于能够获得您所需的全部技能。
>> 回到前置部署工程师的话题。
>> 这是暂时的现象，因为人工智能领域的能力还不足以提供完整可靠的解决方案给客户，还是您认为 10 年后您在每个账户上仍然有前置部署工程师？
>> 是的，我认为我需要回答这个问题。我将把问题抛给你，听听你的想法。嗯，所以，实际上我认为您和我对最终状态都持相同意见。嗯，短期内，我认为实际上很难出错，让越来越多的前置部署工程师与我们的客户合作。主要原因是我们在客户内部有一个飞轮，帮助他们成功使用产品，然后转向越来越大的用例。嗯，在那里我们可以真正扩展到他们围绕 BPO 支出的非常大的预算范围。
然后同样，我们在内部有一个飞轮，那就是，您知道，我们的前置部署工程师可以在我们的产品内部工作并与我们的客户合作，但他们也可以将代码提交到代码库，他们也这样做，所以这是我们在现场和整个工作中测试和面试的事情。嗯，所以非常重要的是，您有一个非常非常紧密的反馈循环，与客户合作，您看到一个问题，然后您立即回去解决它。这不是我创建一个工单，然后把它交给别人，也许他们完成了，然后我把它还给客户。您只是很快就完成了。
因此，随着时间的推移会发生什么，或者我们已经看到的，部署时间正在缩短。前置部署工程师的工作量变得越来越高杠杆，因为我们正在将其推回软件工作流程。因此，在短期内，我非常支持继续与我们的客户合作，并尽早与前置部署工程合作，但我同意您的观点，我认为长期来看，软件编码工作流程是理想的，对吧？您知道，我们使我们的客户能够在我们的产品内部进行构建，您知道，而且这不仅仅是前置部署工程师。您知道，我们可能让第一个或第二个上线，我们有客户，现在他们有九个、十个上线，因为，您知道，他们有一个业务分析师，他一直在构建额外的流程。
>> 是的。
>> >> 因此，这正是我们构建产品的方式。
>> 而且我认为关键是，当您考虑一个团队时，您必须确保团队的层次结构和您在团队上的投资与之匹配。因此，如果您的前置部署工程团队是这样的，而您的工程团队是这样的，您就会遇到一个问题，即您实际上并没有真正投资于产品。对我们来说，现在，您知道，基本上我们团队的 80% 是工程部门，然后我们在最上面有前置部署工程，我们有一个市场营销团队。而且，我认为只要我们保持这种平衡，我们就能真正让这个飞轮转动起来。
嗯，但是的，我认为时间表可能是一个大问题，我想听听您的想法，那就是，对我来说，我认为我们可以长时间这样做是可以的，它只是让我们的客户成功。而且，也许我们可以再检查一下，您知道，10 年后，当我们上市时。我实际上认为这是一个很好的故事，可以在公开市场上讲述，看到您有一个庞大的前置部署工程团队，并且您一直在不断地找出如何让他们发挥更高的杠杆作用，以便他们能够做更多的事情。所以，是的，我认为我们在这方面非常一致。您知道，我们对这个市场的观察可能是有点夸大。如果您认为自下而上的分销与自上而下的分销是两个极端，那么您就想被固定在其中一个极端。您不想卡在中间。您知道，自下而上的 ChatGPT 是一个自下而上的分销产品。Open Evidence 是一个自下而上的分销产品。就像这些都不是全面的解决方案，但它们是绝妙的工具，人们看到它们，喜欢它们，并找出如何使用它们。
而且，我认为在光谱的自上而下的一端，您知道，Harvey 是一个损失解决方案。Sierra 是一个客户沟通解决方案。你们是保险解决方案，对吧？而且，我认为如果您要走解决方案路线，我们正处于这个市场的某个时刻，您卖给客户的东西除了其他任何东西之外，就是信任。就像他们可以看到人工智能的魔力。他们想相信它的潜力，但他们也可以看到问题，他们可以看到它可能出错的地方。而且，我认为你们或 Harvey 或 Sierra 在某种程度上扮演的角色就是说，“嘿，相信我们。我们会确保您一切顺利，对吧？就像我们会确保这个新的人工智能世界对您有利，您知道，它会让您的业务变得更好，我们会尽一切努力来实现这一点。”
>> 因此，我认为，您知道，在这种情况下，前置部署工程师不仅能真正帮助客户建立信心，正如您所说，它还能为组织带来反馈循环，这样您就不会猜测您能解决什么问题，您实际上就在那里，当事情真正发生时，并且不断地深入到他们的工作流程中。
>> 是的，我认为这完全正确。信任这一点非常重要，尤其是在我们的行业中。我的意思是，保险本身就是一种信任的业务。
>> 是的。我们还有另一个价值观是“做坚实的后盾”，这基本上意味着我们的客户在那里。
>> 做坚实的后盾，还是做坚实的后盾？
>> 做坚实的后盾。好的。
>> 明白了。嗯，做坚实的后盾。而且，基本上，我们的客户是为了他们的客户而存在的。他们在最艰难的日子里为他们提供保险，而我们每天都在为我们的客户服务。嗯，这就是我们想要做的。
>> 喜欢。
>> 而且，您知道，这个行业就像这个行业是建立在信任之上的。我认为我们很多时候都在与最值得信赖的品牌合作，最顶级的保险公司或市场的顶端，建立这种信任和信誉的品牌，而结果不言而喻，然后，您知道，着眼于通过市场进行扩张。我认为这与 Sierra 和 Harvey 以及其他一些公司做得非常非常好，那就是，您去与该行业中最好的客户合作，在那里您可以获得，他们拥有最高的交易量，他们拥有最高的投资回报率，他们是最有可能从中获益的，让他们取得巨大成功，然后当您走向下一批客户时，产品本身就会说话。
>> 我们已经从您那里得到了两个价值观。我们得到了“缩小差距”和“做坚实的后盾”。还有什么？还有其他公司价值观吗？所以我们两个都很好。您还有什么？我们只有一个了。好的。嗯，
>> 保持简短。最后一个是我最喜欢的，那就是“设定节奏”。
>> 嗯，所以，您知道，您们俩都非常了解我，而且，我认为，我有一种非常高的紧迫感和玩乐感，有时甚至可能有点不耐烦，也许只是，您知道，我只是觉得，我们觉得我们现在的位置非常非常幸运。我的意思是，这是一个建立企业的绝佳时机。嗯，我相信您们从您的角度也看到了这一点，从投资企业的角度也是如此。而且，我们非常幸运能够与我们合作的公司合作，并且能够规划这条道路，而且，您知道，我认为这是我们的责任去实现这个未来，所以我认为“设定节奏”真正概括了这一点。嗯，公司命名为 Pace，其目标是速度，而这正是我们的客户看到的大部分价值，但这也是我们内部想要的，然后我认为这是故意的，就像朝着我们更大的使命迈出的一步。嗯，我们正在以最快的速度前进，以实现这一目标。
>> 很好。
>> 告诉我们关于那个更大的使命。我很好奇，一旦您深入保险业，您会去哪里？有很多扩展的空间，但您的雄心远不止于此。
>> 是的。也许这实际上始于我在这里实习的时候。嗯，我那个夏天学到的一件事是，Andrew Reed 最喜欢的公司是 Constellation Software。我不知道这是否仍然是这样。
>> 我很确定，从技术上讲，我们必须说他最喜欢的公司是 Figma。
>> Figma。是的，好的。
>> 或者 Robin Hood，或者 CLA，或者，您知道。
>> 我们可以重新运行这个，说他最喜欢的非 Sequoia 投资组合公司，在公开市场上，不是投资建议，是 Constellation。好了。嗯，对于那些不知道 Constellation 的人，我认为这家公司真正令人兴奋的是，嗯，直到上周，它一直由一位令人难以置信的创始人 Mark Leonard 经营，他花了 30 年时间建立了这家公司，他的观点是，让我们建立一个可以跨越许多不同垂直领域的企业。他们在软件领域所做的基本上是聚合了所有这些利基垂直行业，这些行业本身不足以成为传奇的长期企业，但在他们拥有的联合模型中，这是一个令人难以置信的企业，在过去的几十年里，它在公开市场上得到了巨大的复合增长，我认为它是加拿大最大的公司之一，您知道，大约 700 亿到 800 亿美元。
而且，现在有一个非常有趣的机会，可以做与软件领域相同的事情，但针对服务市场。嗯，您知道，正如我们所讨论的，服务市场比我们想象的要大得多，因此，如果您看看 BPO 支出，仅在银行、金融服务和保险领域（这是我们立即看到的市场），BPO 支出约为 4000 亿美元，略低于 4000 亿美元。与全球云软件相当。每年。
>> 是的。其中 700 亿在保险业，基本上与所有云软件一样，BFSI BPO 支出也是如此。因此，您知道，如果我们能够成为一个平台，您可以在其中聚合 BFSI 及其他领域的各种利基垂直服务，那么那里就有巨大的机会。而且，我认为最有趣的机会是，它不仅仅是聚合它们，它还在于改变行业的经济效益。
是的。是的。这是我认为 PACE 或其他领域特定应用层人工智能公司有趣的一点，很多人进入的市场都非常大。
>> 您知道，比您想象的要大得多，因为它们不是家喻户晓的名字。它们不是 B2B SaaS 产品，对吧？
>> 嗯，另一件我认为有趣的事情，您之前也提到过，但我想再次强调。嗯，这个想法是去追求 BPO 支出，对吧？您与客户有一个清晰的界面，因为客户与 BPO 之间已经存在一个界面。您有明确定义的目标，因为他们必须定义这些目标才能与 BPO 互动。您有内置的评估，因为当工作回来时，他们会以某种方式检查它，以确保它是正确的。而且，很多时候，他们会进行冠军挑战者模型，与不同的 BPO 进行比较。是的。
因此，我认为您选择的这个界面，不仅仅是服务支出很大。而且，您选择的市场路线，通过 BPO 界面，也是一种非常清晰的实现方式。而且，我认为这 strikes me as 您正在构建的一个重要方面。
>> 是的，我认为这完全正确。我的意思是，我认为我们的许多客户都非常清楚，人工智能有机会彻底改变他们的业务，尤其是在存在大量高重复性任务需要人工判断的领域。您看看您的 BPO，这正是它所在的地方，而且，事实上，已经有标准操作程序，我们可以将其建模到我们的产品中，然后，您知道，进行准确性检查的内置评估能力，以及之后更快的变更管理，这样客户就可以真正获得硬成本节约，硬 ROI 节约，这非常好。而且，当我们在市场上与客户打交道时，这也很有帮助，因为有一个基准。
而且，坦率地说，有时这个基准并不像我们认为它应该有的那么高。嗯，您知道，BPO 的平均准确率是，您犯了 5% 到 10% 的错误率。而且，这，您知道，这就是我认为大多数人认为它的地方。但对我们的一些客户来说，我们发现它实际上要高得多。主要原因是，如果您正在做，您知道，当人们谈论人工智能的准确性时，他们通常会说，“好吧，人工智能能像人类一样准确吗？”我们认为在很多我们正在处理的用例中，它可能更准确。
>> 是的。
>> >> 原因如下：比如，如果您正在进行索赔质量保证或保单质量保证，您有一份 300 页的文件，您知道，就像这个大小的索赔文件，您有数百条规则。
>> 是的。而且，您知道，如果您在周五下午 3 点查看这个东西，并试图弄清楚，好吧，我如何将这 100 条规则应用于这个保单文件，您知道，这对任何人来说都是一项非常艰巨的任务。而且，您很可能会错过一些，您知道，在这份 100 页的规则列表的第 298 页上。而这是人工智能非常非常擅长的事情，并且可以每次都以相同的质量做到这一点。因此，您可以拥有的这种一致性，您可以真正扩展您最好的 BPO 代表。我认为这就是承诺。
>> 是的。我认为任何在旧金山乘坐过 Whimo 的人，都会欣赏一个始终注意力完美、见过所有边缘情况数百万次的司机的优势，您知道，就像我认为我们有证据证明，经过适当训练的人工智能可以比大多数人更好地完成许多工作。而且，我认为将这一点应用于所有其他垂直领域是合理的。
请告诉我们一些关于您在客户现场的实际情况。就像您从他们那里听到的一些事情是什么？您如何实施？然后您跟踪哪些指标来确保您最终成功？就像我们已经进行了高层次的讨论。我很好奇，想得到一些具体的例子。
>> 是的，绝对。嗯，我们的大部分合作都始于，您知道，我们通常从首席运营官办公室开始。所以，真正理解，您知道，人工智能的机会在哪里，并就某种，我犹豫是否要说概念验证，因为我实际上认为，AI 中的 POC 并不是真正正确的事情。它基本上就是尽快让他们成功。
因此，我们关注的是，这不是在虚拟或演示数据上。这是关于我们如何实际进入并让他们成功。所以我们选择一些东西来处理，然后，您知道，最关键的是，您事先定义成功标准，也就是，我们想达到什么目标，有时，您知道，我们鼓励客户给我们他们最困难的成功标准，就像，我们想向他们展示，您知道，我们对我们的产品有信心，并且我们愿意接受挑战。
>> 嗯，因此，事先定义成功标准非常非常重要。嗯，然后，这真的取决于建立一种伟大的合作伙伴关系，而我们在这方面与许多客户合作得非常愉快，您知道，我们可以直接飞到现场。我们与他们合作。我们采用他们现有的标准操作程序，这些通常是，您知道，50 到 100 页长的文件，它们有 60 个不同的步骤，而且，您知道，这个文档中会有一个高亮显示，您必须从中提取这个东西，然后您必须将其输入到这个管理面板中，并且会有一个小的红色框围绕着它。就像，太疯狂了。就像，是否存在影子 SOP？所以，就像，如果您严格按照给定的标准操作程序执行，这是否真的能让他们得到他们想要的东西，还是有一些未在文档中编码的影子规则，您会随着时间的推移而发现？就像，人们实际上做的事情与程序说的不太一样。
>> 是的。因此，我认为我们很幸运，因为我们主要处理 BPO 工作流程，它们必须相当好地编码，因为，您知道，您必须将它们交给人们，但总会有一点差距。而这就是当你缩小与客户的距离时，你很快就会发现这一点。
回到这一点，基本上，我们采用这些标准操作程序，并将它们转化为我们称之为代理操作程序。因此，在我们的产品中，这意味着，它几乎就像一个 Notion 文档，您可以在其中用自然语言写出您需要做的所有步骤，然后使用各种不同的工具，这些工具能够让这些代理完成他们在保险行业需要做的所有事情。
因此，一个很好的例子是，您知道，我们有很多用于长上下文检索和从真正具有挑战性的文档集中提取信息的工具。嗯，我们有一个用于在大量规则上进行人工推理的工具。我们有一个用于写回许多关键的垂直系统记录的工具。然后，同样，许多，您知道，我们的客户处理没有 API 的系统。嗯，要么它们还没有构建出来，要么，您知道，它们可能甚至不拥有最终系统，因为它，您知道，一些中间商。想想像经纪人与承保人门户合作。在那里，您知道，我们实际上只是使用网络代理来写回这个。因此，我认为很多 FD 工作驱动的关键部分是与我们的客户一起构建这些工具，使他们能够让这些代理上线。而关键在于尽一切努力让他们上线。而且，您知道，如果存在 API，我们将使用 API。如果不存在，我们将使用网络代理。我们将让他们成功。
嗯，然后最后一件事是，从那里开始进入生产环境。因此，您知道，我们很幸运与许多客户合作。我们一直在，您知道，我们再次在他们最关键的用例的背景下工作。在很多情况下，我们是他们有史以来最快完成 POC 的公司，也是他们有史以来最快投入生产的公司。
>> 看到这一点真是太棒了。
>> >> 这只是去现场花时间和他们在一起。
>> 当您构建这些代理工作流程时，技术在过去一年中取得了长足的进步，但我很好奇，您愿望清单上有什么事情，您希望它们更容易，或者您希望接下来出现什么？
>> 是的。嗯，您知道，我们肯定从推理模型的扩展曲线中受益匪浅。嗯，特别是对于我们处理的非常复杂的文档，而这，您知道，不是一个 100% 解决的问题，但对我们来说，很多文档提取的东西我们能够获得，您知道，比人类的可靠性要好得多。我认为对我们来说，下一个前沿是网络代理。嗯，所以，是的，对于任何来自大实验室的人，我们希望最好的网络代理，请把它们送到我们这里。
>> 我们非常幸运，您知道，成为一家公司，我认为它正在运行许多这些工作流程，并且在保险领域有许多非常好的用例。这就像典型的任务是，您基本上是在保险管理面板上执行 CRUD 操作。老实说，它们看起来与预订餐厅或预订航班或我们看到的许多网络代理演示非常不同，因此，我们的许多工作就是让这些成功，所以网络代理将是
真的太棒了，我认为最后一个是关于思考更长远的事情，所以关于在我们所做的事情中，RL和强化微调的机会，因为我们产品的结构方式，以及因为我们是，你知道的，长期的AI及其能力，更长远来看，你知道的，我们的产品设置的方式，它不是那种工作流程图构建器，你知道的，AI代理只对它所在的那个单独的块有上下文，而你永远不会，你知道的，我在这里画的比喻就像如果你有你团队里最优秀的人，你不会把他们放进这个盒子里，然后说好的，你需要对这些文件进行分类，而没有任何关于工作流程之前或之后发生了什么的意识。所以我们真正构建到产品中的是AI能够端到端地做出决策并遵循这些代理操作程序。所以从长远来看，这意味着它确实为我们很好地利用RL带来了很多好处。因为代理的工作方式是从输入一直到输出，并且是高度可分的，你可以看到正在进行的工作的准确性。有一个预期的输出，你可以对其进行评分并创建奖励函数。这使得为我们每个客户的每个工作流程大规模地进行RL变得非常非常容易。所以，我认为如果你考虑产品的长期发展，它不是将所有这些东西编码成确定性来尝试让代理成功。它实际上是为代理提供一个可以工作的完美模型世界，并且能够跨所有工具调用进行端到端的RL。所以，我认为这是我们看到世界发展的最重要愿望清单之一。
关于构建AI有什么让你感到惊讶的，或者对于其他正在构建AI或考虑这样做的创始人，你有什么建议吗？
我认为有两件事让我感到惊讶。一是它有多有趣。我是说，现在是构建的绝佳时机，人们谈论能够用AI更快地构建，当然情况确实如此，你知道的，我们很幸运，我们使用了大量的，你知道的，光标和云代码和代码助手，它们帮助我们的团队取得了非常非常大的成功，但更重要的是，有很多事情在软件中很难编码，现在用LLM很容易编码。所以，我们能够构建传统上我认为需要数十年才能构建软件的工作流程，以及所有那些让它们上线并投入生产的旋钮和拨盘和要求，因为你可以将其中很多卸载给代理。所以，现在是构建的绝佳时机。第二件事我认为非常非常重要，也许是对创始人的建议是去成为一名前线部署工程师，最好是来Pace，但我真的认为那是成为一名创始人的最佳训练场，因为你花了很多时间与客户在一起，看到他们的痛点，并帮助他们将产品投入生产，你知道的，在像这样的公司里，你不是在构建就是在销售，而前线部署工程师应该两者都做。所以，这是我的大建议。如果你正在考虑创业，它会让你接近问题。它会让你专注于正确的事情，并且你会建立正确的技能来建立公司。
我非常幸运地在Retool工作。我认为，你知道的，我非常幸运。我认为我们的CEO David Sher和Brian Shrier，我们很幸运能再次与他合作，他们非常善良，早期在Retool对我寄予厚望，让我找出如何建立我们的售后流程？如何将我们许多新产品从零到一百？我认为这真的为我创办公司奠定了基础，你知道的，这从来都不容易，但这次比我第一次创业感觉要容易得多。我认为我对此非常非常感激。我鼓励其他人找到这条路，找到像那样的人，他们会一次又一次地支持你，我对此感到非常幸运。
太棒了。我们要来点大胆的观点吗？
来吧。
好的。你在Sequoia实习有什么大胆的观点？你学到了什么？
除了Andrew Reed对星座的热爱。
我不确定你是否还记得这个，Pat，但我们在2800号办公室的后院，我想你问了我一个类似的问题，就是你对Sequoia最惊讶的是什么？我的回答至今仍然是我的回答。Sequoia是一个受益于巨大成功的地方，但没有人在这里沾沾自喜。我们很幸运能在Sequoia纽约办公室孵化。每次你走出电梯，屏幕上都有一个图形，上面写着“我们只和我们的下一笔投资一样好”。这太棒了。我就是喜欢这种心态。我认为这是渗透到我们Pace文化中的一件事，就是你每个季度都会回到零。每一个新客户，你都必须让他们成功。我是说，他们关心你过去做过什么，但你真的应该，你知道的，你必须让他们成功。所以，你知道的，你只和你下一个客户一样好。
喜欢，喜欢。
好的。第二家公司。这次你有什么不同的做法？
我认为有一些学习经验，我认为这次非常关键，也有一些我们做得相同的事情，这些事情也很棒。所以，我非常幸运地在Retool学到的一个东西是Retool的价值观之一是“Retool作为一项业务”。基本上，你知道的，Retool非常专注于为我们的客户提供价值和收入，我认为我们采取了非常相似的视角，你知道的，创业时有很多事情可以做，很多事情都是分散注意力的。
你知道的，比如大多数时候融资是分散注意力的，大多数时候，你知道的，与，我不知道，雇主一起工作，或者坐在办公室里，或者别的什么，很多这些事情都可以是分散注意力的，你想让它们运行，但你想花尽可能多的时间与客户一起工作。所以，这是我最大的收获之一，就是去，你不能花太多时间在这上面，与客户一起工作，让他们成功，并专注于推动真正重要的指标，那就是收入增长，毛利率，我们经常思考的很多事情。我认为另一件大事是你和谁一起工作。
我上一家公司非常幸运，我有一个很棒的联合创始人。这次，在Pace，我实际上是以独立创始人的身份开始创业的，并且拥有我们能够建立的这个令人难以置信的团队。这是一个有趣的事情，这是一个大胆的观点。人们真的，或者有一种情绪，我认为人们通常不喜欢独立创始人作为投资对象。我实际上认为这在公司非常早期，你知道的，公司的生存阶段是完全有道理的，因为你知道的，有一个联合创始人来帮助你度过，你知道的，在沙漠中漫步或者别的什么，让公司成功是很有道理的。我非常感谢我的联合创始人，在我上一家公司。但一旦你弄清楚了确切的，你知道的，你要去哪里，并且一切都是执行风险，就像对Pace来说，现在一切都是执行风险，我们要做什么非常清楚，只是执行。
你有很多以独立创始人身份创业的好处，以及你可以建立的团队。所以我们非常幸运。你知道的，我们的第一位工程师是Rachel，第二位工程师是Yogi。第二位招聘的是，也是Sequoia投资组合中的一员，Luis，他是Loom的公司工程主管，他们俩以及我们更广泛的团队，他们承担了许多角色，这些角色在传统上可能只是与联合创始人进行的一次谈话，而你实际上并没有让团队参与进来。所以，我们团队的很多人都参与了塑造我们的价值观。团队的很多人都参与了关键的市场进入招聘。我们团队的很多人都参与了产品决策，而这些决策传统上可能只是由联合创始人做出的。我认为这实际上让你能够招聘一个更强大的团队，并建立一个更强大的文化。
我们保持不变的最后一件事是与Sequoia合作，与Ryan和Lauren合作一直很棒，我对此非常非常感激。我认为令人惊叹的事情之一是能够与一位认识你近十年的合作伙伴共事。你知道的，我大学时很幸运认识Brian。我认为，这是一个有点有趣的故事，我们是如何认识的，Brian做了一个演讲，演讲基本上是关于指导和如何建立这些伟大的导师关系。我认为他的建议基本上是“先付出价值，然后你就会弄清楚如何从那里开始”，基本上是提前付出。当时他透露了一个小彩蛋，他说：“我实际上要去普林斯顿大学和普林斯顿校长谈谈创业的事情，我很想知道该说什么。”所以，我当时想，“有趣。我想我可能能帮上忙。”所以我熬了一个通宵，基本上给了他一份20页的报告，关于“我认为普林斯顿的创业可以从这里得到你的帮助”。这成为了，你知道的，他自从看到了我职业生涯的每一步，你知道的，从Zoya到创办我的第一家公司，到Retool，再到参加许多董事会会议，我从他那里学到了很多。一直到创办这家公司。能够拥有像Brian、Lauren这样出色的合作伙伴，我们拥有非常强大的董事会关系，这种关系几乎感觉就像联合创始人的关系，就像在战壕里一样，我认为这对我来说是独一无二的，我认为这使得Pace成为一家更强大的公司。
感谢您加入节目。很高兴能有您，并听到Pace这个刚刚开始的故事。
感谢您的邀请。这太棒了。