Transcription
[掌声] 你好，欢迎来到 No Priors。今天我将与 Decagon 的联合创始人 Jesse Zang 进行对话。Decagon 是一家早期公司，致力于为客户支持构建企业级生成式 AI。该公司成立于 2023 年 8 月，其平台已被 Rippling、Notion、Duolingo、ClassPass、Eventbrite、Vanta 等大型企业和快速发展的初创公司使用。Jesse，欢迎来到 No Priors。当然，谢谢你邀请我。你当然。也许我们可以从你的背景和你所做的事情开始。你知道，你是一位连续创业者，你之前创办了另一家公司 Antic Bot。你知道，现在你和 Ashan 创办了 Decagon，并且你已经为此工作了一段时间，并且看到了像 Rippling、Notion、Eventbrite、Vanta、Substack 等公司的一些非常有趣的采用，对吧？所以你真的开始为公司开辟了一个真正的空间。你能多告诉我们一些关于 Decagon 的工作、它的运作方式以及公司的重点吗？当然，是的。关于我的快速背景，我在博尔德长大，从小就参加了很多数学竞赛之类的活动。我在哈佛学习了计算机科学，正如你提到的，我刚毕业就创办了一家公司。那家公司最终被 Niantic 收购了，然后我离开了，创办了这家公司。我和 Ashman 通过共同的朋友认识的。我们在一次 BC 外部会议上正式见面。当我们聚在一起时，我们就像，好吧，我们从第一家公司中学到的最大的教训是，我们不能过度思考事情。我们开始时，显然对 AI 代理很感兴趣。这是一项非常令人兴奋的技术，可以说是这一代最酷的东西。我们和许多你列出的客户进行了交谈。我认为多年来，我们在弄清楚如何与人们交谈以及他们会问什么问题方面做得越来越好。通过这个过程，我们得出了我们目前的用例，我们认为这是 AI 代理的黄金用例，那就是客户互动、客户服务。这个用例非常适合 LLM 的优势。所以我们从那里开始构建。我们仍然没有过多地考虑愿景或其他任何事情。这只是，好吧，我们面前有很多客户，我们如何让他们满意，让他们真正喜欢我们正在构建的东西？然后这就导致了我们现在的位置。我想说，目前作为一家公司，Decagon，我们为人们提供 AI 代理，用于客户服务和客户体验方面。到目前为止，让我们与众不同的是，我们非常注重透明度。所以当人们使用我们时，尤其是这些大公司，他们非常看重 AI 代理不是一个黑箱。他们觉得，好吧，即使 LLM 很酷，而且你知道，你可以用它们做很多事情，但他们可以看到决策是如何做出的，例如使用了什么数据，如何得出答案，如果我想获得反馈，我可以做到。所以目前，我们正在与许多拥有大型支持团队的大型公司进行生产。几乎任何拥有大量支持运营的公司都适合我们。AMEX。这很有趣，因为我觉得在过去一年里，AI 领域最令人震惊的事情之一是 Clara 的 CEO 在 X 上发帖或发推文，谈论 AI 对他们客户支持团队的影响。Clara 是一家来自欧洲的“先买后付”服务。他的推文基本上说，在最初的四周内，他们处理了 230 万次客户服务聊天，客户满意度与人类相当。与人类相比，重复咨询减少了 25%。在 2 分钟内解决了客户的事务或问题，而人类代理需要 11 分钟。并且立即在 23 个市场以 35 种语言上线，因为 AI 支持这么多东西。所以，它对那家公司产生了巨大的影响。我认为他们将 700 名全职代理转移去做其他工作。就 Clara 对组织的影响而言，你的客户在采用这种技术时看到了什么样的影响？你如何看待你真正为这些客户带来的价值以及他们自己的最终用户的满意度？这是一个有趣的思考方式，那就是，你知道，所有这些人都在交付这个用例，对吧？就像，你知道，有很多传教士在那里，这很好。Clara 的文章很棒，也为行业带来了很多顺风。我认为我们看到的一个有趣的事情是，人们获得的益处大致相同，但不同的人优先考虑的事情不同。所以，现在说几年后这些代理将无处不在，人们可以将其用于所有这些客户互动，它们将无处不在，这已经不是什么惊人的观点了。所以，就像你说的，好处是什么？对我们的客户来说，总是相同的。那就是，在总工作中，例如对话，AI 代理可以完成多少？所以这为我们节省了多少工作？然后二是，客户满意度如何？例如，客户满意度得分，净推荐值得分。这两者通常都是遥遥领先的。正如我之前所说，不同的人可能对其中一个略有不同。然后还有其他事情，比如，好吧，我们想确保准确性，对吧？例如，如果我们处于受监管的行业，你知道，这对我们来说必须非常准确。所以，这些就是益处所在。就像我们节省了很多钱，我们节省了时间和资源，但另一方面，我们也让客户更满意。所以这可以带来更高的留存率，更多的转化率，而且还有很多其他的优势。就像你给了每个客户一个口袋里的个人助手，他们可以随时随地用任何语言与他们聊天，24/7。你知道，这对很多企业来说可能具有变革性。你能否举一个客户案例，谈谈这项技术的影响，它如何提升了他们的指标，他们使用 Decagon 取得的成功？当然，是的。我们最近与一家名为 Built Rewards 的公司进行了一个大型案例研究。对我们来说这是一个很好的用例。他们拥有庞大的用户群，并且增长非常迅速。你实际上正在使用它来获得积分或进行支付。我的很多朋友都使用这个产品。因此，由于拥有庞大的客户群，人们会有疑问，人们需要帮助。所以，支持咨询的数量基本上与用户数量线性增长。因为他们增长如此之快，基本上是指数级增长，这意味着支持咨询的数量也在指数级增长。所以，当他们开始使用我们时，这就是主要目标。就像，我的天哪，我们被所有这些流量淹没了，AI 能在这里提供帮助吗？所以最终发生的事情是，是的，在开始使用我们的大约一个月内，他们就能够停止扩大团队的规模，AI 将接管大量的自动化，使一切都非常顺畅。现在，基本上我们已经接近一年了。他们能够真正重组他们的客户支持团队。再次，我们对此发布了一个案例研究，其中他们能够量化节省了多少。所以到目前为止，大约节省了 65 名代理的编制。这是一个非常切实的区别。对我们来说也很好，因为我们能够为他们提供价值。这是一个非常容易实现的投资回报率。但客户体验也更加顺畅，你知道，他们在社交媒体上收到了很多关于“我的天哪，我刚试过 Built Rewards 的支持服务，感觉不像我们用过的任何 AI 或聊天机器人系统”的帖子。所以，这使得……你能否从技术和基础设施的角度多告诉我一些关于你的构建？我猜核心模型是任何人都可以访问的，对吧？GPT-4o、GPT-4、Claude、Sonnet 等等。还有所有你构建在其之上的东西，以使其真正适用于你的特定用例以及客户支持代理。你能多告诉我一些关于你多年来必须构建的东西吗？当然。就像你说的，每个人都可以访问相同的模型。我们非常将自己视为一家软件公司。我们显然在 AI 方面做了很多工作，并且大量使用 AI 模型。但我认为如今大多数应用程序都是真正的软件公司，而 AI 模型是每个人都可以使用的工具。所以，大多数的阿尔法或大多数特殊的东西都是在模型之上构建的。它要么是编排层，要么是围绕它的软件。对我们来说，重点一直放在两者上。编排层是如何使用所有这些不同的模型协同工作的。你可能已经设置了评估来衡量每个模型在某些方面的表现。你将它们组合在一起，组合在一起的整个目标是围绕客户的业务逻辑来塑造它。这是第一部分。你构建的另一件事就是非常经典的软件。你有一个 AI 代理，它就是我之前说的所有事情。例如，透明度是一个重要部分。你真的不希望它感觉像一个只是在回答问题的黑箱。那么，你如何构建所有工具来查看，例如，代理正在使用什么数据，它正在采取什么步骤，我可以分析所有这些进来的对话吗？如果你有数百万次对话，就像，没有人会阅读所有这些。那么，你如何让 AI、LLM 阅读每一次对话，告诉你事情的一举一动，找出知识差距，给你一个细分，例如，这里是你应该关心的主要类别。这里有一个有趣的趋势。这就是我们正在构建的所有围绕它的软件。它通常是这样构建的。在编排层，我认为它对每个代理来说都会有所不同，对吧？就像我们的代理与编码代理相比，编排看起来会大不相同。但归根结底，你只是在 LLM 之上构建一种结构。是的，似乎我们正处于真正的代理式工作的早期阶段，这包括能够对事件序列进行排序，其中包含某种形式的推理。显然，有一些像 01 和其他一些东西已经出现，试图解决这个问题，但我们看到它们在扩展曲线上非常早期。你认为缺少哪些主要技术才能真正将你或你的愿景提升到一个新的水平，就这些代理系统应该如何工作而言？是的，我们最近在谈论的一件事是，AI 模型实际上具有不同类型的智能。而 01 或 Sonnet 等的许多最新发展都围绕着，我想，定量推理智能。它们在编码方面做得更好，在数学方面做得更好。对我们来说，这些事情确实有帮助，但它们并不是最大的差异化因素。在我们的用例中，最重要的智能类型，我们可能会将其描述为指令遵循。你只有一堆指令，你能一丝不苟地遵循它们吗？我敢肯定还有其他类型的。但对我们来说，我们很高兴看到其他领域的发展。而且每个人都在说，哦，核心模型和智能正在停滞不前。我认为当大多数人说智能时，他们可能指的是推理能力。对我们来说，以及我们使用的代理流程，指令遵循是一个巨大的部分，因为你必须，你知道，只需考虑客户服务 SOP 或类似的工作流程或类似的东西。你必须非常准确。我知道主要实验室正在进行这方面的研究，我认为这是我们明年期待的一件事。另一个领域似乎真正触及客户成功、客户支持和用户体验的是语音支持。我认为 AI 领域中有些事情被低估了，因为我们一直在谈论大型语言模型和文本理解等等。显然，这些东西对其他一切都至关重要。但我感觉我们几乎低估了文本到语音引擎以及理解口语并用音频响应的能力。所以，有像 Caria、11 Labs、OpenAI、Google 等公司开始提供这些服务和 API。这对你正在做的事情有多大影响？这是一种独立的产品吗？或者你如何看待这些事情的语音组成部分？很好的问题。巨大的影响。所以我们现在有一些客户正在尝试我们的语音代理。如果你只考虑我们的领域，那么总体问题是一样的，那就是你有一群客户，他们有疑问、问题或需要谈论的事情，而渠道对他们来说并不重要。有些人喜欢语音，有些人喜欢聊天，有些人喜欢电子邮件，有些人喜欢短信或其他什么。所以我们的工作是处理所有这些。显然，你从文本开始，因为它是最容易的。它对客户来说也容易评估。我认为现在你正处于大型公司对语音非常感兴趣的阶段。他们已经看到了基于文本的代理的结果，他们说，好吧，是的，我们应该能够生成语音，并为电话呼叫做同样的事情。如果没有你刚才列出的模型，这一切都是不可能的，以及那些公司，比如 11 Labs、OpenAI 正在做一些很酷的事情，Caria。我认为今年在这些模型方面也有巨大的进步，关于语音听起来有多真实，以及延迟在我们用例中也很重要，因为如果你打电话，你期望事情感觉非常敏锐。所以，是的，这对我们来说是一个非常非常大的话题。随着这些公司变得更好，我的意思是，我们现在与他们密切合作，如何真正大规模地构建这些东西。但随着它们变得更好，这对我们继续提供这些语音代理也将是巨大的。嗯，有道理。是的。我的感觉是，问题之一是延迟。就音频流或某人说话需要足够的时间，将其翻译成文本，将其输入语言模型，然后再次输出为语音而言，感觉有很多停顿，或者人们不得不等待。并且人们一直在尝试在后台做不同的事情，比如流式传输潜在的解决方案，然后，你知道，能够尝试缩短延迟时间。你觉得延迟仍然是一个问题吗？还是只是通过将语音更深入地集成到模型中来解决，对于其中一些服务而言？或者你认为延迟何时会成为这些应用领域的已解决问题？当然，延迟是语音模型的一个非常非常大的问题。如今，你有我们在玩弄的语音到语音模型。OpenAI 在这方面做了很多工作。我认为显然存在很多权衡。语音到语音的延迟很棒。但有时，对于这些生产用例，你需要额外的计算周期。所以，你知道，获取数据，进行多次模型调用。或者可能还有其他原因导致你无法进行语音到语音。所以，好吧，这是你可以考虑的一个选项。另一个是你描述的，你通过转录或进行语音到文本，然后在文本中进行所有计算，最后生成语音。这总是会造成一点额外的延迟。所以，正如你所提到的，很多人已经想出了相当聪明的办法来解决这个问题。你可以，你知道，先开始生成东西。在我们的用例中，你总是可以做一些事情，比如，给我一秒钟，我正在查找你的数据。所以，这些都是我们在玩弄的事情。我认为对于我们合作的每个客户来说，都有不同的权衡。所以我们真的试图根据我们从他们那里听到的以及他们所拥有的优先级来构建我们所做的事情。这很酷。我认为有趣的一件事是，如今 AI 领域有许多公司是由参加过数学奥林匹克竞赛、IOI 或其他背景的人创立的。我认为你在高中时就参加过数学奥林匹克竞赛。我认为 Decagon 实际上为团队举办过一些数学奥林匹克竞赛活动，这不像你典型的欢乐时光。但还有其他团队和公司。我的意思是，在此之前有 Ramp 等等。但我认为 Brain Trust 团队、Pika 团队和 Cognition，以及你和你的团队，都有共同点。你认为这来自哪里？为什么你认为这个社区现在在 AI 领域如此活跃？这是个好问题。我的意思是，是的，我们都差不多大。所以我们从小学、中学就认识彼此了。好吧，首先，这是一个很棒的社区。对我们来说，是的，我们团队中有很多具有数学竞赛、编码竞赛背景的人。我认为更多的是这个社区一直存在。数学竞赛已经存在了很长时间，而且有很多聪明绝顶的孩子会参加。它也是人们互相认识、建立联系和建立友谊的好方法。我认为主要的是，在过去的几年里，也许是过去五年六年里，因为初创公司已经变得更加主流，所以很多人都倾向于初创公司，而不是传统上可能是学术界或量化交易等领域。所以，有大量聪明、有才华的人涌入初创公司领域。而且因为有这种社区意识，你知道，人们可以看到其他人正在做什么，以及人们正在构建什么样的公司。所以，现在，这并不是说他们都一样，但我认为很多有这些背景的人现在都在创办初创公司，这就是为什么有很多，我想，在人们建立的公司中取得了进步。很好。你们是否以某种方式在创业旅程中相互支持？因为我觉得每一代人都有一个群体，他们创办了一些更有趣的公司，他们都互相交流，提供建议，也许互相天使投资。有一个蓬勃发展的社区，每五到七年就会发生变化。我觉得，你知道，IOI 数学奥林匹克竞赛社区或编码竞赛社区现在非常活跃。是否有任何正式的形式？还是你们只是非正式地互相帮助？是的，我的意思是，我天使投资了你刚才列出的许多公司。他们中的许多创始人也是我们公司的天使投资人。这显然是非常非正式的，只是，你知道，普通朋友互相帮助。我认为主要的事情是，在公司建设方面，有很多方面。你知道，就像如何招聘人员，如何销售，如何构建这个东西，如何构建薪酬。我不知道，有无数的事情。所以，是的，拥有其他数据点显然非常有帮助。所以我们经常和他们一起出去玩。玩游戏，玩纸牌游戏。这是一种中文版的桥牌，我经常和这些人一起玩。而且，这很有趣，你只是出去玩，每个人都处于人生的相对同一阶段。所以，是的，就像你说的，确实有很多同志情谊和互相帮助。这种背景，来自数学奥林匹克社区的背景，是否在某种程度上影响了你在 Decagon 的招聘方式或招聘实践？有点。我的意思是，如果有人有相同的背景，你知道，经历过同样的竞赛或项目，显然这是一个很好的信号，因为我对他们所做的事情有很好的了解。我的联合创始人 Ashan 也有类似的背景。他没有在美国长大，而是在印度。他也参加了许多这样的竞赛。所以，是的，我认为那些从小就做过很多这些事情的人之间存在一些相关性。然后，你知道，现在我们都是成年人了，你知道，当你谈论招聘时，那里有一些信号。但总的来说，这里有太多有才华的人了，无论你是否在旧金山参加过数学竞赛。在 Decagon，在其他公司，我们的招聘过程或多或少是相同的。这确实是一个很好的触发事件，我想。所以当你举办这些活动时，人们会来，你可以获得一个对相同事物感兴趣的良好社区。而且我们可能会举办更多活动。并非所有活动都将基于竞赛，显然，例如，你知道，谜题之类的事情，或者你只是有很多有趣的工程师和人们带来他们的朋友，这对我们来说非常重要。然后，我想，就 AI 而言，在未来几年里，你最兴奋的是什么？或者如果你要推断出 12 到 24 个月，你最期待的是什么？所以，显然，模型越来越好是很棒的。跨不同模态的模型越来越好也很棒。我们谈到了语音。还有其他部分，其他模态也与我们息息相关。所以，你谈到了我们的许多公司，我们的许多客户都有软件产品。所以，如果，你知道，你正在向 AI 代理提问，并且它拥有你整个屏幕的上下文，以及你进行的所有交互以及其他事情，那将是很好的。你甚至可以更进一步，让它实际帮助你导航。所以，那里有很多事情可以做。当你谈论其他模态或更高级的模型功能时，我们已经看到了来自 Anthropic 的计算机视觉演示。可能在我看来，它还没有准备好投入生产。但随着它的改进，有很多很酷的事情可以做。所以，在模型方面，这是我们感到兴奋的一件事。在核心模型方面，我认为我们有一个理论是，随着时间的推移，再次，AI 代理，我认为现在不可否认的是，它们将出现合理的爆炸式增长，并且它们将在许多不同的用例中使用。我认为一些用例需要更长的时间，但它们提供的价值是不可否认的。所以世界上肯定会有很多 AI 代理。在我们的用例客户服务中，在其他用例中。但我们有一个理论是，人类代理和我们这样的人的工作性质也将发生巨大变化。其中一件事将是，将有更多的人负责监督和编辑代理。所以，这是我们正在考虑的事情。我们对许多创新感到兴奋，因为现在，正如我之前所说，很大一部分是我们关心让我们的客户的人类代理和他们的领导团队能够进入并进行更改，并监控代理，拥有大量的可见性和控制力。那是什么样的？例如，如果你将其与人类进行比较，如果你在监控人类，你可以实时向他们提供反馈。你可以说，哦，不，不，不，不要这样做。你做错了。下次做这件事的时候，当你做这件事的时候。而 AI 则有许多不同的可能性，因为你知道，它们有一些与人类不同的地方。它们是无限可 Scalable 的。它们是，你知道，你可以，有时可以硬编码事情。所以，这是另一个领域，明年我们可能会期待它。这真的很酷。你是否认为这是你相对于市场上提供客户成功和支持的其他公司的一个主要差异化领域？是的，现在这可能是最大的事情。当我们，我们这个领域有趣的事情是，我认为这可能对许多 AI 代理领域都是如此，结果非常可量化。你基本上是将代理与人类的表现进行基准测试，它为我节省了多少钱，客户体验的质量如何。所以，因为这个，当人们评估我们这个领域时，这是一个非常定量的评估。你就像，好吧，很酷，这有点用。让我把它投入生产 1% 的流量，然后从那里开始构建。也许可以与另一个选项一起做，或者，你知道，许多老牌公司，比如 Salesforce，它们也将是这个领域非常令人兴奋的公司。它们也将有替代方案。然后你只是对每个人进行基准测试。统计数据有多好？指标有多好？每个人做得有多好？到目前为止，我们表现得非常好。主要原因是这种透明度。你知道，让人们拥有可观察性、可解释性和对指南的控制。而且该领域还有很长的路要走。你知道，仍然有很多事情可以做。而这，到目前为止，一直是我们的专长。这很棒。是的，我知道我多年来与你的客户进行了一些对话。人们一直在尝试一些代理，并打电话给我询问该领域的不同公司以及其他一切。我倾向于指出三件事：你们交付速度非常快。你们作为一个团队和公司反应非常迅速。但第三，也是最重要的，就是产品往往表现出色。所以我认为这确实是……随着时间的推移，我一直很乐意看到这一点。你如何看待 AI 代理在短期内会成功或不成功的领域？基本上，我们一直在思考的一件事，这对我们刚开始时很重要，那就是不同类型的 AI 代理及其成功程度以及它们推出速度之间存在巨大差异。因为当我们刚开始创业时，我们对要构建的东西非常开放。我们当时甚至不知道在接下来的 12 或 24 个月里是否会有任何真正的用例出现。但我们正在探索。我认为我们的观点是，对于绝大多数用例来说，目前仍然是，你知道，由于各种原因，目前的模型状态，不会有真正的商业采用。所以，一个大问题是，在许多领域，你无法，真的没有结构可以逐步构建。它必须几乎完美。所以，如果你想到一个领域，比如，你知道，安全或类似的东西，那里有所有这些 SIM 卡，而且有很多日志，这非常适合 AI 模型。但这项工作的目标是，你需要捕捉发生的任何小事情。所以，因为模型本质上是非确定性的，买家很难真正信任一个通用解决方案。所以，尤其是代理解决方案。所以我认为这个选项将非常非常非常缓慢，比人们想象的要慢得多，即使人们有很酷的演示，并且你知道，事情似乎可行。但要获得真正的企业采用将非常缓慢。所以，这是我们一直在思考的一个有趣的事情。另一方面，也有很多领域，你知道，表面上看，哦，AI 在这里应该很完美。但随后，后续是，实际上很难量化正在发生的投资回报率。我想举一个例子，你知道，有很多文本到 SQL 的公司，类似的东西。你可以看到它在工作。但基本上，每个人的反应都是，哦，这很酷。但你知道，我们仍然需要有人来监控它，你知道，编辑它。所以它变成了一种副驾驶。好吧，那么，我们如何衡量我们应该为这些代理支付多少费用？这非常困难，因为你知道，大多数团队本来就没有多少数据科学家。所以，如果你声称你有一个 AI 代理数据科学家，那么，让我们以一个真正的数据科学家为基准。你可能无法取代一个真正的数据科学家。所以我认为这就是，很难量化投资回报率。你节省了一些人的时间。但因为这个，你知道，就像，如果我是一家大公司，很难证明，好吧，我将为你提供一份大合同，用于这个 AI 代理数据科学家。所以，我认为这些是我们正在思考的事情。或者说，不是在当下思考，我们显然只是，你知道，询问客户，他们愿意在某些事情上投资多少。但事后看来，我认为我们回顾过去一年，这确实是一个重要的事实。那就是出现的用例。你必须具备这两个特质。它必须是可以在缓慢推出并且不必一开始就完美的东西，但它已经提供了价值。例如，我认为编码代理是一个很好的例子。你可以将一些任务分配给它们，它们会完成。另一部分是投资回报率。你必须能够轻松量化投资回报率。在我们的案例中，幸运的是，你有这些支持代理团队。你知道，人们会密切跟踪指标。所以这是我们一直在思考的事情。我认为大多数，我认为这其中的要点是，在短期内，我对许多这些 AI 代理用例持更悲观的态度。但我认为，随着模型的改进，它们将解锁许多新案例。非常有趣。Jesse，非常感谢你今天加入我们。非常感谢。谢谢你的主持。很高兴见到你。在 Twitter 上关注我们 @no prior pod。如果你想看我们的脸，请订阅我们的 YouTube 频道。在 Apple Podcast、Spotify 或任何你收听播客的地方关注我们。这样你每周都能收到新一集。注册电子邮件或在 no dp.com 上查找每集节目的文字记录。[音乐]