Transcription
詹姆斯是 Amplitude 的人工智能负责人。你为什么认为，嗯，还没有人想出如何构建一个由人工智能驱动的数据科学家或分析师？哦，有所有这些趋势，人工智能将是我们的水晶球，它将神奇地提取趋势。就像我认为它更像是无限的时间。它当然不是，这些代理确实能找到一些人类可能没有偶然发现的东西，但其中大部分只是在 Amplitude 中做人类可以做的事情，如果你有 100 个小时的话。只是大多数人没有。每个人都为此感到兴奋和烦恼。比如代理是否应该能够在没有人为干预的情况下交付产品？我的个人观点是，你可以通过处于中间状态来创造巨大的价值，代理可以在后台工作并产生见解和想法，但然后人类必须像点击批准一样。我们应该担心我们的工作吗？比如作为一名数据科学家或产品经理，也许我不应该说这个，但好吧，欢迎大家。我今天的客人是詹姆斯·埃文斯。詹姆斯是 Amplitude 的人工智能负责人，我非常兴奋能与詹姆斯谈论人工智能将如何改变分析。詹姆斯还将演示任何人都可以拥有一支人工智能代理团队来进行分析，而且我们还应该谈谈产品经理和数据科学家如何为这个未来做好准备。所以，欢迎詹姆斯。谢谢你邀请我。好的。那么，嗯，让我从一个尖锐的问题开始。所以你知道我们已经看到人工智能如何彻底改变了编码，比如 Cursor 和所有这些其他工具。是的。但你为什么认为，嗯，还没有人想出如何构建一个由人工智能驱动的数据科学家或分析师？好问题。我答案的 80% 是我不知道。我认为有很多，嗯，这是一个鸡生蛋还是蛋生鸡的问题。我认为对于许多大型 SaaS 公司来说，DNA 是这样的，如果你还没有推出任何与人工智能相关的东西，那么你期望你的东西要非常出色，这实际上使得你更难推出东西，因为我认为这些产品从一开始就本质上是糟糕的，你只需要相信方向并与你的客户一起迭代。所以我认为这就像是适用于许多 SaaS 的高层应用。我认为对于，嗯，分析，也许分析与你提到的工具之间的区别在于，它是一个比各种形式的文本生成更具多模态性的工作，嗯，这并不是真正困难的部分。嗯，例如，你输入的数据就像在传统的产品分析中一样，数据质量是获得良好见解的瓶颈。对于进行分析的人工智能实体来说也是如此。所以有一些困难的数据科学问题，人们已经研究了很长时间，嗯，这限制了这一点。而且，在行动方面，当涉及到生成一个实验在你的网站上运行或发送一个，嗯，定制调查，我认为你必须真正掌握工作流程，嗯，人类工作流程，就像现有的软件一样，才能做好工作。你不能仅仅依靠人工智能代理来生成代码，然后希望它能起作用，然后你尝试给它反馈，这有点像通过吸管说话。你必须有可以改变品牌等的旋钮。所以我认为实际上这是一项相当大的努力，试图解决数据约束以及工作流程约束，以使分析师能够有效地工作。但显然，每个人都认为他们正在解决的问题是最难的。所以，这是我的免责声明。明白了。让我们暂时把人工智能放在一边。你认为当今产品分析师面临的最大问题是什么？就像分析领域一样，你知道人们试图，是的。最大的问题是它需要时间。嗯，没有多少人他们的工作是实时使用 Amplitude 等工具并提取见解。嗯，这是我一直觉得很有趣的事情之一。所以，我只在 Amplitude 工作了大约七八个月，有些客户在使用 Amplitude 方面非常出色。我认为我们工作的一个重要部分，你知道，与我们的客户合作，就是如何将我们看到的客户所做的事情，并让所有客户以相同的方式使用 Amplitude，知道何时在他们的流程中使用它，确保他们的分类体系很棒，知道哪些类型的操作往往会产生影响。嗯。而构建这个代理产品的真正酷之处在于，它就像我们在发布软件，而软件的用户而不是依赖我们的客户，客户中的人们，嗯，学习我们的软件，学习最佳实践，因为他们每周只有大约 40 小时。嗯，虽然我们希望他们花全部 40 小时在 Amplitude 上，嗯，现实是他们中的大多数人没有。嗯，所以从某种意义上说，我认为这次发布只是给了他们无限的，嗯，我认为很多人将人工智能在数据分析中的模型视为超级智能，无限智能，哦，有所有这些趋势，人工智能将是我们的水晶球，它将神奇地提取趋势，嗯，我认为它更像是无限的时间，它当然不是，这些代理确实能找到一些人类可能没有偶然发现的东西，但其中大部分只是在 Amplitude 中做人类可以做的事情，如果你有 100 个小时，只是大多数人，是的。是的。我也在分析产品上工作，嗯，嗯，就像高级用户他们可以，你知道，按年龄过滤，按年龄细分，然后按所有东西细分，然后展示，这是一堆分组购买。是的。一堆分组购买，然后你可以花一个小时，嗯，写一堆 SQL 查询，试图弄清楚发生了什么。但大多数人，大多数人要么不知道如何做到这一点，要么没有时间做到这一点。所以完全，完全，你只是跳过了这个问题。有一篇很棒的博客文章，作者是 Sarah Tavl，卖工作，而不是卖软件。我有点认为它是，嗯，卖软件和工作。嗯，就像卖软件和用户，因为现实是，如果我们的代理产品没有连接到我们现有的软件，让人们理解代理是如何得出结论的，或者，嗯，调整实验，使用起来会很痛苦。但我真的很喜欢销售工作的概念。是的。也许你可以向我们展示这个亚洲产品。是的。是的，让我们开始吧。让我们开始吧。是的。所以，Amplitude 代理基本上就像，就像我之前说的，Amplitude 的人工智能用户，人工智能专家，嗯，使用 Amplitude 来实现特定目标。我们做出的一个关键设计决策是，我们不想构建一个单一的，嗯，在我们领域有一个我们非常相信的概念，称为自我改进产品。嗯。这里的想法是，你知道，Amplitude 的许多用例是调整你的网站、应用程序、产品，嗯，使其对客户更好。今天，这个循环是，你使用 Amplitude 来获得一个见解，比如这个页面存在摩擦。然后你可能会观看一些会话回放来，嗯，确认它。然后你进行一个实验，然后你启动它，然后你监控它，然后你从中学习，然后你继续。基本上，我们想让你选择是有一个单一的代理来优化你所有的页面和你知道你所有的 KPI，还是目标特定的代理。所以我们选择了目标特定的路径，因为我们认为它比今天公司中人类的工作方式更好，在那里每个人，每个团队都会拥有特定的东西，然后他们可以创建代理来帮助他们处理这些特定的领域。所以，例如，这些是模板，允许你实例化专注于特定目标的代理。所以，比如这个是电子商务用例卡片放弃，网页转化，嗯，网页的转化，功能的采用，嗯，用于自助入职流程。嗯，所以你可以想象，第一个可能是一个增长型电子商务团队。这是一个营销团队。这是一个产品团队。嗯，但最终，这些都是人工智能实体，它们可以访问一套工具，然后它们尝试使用这些工具来实现它们的目标。明白了。你想给我们看一个吗？是的，模板。让我们做一个。所以，是的，让我们继续。所以，嗯，你实际上不需要做太多来，嗯，创建代理。它们基本上建立在你 Amplitude 账户中已有的东西之上。所以，我需要做的就是创建这个网页转化一个，就是告诉它，嗯，优化什么。所以我可以只选择 CTA 点击，这只是，你知道，有人点击了我们网站上的某个 CTA。然后是自主权的问题。嗯，每个人都对此感到兴奋和烦恼，比如代理是否应该能够在没有人为干预的情况下交付产品。我的个人观点是，你可以通过处于中间状态来创造巨大的价值，代理可以在后台工作并产生见解和想法，但然后人类必须像点击批准一样。想象一下，如果工作流程从你在 Amplitude 中做所有这些事情来生成一个实验，或者你只是收到一个通知，然后说，你批准这个实验吗？也许给一些反馈。是的。就像我认为这已经完成了 95%。是的，完全同意。所以现在让我们创建代理。非确定性演示总是很有趣。嗯，这是，这是针对你已经上线的一个特定网站。针对 Amplitude 网站。哦，Amplitude。太好了。是的。好的，酷。所以，它给了我们一个它将遵循的计划。嗯，我们将查看 Amplitude 中的不同页面，选择一个作为初始实验的重点，然后去寻找一个见解，也许用会话回放来确认它，然后选择一种方法来利用这个见解并希望启动它。然后这些是它呈现出来的，嗯，在 Amplitude 中找到相关的事件，然后只是数据，它会准备好它认为最重要的页面。让我们选择定价页面，这是，嗯，显然一个非常重要的页面。所以，所以幕后是在，嗯，运行一些查询来获取数据，还是，是的，我们基本上有一堆工具来获取数据，然后分析这些数据，就像一个提示一样，说，嘿，你知道，找到流量最多的，然后获取转化率。是的。一部分。另一件关于拥有模板的好处是你可以给代理，嗯，就像我们告诉它一样，就像你雇了一个人来，嗯，只是优化网页，你会说，“嘿，嗯，你知道，转化通常意味着什么。这里有不同的转化定义。这里有，嗯，经典的摩擦点。”所以，例如，这里，代理得出的结论是，在我们的页面某个特定部分有很多无效点击。代理知道无效点击的原因是，这是网页优化模板。无效点击是许多网页的经典问题。所以，我们告诉它要查找的一个东西就是无效点击。所以，这并不是说，嗯，我们依赖于基础模型来，嗯，知道这些东西。我们确实将它们放入模板中。是的。是的，我认为拥有一支代理团队可以更轻松地进行提示和评估。这就是全部，这就是我们所做的全部原因，因为如果你塞满了，想象一下你有一份清单，嗯，这里有你在 Amplitude 中可以做的 1000 件事，即使上下文窗口越来越大。我最近读到一篇很棒的文章，关于人们认为更大的上下文窗口，嗯，会杀死 rag，但实际上你不能只是，嗯，塞入相同数量的 1000 倍的上下文，并期望提示能像那样工作。这肯定是我们发现的。嗯。好的。所以，让我们看看。所以，摩擦分析摘要，无效点击，在计划标题上有大量无效点击。所以，让我们看看这意味着什么。这是我们的定价页面。如果我点击这里，什么都不会发生。好的。好的，这是真的。我们还没有故意修复它，你知道，因为它是一个很好的，嗯，代理可以找到的例子。但我保证，我没有植入这个问题。嗯，这实际上是我们的，是的。看起来像一个，看起来像一个蓝色的链接。是的，没错。就像我们的，就像我们的品牌颜色一样，但是的。好的，所以问题是真的。所以，现在，嗯，看看还有什么。好的，所以会话回放。所以，我们不断听到的一件事是，我们喜欢有会话回放，但观看它们很痛苦。嗯，我们有，我认为我们做得很好，让它对人类来说不那么痛苦，但，嗯，代理从中提取见解要容易得多。然后这又回到了我们之前谈论的，嗯，如何，嗯，如何让人类，嗯，理解代理在做什么？嗯，这个工作方式是代理去寻找一个见解，然后生成会话回放数据，然后生成，嗯，一个精彩集锦，嗯，与代理找到的见解相关的剪辑。所以你可以，嗯，检查他们的工作。所以，这是一群人在点击，嗯，定价页面死区，然后没有转化。嗯，这实际上相当酷。就像，你怎么做到的，因为，你知道，这不仅仅是，嗯，试图总结文本或什么的。这是多模态的，对吧？或者你怎么让人工智能分析？是的。嗯，这老实说是一项艰巨的工作。好的。所以，坦白说，我不知道我们想分享多少。嗯，但是的，它是，它是多模态和，嗯，更经典的提示的结合。好的。然后它会重新创建这个精彩集锦。嗯，我可以，你知道，如果我想，我可以跳到，嗯，现有的，嗯，整个会话来，嗯，获得更多上下文，然后它会提出策略。所以这些是，这是它一直运行的循环，嗯，见解，作用于该见解的策略。所以，在这种情况下，我认为它可能会提出这些都是网页实验。嗯，但将其视为一个通用的，嗯，行动空间。所以，你在 Amplitude 中可以做的其他事情，你可以创建一个指南，比如弹出窗口。你可以创建一个调查。嗯，我们现在正在探索与人们的整合，以实现，嗯，其他面向客户的操作，比如发送电子邮件。而且，也许在未来，我们今天不这样做，但也许在未来，它更多的是，嗯，一系列操作而不是只有一个。所以，让我们看看。可点击的计划标题。基本上，它想运行 AB 测试。是的，它想运行一个 AB 测试，让标题可点击。所以，然后如果我点击，我可以，嗯，我可以提供反馈，比如我不喜欢这个想法，或者别的什么，但这是正确的想法。很高兴你解释了所有内容，嗯，就在下面，你知道，就像这实际上是客户的反馈。所以，我们以前只是在非常早期的版本中，我们只是，嗯，这是正确的答案，人们会说，即使因为我最初的想法是，我们给了你很多信息来，嗯，评估你是否同意代理，但人们会，人们没有将见解和建议联系起来。所以我们创建了这个来强调建议来自两个地方。它们来自见解，但它们也来自模板，嗯，最佳实践。明白了。你必须，你必须确保人们信任这个东西。所以，是的。没错。就像，想法不仅要合理。它必须，你希望它是可追溯的。我正在思考的一件事是如何将这一点进一步发展，嗯，将最佳实践部分与内容联系起来。所以，就像，显然我们在 Amplitude 有很多关于如何，嗯，优化你的 PLG 入职流程等等的内容。每个人都询问基准，比如我如何让我的代理知道我的定价页面转化率是否良好？非常粘稠。我敢肯定你也会考虑这个问题，嗯，基准，因为给代理一个非行业特定的基准，然后它认为你的转化率完全没问题，但实际上它很糟糕，所以它不会在那一页上做任何工作，这会很糟糕，你知道的。是的。是的，有道理。是的。所以，所以它基本上是，所以现在我们设置了这个手动实验流程，但是，是的，嗯，它总是，嗯，在寻找某事发生的时候，还是你必须手动做？嗯，是的，它一直在寻找。所以，嗯，它们是持久的。所以这是代理的第一次运行。嗯，但现在它存在了，它正在监控这个页面，我可以告诉它监控其他页面。好的。然后它可以，基本上，它有点难演示，但它基本上会以这个最终状态出现，然后它会说，你收到的 Slack 消息会是，“嘿，我认为我在定价页面的特定部分发现了无效点击。我认为这是一个转化机会。所以，我创建了这个实验。我可以运行它吗？”哦，那太好了。是的，关于如何触发它来寻找机会，这有一门艺术，我们通过，嗯，最佳实践的结合来实现这一点，我分享了。所以，把它想象成它定期寻找标准问题，然后它也更多地由，嗯，新数据或异常触发，去经典的异常是，嗯，转化率正在下降，所以它去调查原因。是的。好的，所以它有点像监控。你设置一次。我的意思是，为什么我不想打开所有其他东西？这是一个愚蠢的问题。我的意思是，我认为它可能有点，你看，我运行了这个例子，因为我以前运行过这个例子，而且我知道我们的定价页面有问题，而且我还没有修复它，因为它是一个很好的例子，你知道的。嗯，所以为了完成这个循环，我现在可以悬停。所以，代理编写了代码来做这个。嗯，哦，所以悬停。一个很棒的微妙动画。如果我点击，它应该，是的。所以，就像现在当我点击卡片时，它会带我到表单。它不是，嗯，它不是从头开始创建一个完整的网站，但是的，赌注是，很多网站都有很多这样的问题，而这个实际上是一个，嗯，相当高杠杆的改变，因为它是一个相当重要的页面。有道理。而且，而且，我想，回到我的问题，为什么我不想为每个页面设置它？我认为这很相似。所以，是的，这是一个很好的例子。我显然选择了一个我知道我们有问题并且我知道它，嗯，有点工作的页面。是的。大多数时候，我认为期望是，第一次创建代理时，你运行这个流程，嗯，它可能会给你一个，嗯，非常明显的见解，或者一些你有点意识到的东西。嗯，你必须给它一些反馈。就像这个产品是故意的，也许我不应该这样说，但它是一种故意的高摩擦产品。嗯，这很沉重。顺便说一句，这不是我们正在构建的唯一人工智能，如果你想问图表问题，你不应该创建代理来做这个。如果你确切地知道你想运行的实验，那么你不应该创建代理来做这个。你应该创建一个代理来，嗯，外包一个问题，然后赌注是它会随着反馈变得更好。所以，关于你为什么不想打开所有这些的问题，我认为如果你打开了很多，它可能会类似于创建大量的异常，嗯，就像检测器一样，你只会收到垃圾邮件，而且你可能不会注意到它们。明白了。明白了。好的。这，这有道理。这有道理。而且，嗯，好的。这太棒了。是的，我认为，嗯，将其简化为非常具体的用例实际上是一个非常明智的决定。所以，是的，它也使得反馈更容易解决，因为如果我们做单一的，那会非常困难，想象一下公司里的每个人都在为，嗯，给代理提供反馈。它需要知道在什么情况下要注意什么反馈，而选择领域特异性只会让这个问题变得更容易。所以，那么，嗯，构建产品最困难的部分是什么？嗯，是的，它并不总是如你所愿，对吧？是那个，哦，是的，我现在可以，然后我现在可以，比如，让我们开始吧。让我先完成它。让我们先在挪威推出。只有。你知道，这很有趣，很多，我不知道你们是否这样做，但很多团队会，嗯，选择一个地区。是的。是的，他们先在那里测试东西。让我们看看这个，是的，好了。嗯，现在我可以点击这个非常诱人的按钮并运行实验。不错。所以，是的。嗯，最难的部分。我的意思是，这是结束，所以我猜我会，我们不知道它是否会成功，但我认为最难的部分是每个人都有非常大的期望，客户对他们希望人工智能为他们做什么有非常大的期望，嗯，有很多数据质量用例，仪器仪表用例，嗯，以及数据科学用例，而且我认为，嗯，埃里克·菲舍尔谈了很多这个问题，但我认为构建人工智能产品，嗯，我很好奇你是否同意你的经验，感觉更像是一个练习，嗯，如果……会怎么样，看看今天的模型是否真的擅长某事，而不是，嗯，经典的客户发现循环，因为在我看来，很多客户对，嗯，人工智能实际上擅长什么并没有多少直觉，他们会描述他们想要什么，就像水晶球一样，而这是一种非常，它，嗯，我认为今天很难构建一个容易的产品，或者让它成为一个有意义的产品。所以，几乎就像你必须，我认为不那么，嗯，更像是构建 MVP 并测试它，而不是，嗯，经典的 B2B 企业 SaaS 客户发现循环，我认为这对于许多大公司来说很难。我认为也许回到你的问题，嗯，为什么我们看不到更多这样的东西，我认为对于大公司来说，很难以这种方式思考构建产品。是的。就像，什么是经典的 B2B？你的意思是只是找一些企业人士，给一些反馈，他们有一个固定的角色？是的。就像，哦，原来人们想要这个切换。好的，太好了。我们构建了这个切换，它将驱动，嗯，我的意思是，我故意夸大了，嗯，微型功能，但，嗯，没有人说，“嘿，我想让你构建代理，我想让他们，嗯，为这些用例做。”就像，它，它只是，它不是，嗯，感觉更像是一家初创公司，你就像，“哦，天哪，产品分析应该是这样的。让我们看看人们是否使用它”，而不是，嗯，花很多时间测试和，嗯，构建客户基本上告诉你构建的东西。是的。我认为人们可能也有，嗯，更高的准确性和，你知道，数据产品的质量标准，对吧？数据就像，嗯，非常确定性的，对吧？但这个，嗯，这有点，这有点像我们决定专注于见解到，嗯，实验问题，因为这并不像，我们所有的实验都成功了，嗯，那将是一个愚蠢的标准。它，嗯，应该有一些成功的实验，但，嗯，那个比率应该随着时间的推移而增加，并且仍然希望从，嗯，失败的实验中学习。基本上只是试图减少，嗯，我们从客户那里听到的东西是，就像，我之前说的，我们没有足够的时间来，嗯，制定所有实验并监控它们，并设置，嗯，不伤害条件，以及所有这些东西，而这坦率地说，嗯，人工智能很容易做到。是的，看起来，嗯，我的意思是，它看起来就像，嗯，只是节省了大量时间，对吧？就是，没有你刚才给我展示的，我必须去看图表，并希望看到一些异常，然后我必须去看会话回放，然后我必须在脑海中连接起来来设置实验，试图优化这个，对吧？而这对于人们来说并不难。我的意思是，有时见解部分是，嗯，困难的，取决于数据质量和你正在看什么，但，是的，根据我们的经验，就像我之前说的，这更多的是时间问题，而不是，嗯，天才问题。好的。嗯，你能谈谈，嗯，你如何为这个产品设置，嗯，人工智能评估，或者，你知道，像这些代理之一？那很难吗？嗯，我们做了一些评估。嗯，我认为挑战就像我之前说的，嗯，真的不清楚什么是好的实验。我的意思是，有一些，嗯，有一些普遍的真理，嗯，早期产品中发生的一件事是，它产生了，嗯，非常微妙的，你知道，边框半径变化之类的东西。所以，已经，是的，我认为，嗯，就像，嗯，你看看然后说，“好吧，是的，我可以运行一千个这样的，然后，嗯，它什么都不会做。”是的。所以，部分是温度问题，但然后，嗯，部分评估是，嗯，是否有足够实质性的改变？所以，肯定有一些真理，但我认为困难的部分是，嗯，并不总是清楚一个失败的实验，嗯，没有价值。所以，我们肯定更优先考虑，嗯，现在我们已经，嗯，产品已经发布了，我们更优先考虑，嗯，成功指标是，嗯，人们是否点击是？即使你失败了 10 个实验，但他们，嗯，客户仍然继续点击是，我批准那个实验。嗯，对我们来说，这是一个胜利。如果你点击那个按钮一百次，而所有的实验都不起作用，好吧，在某个时候它还不够好。嗯，但现在我们真的专注于人们是否认为实验足够合理，可以发布。所以，实验就是，嗯，行动，你，你说的对。是的。行动，还是它提供反馈？见解是否正确？这是产品分析和见解中的经典问题，那就是，嗯，很难为见解定价。所以，我们正在努力的一个事情是主动的，嗯，你可以把它想象成澄清，这是一个非常非常重要的话题，嗯，对于这个领域，特别是对于分析师代理，但分析师代理可以做的一件事是，如果它产生了一个见解，比如它可以跟进你并问你，嗯，这是否创造了价值？它会记住它提供的见解。所以，它不仅可以在，嗯，产生见解的直接后果中做到这一点，而且还可以在之后做到，以，嗯，帮助你回忆起一个见解。所以，我们还处于产品早期阶段，所以我们还没有很多这样的循环，但我们正在，嗯，我们正在试图通过主动让代理，嗯，有点烦人，并，嗯，尝试主动澄清来解决将见解与结果联系起来的问题。明白了。是的。而且它们可以将反馈带回产品。是的。我的意思是，伙计，老实说，有很多花哨的技术，比如 LM 作为法官，等等，但，嗯，很多时候只是，嗯，让你的公司测试产品，伙计。嗯，是的，我的意思是，我们确实使用这些东西。只是，我认为，嗯，我们正处于早期阶段，我们只是在优先考虑，嗯，我们试图得到一些人们使用的东西。我认为，我认为很多人，再次回到你，嗯，最初的问题，嗯，为什么我们看不到这个领域更多的活动？我认为是因为他们将自己置于，嗯，哦，好吧，它应该，嗯，应该能做好每一个实验，而最终它应该能做好一些，但我们的标准是人们是否使用它，即使，嗯，即使价值是它给了我一个实验的想法，我将自己去创建它，它只是给了你一个原型来运行，我不喜欢这个短语，但人们称之为，嗯，氛围实验，那么没关系，嗯，我完全没问题，作为开始。对。是的。我喜欢他专注于实验，因为实验最终是衡量因果影响的方式，你知道的。是的。而且它的风险很低，因为它只是一个实验。你知道，它还没有达到一对一的个性化。嗯，我们可以谈谈，但，嗯，我认为在机器人使用软件运行实验和活动方面有很多，嗯，低垂的果实，而不是直接跳到一对一的个性化。我的意思是，这对于，嗯，就像内部一样，这是一个很好的教训。你不想，嗯，过度推销这些人工智能产品，因为，你知道，它们需要时间才能完善。所以，如果你说，嗯，我正在，嗯，个性化每个用户的网页，然后，嗯，让它发生。我认为编码工具在这方面做得相当好，就像，一开始，它有点像，哦，这有点好，它给了我一个，嗯，正确的方向的提示，然后它现在就像，哦，实际上，嗯，Devon 只是在做 PR，你知道的。是的。而且我认为，嗯，关于，是的，就像，见解到，嗯，实验，见解到行动，而不是，嗯，让它首先产生见解，嗯，我不认为，嗯，我的意思是，它相当好，嗯，聊天机器人相当好，如果我上传我的，嗯，我不知道，税务申报单或什么的，比如，是的，你知道，它在寻找顶级费用或什么的方面相当好，但对于，嗯，像 Amplitude 的规模，对于，嗯，使用 Amplitude 的公司来说，拥有所有这些数据，我敢肯定它不会，它不会，它必须带来见解，我保证它不会。而这，这，是的，为什么我们，这就是我们没有发布的产品。是的，我们正在考虑 MCP，以及如何，嗯，你知道，也许 GPT5 将会，嗯，足够好。我认为这是构建人工智能产品的问题之一，嗯，构建企业产品的周期比模型发布周期长。所以，如果你计划在 1 月份构建一个产品，并在 9 月份发布它，它可能在 1 月份，但到夏天，模型实际上已经足够好来支持用例了。而且我认为我们实际上已经看到了，嗯，在过去，我想说，嗯，四月份，我忘了是哪个模型，但它是一个，嗯，一个非常大的改进。然后你就得到了经典的教训，嗯，这里的魔法的一部分是，对模型在你特定领域中变得更好的地方有直觉，然后构建，期望模型会改进。是的。或者，或者只是，嗯，等一个月，然后，你知道，再试一次。是的。是的，你必须，你必须愿意，嗯，抛弃，嗯，也许 GPT5 会非常擅长，嗯，只是，这是原始数据，嗯，找到见解，然后我们将构建，你知道，一个只做那个的产品。而这，而这，而这没关系。而，而，而你是否有，嗯，你是否有，嗯，一种通用的特权来更新到任何最新的模型，因为，嗯，在一些公司里，这也很难做到，嗯，有，你知道，成本等等，但，嗯，我们正在尝试，我认为，嗯，一种失败模式是试图，嗯，将今天的模型和成本结构建模到大规模。所以，我们并没有真正，嗯，我的意思是，我们当然会看，但我们并没有，嗯，用成本来限制我们所构建的东西。我的意思是，我宁愿构建一个，嗯，非常有用的产品，然后让它变得，嗯，哦，天哪，这很贵。然后，嗯，然后将其缩小，而不是，是的。哦，我们有一个很好的，嗯，成本概况，这个，嗯，相当无用的产品。是的，这是关键。你想，是的。就像，如果由我决定，嗯，使用最先进的模型，然后也许，嗯，速率限制或什么的，但，嗯，你知道，每个人都谈论，我认为人们在人工智能产品的定价上花费了太多的精力。嗯，我认为很多，嗯，PLG 影响者已经开始谈论，嗯，人工智能人工智能定价，作为一种新的，嗯，智能话题。嗯，我完全同意，嗯，只需进行速率限制，只需进行公平使用，然后这消除了许多这些，嗯，噩梦般的成本场景。这在，嗯，我创业公司 Command AI 时也是如此，我们有，嗯，我们有一个可嵌入的人工智能聊天产品，我们定价的方式，我们喜欢定价的方式是按 MTU 而不是按聊天次数，因为，嗯，MTU 我们承担了风险，因为如果一个用户问了无数个复杂的问题，我们可能会在这个用户身上亏钱，甚至可能在这个账户上亏钱。嗯，但我们的赌注是，首先，我们将进行速率限制，所以你不能滥用，而且我们不希望人们认为，哦，是否值得向这些用户推出聊天机器人，因为它花费我们 X？我只是希望他们最大限度地使用它。嗯，我认为我们没有在一个账户上亏钱。而且它被使用了。嗯，那么 MTU 快速是什么意思？总跟踪用户。所以，只需说一百万用户，我们将向你收取一百万用户的费用，而不是 50,000 次聊天。好的，明白了。明白了。好的。明白了。无限聊天。明白了。这有道理。我的意思是，伙计，嗯，现实是，嗯，人工智能产品很难找到产品市场。所以，如果你有，嗯，人们使用它的问题，那么这就是，是的，没错。完全是成功的后续问题。嗯，最糟糕的情况是，你找不到一种使其可行的方法，然后你将其关闭，至少，嗯，你学到了一些东西，并引起了市场的关注，但现实是，嗯，成本曲线在下降。我很好奇你们如何看待这个 Roblox，嗯，你们是否有，嗯，专门的，嗯，预算，你们是否有，嗯，支出上限，或者成本概况，你们如何看待？不，我认为，嗯，我的意思是，有，嗯，预算，但，嗯，对我来说，嗯，我总是想使用最新的模型，嗯，再次，嗯，待定，人们是否甚至想要这个产品。所以，嗯，让我们先找到产品市场契合度，然后我们再解决，对吧？是的。是的，我认为这很酷，我认为很多公司实际上，嗯，采取了这种成本视角。嗯，我听说有人说，嗯，很多首席信息官正在试图，嗯，加速人工智能的采用，因为他们觉得他们在云方面太慢了，我认为这是非常准确的。我的意思是，而且，你知道，嗯，就像，OpenAI 昨天随机将 03 的价格降低了 80%。我们醒来然后说，“哦，原来我们的成本是四分之一了。”是的。但然后你升级到最新的模型，然后你进行更多的调用，然后备份。这有点像，嗯，如果你的连接是 3G，那么现在的网页就无法使用，因为它们假设是 5G 连接，并且它们会发送大量的请求，并且没有针对 3G 进行优化。是的。伙计，所以，让我们总结一下这些问题，对吧？所以，就像，嗯，我们应该担心我们的工作吗？比如作为一名数据科学家或产品经理，嗯，任何时候？我认为我们思考的方式是，有很多方法，有很多实验可以运行，而这些实验今天并没有被运行，所以这不是关于你运行的实验，而是由代理运行的实验。我的意思是，我敢肯定一些公司会这样想，比如，如果你，如果你真的捉襟见肘，你想继续运行实验，然后，是的，我的意思是，代理会更便宜。嗯，但反馈非常重要。就像，大多数公司还没有准备好让他们在除了，嗯，玩具用例之外的任何事情上自主运行。所以，我们肯定采取了，嗯，钢铁侠套装的框架，这使得我们的客户，嗯，在他们的工作中好得多。好的。嗯，取代。是的。而且，你知道，嗯，我与许多数据科学家合作，嗯，很多，很多他们的工作是，就像，当我让他们为我的产品创建一个仪表板，或者，嗯，开始添加日志记录规范，以及那些东西，嗯，他们讨厌做，伙计。没错。非常无聊。我们的 Retool 很受欢迎，用于构建内部工具。就像，人们不喜欢这样做。是的。所以，嗯，如果人工智能想自动化这些东西，那么，嗯，那太好了，因为然后数据科学就可以专注于，嗯，思考，而，嗯，我们今天的代理，嗯，也许我们下一代代理会做这样的事情，但我们今天的代理不是，嗯，决定你应该发布什么新产品，或者，嗯，你应该进入什么新市场。嗯，当然，这些也许在未来是可行的，但，嗯，它更多的是，我认为，嗯，关于为董事会报告提供信息，然后董事会做出决定。嗯，也许董事会只是将 PDF 复制粘贴到 ChatGPT 中，然后按照它说的去做。我喜欢那个关于，嗯，只是按照人工智能说的做的模因。是的。我的意思是，很多时候，嗯，我有点和他来回讨论，然后我最后有点按照他说的去做，对吧？所以，是的，就像，嗯，那个非常流行的推文，它说，你使用人工智能写一封电子邮件，然后有人使用人工智能来，嗯，解码电子邮件，将其总结成一句话的版本。是的。我的意思是，是的，就像，我不再写超过半页的内部文档了，因为有人只是用人工智能来总结它。所以，有什么意义？是的，完全。完全。是的。嗯，所以，嗯，有什么给正在构建人工智能产品的各位的建议吗？这不是，不是典型的建议，你知道，它不仅仅是，你知道，尝试一些人工智能工具，比如，那么，典型的建议是什么？构建时假设模型会变得更好。构建时假设模型会变得更便宜。专注于也许是稍微不那么明显的，我想说的是，嗯，只是专注于模型擅长什么。我们有巨大的能力来原型化任何东西，你把它粘贴到 ChatGPT 中。它能做得，嗯，合理吗？如果是，你可能，嗯，通过一点，你知道，评估 rag，你可能可以构建一个好的产品。嗯，是的。我认为，嗯，我可能会回到这一点，也许是它的一个扩展版本，就是，嗯，我认为构建优秀的人工智能产品更多的是采取一种，嗯，如果……会怎么样的心态，将一个，嗯，连贯的产品放在某人面前。是的。然后说，嗯，这对你有用吗？一个很好的例子，Lovable 和 Bolt UI 原型设计。我没有听到，嗯，哦，天哪，UI 原型，嗯，网站原型设计是我们认为人工智能将擅长的第一件事。当然，我的意思是，它还算合理，但然后这些产品发现了它擅长这一点，然后它们使其变得非凡，然后每个人都喜欢这些产品，现在，嗯，Figma 制作，等等。所以，我认为，我认为人们不应该害怕构建一个连贯的产品，然后将其推向市场。我认为迭代测试。如果你把一个，嗯，有点糟糕的东西放在客户面前，然后说，“哦，好吧，我知道它今天很糟糕，但你不喜欢能够原型化东西的想法吗？”每个人都会说，“是的，如果它很好。”所以，不要害怕，嗯，在把它推向世界之前，把它做得很好，这是我的建议。是的，这是个好建议。我的意思是，就像，你知道，你不能，你不能对这些东西过于追求完美，因为它永远不会完美。是的。而且，嗯，很多，嗯，我的工作，只是构建一个流程，就是，嗯，每天都说，好吧，我该如何修复提示，或者，是的，它确实做了很多。另一条建议是，是的，有一个，嗯，关于，嗯，人工智能产品应该有多少是基于聊天的争论。我认为去年的模因是，一切都将是一个文本框。我认为随着生成式 UI，模因已经，嗯，从文本框转移到，嗯，哦，不，丰富的控件，工作流程是必需的。你应该总是有文本框，因为它比任何会话回放都好，因为你知道这个人到底想用这个产品做什么。就像，它非常有帮助，只是去，然后说，哦，用户正在与代理搏斗，试图让它做那个。而且很清楚，因为他们告诉它。而如果你看一个使用软件产品的会话回放，嗯，我们有很多巧妙的方法来弄清楚，哦，他们是否感到困惑？他们是否，嗯，他们是否生气，或者别的什么，但你不能，嗯，穿过屏幕说，“嘿，你想做什么？”而你可以，这是一个文本框。好的。所以，所以你认为文本框和聊天将至少作为一种媒介留下来？我认为，嗯，在这里，特别是为了帮助找到产品市场契合度，因为它让你完美地了解，嗯，通常是关于这个人想用这个产品做什么。而且，顺便说一句，嗯，人们相当擅长提示，所以你可以，ChatGPT 已经让每个人都学会了如何提示，所以，嗯，你可以，嗯，基本上依赖于人们大致知道该做什么。是的。就像，没有，你知道，只是先做简单的事情，伙计，只是，你知道，给人们一个机会说出他们想要什么，总是。是的。好的，詹姆斯。嗯，作为一名人工智能开发者，我的意思是，所有这些东西实际上都相当令人沮丧，对吧？就像试图迭代提示和，嗯，交付产品。你必须有火箭科学。尽管人们，嗯，我在 LinkedIn 上可能说了什么，它不是火箭科学。酷。所以，人们在哪里可以找到你和 Amplitude AI 代理？请访问我们的网站 amplitude.comai。好的，酷。而且，嗯，嗯，你会在 LinkedIn 上发布思想领导力，还是人们在哪里找到你？我有时会，不像我可能应该的那样，但好的。好的，伙计，这是一次很棒的谈话。非常感谢，伙计。很高兴能一起交流。是的。