Transcription
谢谢，谢谢你们的到来。谢谢。嗯，今天呢，演讲的题目是“提示词失败”。它主要讲的是人工智能的可观测性。首先，关于我的一些情况，我目前在 Groupon 担任高级技术产品经理。有 Groupon 的用户吗？你们听说过 Groupon 吗？>> 是的。好的。所以我们可能刚刚进入欧洲市场，但我们主要专注于北美市场。在此之前，我曾是一家公司的首席技术官，后来我把它卖掉了，然后我从工程领域转向了产品管理和项目管理之类的领域。我热爱工程，我热爱扩展，我热爱销售。我还有一个名为 Tech with Praat 的 YouTube 频道。嗯，嗯，所以在 2025 年，我们有观看次数最多的 Kubernetes 系列。这里有 Kubernetes 的粉丝吗？没有人是 Kubernetes 的粉丝。所以我喜欢创作内容，去年我们在 LinkedIn 上获得了约 1800 万次展示。我也喜欢在会议上发表演讲。比如 CubeCon、Gophercon、Rubicon，这些会议的名字。我将在那里或已经将在那里发表演讲。NDC 是我列表中的一个。所以我来到了这里，我喜欢旅行，我有一只狗。他的名字叫 Jerry。我喜欢金毛寻回犬。这就是我昨天去的地方。我在苏格兰，嗯，我在 Inesse。有人听说过吗？一个可爱的地方。可爱。我当时在那里，今天早上 9 点才到这里，我睡眼惺忪。我错过了主题演讲，但我在这里是为了我的演讲。但是这个地方很可爱，你们应该去看看。嗯，那么我们来谈谈这个话题。在此之前，免责声明，我讨厌这样做，因为我以前是我自己公司的创始人。我从不放这样的免责声明，但因为我现在为一家上市公司工作，所以我需要这样做。因此，所表达的观点，感觉我像是在法庭上，但所表达的观点是我个人的，并不一定反映我的雇主、客户或合作伙伴的观点。那么，我们开始吧。嗯，所以今天我将分享故事的两个方面。第一个是创业公司，第二个是企业版。好的，企业版，因为我现在从事企业方面的工作，在那里我负责管理，哦，我忘了说我的职责。所以目前我负责全球的云 DevOps、云 CI/CD、可观测性、数据库团队，以及以前的 AI 团队。所以，这是我在这里的角色。我与首席信息官合作，所以回到主题。所以今天我将谈论创业公司，因为我来自创业公司背景，也谈谈企业版。作为一家企业公司的员工，我看到了哪些挑战，以及如何克服这些挑战。第一件事是我调整了我的一些演讲内容。我已将我的演讲从专注于 OpenLit 转向不再是专注于工具的演讲。它将更多地关于 LLM、Langfuse、OpenLit，我还有一些演示。所以，它将更多地关于演示，大概 30-40% 是演示，60% 是幻灯片。但是，一份非常酷、非常扎实、非常有力的普华永道报告。我在这里链接了它，你们一定要读一读。因为有了 AI，现在每个人都是构建者，每个人都是 10 倍工程师，我们离通用人工智能只有一步之遥。我不知道，就个人而言，我使用 AI，但我发现它没有给我带来足够的价值，我根本没有动脑筋，我只是复制粘贴。作为一个产品经理，我创建产品需求文档，创建各种文档，我只是在复制粘贴。但是，在当今时代，复制粘贴是最重要的部分，因为你需要关注你输入和输出的 token 类型。所以，回到主题，为了让大家都在同一个页面上，我分享一个 Slido，如果你能扫描一下并分享你至今使用过哪些工具或解决方案，任何关于 AI 的东西，比如它可以是云子代理，它可以是云技能，它可以是你的垂直代理，它可以是你的，有人听说过 CloudBot X 用户吗？是的。它席卷了 X。所以，一个人创建了一个简单的代理，你可以安装在你的 Mac Mini 和你的普通笔记本电脑上，你只需要让代理完成那个特定的任务。所以现在它已经转向了多功能，但它是一个出色的工具。所以，让我们看看，所以子代理是我，我只是在测试它。好的。GitHub Copilot。好的。Specit。我没听说过。好的。GitHub Copilot。Amazon Q。OpenAI CEX。好的。Claude Code。不错。我也用过。Cursor AI。Mult。好的。M365。Copilot。好的。Copilot。我认为这里的大多数用户都是为了 C-pilot。嗯，是的，它对 Langchain 来说很不错。好的。谁是 Langchain 的？哦，不错。所以 Langfuse 和 Langchain 在某种程度上是相关的。我将展示 Langfuse 的部分。好的。很高兴知道这么多人正在使用任何 AI 解决方案。我希望更多的是 Claude，但是的。所以，我的下一个问题是，你找到投资回报率了吗？我不想感觉我是房间里唯一一个说“我还没有找到投资回报率”的人。好的。谁说了“是”？好的。你能详细解释一下吗？比如你是如何找到这个 AI 的投资回报率的？我帮助一家公司创建了一个工具来帮助他们，他们需要遵守一系列的合规要求。是的。合规要求，我帮助他们扫描文件，然后，好的。嗯哼。好的。嗯哼。好的。好的。好的。所以，谢谢，谢谢你的分享。我们来看 Slido。好的。谁是，我不在乎。[喘息]好的。所以，是的。好的。很高兴知道我们有共识。所以，目前我们正处于一个转型阶段，对吧？同样，从企业或本地部署到云的转型阶段。对吧？你知道云或 DevOps Kubernetes 吗？我们有共识，对吧？所以有两种转换器，对吧？第一种是升压变压器，第二种是降压变压器。所以，既然我们都在这个转型阶段，对吧？我们可以选择向上或向下，我认为这就是这类会议发挥巨大作用的地方，我们分享我们的旅程，分享一些你可以实施的想法，并帮助我们变得更好。所以，首先，为什么要做这个演讲？大多数组织已经拥有 AI。大多数人已经了解 AI，正如你所说，我使用 Copilot，我使用 Claude，我使用 M365，虽然我没听说有人使用它，但确实有人使用它，而且采用率正在上升，对吧？与 2025 年消费 AI 的人相比，我目前消费的输入和输出 token 数量要多得多，这表明我正在采用 AI，对吧？人们正在实施，人们都在学习。但这是一个很棒的转变，对吧？但是，问题在于，只有少数人或少数公司或少数初创公司或少数企业或少数公司或少数组织知道如何有效地使用 AI，而且投资回报率是混合的或不明确的，从我的角度来看，从我的经验来看，投资回报率根本不明确。所以，AI 更多的是，你今天应用它，一年后，或者也许八个月或九个月后，当事情有了眉目，你才会意识到，哦，这就是我的投资回报率。我们不能简单地说，通过使用 Cloud Code，我们将节省一百万美元，对吧？它不是那么容易定义的。下一个是可靠性和可见性仍然很困难，因为例如，去年八月，我了解了 Cloud Sub Agents。我学习了它，开发了我自己的，然后在十月，他们推出了 Cloud Skills。当我学习了 Cloud Skills，然后在今年十二月或一月，有一个叫 CloudBot 的家伙。这是一个无休止的循环，我试图让自己变得更好，但第二天又推出了其他东西。同样，当你看到 Y Combinator 或 Y Anderson Hollywood 的任何投资组合时，你会发现有无数的公司在为无数的问题开发，天知道那个问题是否存在，但他们正在开发大量的垂直代理。所以，以前，比如三月，一切都是关于垂直 AI 代理。人们在上面构建包装器。但最近 Claude 甚至推出了他们的 Excel 式代理。现在你可以轻松地操作你的云中的 Excel 表格或电子表格。所以，那些公司将会倒闭，对吧？同样，每三个月或每四个月就会有一些新的发现，一些新的方法。以前是关于 RAG，然后是知识图谱，然后是关于你的上下文有多好。在我们公司也是一样，我们对任何系统都零上下文，然后我们转向构建知识库，然后改进那些知识库，最后在整个公司共享这些知识库。[叹气]但是问题仍然是同样的问题，对吧？首席执行官们总是想要一种受控的扩展，他们愿意投资一些钱，但他们想要受控的，以一种受控的方式，这样我们的成本就不会一夜之间爆炸，或者我们的安全不会一夜之间受到损害。二是错失恐惧症，对吧？我认为这是最大的因素和最大的问题，因为每个人或每个公司都觉得他们会错过，对吧？如果我不实施 AI，或者如果不构建我自己的解决方案，我就会被落下，我就会失业，或者我的公司就会破产。我会失去我的客户份额，我会失去客户满意度，以及其他一切。所以，我认为在生活中，大多数事情都是由错失恐惧症驱动的。它们不是由你或你想要什么或你正在解决什么问题驱动的。更多的是关于下一个人在做什么，或者我的邻居在做什么，或者我的亲戚在做什么。所以，第三个问题是团队仍然会尝试创新，因为，嗯，我个人觉得，因为我与很多团队合作，我看到团队中有一个工程师，他试图过度复杂化事情，他试图构建自定义解决方案，微解决方案，并且是孤立的。我在研究这个特定的代理，我认为通过开发这个 AI 代理，我们将节省大约 10 万美元，让我来做吧。两个月后，产品发布了，技术也改变了。人们不再需要它了。所以，过度的创新仍然是问题，因为有了 AI，在第一张幻灯片上，每个人都觉得他们是 10 倍工程师，他们是构建者，他们可以构建一些真正好的解决方案，然后开源它，然后出售它，然后也许 Claude 或 Anthropic 或 OpenAI 会收购它。但是，这里的情况完全不同。最后一个部分是主要部分的偏差，我个人觉得，因为早上我试图整理自己，好的，这是我今天的优先事项，但到最后，我不知道，一个小时或两个小时后，我陷入了提示词，我复制粘贴，我不知道我在做什么。所以问题仍然是一样的，因为在云或 Kubernetes 世界里，我们也遇到了很多问题。在每一次转型阶段，我认为基础都保持不变。这是我们想要克服的四个具体的问题集，问题在于为什么 AI 可观测性有些不同。我个人觉得可观测性仍然是一样的。你仍然有，所以核心议程只是观察，观察，比如你坐在房间里，你只是在观察这个，也许两分钟，你在观察我的同事在做什么，或者一个人在拍照，或者他在记什么，或者她正在记什么，或者外面的天气看起来很好，或者这个演讲者说英语有点像讽刺，或者不同的语调或语言，或者为什么这些座位是空的，或者不是。所以，AI 可观测性有些不同。你仍然需要定义日志，你仍然需要收集指标，你仍然需要仪表板，但这里有几个不同的地方。所以，HTTP 200 不再是成功了。虽然有人可以说，如果我们没有从端点收到 200，那就不适用了，但通常我们不以 200、300 或 500 来衡量 AI 可观测性。第二个是延迟是波动的，因为，所以，如果你是一个 10 或 20 人的公司，感觉还可以，即使延迟是，而且它也取决于你是否是一家面向最终用户的公司，或者你只是在自己开发。你只是为云公司构建。所以，你得到的东西和你得到的东西之间有很大的区别，以及 HNER 或其他一些公司。所以，延迟是波动的，正确性是概率性的。我创作内容，在 LinkedIn 和 YouTube 上。我很少使用那些工具来起草我的最终帖子，对吧？因为每次我这样做，每次我试图提供上下文，我试图提供我之前帖子的链接，它从来都不是一样的。任何阅读它的人，或者任何付钱给我发帖的人都不会高兴，因为语气不同，感觉不同，帖子有点离谱。但是，有一些我们可以观察到的事情，我们可以实施 OpenLit、LightLLM 或 Langfuse 来看看我们有多正确。第四部分是风险，总是存在一些风险。大多数公司，我认为，正在暴露很多员工的 PII，这就是为什么他们只使用 Olama 或其他一些开源的离线 LLM。成本是可变的，所以今天，我认为今天早上我就达到了我的 OpenAI 密钥的硬限制，这就是为什么今天我不得不转向 Anthropic 密钥。所以，如果你不知道，因为我读懂了房间，我感觉有些人不是来自云或平台工程背景。这些是可观测性的四个支柱：指标、日志、跟踪和配置文件。所以，指标只是告诉你趋势是什么。然后，所以我们的核心重点将是跟踪，因为那是你 AI 提示词的核心部分，因为我们将看到从父跟踪到子跟踪和跨度以及其他一些东西。日志就像是文字记录。例如，你去 YouTube，你看到一个视频的文字记录。日志与此类似。日志是你应用程序的文字记录。配置文件更多的是应用程序层或应用程序代码级别的更改。例如，一个函数调用另一个函数，你想优化那些调用。你去看配置文件，而对于跟踪，你实际上看的是整个旅程，不是从函数到函数调用，而是从整个软件。所以，这通常是 AI 中可观测性的样子。现在我不会用这些图表来烦你们，但是，首先我们有用户层，然后是代理层。所以，以前，不是以前，而是今天，仍然有很多公司只提供代理层。我认为总的来说，有很多公司这样做，但我们的核心重点是用户层和代理层。模型层，我觉得它正在消散。我们甚至不需要它，因为我们知道有两个最好的模型：Anthropic 和 OpenAI。所以，我认为这是显而易见的。然后，如果你想在 Vortex AI 或 Google Cloud 或其他地方拥有不同的向量数据库，然后是基础设施层。据我所知，很多人甚至不观察它，因为我认为两年前，拥有 GPU 的跟踪或拥有 GPU 的适当可观测性非常困难，2.5 年前甚至更困难，因为存在上下文切换，[笑声]它归结为你的 GPU 和 CPU 如何协同工作。所以，更多的是上下文切换，2.5 年前，人们，公司没有那种观察 GPU 的技术。所以，回到画面，创业公司和企业都想要 AI，但方式不同。但总的来说，我认为可观测性，即使是创业公司或企业，仍然是一样的。我认为大多数公司需要的是自动化，而不是 AI。所以，就个人而言，在我日常使用流程中，我每天的实际工作中，我只使用 AI 来总结，创建 PRD，进行范围界定，重新措辞，礼貌地重新措辞，礼貌地重新措辞，更多的是带有额外的礼貌，带有额外的礼貌。这取决于我正在联系谁。如果是我 CEO，那么额外的、额外的、额外的、额外的礼貌。但是，所有公司或所有 CEO 或所有非技术 CEO 的目标是 100% 的 AI 覆盖我们的所有堆栈，然后这个人来了。你喜欢表情包吗？请笑。所以，这些是我最喜欢的关于 AGI 和 AI 的表情包。我有点喜欢这个人。拜托兄弟，我们离 AI 如此之近，下个月在迪拜或阿联酋将有一场大型的融资活动。这些也是我们内部分享的不错的表情包。但是，它反映了，它反映了我们前进的方向。如今，不再是关于问题陈述，而是关于我们能否添加 AI。我认为这一切都由错失恐惧症驱动。如果我们不应用它，也许我们会输掉这场比赛。从普华永道的调查中可以看出，CEO 们甚至表示，他们甚至不确定下个季度的收入，没有公司能确定，因为你永远不知道。你永远不知道市场上有一个新的 AI 代理可以取代某些东西。所以，实际上，如果你知道或不知道，请搜索 CloudBot。如果你不知道，我也不知道我怎么了，我订购了一台最新款的 Mac，因为那个 CloudBot。这些工具对我们的影响就是这样。所以，今天我们将看看企业版，我也会在上面添加创业公司风味。所以，我们有编码员。然后我们有 GTM 人员，负责市场营销，然后编码员在编码，GTM 是负责市场进入策略的人，Mark 也负责市场营销，也负责产品研究。然后我们有加速器。所以，加速器更多的是销售角色。例如，在典型的企业故事中，他们都会有自己的微解决方案。所以，销售团队将拥有他们的销售门户，这至少是我所看到的。所以，团队中的每个人都在为他们开发。营销团队将拥有自己的平台。是的。所以他们将拥有自己的平台，在那里他们拥有自己的上下文，他们的知识库，他们拥有所有信息，以便创建新图像，新品牌推广，新集成。还有工程部门，[鼻息]我觉得 AI 使它过于复杂了，但，我不知道，也许只有我一个人有这种感觉，但我觉得除了总结或建议之外，我们在 AI 方面并不那么好。再次，它擅长快速原型开发。这三个网站或这三个前端是由 AI 开发的，在 10 分钟内完成，它们与 OpenAI 集成在后端，你只需要提及电子表格，它就会为你完成。但是，问题在于，虽然花了 10 分钟，因为我早就知道它会给我什么。所以，我的提示词非常确定，这就是为什么我花了最多 20 分钟就完成了。所以，在典型的企业旅程中，我们有三种人或三种垂直领域，在 Max，企业、加速器和 GTM 都有不同的微解决方案，不同的思维方式，不同的副总裁、总监，不同的文化，以及不同的思维过程。好的。所以，实际上左边的是史蒂夫·乔布斯，如果你能，联系起来。所以，故障模式一。我们正在看营销部分，营销团队。我将快速浏览一下，因为我有点赶时间。嗯，所以，延迟峰值，再次，我认为这取决于你是否是一家面向最终用户的公司，那么延迟确实很重要，它应该是你优先级列表中的第一件事，但如果你不是一家面向最终用户的公司，我认为这甚至不应该在你前两三个优先级中。我同意，如果它暴露给内部团队，而且它非常错误或延迟很高，大多数团队都会失去兴趣。他们会找到一些替代方案，或者他们会自己创新解决方案，然后我们又陷入了在孤立中构建自定义微解决方案的兔子洞。所以，问题是第一个延迟峰值，我们很快就会看到，以及何时或哪些事情实际上取决于它，以及你如何观察它。然后，再次 P95，我认为我们大多数人都知道它是 95% 的百分位数。所以，我们将在几分钟内看到整个事情如何围绕延迟展开。然后，对于同一个团队来说，故障模式二仍然是相同的输入，不同的答案，正如我告诉你的，这是关于营销团队的，因为他们需要拥有相同的品牌形象或品牌叙事。你不能为同一个团队拥有不同的语气或不同的写作风格。这是故障模式二，好的，这是关于销售团队的，但总的来说，他们需要的是 P5、P95、P99。如果他们是面向最终用户的，那么 P99 应该是你的首要任务。如果你不是，那么 P95 甚至 P50 都可以，这取决于你的预算，你的可观测性堆栈。下一个是变更跟踪。所以，在大企业中，可能会发生，如果我们不断使用相同的提示词，并且，所以，我通常告诉你，大多数人会用它来总结，改变语气，代码审查，虽然我没看到很多人直接复制粘贴整个代码，我们有 Code Rabbit 和其他工具来做这件事，但大多数人会用它来做这些领域。AI。所以，下一个是风险和 PII，我认为很难跟踪。我认为我们今天不会展示这个，因为我们没有这样的解决方案，或者至少据我所知，今天没有。然后，它更多的是关于，比如延迟 Q 峰值，如何观察它们，以及类似的东西。再次，对于不同的团队来说，情况是一样的。他们需要审查结果。他们需要看看他们的提示词或答案是否在产生幻觉。最后，你应该有一个跟踪记录或审计日志，记录该特定团队所做的所有事情。在工程方面，它非常重要，而且在时尚方面非常独特。所以，对于工程团队，他们有 15 种不同的工具。每种工具都设计用于在某种不同的垂直领域工作，我讨厌这么说，但这更多的是工具蔓延。我见过许多公司支付 100 个许可证，200 个许可证，仅仅因为三个员工选择使用那个特定的工具。但软件就是这样设计的，对吧？Google 本可以为 Gmail、Google Chat、Meet、日历使用一个应用程序，但他们选择拥有不同的应用程序和不同的服务。事情就是这样设计的，而且它很独特，这取决于，对吧？因为就我个人而言，我使用 Cloud Sub Agents，但另一个人可能使用 Cloud Skills，下一个人可能使用 Y Combinator 公司的一些垂直代理，或者一些开源版本，或者他们正在开发某种包装器。还有一个叫做 N8N 的工具，有人用过 N8N 吗？不。好的。所以，请，请使用它。这是我在 2025 年下半年用过的最好的工具。你可以简单地自动化事情。所以，虽然它不是这个特定推介的一部分，但这是你可以使用的工具。所以，它可以自动化任何事情。例如，早上你想要你的晨报，根据前一天的会议，你的 Google Chat 回复，你的支持渠道工单，或者你的事件，你可以简单地用 N8N 创建一些自动化，并自己使用它。它再次是开源的，我们今天看到的工具都不是闭源的，它们都是开源的。所以，N8N 是我每天使用的工具。所以，回到主题，也可能发生的是，不同的团队甚至有自己的自定义解决方案，这是非常独特且非常困难的部分，因为不同的解决方案将具有不同的内置可观测性，然后如果你想在此基础上构建一些东西，它会带来额外的复杂性。所以，特别是对于技术团队或工程团队，你需要有审计日志，你需要有一些护栏，你需要有一些 token 或每个工作流的成本之类的东西。我们很快就会看到这一点，但你有没有意识到，每个团队似乎都在围绕着同一件事。首先，他们需要成本。其次，他们需要护栏。例如，营销团队可以有不同的护栏。你的工程团队可以有不同的护栏。但护栏是存在的。他们都想跟踪成本。别忘了团队，即使是 CEO 也想跟踪成本。如果你是上市公司，它应该在你的报告或类似的东西中。第三件事是，你想要更好地控制哪个团队想使用哪种模型。我们很快就会展示。有人用过 OpenLit、Light 或 Langfuse 吗？好的，完美。那么这就是我的听众。所以，回到主题，OpenLit，这是一个开源工具。再次，我们到目前为止所谈论的一切都解决了那个特定的问题。它有你的分析仪表板。它有你的开放，一切都基于 OpenTelemetry。所以，OpenTelemetry 是可观测性领域的下一个事物或当前事物，你只需要有一个 OpenTelemetry 收集器，它将收集你系统中的所有指标和可观测性或不同类型的信号。它内置了成本跟踪、异常监控、提示词管理和不同 LLM 的实验。所以，让我们进入演示部分，对吧？所以，关于 OpenLit，好的，好的。我部署了一个简单的应用程序，今天早上我自己部署了所有东西，你在这里看到的一切都有效，但我不知道发生了什么，但在演讲之前它不起作用。我下午开发了我的一些应用程序，大概是下午 2:37，然后将其与 OpenLit 集成。所以，正如我们所讨论的，OpenLit 是一个平台，而不是一个工具，而是一个平台，它可以进行成本管理，可以进行幻觉检查，可以进行模型管理，可以存储你的 OpenAI 密钥或其他密钥，而且它还有跟踪。所以，你可观测性层的主要部分。所以我开发了这个应用程序，正如我所说，早上我达到了账单硬限制，但我们也会谈到这一点。它更多的是一个图像生成器。你只需要提供广告系列简报，你的基础风格，你需要的图像尺寸。现在它只支持一种。然后，你想要的质量，高、中、低，背景是否应该透明，透明背景还是不透明。然后，你想要的模型。所以，你只需要连接它。非常容易。简单的 pip install，只需要你的 Python 和两三行代码，你只需要安装它，或者你可以用 SDK 来仪表化它，但完全容易使用。所以，例如，我的网络已连接。所以，例如，我想要一个，也许不是 20%，但我们公司决定采用 50% 的年度订阅。我知道它不会起作用，因为我们已经达到了那个限制。但在这里，你应该看到一个特定的跟踪请求，它是 456，你可以轻松地看到有三个调用，来自 Marketing Studio。所以，这些更多的是跟踪，或者你可以简单地称之为请求。所以，如果你点击其中每一个，你会得到，好的，这是在 2.66 秒内返回的响应。这是范围名称，这是跨度名称，以及特定跟踪的不同资源属性，同样也适用于这里。但是，OpenLit 在跟踪方面并不那么出色，这就是为什么我考虑添加 Langfuse。所以，回到我们的主题，一切都一样，我们正在进行跟踪管理，我们正在观察跟踪，我们将看到模型成本，我们将看到如何为不同的团队实施不同的模型，如何拥有一个单一的 OpenAI 密钥或 Anthropic 密钥或 Gemini 密钥并将其分发给整个组织。所以，这是本次演讲的主要用例，例如，你有一个非常大的企业，可能有 5000 人，2000 人或 1000 人，你不想为每个人的许可证密钥付费，因为每个密钥大约花费 23 美元，而且我认为没有哪个公司应该给每个员工一个 API 密钥给每个公司。所以，对于那个用例，我们有 LightLLM。我知道我正在跳过不同的工具，但请相信我，它都会落到实处。所以，我们这里有虚拟密钥。好的。所以，你只需要提及你的 OpenAI 密钥。例如，让我去设置。是的。然后，在哪里？它在这里发生。是的。所以，当你去模型和端点时，你可以简单地定义一个单一的 Open 密钥。例如，你在 XYZ.com 工作。你只需要有一个单一的 API 密钥，与 OpenAI 签订合同，说，好的，我们将获得企业密钥或为我们提供某种自定义计费，我们只需要一个密钥。你只需要在这里添加你的密钥。我只是向你展示一下。好的。嗯，我们不能展示，但你只需要在这里添加它，然后一切就都解决了。所以，接下来你需要做的是创建虚拟密钥。所以，虚拟密钥更多的是多对一映射。例如，你可以有一个真实密钥的 100 个虚拟密钥，它们都将映射到那个单一的真实密钥。例如，我想使用，嗯，Pith NDC 2026 2。好的。我想确保我只使用 Claude Opus 4.5，或者我们可以有一个不同的模型列表，或者我们也可以为某个特定团队分配某种不同的模型。好的，营销团队应该只坚持 Gemini。因为我们所做的是，我们的工程团队分析了 Gemini 在图像生成方面很出色。同样，对于销售团队，你可以坚持使用一个不同的模型。你可以为工程团队使用一个不同的模型。我认为这是完全过渡团队到 AI 并赋能团队采用更多 AI 的最佳方式。所以，你可以点击，嗯，Opus。好的。或者 Opus，无论你怎么称呼它。然后，你还可以有一些可选设置。所以，你可以自己创建这些虚拟密钥。所以，你可以拥有 N8N，我向你展示了它，与 LightLLM 连接，超级超级容易做到，简单的，你需要做的就是调用端点，然后提供负载，然后虚拟密钥就会生成，然后你就可以以自助服务的方式完成。你可以定义最大预算，重置预算，你可以定义每个密钥在一分钟或几秒钟内可以接收多少请求。然后，你只需要创建密钥。现在，这个虚拟密钥已经创建好了。再次，一个缺点是，你将对 LLM、Anthropic、OpenAI、Gemini 所做的每一次调用都将通过 LightLLM。所以，它是一种代理，坐在中间，管理一切。所以，它不是一种代理，但它是一种代理。坐在中间，观察你的调用，观察你对 AI 的集中使用，为你提供输入输出 token 的总数，取决于团队，取决于你的员工，你还可以为团队和员工设置预算。所以，你只需要复制虚拟密钥，然后，你只需要进行一些调用。例如，我们想，因为我今天早上就达到了那个限制，所以，让我们连接起来，然后我们将在 Langfuse 和 LightLLM 中看到类似的调用，谁做了哪个调用，何时做的，以及它回复了多少毫秒。所以，让我做这个。好的。所以，只是一个简单的调用请求，然后，这里。好的。基础 URL，然后，我认为它应该有效。好的。所以，正如你在这里看到的，它说，好的，让我增加字体。所以，它说，这个密钥只能访问模型 4.5，对吧？但在那个文本中，我们用四点一进行了调用，对吧？所以，这再次是我不想展示的用例，但最终它变成了，但这就是你可以限制某些用户的方式。例如，你公司有 50 或 100 人，你知道，这些人是专业用户，这些人是中级用户，而这些人甚至不使用它。所以，最好是只给他们某种预算和某种模型。所以，现在谈到 LightLLM 部分，你可以在使用中看到，它提供了大量数据。所以，有多少请求被发出？再次，取决于团队，取决于组织，取决于，这些天人们使用大量的代理间通信。你也可以在这里添加。失败和成功的请求类型。所以，现在我们发出的请求，它被归类为失败的请求。总 token 数和总成本，以及模型。例如，你想看看我的公司要去哪里，我们为 Anthropic 和 OpenAI 花费了多少，例如，你有一个合同续约，你需要这些数据，它是开箱即用的，你不需要自己实现。下一个是你的日志。所以，日志是他们的一个新功能。它还在测试阶段，我还没有用太多，但，那个部分，但，它再次是一个很好的功能。现在谈到护栏部分，对吧？例如，你想要 Google Cloud Armor 坐在中间。所以，Google Cloud Armor 是 Google Cloud 的另一项服务，它用于，再次，它更多的是一种代理，它检查你正在进行的哪些数据或哪些请求。你想让 Google Cloud Armor 坐在中间，你想捕获或拒绝或允许特定类型的请求到特定的一组 IP，到特定的一组端口等等，更多的是从安全角度来看。你可以添加你的护栏。所以，你只需要添加你的护栏名称。你需要选择提供商，然后输入主机 IP 和其他东西。所以，你可以简单地定义 PII 或敏感系统，你可以通过在密钥级别设置护栏来保护它们。所以，你不需要等到应用程序级别。你不需要开发某种应变解决方案或订阅 Viz 或 Palo Alto Networks 或其他网络安全公司。这些小调整或这些小解决方案真的可以帮助你们构建护栏。嗯，关于模型和端点，你也可以定义不同的团队，不同的模型，以及，嗯，其他不同的部分，你还可以拥有不同的游乐场。所以在将不同的模型推广到你的整个组织之前，你可以玩转模型，测试它们的响应，测试它们的输出，然后你可以定义它们。现在谈到 Langfuse 部分，因为这两个是更相关的。所以，LightLLM 作为你的真实密钥和虚拟密钥之间的代理。所以，它完全是为了你的密钥管理，或者用户管理在密钥级别。所以，如果你只需要一个，你甚至不需要分发 10 个密钥。对吧？所以，它归结为那个部分。Langfuse 更多的是为了你的提示词。再次，它是一个开源工具。最近被收购了，我认为两周前被 ClickHouse 收购了，ClickHouse 正在疯狂收购公司，因为，所以，ClickHouse 是一个数据库服务，比如 tstb。回到 Langfuse 部分，它更多的是为了提示词，更多的是为了在提示词中心定义你的提示词，你可以定义幻觉，你可以拥有，所以，关于幻觉最好的部分是，六个月前，没有人知道如何定义或如何跟踪幻觉，但现在我们有了这样的技术，我们可以做到。所以，你可以让 LLM 作为裁判，而不是让 LLM 为你做任务，现在 LLM 的任务是捕捉幻觉，所以，这更多的是一种逆向工程，或者有一个表情包，一个箭头，两个箭头。所以，这更多的是，你可以让 LLM 作为裁判来检查你的幻觉。但是，回到重构部分，这给了你巨大的见解，非常好的见解和你的用户模式。例如，你正在创业，你正在构建一个垂直代理，然后只需拥有 Langfuse。它会告诉你很多关于你的用户的信息。再次，他们需要同意，但，但你将获得很多很棒的数据，比如，例如，一个用户正在对话，比如 30 个线程以下，或者 100 个线程以下，或者用户只有一个聊天，有成千上万个线程。所以，你可以分析那个用户，你可以分析那种客户群体，并围绕他们构建解决方案。而且，例如，让我重新刷新一下。是的。所以，让我去 LightLLM。所以，有很多复选框。好的。你可以选择跟踪 ID，用户 ID。例如，你想定位一个特定的用户，你可以选择用户 ID，你可以选择会话 ID，或者，在哪里？是的。所以，例如，我认为今天早上，或者现在，就在会议之前，我进行了一个代理，我进行了一个 LLM 调用，帮助我理解本月减少云成本的三个实用方法。所以我只是做了一个简单的调用，它获取了所有的响应，包括输入和输出 token 以及你的日志视图。所以，O 调用是什么时候做的？Postrist 调用是什么时候做的？LightLLM 是什么时候调用的？你的 LightLLM 的延迟是多少？你的 LLM 的延迟是多少？非常细粒度的数据。甚至像批量写入数据库，那种粒度是开箱即用的，简单，超级容易。所以，你只需要创建一个简单的 API 密钥。去 LightLLM。去，我认为，集成，如果它在这里的话。是的。所以，它将发送或获取提示词和其他东西。同样，我们有，我认为，我只是寻求一些帮助，然后，是的，这是更多的是跟踪，然后你可以有不同的提示词。例如，你只想有一些提示词集，你观察到你的公司反复使用某些提示词集，然后去你的，嗯，去或分析，你特定的提示词，也许集成语言，什么样的提示词被制作出来，什么样的提示词，以及这些提示词的频率，然后在这里拥有提示词，人们可以来选择，复制粘贴，然后做这些事情。所以，它只留下一个单一的平台，你可以在那里跟踪它，你可以在那里，所以，会话是更高级的功能，你想深入了解你的特定用户。单一平台来跟踪你的提示词，你的游乐场，再次，测试特定的端点或特定的模型，你可以拥有它，然后你也可以
有分数。所以这是一个非常好的功能。例如，您想在公司中建立人工智能文化。每周您都想分析用户提示。您想向他们发送通知。好的。所以，公关，嗯，本周您锁定了大约 50 个不同的提示，您的分数是 98%。嗯，或者可能是 50%，这些是改进领域。所以，您可以轻松地围绕它构建这样的分数。嗯，再说一遍，LLM 将会做到这一点。所以，所以这是一种 LLM 之上的 LLM。所以，LLM 的链式调用，其中 LLM 将只获取您所有的提示，进行分析，分配分数。再说一遍，您需要定义您想要什么样的分数，然后您就可以继续前进。同样，我们有，我想我今天已经创建了评估器。所以，您可以进行不同的幻觉检查。所以您想检查正确性。您想纠正相关性。您想检查毒性。所以，嗯，在一家公司里，您觉得人们只是没有以正确的方式使用人工智能，而您想，或者您正在建立一些初创公司或某种产品，其中问题陈述是关于毒性去除器。好的。嗯，那么您就可以简单地拥有这个检查器。您可以定义您的提示。嗯，您可以定义您实际想要的东西。嗯，这就是我创建的。所以这是一个更通用的提示。您只需要定义，您只需要传入输入，其余的都会完成。嗯，嗯，是的，所以这与语言有关。但说到 open lit，这是今天演讲的主要部分。所以我刚刚向您展示了 lightm 和 langfuse。所以就跟踪而言，我敢肯定您也已经发现 open it 并不那么好。嗯，但它擅长的是保管库。所以您可以简单地存储您的密钥，而 light lm 或 open a 或 langfuse 不支持。您可以在这里简单地处理异常。所以我想简单地展示这三种不同的工具。您可以完全自由地以不同的组合、不同的排列和组合方式使用它们。嗯，但有些人喜欢 open lit，因为它非常朴实，非常直观，不像，例如，一个新用户，非技术用户，当他们来到您的特定 lang fuse 时，很可能他们什么都做不对，但当涉及到 openl 时，人们会很容易理解，这是请求持续时间，这是状态码，您可以拥有相同的东西，所以您可以进行评估，您可以拥有，所以您可以简单地定义评估检查，比如在这个特定部分配置，您可以定义 open I 密钥，您可以定义，比如在什么特定时间点，它将，嗯，运行您的不同特定提示，并且，嗯，您可以拥有不同的仪表板，不同的成本仪表板，不同的 P95 P99，所以我推荐 open it 更多用于营销，这就是为什么我有三个团队，工程、营销和销售，营销和销售，因为他们不是那么懂技术，他们不知道 graphana，他们不知道任何其他堆栈，这个工具非常直观，对那些人来说很好，再次用例很简单，所有三个工具，两种工具 langu 和 open，它们都进行评估、提示跟踪和其他部分，嗯，同样，我认为您的语言应该更多地用于专业用户，或者可能是 CXO 级别的报告，您为所有团队、所有员工获取所有正确的数据，而 light 又是管理密钥的集中方式。所以，无论您的团队是 10 人、20 人还是 30 人，我认为今天或明天，或者也许在周一，您都应该实施并尝试使用 light LLM，因为随着您规模的扩大，将您的 openi 许可证转换为单个许可证将变得非常非常复杂，而且我认为这是非常，大型企业经常会遇到这类问题。所以，为了采用人工智能，他们将启动为期 6 个月的培训营或为期 6 个月的，嗯，采用系列，他们只关注从密钥的转换。所以，如果您规模小，现在就进行转换，以节省未来的时间和未来的工程时间，这很好。嗯，所以今天，我认为我们看到了提示链跟踪。嗯，再说一遍，代币经济学更像是纯粹的普通东西，其中 lightm 已经为您更新了每个输入和输出代币的成本，按模型，按公司。它只会计算您的成本。让我去使用情况。所以它只会计算您的成本。langfuse 也一样。所以您可以简单地拥有，嗯，不同的仪表板，用于成本，用于持续时间，但我会真正坚持使用 light LLM 进行成本和其他部分，因为它处于密钥分发和密钥使用的交叉点，相比之下，langfuse，我再次偏爱 langfuse 进行更多提示级别的更改，或者引入人工智能文化，并拥有更多，嗯，监督视图，但我会真正为 light LLM 在成本管理方面担保，然后，嗯，您还可以将 light LM 作为裁判。所以有两种方法可以进行评估。第一种是务实的，第二种是光明的，嗯，第二种是基于 LLM 的。我建议，如果您有人力，如果您有技能，就选择务实的。但如果您没有，我认为您需要让您的提示更具确定性，以便使用基于 lightm 的裁判和所有三个工具。所以 langfuse，所有两个工具 langfuse 和 open 都带有 LLM 作为裁判。所以您也可以将 light LLM 作为裁判。所以用虚拟密钥替换真实密钥。所以，这齐头并进，我认为幻觉和治理或管理是，嗯，一起的。嗯，是的，所以，所以，我再次推荐营销非技术团队，open lit，lightm，langfuse，去，去工程团队或专业用户，而且，所有这三个工具都是开源的，您可以简单地自己托管，无需支付许可证和其他费用，所以您可以简单地自己托管很多指标、跟踪、配置文件或其他类型的数据，如 P95 Q 深度 Q 长度，它们很有用。所以您无需实现不同的可观测性解决方案来解决可观测性问题。所以，我希望您明白我的意思，但是，嗯，是的，所以，谢谢，谢谢大家收听。我认为现在是 5:20，嗯，谢谢您的加入。现在是问答时间。如果您想问任何问题，请随时提问。是的。>> [掌声]