Transcription
所以，真正的使命是让人工智能发挥作用，并让人工智能为人们服务，对吗？所以，这一切都是为了让人工智能为每个人服务，包括消费者、客户和广大企业。我认为评估是我们刚刚看到的最重要的事情，从2025年到2026年，它将是系统运作最重要的部分。如果我与任何公司合作，就像我多年来在软件公司工作，并与客户合作一样，我们将如何帮助他们赚钱？我将如何帮助他们控制成本？以及我们将如何帮助他们管理风险？我认为现在人工智能的很多方面都在于管理风险。
欢迎收听“分析播客”，这是一个致力于剖析全球科技、媒体和商业脉搏的顶级播客。我是伯纳德·朗。我们如何知道大型语言模型或任何人工智能代理正在做正确的事情？今天，我们将通过亚太地区的视角，探讨人工智能代理评估和基础设施不断发展的世界。今天与我同行的嘉宾是帕特里克·凯利，播客的老朋友，现在是Arise AI的亚太区副总裁，我也很高兴从你们deep learning.ai的创始人那里学到了一些东西，这是一家帮助世界构建和交付可靠的人工智能代理投入生产的领先公司之一。那么，帕特里克，欢迎来到节目。
太棒了。谢谢。很高兴再次来到这里，伯纳德。
那么，恭喜你担任新职务。既然你之前来过节目，分享了你的早期职业生涯和上一份工作，你最近在忙些什么，你认为是什么让你担任了现在的职务？
是的，当然。我想我们上次谈话时，我还在DataBricks，那是在很久以前了。而且，是的，我在DataBricks工作了两年，有很棒的经历，我们正在拓展业务，为东南亚的客户创造了很好的成果，我想你去年在Data + AI世界巡演时也看到了，当时你主持了播客，并采访了像Hafne这样很棒的客户，那真是太棒了。你知道，那是一家很棒的公司，有很棒的愿景，湖仓一体，你知道，拥有那种共同的数据源。然后，又有了再次构建新事物的机会，你知道，你我骨子里都是建设者，对吧，从亚马逊时代走过来，Arise AI真的来了，他们说我们正在寻求在APJ建立业务，如果你看看Arise AI正在努力做什么，那一切都关乎如何交付有效的人工智能，是的。
所以，让人工智能为人们服务，对吧。
而且他们也因帮助了解人工智能是否真的在做正确的事情而闻名，比如，他们最初可能以大型语言模型评估而闻名，现在我们进入代理评估，甚至在考虑基础设施方面，我也从你那里了解到，它不仅在云端，也在本地部署，但我们将对此进行更深入的探讨。这就引出了今天的主要话题，我想谈谈Arise AI以及市场机遇，也许首先简化一下，Arise AI的核心使命是什么。这家公司究竟如何赋能团队使用大型语言模型和人工智能代理进行构建？
是的。所以，真正的使命是让人工智能发挥作用，并让人工智能为人们服务，对吗？所以，这一切都是为了让人工智能为每个人服务，包括消费者、客户和广大企业。
我真的认为我们正处于人工智能采用的一个领域，你知道，自GPT问世以来的过去几年里，我们有了聊天机器人，有了RAG，有了大型语言模型，其中一些在为客户实现成果方面非常成功，对吧。
而且，Arise AI的很多工作实际上是帮助客户观察他们的人工智能解决方案或人工智能应用程序中正在发生的事情，然后能够理解如果出了问题，我该如何评估它，然后我该如何将那个反馈循环再次带回这个系统。
而且，你知道，目前每个人都在谈论代理式或代理，每个人也都在朝着这个方向发展，我们只是认为代理式只是系统为了获得结果而采取的一系列步骤。所以可能有一个大型语言模型调用OpenAI，然后会有一个API调用另一个系统，然后会有一个调用来读取或从系统中检索一些东西，无论是数据库还是PDF，然后你把它们全部组合起来，那就会将响应返回给代理的用户。所以它只是许多不同系统融合在一起，但正如你所知，这会变得更加复杂，是的，你如何理解整个会话的端到端过程。
而且我认为，如果你有像人们所说的模型上下文协议（MCP）服务器这样的东西，这种复杂性也会加剧，因为你试图从不同的服务器获取不同的信息，然后突然你想压缩那个上下文，然后你试图让人工智能代理在所有不同的数据上工作，然后汇集起来，综合它们应该为你做的事情。所以，为了让我的听众有一个基本的了解。你能帮助他们理解一个支持人工智能代理的平台究竟是什么样子吗？我想更多地从Arise的角度来看，以及像开发、可观察性和评估这样的事情，当你在考虑生成式人工智能应用程序时，它们各自是如何发挥作用的？
是的，当然。我认为，正如我所说，第一步是观察你的系统。所以，了解你的系统，看看它在做什么，那会告诉你是否有问题。嗯。
所以那是第一步。
第二步，你就会想，好吧，我知道有问题了，然后你找出症状是什么。所以，任何事情都想想医学诊断，它是医学，对吧，然后你想到医生，我有症状。
你去看医生，我有症状，他会评估你，他会，我会看着你，你流鼻涕，你的眼睛有点流泪，我不知道，我想可能是被感染了，或者可能是流感。
但那时你需要根据某个剧本或数据进行评估，对吧，所以医生会根据你的体温和其他一切来衡量你。
但就像任何系统一样，你需要评估。我们可以进行提示工程，然后我们可以理解，好吧，是什么数据导致了大型语言模型或聊天机器人中的这种幻觉。
然后最重要的是，当你在进行应用程序的开发和重新开发时，你希望将这种改进推回到系统中。
所以我们真正思考的是如何开发代理或人工智能系统，然后如何将它们投入生产，然后当它们投入生产时，你进行观察，然后进行评估，并创建这个持续的循环，这样希望你的整个应用程序的质量、性能和一切都在不断提高。
所以这就像是将评估结果反馈回系统，以便它能够迭代和自学习。我认为一个问题可能只是一个附注，那就是它也通过不同类型的环境，对吧，我指的是本地云，甚至所谓的“气隙”类型的环境，我这样说对吗？
是的，是的，所以我们有很多客户，比如我们在不同的云提供商，如谷歌、微软和AWS中运营，但我们可以在任何计算基础设施上部署，这正是。
这对我来说是最大的惊喜，是的，因为有些企业需要非常“气隙”类型的应用程序，可能是工厂制造，他们不希望其他人能够访问它。所以实际上，你们的Arise平台可以像容器一样推送到本地系统。
本地系统，然后它在那里运行，然后如果他们正在自己的GPU堆栈上运行任何类型的，比如说DeepSeek或任何小型语言模型或开源模型，我们就可以收集所有的遥测数据，我想你知道，就像OpenTelemetry Hotel一样。所以我们是一家非常供应商中立的公司，从我们运行的平台或基础设施，到收集信息的技术，比如Hotel等等，然后当我们进一步向上层堆栈，关于如何构建像LangGraph、LlamaIndex和CrewAI这样的代理时，我们也支持所有这些框架。所以你可以看到，我们支持整个生态系统，对我们来说，开源是核心，那就是OpenTelemetry，然后还有由Arise AI创建的Open Inference，它提供了进一步的语义，可以帮助。
理解大型语言模型正在做什么。
是的，实际上因为还有追踪和可观察性，当我实际教授大型语言模型课程，教工程师如何操作时，我接触到更多实际上在本地环境工作的学生。所以评估实际上是最大的挑战之一，而我所知道的唯一方法实际上是通过云环境。所以现在感谢你给我这个提示。我可以回去告诉他们实际上。
那个，因为我在我的课上用Arise作为例子。所以有趣的部分是，现在我可以告诉他们，他们也支持本地环境。但我想，许多听众可能非常熟悉所谓的传统AB测试，或者机器学习指标。我认为人工智能评估真的不同，对吧？因为你可以提示任何东西，然后人工智能可以给出很多不同的结果。那么，你能帮助我们理解在大型语言模型、ILM和代理的背景下，评估意味着什么，以及它们为何重要吗？
是的，非常重要。我想你抓住了重点。我认为评估是我们刚刚看到的最重要的事情，从2025年到2026年，它将是系统运作最重要的部分。而且，是的，回到你我以前在广告机器学习部门工作的时候，对吧，我们当时在思考如何让一个预测模型达到某种确定性的结果，那是对的，这非常重要，对吧，是的。
然后我们不断训练模型，不断训练模型，然后我们得到我们想要的分数，这非常重要，是的，在大型语言模型的世界，在生成式人工智能的世界，这并不那么容易，因为它是不确定性的，你知道输出可能非常不同，你问GPT两次相同的问题，你会得到两个不同的答案。
对，所以我们真的想确保我们如何能够引入评估的元素，我认为非常重要的是有两种类型，一种是离线评估，所以，举个例子，你的公共部门或政府客户，他们正在构建某种系统，对吧，他们正在开发，然后他们想测试它，所以那是离线的，有一组数据，他们正在针对它测试提示，然后他们正在衡量，嘿，它是不是幻觉？它是不是有毒？它是不是泄露了信息？所以，那是一种类型。
但当你投入生产时，你也希望能够在线进行。
所以，我们看到很多关于生产环境中在线评估的技术。例如，这是我们从Booking.com得到的一个例子。所以，他们有几个用于旅行规划和不同系统的人工智能代理。他们能够看到的是，这个代理在生产环境中实时表现如何？他们可以在生产环境中进行在线AB测试。我明白了。所以产品经理在这个领域现在非常重要。所以你有人工智能工程师和开发人员，但公司里的产品经理正在决定，好吧，这个人工智能系统应该是什么样子？我如何在线操作并能够为客户即时切换？
那么显然，随着时间的推移，他们会把它带回开发环境并更新东西。但有时你知道这是一个面向客户的代理。对。你希望能够实时捕获它，这样停机时间最短。
是的。如果我能在这里稍微插一句。所以，比如说对于客户，我们使用客户服务机器人作为例子，对吧？所以通常会有一个客户服务聊天机器人来处理特定的产品和服务，然后大多数人通常只用一两个问题进行测试。所以我总是告诉我的学生，请不要那样做。拿前两个问题，去Chat GPT或Claude，问有没有40到50种问同一个问题的方式。所以它们会生成所有问题，然后你使用所有这些问题列表作为评估提示和答案的一种形式，对吧。那么，从Arise的角度来看，当我们查看追踪和可观察性时，它是否真的能帮助你处理像聊天机器人这种给出非常非线性、对同一个问题给出两种不同答案的情况？
是的，当然。所以你会收集所有这些响应，然后能够将它们放入一个特定的数据集，然后你能够将该数据集带回你的开发环境，然后你能够针对它运行测试，看看结果是什么，然后你能够给它们打分并看到，好吧，这个提示触发了这个。好的，也许我需要改变，我可以改变模型作为例子，或者我可以指示它，放一些指令，我改变一些代码，我可以放一些不同的步骤来改变事情。所以所有这些都可用，那真正进入了整个改进部分。所以一旦你进行评估，然后你改进。好的，我将改进这个和那个，然后我将再次测试它。
对吗？
所以所有这些都可用。
我觉得这很有趣，因为现在大多数云环境中，人工智能构建者实际上可以选择使用哪种大型语言模型，无论是Azure Foundry，还是Amazon Bedrock，甚至是谷歌云平台环境。所以本质上，你甚至可以在我们切换模型时悄悄地进行评估，你的系统应该能够判断我是否理解正确了？
是的，百分之百。所以有一个像游乐场一样的地方，你可以开始运行这些提示，我会像GPT-4一样玩，然后我会将它与GPT-5进行比较，或者我想把它改成Gemini。所有这些都可用，因为我们正在使用OpenTelemetry从所有这些不同的模型中提取所有追踪数据。
是的。那么，让我们来看看一个典型的客户是如何与Arise合作的，对吧，他们通常从哪里开始？主要是从可观察性、评估、追踪开始，还是其他什么？
是的，我总是会回想起彼得·德鲁克在商业原则中所说的，你无法管理你无法衡量的事物，对吧（笑声），所以，也回到我们在亚马逊的日子，我们非常关注我们要衡量什么，当我们开发任何业务或技术时，这里的成功要素是什么。
所以它确实是从可观察性或追踪开始的，大约50%的客户从那里开始，因为他们构建了一些应用程序并在测试它。
而且他们正在运行它，那确实涉及到我们的开源领域，我稍后会谈到。
嗯，所以大约有50%在那里。但我们确实看到一些客户可能很早期，他们正在构建应用程序，并在开发环境中开始对其进行一些评估。但大部分确实是从可观察性部分开始的。但即使是那些从开发开始的，他们也很快将其投入某种生产或测试环境，因为你永远不会知道这个人工智能应用程序或代理是如何工作的，直到你获得用户交互。
所以，非常快速地进入可观察性部分非常重要。
对。所以我想大多数开发人员，我的意思是，我通过Phoenix知道，对吧？那是人们通常进入Arise AI生态系统的开源版本吗？
是的。所以我们有Phoenix，我们有Arise。所以Phoenix是开源版本，而且是我们真正拥抱OpenTelemetry的社区的一部分，也是Open Inference真正开始的地方，任何开发人员都可以在他们的笔记本电脑上下载Phoenix，构建一些人工智能应用程序，然后开始测试和评估它。我忘了。是的，我忘了提Arise实际上负责Open Inference。你想谈谈那个吗？
是的，我只想说，我们已经看到，你知道，有了OpenTelemetry，然后我们也看到，你知道，有了大型语言模型和语义，还有很多其他元素需要理解。所以Open Inference，我们在此基础上构建它非常重要，我们看到它现在正被行业中许多不同的参与者采用，同时OpenTelemetry和Open Inference现在确实是关于我们如何构建评估的标准。
帕特里克，我真的很感谢你刚上任就这么快来参加节目。我想才三周，对吧？
是的，已经三周了。（笑声）
那么，如果我问你一个问题，你知道，亚太地区已经有多少客户了？那就不太公平了。那会是一个错误的问题。但我希望的是，也许我确实在网站上看到了一些客户用例，你能告诉我一些迄今为止让你印象深刻的故事吗？我知道你已经提到了Booking.com，但我很确定还有其他公司，或者它们可能在这个地区，对你现在在这个地区开始工作来说特别令人兴奋。
是的，当然。我提到了Booking.com。我认为这对我们来说是一个很好的用例，而且旅游业对我们来说也很有趣。所以像Skyscanner以及人工智能中的大量规划。
人工智能规划。完全正确。而且作为一个成本敏感的市场，你知道，有动态定价和其他一切。所以他们真的想吸引很多客户，并确保让他们进来，并能够推动那个结果。
我想当我们考虑企业规模时，我想如果我们考虑印度的Flipkart。是的。所以你知道，它是最大的电子商务零售商之一，拥有6亿客户，现在由沃尔玛拥有。
是的。现在是沃尔玛。完全正确。所以，但这确实展示了大规模的应用，我们正是在那里帮助他们，通过他们的客户面向代理，了解客户正在做什么，如何转移任何客户查询，并且拥有那种自动化，可以帮助降低他们那边的成本，但同时也可以推动GMV，你知道，商品总价值对零售商来说非常重要，他们可以吸引更多客户进入系统，让他们整理产品，并通过整个平台获得更多销售。那么，迪恩斯，你刚才说的是，客户除了进行评估之外，他们还在Arise平台协调时同时进行优化，无论你在哪个云上。是这样吗？
优化，就像是，试图优化代理，以便能够尝试优化更少的令牌数量。
哦，是的，当然。所以我们能追踪的一件大事就是所有成本，对吧？是的。生成了多少令牌，甚至今天早上我还在玩这个系统，我比较了GPT-4和GPT-5，GPT-5生成了更多的令牌，你知道，是的，是的，不不，4.5也生成了更多的令牌，所以，拥有一个特定的系统，可以帮助你甚至能够可视化这一点，我认为这已经有很多价值了，那么，你能分享一些例子吗，比如你的团队在发布大量代理时遇到困难，然后Arise作为一家公司如何帮助他们扭转局面。
是的。所以AT&T，你知道，世界上最大的电信公司之一，他们为他们的客户代理，他们有像RAG聊天。所以是检索增强生成。是的。所以客户会登录并开始询问一些关于我的账户的问题，然后前面的代理聊天机器人会检索一些信息，然后能够将其返回。
现在他们在这方面遇到了准确性问题。所以我们与Nvidia合作，能够微调模型，当我们对输出进行评估时，我们使用人类来理解，好吧，这是对还是错，你知道电信领域的专家，但同时我们也使用了另一个大型语言模型，所以大型语言模型作为评判者也是一种评估技术，以在此之上拥有另一个扩展机制，其结果是我们的准确性提高了40%，然后成本降低了84%，这对于代理的数量来说是巨大的，而且如果你有人工代理和人工智能代理，当你把它们结合起来时，这真的有助于他们在业务中实现大规模扩展。
是的。所以，这是你第二次上播客了。所以，这个问题应该不难。关于在亚太地区构建或交付人工智能代理，你了解的一件事是什么，很少有人这样做，但他们应该这样做。
我喜欢这个问题。我想上次我们，麻省理工学院的报告刚刚发布，或者说即将发布。（笑声）
现在，我们再回到那份报告。95%的人工智能试点项目都失败了。
但我认为那仍然存在。但我想很多系统已经发布，比如我认为很多成功的大型语言模型、RAG系统、人工智能应用程序已经发布。我认为现在更有趣的是，大约50%已发布的人工智能代理在生产环境中失败了，因为我们真的不知道发生了什么。
是的。而且这正是我们在Arise中看到的，但这也有新加坡管理大学（SMU）的这项研究作为支持。
所以这一切都关乎这种“无声的失败”，对吧，就像我们正在发布这些代理，但我们实际上不知道发生了什么，它们是否真的产生了任何输出。
是的，我想当我浏览Arise网站时，因为我必须为这一集做研究。我认为Arise似乎强调的一点是，构建代理很难。交付它们更难。我想如果我问你这个问题，那对在亚太地区构建的团队来说，这在实际操作中意味着什么，但这可以在任何地方，对吧，那么这对他们意味着什么呢？
是的，我认为在亚太地区，作为前奏，你知道，很多政府和监管机构正在为此采取措施，所以韩国刚刚为金融服务业推出了一个人工智能风险管理框架，确保每家公司都需要采用这个框架，这有点让你回想起早期的云计算时代，你知道，成本控制、云控制、安全控制。
但你也有同样的框架，比如新加坡金融管理局（MAS）的透明度等等，所以是一回事，对吧。
对，是的，而且，新加坡金融管理局（MAS）他们刚刚再次发布了关于人工智能风险框架的咨询征求意见，那将在1月底结束，然后他们将发布，好吧，公司在人工智能风险管理方面的指导方针会是什么，这非常有趣。
但你们是否与那些专门处理评估方面或安全评估的机构，甚至研究小组合作？因为我认为Arise真正想做的是确保大型人工智能代理或大型语言模型正在做正确的事情。
是的。
对。而且还使用不同的技术，比如将大型语言模型作为评判者，同时帮助他们解决问题。
是的。我们在学术方面做了很多工作。所以我们与来自基础模型实验室的许多研究人员合作，真正深入了解技术部分，比如这看起来的未来是什么样子，这样我们就可以将其推向市场，并确保学术界和研发也朝着正确的方向发展。所以这对我们来说非常重要，然后，是的，然后显然与高度受监管的行业合作，比如银行和电信，它们将对在某些范围内可以做什么和不可以做什么有非常高的标准。
医疗保健领域，哦，当然，医疗保健是一个超级重要的领域，我们作为一个平台，拥有所有认证，如ISO和HIPAA以及其他所有认证，这非常重要，我们可以为这些市场部署。
是的。所以我看到你们的CEO最近发布了2026年人工智能的10个预测。所以我想我研究得很充分。我想其中一个问题，就像你提到的，会话很重要，或者你知道，“harness”作为一个流行词。你能告诉我，从他的10个预测中，你认为哪些趋势现在在亚太地区最活跃地显现出来？
是的，我认为最重要的一点是“X的游标”，我不知道你是否也同意。它就像一切事物的游标。所以是人工智能工程的游标，产品开发的游标。所以我想。
我以为现在会是“一切的云代码”。
是的。是的。（笑声）是的。是的。可能现在也是“云代码”了。“游标”只是一个词，对吧？所以那种游标体验，软件开发，那种氛围体验真的非常重要。而我们自己，我们已经构建了我们自己的人工智能工程助手，叫做Alex。
亚历克斯，
它在平台中。
所以我们再次回到评估部分。比如说你正在观察某个问题或幻觉。你可以问Alex，嘿，这个人工智能应用程序发生了什么？它会诊断正在发生的事情，让你了解，好吧，问题出在哪里，也许会生成某种数据集再次测试，然后你可以在此基础上运行一些评估框架。这之所以重要，你知道，大公司有大量数据和数百万条追踪记录。他们如何人工管理所有这些？所以这个Christopher X，这个人工智能工程助手Alex对此非常重要。也许，如果我能稍微深入一下同一个问题，对吧？是不是因为Arise正在帮助你做的，也是帮助你解决人工智能代理犯错时的上下文问题，因为当你拥有信息时，比如一个聊天机器人，它会从不同的文档中提取上下文，有时信息过多实际上会导致其性能变差。所以，可观察性和评估的一部分也是你们的技术实际上帮助他们进行正确评估的地方。
是的，绝对是。上下文很重要，对吧？状态很重要，比如正在发生什么，我们从不同系统中提取什么，而其目的是专注于。
因为一个会话会告诉你端到端的一切，你可以专注于特定的部分。
对。
你可以针对它进行测试并移除它。但那时你也会想做一些会话评估。所以那是下一个。X的游标，然后会话会话肯定很重要。
会话很重要。是的，我想我想你是对的，因为从游标来看，我对那个预测的解读更多是说，实际上上下文确实很重要，因为你如何选择那部分信息，你如何优化，我给你举个例子，比如说你有一个聊天机器人每天的日志摘要，公司如何能够知道客户服务方面出现的最重要问题是什么，所以他们所做的是运行一种压缩上下文技术，他们会做一个每日摘要，然后他们试图看看，好吧，这是发生的五件事，也许明天我们应该尝试将其推入，而其中很多实际上都存在于评估方面。
是的，你完全说对了，你是专家。
伯纳德，不不不，我（笑声）我只是想确保与你这位专家合作，弄清楚我是否理解正确，然后你也试图将上下文带入，因为即使作为一名人工智能构建者，我也需要向人们解释日常的人工智能是什么样子，对吧。
在此基础上，但回到正题，这里的企业现在如何适应像反馈循环、在线评估以及会话级代理测试这样的理念？
是的，我想仍然像我们一开始说的那样，很多客户已经构建了一些人工智能应用程序，对吧，无论是简单的RAG聊天机器人等等，或者我想仍然有很多公司没有，对吧，所以我们真正想帮助的是，我们将人工智能工程视为一个整体的学科或过程。所以真正从客户的现状开始，也许他们有一个开源模型，他们真的只是为特定的行业利基市场或甚至只是一个简单的人力资源内部用例而定义。这仍然非常重要，他们要理解它是否向员工提供了正确的信息。
嗯，但当我们真正融入代理世界时，真正的会话就发挥作用了。而且，是的，在我们的CEO杰森的谈话中，他也提到了“harness”这个词。
哦，是的。
这将是协调代理式架构的新词，新的流行词。
所以那也会出现，不要与你可能认识的软件开发公司Harness混淆。所以，对。
也要赞扬我的前同事Adam Crew。他刚刚加入担任亚洲区副总裁。所以也许可以成为播客的另一个（笑声）另一个候选人。
我要回到播客，但我想听听你对此的看法。对。那么，你是否发现现在大多数人工智能构建者更倾向于思考他们如何知道他们的人工智能代理是否在做正确的事情？我给你举个例子，比如说如果你让人工智能代理规划行动。所以很多AI构建者所做的是，他们很方便地不给它步骤一、步骤二、步骤三、步骤四，然后有时AI决定变得聪明，超前于问题。尝试步骤四、步骤三、步骤一和步骤二，完全绕过，以实现完成工作的速度。你是否发现这里的企业实际上更清楚他们的人工智能代理何时开始做出不应该做出的某些决定？我想这也与人工智能代理的幻觉以及可能失去上下文等问题有关。
是的，当然。我认为这实际上是关于系统是如何设计的，或者这个人工智能应用程序将采取的不同步骤的流程是什么，对，其中一些是调用大型语言模型，其中一些是API调用，其中一些是数据库调用，所以所有这些不同的东西都需要映射进来，并且正如你所说，大型语言模型会得到建设性的，你知道，围绕着，对，你可能也喜欢提示工程师，这就是我们真正想深入探讨的，我们如何管理提示，以及我们如何为我们的代理定义提示，因为有人可能会尝试攻击系统，当这个提示进来时，系统应该做什么，应该说，好吧，直接到这里，或者我不知道答案，或者也定义那个，所有这些都在我们进行评估时以及当我们进行实际反馈循环时如何通过系统定义它的控制之下。
是的，我通常会使用触发测试，触发测试是这样的，我会说类似这样的话：如果问题与客户聊天机器人应该做的事情不相关，就不要回答这个问题。
是的。
然后说些有趣的话。
是的。我不知道答案。
是的。我不知道。不，不。但我仍然想看到触发器，对吧？因为我想看到那个东西。所以，所以这是向我的学生展示的更简单的方法，嘿，你怎么知道这不起作用？我只能那样做。但我想有一件事变得有趣，因为我认为你在AWS中看到了这一点，然后在DataBricks中看到了这一点，现在又在Arise中看到了这一点。我想我真正想谈论的是市场是如何演变的。
你会看到更多公司从大型语言模型实验转向真正可扩展的人工智能代理系统吗？是的，我仍然认为我们对于代理式人工智能来说还为时过早，就像一些公司走在前沿，正在采取行动拥有非常端到端的代理流程和不同的路由器，比如这样走，假设任务进来，路由器可以采取五个不同的步骤，他们通过LangGraph或类似的系统来设计它。我认为我们仍然看到一些公司在这样做，但我们仍然看到一些公司仅仅通过在他们的业务中使用RAG或者拥有某种能够真正提供价值的聊天机器人就获得了巨大的价值。所以，我们真的想从客户在他们的人工智能旅程中的位置开始。但我认为，随着代理式人工智能，我认为它今年真的会加速发展，特别是随着“X的游标”、“X的云代码”的出现，我们看到越来越多的系统开发。你是否发现这些任务的复杂性也使得从评估的角度来看具有挑战性，你们是否有一些观点，比如说某些类型的问题是这样的，某些类型的问题是那样的，以及我们如何进行评估？
哦，百分之百，这就是我们构建Alex的原因，它是我们的助手，因为我们看到了所有这些不同系统的常见模式和趋势，然后我们能够构建我们的，就像Alex是我们自己内部构建的一个代理，对。好的。
所以这一切都是基于我们已知的信息进行训练的，然后我们能够将其修订回系统，然后所有客户都可以根据他们自己的数据，对吧？他们自己的追踪记录来使用它。
Alex会给出任何建议吗？比如说，如果评估没有给我一个非常清楚的答案，说明发生了什么。
哦，是的，当然。是的。基于它所知道的，并且它随着时间的推移不断学习，这对工程团队来说非常有价值，这非常重要。但我想，正如我一开始所说，产品经理或领域用户，而不是技术用户，会进来查看，好吧，让我看看那个输出，然后能够发表我的看法。好的，所以以旅行用例为例，这个产品经理实际上认为这个预订系统不应该这么说，对吧，也许这是一个技术答案，但业务应该用业务人工标注数据以及Alex能做的事情来丰富。所以，对于寻找Arise的客户来说，理想的客户画像可能是在产品方面，或者也可能在业务所有者方面。
两者都有。所以正如你所说，我们确实从开发者开始，就像开发者使用Phoenix一样，人工智能工程师真正在平台上工作，并用它来理解已经构建的应用程序，但产品经理，现在我们看到人工智能产品经理的崛起。
是的。
所以这是经典的说法，就像人工智能不会取代你的工作，但是，嗯，使用人工智能的产品经理可能会取代你的工作。
对，对。
是的。而且任何领域的专家都非常重要，比如领域内的真正专家。如果是制造业、银行业或电信业，你会说在电信业中，比如客户体验顾问，如何变现，他们真的了解客户、流失率和ARPU。这对我们来说，代理如何理解客户何时提出某些问题，究竟意味着什么？
我明白了。你是否认为在很多企业会考虑进行更多评估来测试，还是他们实际上会说，好吧，我们有一套固定的测试，然后我们把它扔出去，然后让反馈回来，或者更多的是试图尽可能地防止灾难发生？
应该尽可能多地预防（笑声），但正如你所知，可能已经有一些人工智能系统在野外运行，人们只是发布了它们，但是我们，是的，你在发布之前只能尽可能多地测试，对吧？就像在软件开发中，你测试然后发布。
会出问题的。
但人工智能中的“未知未知”更大。你没注意到吗？
哦，完全正确。是的。但这就是为什么我认为在线评估将变得非常重要的原因，就像生产环境中的在线评估一样。所以，我们实际上是在线了解它是什么，并且我们正在进行这些更改。
是的。不，不，不。我我很欣赏Arise正在做的事情，但有时我觉得他们面临着一个更困难的任务，因为有太多的“未知未知”，即使作为一名人工智能构建者，有时我也会问自己，好吧，我要发布这个人工智能代理，这个人工智能代理做一些我不应该做的事情的几率有多大？
是的，我们我们尝试在开发中尽可能多地测试，对吧，那意味着对不同边缘情况进行非常详细的结构化评估，总会有边缘情况。那么另一个神奇的问题是，你希望更多人问你关于人工智能基础设施的哪个问题，特别是关于开发、可观察性和评估的？我猜是关于Arise的，但他们没有问。
是的，我认为今天的主要问题是，我如何将整个系统投入生产，然后它将交付商业指标。
那么我来问你这个问题。是的。（笑声）所以我想最主要的一点是，如果任何公司，对吧？
如果我们，我正在与任何公司合作，就像我多年来在软件公司工作，并且我正在与客户合作。
我们将如何帮助他们赚钱？我将如何帮助他们控制成本？以及我将如何帮助他们管理风险？
我认为现在人工智能的很多方面都在于管理风险。那么你如何管理围绕你的人工智能系统、应用程序、代理等方面的风险？而这正是Arise我们每天醒来都会努力帮助客户的事情。有趣的是你刚才提到了什么。什么保持不变？你如何赚钱，以及他们如何确保他们控制成本、管理风险？
是的。而且通常情况下，我们职业生涯中大部分时间里，我们的大多数技术在审视云计算、数据基础设施和人工智能时，总是前两个问题。我认为这第三个问题实际上变得更加重要。非常重要，尤其是在受监管的行业，对吧？管理风险，以及任何与我们作为消费者在银行方面有接触的客户或公司，对吧？他们有数百万客户，你知道，我们有一些聊天机器人出错的案例。我们不会提及那些非常著名的案例的名称，那会带来财务影响。它有监管影响，是的。所以，
你有没有在档案或Arise中查看过？他们有没有做过像法医鉴定那样，让人工智能代理回溯的事情？
我们在其他公司看到过这些案例，对吧？但是，是的，在我们之前合作过的客户那里确实发生过这种情况，然后我们与他们合作，进行了评估和可观察性，然后我们修复了它，这很棒。
好的。是的。我（哼）我很确定，这是一个公平的答案。那么，在未来几年你将工作的亚太地区，Arise AI的“伟大”是什么样子的？
我就是喜欢亚太地区，对吧？它如此多元化。我们从印度到新加坡，再到中国，那里可能是人工智能资金繁荣最集中的地方，对吧？伴随着许多人工智能初创公司。
日本和韩国是独特的市场。日本现在真的非常专注于创新。现在有很多公司正在构建各种不同的应用程序。韩国在监管方面确实在积极推进，而澳大利亚，正如我们所知，是一个非常多元化的市场，从采矿等重工业到金融强国都有，所以我认为成功就像是我们如何解决这些问题，如何为客户管理风险，以及如何建立一个真正伟大的业务和一支能够帮助服务客户的优秀团队。
对，但我想你可能也理解了亚太地区多样性的复杂性，对吧，所以你认为像语言文化细微差别这样的事情也会对Arise平台如何进行评估产生重大影响吗？因为有不同语言的评估。是的，还有基于一些细微差别，也许是一些人工智能代理，而不是由于文化原因而产生的一些细微差别过程的评估。
你看到这些事情出现并给你带来新的挑战了吗？是的，我认为当然，特别是当它进入，比如说，如果你考虑像越南这样的市场，那里只有一种单一语言，那真的取决于模型，模型能处理多少那种本地语言，而且我认为我们多年来已经看到了这一点，新加坡人工智能团队在为这些本地语言调整模型方面做得非常出色，这非常重要，我们真的会接入那个系统，对，我们真的与所有这些拥有出色语言能力、出色方言能力的模型提供商合作，然后我们能够提取所有这些追踪。嗯，但再次回到你的观点，如果是一个特定的市场，那么我们真的会依赖，好吧，如果是一个韩国客户，显然他们说韩语，那就是输出上的人工标注。所以，他们能够看到，好吧，这个韩语输出实际上听起来有点不对劲，或者不正确，或者上下文不对。所以，那就是我们所寻找的领域专家人工标注。
帕特里克，非常感谢你来参加节目，并向我介绍了Arise正在做的事情。所以，非常感谢你。最后，我还有两个问题。第一，最近有什么推荐让你受到启发吗？
是的，我认为是来自Airirst Street Capital的《2025年人工智能现状》报告。我不确定你是否读过。是的，我确定你读过。你都读了。我可能可能见过你的链接。你可能发布过。（笑声）
但那很棒，因为它从研究和人工智能中发生的一切一直到政治产业。嗯，对。领域。所以，我认为那非常全面。它就像一个300页的幻灯片或什么的，但对任何人来说都是一个很好的阅读材料。所以，我认为那很棒。是的。
而且现在当你没有大型语言模型时，它确实有帮助。
是的，（笑声）没错。无法总结。
是的，实际上有时我在想谷歌是如何为Noble LM做评估的？我确实有时他们不会把所有东西都拿出来，所以我必须检查一下。好的，第二个问题。我的听众如何找到你和Arise AI？
是的，在领英上找我，帕特里克·凯利，以及电子邮件地址p.kelly@arise.com。
而Arise AI是arise.com。是的。好的。你当然可以在任何播客频道找到这个播客，当然也可以订阅我们，当然也可以给我们任何反馈，帕特里克，非常感谢你来参加节目，我们很快会再聊。
谢谢布兰登。