Transcription
虽然他们中有大约 79% 的人正在使用代理式人工智能，但我认为只有 45% 的人表示他们拥有合规工具来真正支持它，而超过一半的人觉得人工智能的创新完全超出了他们跟上所有新安全威胁的能力。>> 每当我进行关于人工智能代理的培训时，听众首先提出的问题是，这会给我带来安全问题吗？答案是肯定的。人工智能代理在不久的将来会带来很多安全问题，但它们也是帮助网络安全的好工具。这绝对感觉就像一股全新的攻击浪潮即将来临，而且它们还帮助攻击者以前所未有的方式编写代码。因此，有很多陈旧的、有点“臭”的数据散落在各处，如果你不知道什么好什么不好，很容易被提取出来。>> 我想探讨一下这把双刃剑。所以今天我们采访的是人工智能驱动的合规平台 Vanter 的首席产品官 Jeremy Ethley。Jeremy 拥有二十多年的技术高管经验，此前曾担任 GitHub 的产品副总裁。>> 嘿，我的团队通过回答这些问卷，为我们去年获得的收入贡献了大约 90%。如果我们觉得我们没有高质量的答案，我们宁愿说这次我们没有答案。就像如果一个人无法理解或轻松回答，人工智能肯定也无法做到。所以>> 让我们找出代理是会帮助还是会损害安全。嗨 Jeremy，欢迎来到节目。>> 嘿，谢谢你邀请我。很高兴来到这里。>> 是的，很高兴你在这里。嗯，首先，我想知道目前企业面临的最大安全问题是什么。>> 是的，我的意思是，我想可能没有人会惊讶地听到人工智能名列榜首。你知道，很多公司都在采用人工智能。他们看到了巨大的好处。他们做得非常非常快。而且仍然有很多问题会出现，就像每个产品都在增加人工智能功能，然后安全团队开始想知道他们用我们提供给他们以及我们客户的所有数据做了什么，他们是否可以访问我们的客户数据，他们是否在上面训练模型，他们用它做了什么？有所有这些令人兴奋的新技术，比如 MCP 服务器，允许代理代表用户与其他代理交谈，我们仍在早期阶段了解如何保护它们。我认为还有很多人工智能安全威胁，比如 Enthropic 提到最近一次国家级攻击，几个月前使用了云代码，所以我认为有很多事情围绕着安全团队，我们最近进行了一项调查，Vanta 的信任报告，并询问了一群 CISO 和安全专业人士他们如何看待人工智能，虽然大约 79% 的人正在使用代理式人工智能，但只有 45% 的人表示他们拥有合规工具来真正支持它，而超过一半的人觉得人工智能的创新完全超出了他们跟上所有新安全威胁的能力。>> 这是其中一件事，人工智能取得了如此大的进步，这很棒，就像人工智能一样，总有新的东西出现，但然后在安全方面跟上它。这有点像是合规和安全与实际采用之间的差距，这有点令人恐惧，对吧？>> 哦，是的，绝对。我的意思是，我认为好消息是，我认为在任何这些安全问题上，总是有这种猫鼠游戏。你知道我的意思吗？攻击者拥有与防御者和好人相同的技术，问题是谁领先。嗯，我认为好消息是，有了像 Vanta 和其他产品这样的东西，你可以为你的安全工具和那些代理提供更多的安全信息，以帮助你更快、更好地进行防御，因为它们应该比攻击者从外部看到的东西知道得多。所以我认为有很多好处。我认为防御方有很多工具，而且有很多令人兴奋的新方法来防御它，但确实感觉一股全新的攻击浪潮即将来临，而且互联网在变得更安全之前会变得更加危险。>> 所以，我猜有这么多新的威胁和问题，从哪里开始呢？从哪里开始加强你的防御？>> 是的，我的意思是，我认为很多都是安全团队长期以来一直在做的许多类似的实践。我认为它们只是被超充能了。就像他们一直在处理威胁和攻击者一样。只是现在攻击者可以产生更复杂的威胁，并且以更分散的方式，甚至比以前更快地做到这一点。而且你还会有一些新手黑客，如果你愿意的话，他们现在拥有相当先进的编码技能，与他们以前相比。他们不必随着时间的推移而建立这些。就像云代码和编解码器一样，尽管它们对于提高我们产品的质量和更快地交付产品非常棒，但它们也帮助攻击者以前所未有的方式编写代码。所以我认为安全团队正在处理所有这些威胁并对其进行优先排序。你知道，利用端点防御 EDR 解决方案，诸如此类的东西仍然非常重要。我认为数据安全比以往任何时候都更重要。就像人们试图争夺的皇冠上的宝石通常是公司中的某些数据。可能是你的商业秘密。可能是秘密配方，你新药物的配方或类似的东西。因此，能够保护它，我认为变得更加困难，因为不仅有这些攻击者从外部以新颖的方式进行攻击，而且你现在还有你的员工在公司使用的所有内部工具都在利用所有这些数据，并将它们发送给模型来询问他们如何开发下一个突破性药物？他们如何才能获得相对于这个竞争对手的优势，或者构建这个新的创新技术？所以我认为有一套新的数据正在从公司泄漏出来，公司的商业秘密也更加受到关注，所以他们开始向供应商提出更难的问题，比如“嘿，当我们把这些数据发送给你和你们的人工智能模型时，你们到底在做什么？这可以在别处复制吗？发生了什么？”所以我认为这些是即将到来的一些顶级威胁，然后他们想要证明这一点，比如，“好的，太好了。你说你这样做。我怎么能相信它，通过审计报告或其他什么？”>> 这真的很迷人。我的意思是，我认为如果有人在攻击你并窃取东西，那是一回事，但如果这是某种无意的失误，你正在积极地将自己的商业秘密泄露给世界，那真是个真正的乌龙球。那真是太糟糕了。那么，在阻止这一点方面，它始于安全团队，还是需要由高层来完成？就像谁需要解决这个问题？>> 是的，我认为这是一个公司范围内的努力，考虑到公司里的每个人都在使用这些工具。我认为很多都始于数据治理。嗯，我认为很多公司在数据治理方面相当松懈，而且可能已经松懈了一段时间，因为他们说，“哦，谁会有技能去，你知道，挖掘这个 SQL 数据库或那个数据库或任何其他东西来提取信息？”但现在所有这些供应商和工具都可以直接访问并与一切集成，并且它们正在尝试提取这些见解。即使你有一个内部人员不是恶意的，他们也可能发送他们不应该发送的数据。就像他们提取了一些客户数据，因为它很容易提取，然后他们将其与另一个模型共享，而你的公司政策说，“嘿，我们不这样共享客户数据。”现在它在别人的模型中，也许他们正在上面训练，并且可以以某种方式被复制。所以我认为这不仅仅是外部的邪恶之人或内部的邪恶之人。人们只是没有意识到人工智能一直在抓取多少数据，以及这些集成正在拉入多少数据源。我认为还需要确保人们不要外包良好的判断力。你知道，人工智能在很多方面都很出色。它也会犯错误。我认为每个人都知道幻觉和其他我们遇到的问题，而且随着这些大公司面临加快速度的巨大压力，我认为很多员工只是在寻找快速答案，有时答案并不在那里。所以，我们内部对所有数据系统所做的一件事是，我们的实际产品分析团队会坐在我们拥有人工智能工具的许多频道上。所以，当人们进来提问时，即使人工智能工具给出了默认的回复，我们也会对这些回复进行内部评估，并说：“哦，是的。这个很好。这个很好。这个很好。哦，实际上那个从一个旧的数据源拉错了数据，实际上并不可信，或者一个旧的表，我们忘记在某个时候删除和删除，而且你不应该相信这个。”所以我确实认为有些人只是在做正确的事情，并且他们拥有以前从未有过的所有这些东西的访问权限，而且他们会犯错误，因为人工智能弄错了。因此，在内部确保你所有的职能部门都充满了……特别是如果一块数据闻起来不对，就去和分析师或其他人谈谈，或者自己去挖掘一下，看看是否完全正确。>> 我喜欢让分析师检查输出质量的想法，然后需要有人理解问题才能说这是对的还是错的。这就是你进入反馈循环来修复事物的地方。>> 是的。而且我认为保持这些干净的数据源比以往任何时候都更重要。并且拥有一个数据工程和分析团队，他们说这些是我们信任的权威事物，并且他们拥有该管道并将其全部连接起来，因为我不知道我曾在很多不同的公司工作过，我可以肯定地说，有很多陈旧的、有点“臭”的数据散落在各处，如果你不知道什么好什么不好，很容易被提取出来。因此，定期进行卫生检查可能比以前更重要。这是一个很棒的比喻。我喜欢“陈旧的臭数据”这个想法。>> 很有趣。嗯，在管理这一切方面，你说管理集成是个问题。就像有没有一个流程来解决这个问题，或者有没有工具来帮助你处理它？就像你如何着手解决确保正确的集成拥有正确的数据访问权限？>> 是的，我的意思是，我认为这是安全团队帮助很大的一个方面，几乎在每个公司，当他们通过采购流程时。我们有人想买一个工具。他们非常兴奋。安全团队有时会扮演“否决者”的角色，但他们正在为公司做一项非常重要的工作，那就是“嘿，这个工具看起来很棒，它可能会解决你的问题，但我们真的能信任这家公司的数据吗？”所以我认为这就是安全团队真正介入并开始提出更深层次问题的时候。你知道，有不同的合规框架，就像企业购买软件一样，他们会说，“嘿，你有 Sock 2 吗？你有 ISO 27001 吗？”如果是联邦政府，他们会问 Fed Ramp 或 CMNMC 或这些不同的标准。人工智能也有同样的情况。ISO 4201，你知道，NIST AI RMF，欧盟人工智能法案。有不同的方式来说，“嘿，这是一套我支持的合规框架和控制。”然后你可以分享那些证据。我认为这确实加快了流程，以便想要购买工具并正在评估它的安全团队可以非常快速地获得所有信息。他们可以审阅它。他们可以提出详细的问题并尝试快速推动采购流程。然后我认为之后，下一个难题就来了。就是你已经买了工具，你信任这家公司，你认为他们会正确处理你的数据，这很好。但现在在内部，每个人是否都有正确的访问权限，以及它将如何发展，以及他们如何使用它？他们正在输入或输出什么数据？我认为有很多新工具允许人们监控这些数据流，以了解正在输入什么，以在事情看起来不对时触发警报。但我确实认为，总的来说，每个人都看到了如此大的生产力效益，它，你知道，现在有点更随意，因为他们想要人工智能的好处。但同时，我们需要注意不要泄露客户数据并打破公司过去做出的承诺。>> 当然。听起来很多这些东西都与管理谁拥有什么东西的特定访问权限有关。所有这些规则。听起来有些繁琐的手动任务本应可以通过人工智能实现自动化。人工智能可以帮助解决这个问题吗？>> 是的，绝对。我的意思是，我认为有一种情况是，你可以查看不同的人，你可以了解我们内部在 Vanta 所做的事情。我们使用 Vanta 来做到这一点。我们查看每个人的职位，我们了解他们在组织中的位置。我们可以看到这个职能部门的其他人过去做过哪些其他应用程序，你可以围绕“哦，这个团队的工程师通常需要访问这些东西”来构建一个粗略的配置文件，而他们正在请求的这个东西似乎是一个异常，也许我们应该去看看。所以我把它看作是异常检测，并给予我仍然认为有一个非常重要的人在循环中，我认为安全团队尤其将是最后一个将完全控制权交给人工智能来补救和做出所有决定的人。所以我总是考虑设计成审查和批准流程，就像我作为安全团队的销售人员一样，我们为你提供所有你需要的信息，这样你就可以快速地查看它，并运用你的专业判断，然后决定是或否，以及我们如何为那个超级快速简单的决定做好准备，而不是让你去访问 15 个不同的工具，阅读所有这些文档，与其他所有人交谈，你知道，现在你花了五个或六个小时才能做的事情，现在一切都为你准备好了，你可以快速阅读，做出决定，然后继续前进。>> 哦，我喜欢让人们能够更快地做出正确决定的想法。但我想你提到安全团队，他们可能是最后想要将完全控制权交给人工智能的人。我想安全人员有一种天生的倾向，有点偏执。这应该是他们工作的一部分。那么你如何将偏执融入你的流程中呢？>> 是的，我的意思是，我认为很多都归结为信任和质量。嗯，你知道，当我想到设计人工智能功能时，准确性和答案的质量有多重要。这，你知道，就像我们多年来经历的那样，在人工智能出现之前，就像谷歌搜索结果一样。有很多其他的搜索引擎。有很多公司花费了数十亿美元来让它们变得很棒并完成所有这些。但就像那些顶级链接的质量是最重要的。我认为很多人工智能产品的真正区别，以及未来一些产品可能拥有更有趣的用户界面体验和事物，但我想是你能得到的答案的质量。所以，当我想到为安全团队设计时，我认为，拒绝回答你没有高置信度的问题是好的。所以，这是我们已经明确集成到 Bant AI 代理中的一个功能，当我们进行审查时，我们会说，“嘿，如果我们觉得我们没有高质量的答案，我们宁愿说我们没有答案。这里有一些你可以去看看的东西，或者嘿，我们将继续处理这个问题，我们希望在未来的更新中为你提供答案。”我认为这可以建立对已经更加怀疑的安全团队的信任，你知道，还有很多其他人工智能产品做的事情，比如显示引文，所以比如在哪里具体在参考中，嘿，这来自这些文件，它来自这个特定的段落或句子，我们把它提取出来，让他们建立信心。我们有很多流程，就像我之前提到的，当你处于这些采购流程中时，你知道，你有一个软件买家和一个软件卖家，他们正在尝试交换信息。我认为我们在人工智能中经常关注的一件事是，软件卖家在他们的答案中所说的与他们提供的证据文件是否匹配，而且显然有时不匹配，有时只是人为错误。他们忘记更新某个策略，或者这个人说错了话，或者不知道。但快速标记这些事情有助于建立信心。所以我认为只是非常专注于人们可以长期依赖的高质量答案，比能够回答一切更重要。所以我认为覆盖率很重要，但准确性更重要，我宁愿不降低我的准确性来获得更多的覆盖率。所以，就像我们可以做什么来保持准确性，同时提高我们的覆盖率。>> 当然。我的意思是，快速得到错误的答案是没有意义的。所以我喜欢这个想法，比如，是的，你专注于质量，确保你得到正确的答案，而引文是一个令人惊讶的挑战，特别是对于一般的人工智能，这似乎是一件容易的事情，你天真地认为，如果它找到了一些信息，它应该给你正确的引文，但通常是的，这完全是胡说八道。嗯，现在我知道你提到了 vant agent，这是一个内部代理，你的团队一直在开发。跟我谈谈 vant agent 是做什么的，以及为什么你要构建它。>> 是的，我的意思是，我认为对我们来说，尤其是在信任和 GRC 领域，很多不同的安全专业人员必须做很多手动工作，而且很多工作都非常依赖文档。所以 Bant 最初有很多集成，然后我们尝试自动化所有我们可以做的事情，比如“嘿，你有你的源代码提供商，比如 GitHub 或 GitLab 或 Bitbucket 或类似的公司，你有 AWS 或 Azure GCP Oracle 或类似的公司，你可以自动拉下来，但仍然很多这些过程，比如 Sock 2 和 ISO，仍然需要你写很多策略文档，你发送一堆文档和证据，你仍然会得到屏幕截图，因为你知道，你无法为所有这些工具进行 API 请求，所以有时你需要一张截图然后去做。”我认为人工智能真的让我们能够解决很多以前无法解决的问题。所以，当买家和卖家交换这个大型安全问卷时，就像你是一家软件公司，你卖给一家大银行，你会收到一份问卷，可能包含四五百个安全问题，你知道，当你开始卖给很多企业客户时，你总是会收到这些，而且这是一种令人厌烦的任务，而且它们的排序方式略有不同，但它们问的是类似的事情，而且这并不是高价值的安全工作，但它非常重要，你必须做到，并且你必须提供准确的信息，但重复性并不存在。所以，这是我们首先用我们的代理解决的领域之一，就是买卖双方的关系，自动回答安全问卷。你可以建立一个经过策划的知识库。我们告诉你，当你收到你没有覆盖的新问题时。然后我们可以建议，比如“嘿，你想要一个关于这个的新人工智能策略吗？或者你所有的客户都要求你修改你的 SLA，让它变得不同。也许你想改变你的 SLA。也许你想做这些。”并思考所有这些客户反馈。嗯，对于买方来说也是一样，供应商，你知道，你收到所有这些问卷，然后我认为随着安全团队的进展，你知道，他们经常只是看到他们的策略堆栈出现漂移。嗯，所以，你知道，也许他们想更新 SLA，也许有人离开了公司，然后他们想回去看看并连接起来说，“哦，太好了，我们的 CISO 离开了。我们应该更新所有文档。”Vantic 可以直接更新、检测并为你完成所有这些。当你考虑事情时，你想要一个全面的风险计划。所以，就像你有这些高层业务风险。所有这些都映射到人们不太熟悉的东西，比如框架和控制，然后你有个人测试和每个人正在采取的不同安全行动。你想能够一起看到整个计划，并问也许我们想去争取 ISO 4201 来证明我们的人工智能体验和安全的质量。你只需问代理，我需要做什么，然后我们会查看一切，然后说，“嘿，你应该添加这些安全控制。我应该更新这些策略。你应该考虑这个。”我们会在这个过程中引导你。所以我认为它就像，你知道，我们称之为你的 24/7 GRC 工程师。就像有人一直在你身边，试图为你做很多工作，这样你就可以留在审查和批准的工作流程中，在那里你运用你的专业知识来评估关键决策，然后继续下一个决策，而不必做很多以前 GRC 团队常见的繁琐的、重复的、你知道的、 grunt work。>> 好的。当然，填写一份关于你在整个业务中对企业客户的安全措施的 500 页问卷，然后为你的下一个客户做几乎相同但又不完全相同的事情。这听起来是一项非常非常繁琐的工作。所以我喜欢使用人工智能来尽可能地将其外包。嗯，所以我想谈谈你是如何着手构建这个的？你做了什么来确保你拥有这些高质量的答案？嗯，我想如果它是一个 500 页的调查，那将是一个大客户，那将是一个大账户，你正在努力争取。所以，我想有很多钱在风险中。你如何确保你得到高质量的答案？就像你做了什么来构建一个能得到正确答案的东西？>> 我认为很多都是，你知道，一个可能是人们过去听说过或谈论过的事情是拥有一个非常好的黄金数据集。所以对我们来说，这是看到我们过去收到的客户想要与我们分享更多数据的问卷。然后我们这里有一个非常大的 GRC 主题专家团队。GRC 是治理、风险和合规性，它是处理 Vanta 作为一家公司在安全团队内处理的许多事情的职能。所以，我们称他们为主题专家，他们都是大型公司的前 GRC 专业人士，前审计师，你知道，曾在大型公司担任审计师，或者专注于政府的授权包。并且他们是我们评估过程的一部分。所以我们进行，我们构建一个黄金数据集，然后我们继续调整提示和模型，直到获得高质量的答案。然后，就像我们之前讨论过的，还包括引文和引用，并确保我们获得正确的引文来建立信任。所以，这基本上是一个永远在线的、永无止境的功能。我认为这是你现在和过去构建产品时的一个重要区别。就像机器学习产品过去很相似，但我会说，现在人工智能已经变得如此普遍。我认为存在一种标准的确定性 SAS，就像，“嘿，我构建了东西，我测试了它，我说了进来一个，出来一个，它将永远是这样，无论如何。”但对于人工智能来说，评估总是在变化，因为它具有概率性而不是确定性，因为模型总是在更新，因为你的客户总是在推动并要求做得更多。所以我认为当我们开始一个新的 AI 功能时，有一部分团队专门致力于质量。你知道我的意思吗？因为质量就是功能，而不仅仅是我们添加的新功能。当我们考虑问卷之类的事情时，也有各种不同的格式。所以，你必须考虑解析方面，我得到的是 Word 文档吗？我得到的是 Google 文档吗？我得到的是电子表格吗？有条件问题吗？这个 Word 文档中的格式是否与他们过去的方式不同？有些人使用门户网站。所以你去了门户网站来回答问卷。所以现在我们正在抓取浏览器中的 DOM 或构建浏览器扩展。所以我认为有很多有趣的 AI 优化工作，而且有不同的工具和平台可以用于其中的一部分，只是为了以一致的方式获取问题，然后进行高质量的回答，然后对于那些你不知道的，我们利用“哦，谁过去回答过类似的问题？让我们在 Slack 上联系他们并分配出去。”所以，你知道，我们的律师应该回答这个问题，他可能不会整天坐在 Vanta 里。嗯，但作为他工作的一部分，所以让我们去他工作的地方，这样我们就可以在 Slack 上联系他，然后说，“嘿，这个问题是为这个，你知道，大企业客户提出的。你能给我们答案吗？”他们可以在 Slack 上回复。代理会抓住它，然后放进去说，“好的，太好了。Ian 已经批准了。他说这就是答案。我们搞定了。”你知道，它会进入对客户的回复中，我们可以完成交易。所以，有几种不同的方式，我认为人工智能在不同的点插入，从拉取所有数据，到回答问题和引文，到对于我们无法回答的事情，帮助人们以正确的方式获得答案。>> 这有点酷，使用人工智能来处理所有管道来构建其余的人工智能，以及实际在最终状态中使用人工智能。嗯，是的，你提到了评估，这似乎是一个技术上有点棘手的问题。所以你说因为它是概率性的，所以有时功能会给出正确的答案，有时它可能会做一些完全愚蠢的事情。在这种情况下你如何测试它？就像运行查询，问同一个问题一千次，看看它能答对多少次。谈谈你的测试方法。>> 是的，绝对。嗯，目前我们使用一个叫做 Langsmith 的工具，它帮助我们运行所有这些评估。很多时候，产品经理和 GRC 主题专家都在这样做。嗯，有时工程师和设计师也在里面，但他们是主要的。所以，是的，你可以看到所有不同的问题，这些问题来自客户，如果他们与我们分享这些数据。然后我们可以进行，我们建立我们的标准并标记它们。所以，我们可以说，“哦，太好了。”然后你决定你想要什么样的答案。你可以看到人工智能给出了这个答案。我们想要简洁的答案吗？你知道我的意思吗？它在简洁性方面做得怎么样？它在准确性方面做得怎么样？你可以创建这些不同的指标，然后用简单的“赞”或“踩”来对它们做得如何进行排名。然后你可以进一步调整提示或模型来达到目标。然后你甚至可以拥有模型，你知道，在某种程度上，你知道，就像“层层叠叠”一样。你知道我的意思吗？你可以让它们产生更多问题，然后你看到它运行。你也可以设置它们进行自动评估。嗯，所以它会进行，你可以说，“好的，这些是我正在寻找的标准。看看我判断它的不同方式。”现在你开始提出自己的问题和自己的回答，然后一个人去评估它们。但这确实是一个，你知道，更长的过程。我认为人类在循环中非常重要，尤其因为模型很容易在细微的语义差异上感到困惑。你知道，就像我们可能在阅读一份大型安全文档，你知道，安全事件与网络事件。它会说，“哦，它们是相同的。”而它们是，“实际上，这些是实质上不同的事情，你知道，如果有一个安全漏洞，而不是与网络基础设施或类似的东西有关的问题。”但有时你会看到它在其中一些方面混淆了。我认为这就是为什么你知道很多公司正在寻找调整，即使他们正在使用一个大型基础模型，为什么我们看到这些不同公司有如此不同的结果，因为他们正在为该领域进行独特调整，你知道，就像“嘿，我们正在为需要关于这些类型合同的问题的律师进行精确调整，或者对我们来说，是安全专业人士，他们正在尝试回答我们的问卷，或者试图确定他们提供的证据是否会被他们的审计师接受。”所以我们自动对其进行评估，然后说，“嘿，我们知道你知道过去有很多审计师说过这是良好类型的系统描述，所以你可以带着信心去审计，就像‘嘿，我已经产生了正确的证据类型。’”>> 好的，所以这听起来是一个相当复杂的系统，因为你有这些层次，比如，也许人工智能正在帮助你编写测试，并判断测试是否正确。也许你想要人类参与其中，而且这可能需要几次迭代才能得到一个好的系统来测试你的其余工作是否好。>> 完全正确。而且我们有团队每天都在运行这些评估，当然每周都会运行，他们都采用人类参与的方法。嗯，所以是的，每次新模型出来时，你知道，事情通常都会变得更好，但有时某些事情会取得进展，你必须针对它进行调整。好的。嗯，所以听起来处理不断变化的技术平台有点棘手，但我很好奇，你是否能够预测哪些事情会与代理一起工作得很好，哪些不会？人工智能通常似乎是这样的，有时，你知道，你认为这会是一件棘手的事情，实际上，一个简单的提示就会给你完美的答案，而有时，这真的很难做到正确。那么什么有效，什么无效？就像你发现什么容易，什么困难，在构建 Vanter Agent 时？>> 是的，绝对。我的意思是，我认为我们早期最成功的是问卷。回答问题，一旦我们得到它们，从所有不同的文档类型中提取问题，这花了一点时间才做到。我认为任何真正复杂的问题，也就是更高价值的问题，也花了很多时间。我认为最近的模型，就像过去 6 个月，已经有了很大的改进，我们在评估和提示调整方面也做得更好。所以，你知道，一个 GRC 人会说，“嘿，我们有一个关于数据治理的风险，就像我们公司的数据治理规则太宽松了，”然后他们想将其映射到一组控制，他们想了解行业内的情况，最佳实践是什么，他们应该如何量化这种业务风险，因为很多时候，高管会说，“这会给公司带来多少钱？”你知道我的意思吗？帮助我估算一下。所以我认为这些更复杂的问题是人工智能很容易混淆或无法给出非常清晰答案的问题。所以这些是我们不得不花很多时间来确保我们的数据模型干净的问题。嗯，奇怪的是，很多时候，如果一个人无法理解或轻松回答，人工智能肯定也无法做到。所以很多时候，我们考虑我们的开发团队，就像在内部，我们的工程师，你知道，我们做的任何清理代码库并使其更容易被人理解代码库并编写代码的事情，通常也会让所有人工智能模型变得更好。所以这只是一个普遍的，“嘿，你知道我的意思吗？它们是基于人类的思维方式来训练的，如果你愿意的话。”嗯，所以我认为这些对我们很有帮助，因为我们处理这些更复杂的问题，需要更多时间来连接平台上的更多部分，并且有更模糊的结果。在这些情况下，我们也喜欢向人们建议多个选项，并让他们知道，“嘿，有三种或四种不同的方式可以解决这个问题。对你来说，哪个更重要？”我认为，在我看来，Claude Code 可能是最好的例子，如果你不知道你写了多少代码，或者听众中有多少人，但当我使用 Claude Code 时，很多时候对于大的、棘手的更改和其他事情，我会将其置于计划模式，它在回来时非常出色，会问我后续问题，要求我澄清不同的部分，我可以与它来回交流，并一起集思广益以获得最终输出，这需要你付出更多，但我发现最终结果要好得多，而且我认为这是很多代理，包括 Vant Agent 正在深入研究的，关于这些后续问题，帮助澄清，以便我们可以将模型聚焦于一个伟大的答案。>> 是的，我的意思是，实际上有两种不同的方法，你可以让代理成为协作者，它正在问你问题，它需要后续的细节，然后是代理作为自动化者，它只是会去做事情并得到答案，然后你只是看着最终结果，看看什么时候有效。所以，我想你是否有一种感觉，什么时候一种方法比另一种更好？>> 是的，我的意思是，我认为对于离散的、集中的任务，比如回答问卷或类似的事情，我们试图，你可以想象，尽管我们称之为 Banter Agent，但实际上有许多代理在其之下，它们会查看问题并决定应该将问题分发给谁，以及应该使用哪个工具。所以，我们首先考虑的是，“嘿，这是一个简单的事情，我们可以提取一个离散的、高度事实性的答案吗？是的。这是一个非常通用的 AL 问题，需要更多的时间和思考。好的，让我们将其分发给多个子代理。让我们进行多次工具调用，并将所有这些整合在一起。那时我们更有可能陷入与用户来回澄清的模式，以便我们可以给他们一个很好的答案。所以，我认为那些自由形式的问题，那些更像是，“嘿，你能把这个策略从 A 改成 B，然后做所有工作吗？因为有 16 个策略，我需要更新所有这些策略的 SLA。”只是告诉我们去做，我们会去做的，或者请让我的所有 SLA 都一样，或者做这些事情，但是你却说，“嘿，我正在考虑明年将要出现的顶级人工智能风险是什么？你能帮助看看我的风险计划，其他顶级风险计划看起来怎么样，并确定我可能有什么差距，我想追求这个新的监管框架，你知道，我如何才能以最少的工作量来完成所有这些事情？”我认为这些是我们想要与你知道的安全人员合作的，整个时间，我们会问他们更多澄清和问题等等。>> 当然。所以，当然，随着事情变得越来越复杂，风险越来越高，项目或问题需要更长时间来解决，那么是的，那就是你需要人类协作的元素。好的。所以，我想知道你需要什么技能才能创建像这样的代理？我想谈谈你一直在寻找什么，就像你的团队一样，什么使一个好的代理创建者？>> 是的，我的意思是，我认为创业技能非常重要。而且我认为拥有那种建造者 DNA 的人是我们内部使用最多的术语，你不会真正看到界限，你只是想解决这个客户问题，我认为对这项技术及其能做什么感到兴奋。嗯，我认为如果你过于基于框架，想要一切都完美且确定，并且适合整洁的小盒子，有时它会让你感到恼火。那些人非常重要，我们在 Vanta 和许多其他公司的其他部分也需要他们，但通常在代理方面的最前沿并不是让他们最兴奋的事情。所以，我认为对我们来说，当我们看那些人时，他们是那些会深入与客户交流，或者真正了解他们的问题的人。拥有对这个领域的高质量答案的内在感觉的人。所以，我们实际上雇佣了很多人，他们不是安全主题专家，但可以与我们的安全主题专家团队合作，真正完成最后的评估。我认为这是关键的一部分。对于代理，理解基本工作流程，以及有人每天都在其中生活，你知道，尤其是在前沿。就像你不需要有技术能力来做所有这些事情，但我确实认为对我来说，最有趣的人工智能体验通常都是编码体验。也许是因为我来自工程背景。但当我想到，你知道，cursor cla codeex，这些中的很多，我认为花了很多时间在这些体验中，并看到人们如何 pushing the edge，你知道，无论是像可爱的 vzero，还是 figma make 之类的东西，你知道，很早就我们为我们所有的产品管理团队购买了 vzero 的许可证，然后我们的设计团队也大量使用 Figma make 和 vzero，我们只是觉得，“太好了，开始构建原型吧。”我觉得我们的技术人员很快就上手了，不太技术的人说，“我打赌我做不到，我打赌这很难。”实际上，我录制了一个 Loom 视频，然后把它发给了很多人，然后说，“我为你设置好了一切。这是如何做的。它比你想象的要容易。”现在，我们的产品经理和设计师，其中一些人在编写代码方面几乎没有技术经验，现在正在与客户交流，创建端到端的完整工作流程和原型，并在几天或几小时内验证想法，而以前，它会是，“哦，我们如何把它放到工程师的待办事项列表中？让他们去构建它，然后做所有这些。”所以，我认为这种快速的周期时间，以及一个对一切都在不断变化感到兴奋并想要拥抱它的人，是那些真正创造这些令人兴奋的体验的人。>> 这非常酷。所以我确实预料到你说的一些事情，比如，好的，拥有一个建造者的心态和一些技术技能，但是那种创业精神，你就可以直接投入到一个你不知道答案的问题中，然后去尝试一下，这真的很有趣，这就是前进的方向，这也是成功的关键标准之一。>> 是的，绝对。我的意思是，我觉得有很多，我们仍然不知道人工智能擅长什么。以及拥有那种内在好奇心的人，就像，“我能用它来解决这个问题吗？让我试试。”以及那种坚持不懈地尝试足够长的时间来知道它是否会起作用，因为有些东西几个月前不起作用，现在却起作用了。就像，我认为，你知道，
至少，你知道，对我来说，当我想到像 Opus 45 时，我想它上周才完成了 46。对我来说，这是一个分水岭时刻，因为 Claude 代码得到了显著的改进，那大约是在十一月十二月的时候。我认为计算机使用，如果人们熟悉的话，基本上可以让人工智能为你运行浏览器，导航到不同的网站并执行操作。它肯定感觉比其他所有东西都落后六到九个月，但它正在非常迅速地变得更好。所以这是我们一直在内部大力投资的，并且一直在等待那个时刻，当我们觉得它走上了大规模采用的轨迹时，我们要确保我们一直在投资它。所以当那个时刻到来并且它转变时，我们已经准备好发布一些东西，并且我们今天有大量的客户使用计算机使用来自动化截图和诸如此类的证据收集工作，如果没有 API 的话。
>> 哦，天哪。所以，呃，计算机使用非常有趣，因为一方面它是一件非常酷的事情。呃，如果你想自动化任何类型的任务，它基本上就像是宏的新版本，对吧？就像你几十年来一直有 Excel 宏，但这就像是新的酷东西，但它也是一个巨大的安全风险。所以，我想呃，如果你正在考虑这些类似工具的十大计算机使用，呃，你需要做什么才能安全地做到这一点？
是的，我的意思是，我认为我们在 Vanta 做的一件事是，我们一开始就让我们的所有自动化始终是只读的，并且你必须选择加入写入操作，我认为这有帮助。它并不能解决所有问题。显然，可能会发生数据泄露和提取，但至少你不会像读取一些数据就会导致生产中断或做类似的事情那样，这种情况应该极其罕见。所以，我认为让客户选择加入这些写入操作会带来回报，一旦他们这样做了，我会说，呃，市场下方的较小公司对这类事情更加开放，他们就像是人工智能原生公司，他们想突破界限，他们只是在寻找产品市场契合度，并且他们愿意承担更多风险。我想说，非常大的企业不愿意承担那么多的风险。所以，我认为理解你的客户是谁，他们想要什么选项。我们肯定有客户，我们从只读开始，他们选择加入这些写入用例，然后给予他们那种细粒度的控制，就像是的，我很高兴你更新我的策略，或者你更新这些证据或更新这些控制，然后我认为最高级别是计算机使用可能是只读的，他们可以提取数据和截图，他们会对此感到更加舒适，而不是登录你的 AWS 账户并更改 AWS 中一些非常重要的配置设置而你不知道，这感觉会离人们只是让代理随便做事的类型的事情相当遥远。而且我认为我们现在看到更多的是审查和批准，我们正在构建，就像，嘿，我们已经为你完成了所有工作来准备好这件事。现在是那个时刻了。你想让它去为你做吗？所以你可以快速了解一下它为了达到这一点做了什么，并且就像是的，我觉得很好。看起来不错。继续做吧。所以也许你不需要登录并调整旋钮，或者不记得在 Google 控制台或 Azure 控制台的哪个页面上设置了什么，但你至少知道它将要改变的确切内容，并且你可以建立信心，这有助于你更快地前进。但我确实认为这是这些层次的，比如只读写入一些简单的事情，只读用于其他事情。但计算机使用我绝对认为在好和坏方面都极其强大，因为它可以访问完整的虚拟机或容器，并且可以做任何你给它的事情。所以，我认为人们能够锁定这些，并且有很多公司提供这些隔离的、不受信任的代码执行环境供计算机使用运行，这也是我们内部使用的。
好的，这很明智，就像呃，给它一个沙箱，确保它不能摧毁一切，不能删除你的整个 AWS 账户。这可能，我的意思是，如果你只是让人工智能在企业账户上做事情，比如生产中的事情，那里可能会有一些真正的大灾难。但也许，也许我们退一步，看看目前有哪些伟大的成功故事或用例，你看到了什么，你现在可以用这种自动化做些什么酷的事情？
是的，我的意思是，我认为我们看到的一些对人们来说很大的好处是问卷自动化非常重要。我们看到大量的客户获得了这个，并且节省了数小时数小时的时间，这很棒。就像安全审查现在，你知道，只需要以前的 20% 的时间来完成这些问卷。在很多情况下，我们获得了 100% 的覆盖率，这真是太棒了。然后，如果我们没有涵盖某些内容，我们会自动通知你，你需要什么样的答案或策略或任何东西，这样你就可以提高覆盖率。我认为在供应商评估方面，没有人喜欢发送那些烦人的电子邮件给供应商，向他们索要所有证据和所有文件，并仔细阅读那些数百页的文件，你很快就会得到。所以，我认为 Vanta AI 代理在简化这些审查方面非常有帮助。我认为从十月到一月，我们已经为我们所有的客户将这个数字减半了。安全审查的平均时间，我们认为我们可以再减半一到两次，这太棒了，这是总的实际时间。显然，人工智能非常快，但有时你需要人类登录并进行审查和批准。但我认为让我兴奋的是，你知道，很多安全团队没有像工程和产品团队一直拥有的那种反馈循环，对吧？你知道，就像，嘿，你向客户发布产品。你收到所有数据和遥测信息，你有反馈，他们喜欢的东西，他们不喜欢的东西，他们如何使用产品，然后你可以让它变得更好。很长一段时间以来，安全团队只是说，“好吧，我们要获得一些认证，或者我们要做一些事情。”他们有点卡住了。他们不知道客户的意见。他们与收入没有联系。这使得他们很难证明他们的预算并向管理层解释他们正在做什么，以及董事会除了降低风险之外。它有点变成了一种通用的保险，就像，哦，我想我们必须在这方面花很多钱，但我不确定我们得到了什么好处。所以，Vanta 做的一件事就是将你从客户那里获得的所有反馈，在问卷中，在谈话中，在签署的合同中，在合同中做出的独特承诺，都与收入联系起来。所以它真的改变了 CISO 的工作，现在他们可以进来并说，嘿，我的团队通过回答这些问卷为我们去年获得的 90% 的收入做出了贡献。这些客户想要这些安全证明点。他们现在要求我们做这些其他事情。他们要求我们在合同中进行更改以完成此操作。这些是我们将在安全团队中进行的更改，以帮助他们证明他们的预算和人员配置请求，并更好地展示他们正在做的惊人价值。所以，我认为代理能够连接所有这些部分，它可以分析你从客户那里获得的所有数据，你目前的控制、框架、风险和你的计划正在做什么，然后如何将其转回以帮助发展业务。我认为这从根本上改变了安全仅仅是成本中心的概念，它花费了大量的金钱，而且很多高管不理解他们在做什么，他们使用这些令人困惑的术语和所有行话，而现在我们可以说，哦不，他们实际上正在为你的业务的核心提供动力，而代理可以帮助他们轻松地讲述这个故事并持续这样做。
我喜欢“模糊的成本中心”这个想法，就像你说的关于安全团队的很多事情一样。数据团队也是如此。就像我认为他们很确定他们在做一些有用的事情，但不确定是什么。而且，是的，能够向高管和公司其他部门展示这种价值。这非常重要。所以，是的，我喜欢这个想法。你摆脱了繁琐的工作，将其外包给人工智能，然后你可以专注于展示你的价值。非常棒。好的。呃，为了结束，我总是想从更多人那里学习。所以，呃，你现在最感兴趣的是谁的工作？我应该关注谁？
>> 哦，我想，呃，我关注的大部分都是来自 Anthropic 的很多工程师，我想说，他们正处于理解模型走向何方、它们在做什么的最前沿。呃，我一直对 Yan Lakum 感兴趣。可能很多人也关注他。他在那里有一个新公司，我认为即使他对 LLM 可能会有点消极，但我确实认为他是对的。它们会达到一个点，不是真正的智能，但我们会不断地从中榨取更多东西，但我认为他对人工智能的未来可能是什么，以及我们今天所见到的东西的局限性有很好的看法，所以绝对是我一直喜欢关注的人。
>> 哦，是的，就像呃，他几十年来一直在深入思考这些问题，所以，是的，他总是能说出一些辛辣的引语。所以，是的，绝对是值得关注的人。好的，呃，非常感谢你的时间，杰里米。这很有趣。
>> 很好。谢谢你邀请我。这是一次很棒的谈话。