Transcription
大家好！在本视频中，我们将探讨人工智能特权升级，并了解代理身份如何提供帮助。我们还将探讨当人工智能代理被授予提升的权限时所涉及的安全注意事项。首先，让我们从定义开始。这样我们就能理解我们在谈论什么。什么是特权升级？它实际上是恶意行为者利用人工智能在系统内获得未经授权和提升的访问权限的行为。它涉及利用漏洞来获取比他们通常被分配的更高的权限。因此，当我们开始考虑特权升级时，我们首先真正想深入研究的是：它是如何发生的？特权升级是如何发生的？现在，当我们考虑代理以及代理被允许做什么时，让我们也可能从一个画面开始，这样我们就可以将这一点联系起来。所以，让我们考虑一下，我们有人工智能代理。也许是一组，一个助手。它们可以是代理，随便什么。它们将与……它们可以与数据交互。它们可以与工具交互。它们可以与进程以及系统内的任何内容交互。你将要发生的是，你将有一个用户，他将创建一个提示。他们将通过代理系统工作，它将连接这些东西。那么，当我们谈论代理特权和特权升级时，我们需要考虑什么呢？好的。所以，让我们回到它是如何发生的。当我们这样做时，发生的第一件事是我们获得了超级代理权，或者也是过度授权。所以，这 realmente 意味着我们有代理，当它们与系统交互时，它们可以与一切以及大量的东西交互。它们拥有大量的代理权。它们被允许与系统的所有部分交互并能够采取行动。这是特权升级的第一个问题之一，那就是你利用了一个拥有大量连接能力代理的代理。现在，我们也……我将再次后退一点关于这个图。回到我们的定义，我们有一个恶意的人。现在，我们实际上可能会以一种无意的方式出现特权升级问题。但我们真的要谈论的是一个坏人，一个故意试图操纵系统的人。所以，他们正在与我们的系统合作，他们正试图获得他们可能不应该被允许访问的东西的访问权限。所以，第一件事是我们谈论超级代理权和过度授权，即如果一个坏人能够获得一个拥有大量访问权限的代理的访问权限，那么那个人现在也拥有大量不同的东西的访问权限，大量的数据，大量系统，大量工具。好的。所以，第一件事是超级代理权和过度授权。在特权升级方面，我们接下来的一个方面是当我们谈论特权继承时。但现在，这 realmente 意味着什么。这与超级代理权有点相关。一个用户或某人，他们可能对任何事情都没有访问权限，对吧？他们可能无法访问这些工具和数据，但他们将继承其他东西的特权。所以，如果一个代理拥有超级代理权，这个用户现在就可以继承。他们连接并使用该代理的特权来连接到所有东西，即使他们通常不被允许。这也可以通过另一种方式发生，即如果一个人扮演恶意行为者，他们可能会冒充别人。所以，让我们说，也许这里有一个人确实拥有他们想做的事情的权限和访问权限。而这个人，他们会做什么呢？他们会破坏它。他们会，他们会拦截，你知道，身份，使用他们的身份，然后说，我拥有提升的特权，代理现在将从我这里继承并能够访问。所以，这是我们看到特权升级如何发生的两种方式。现在，我们看到这种情况发生的另一种方式是通过提示注入。这是我们试图利用，你知道，代理系统的一种非常常见的方式。我们在这里再次试图做的是，通过使用提示来尝试利用和理解系统中正在发生的漏洞。其中之一是，正如我们所讨论的，过度授权，如果我们能够找到一个拥有大量代理权的代理，然后我们可以利用它。所以，你开始玩提示。一个坏人会开始玩弄提示，以便他们能够操纵系统，使其提供比他们应该被允许的更多的访问权限和更多的特权。好的。所以，接下来我们要看看它是如何发生的，这 realmente 是关于配置错误的。而且，当我们在谈论这个的时候，你知道，无论是代理系统，还是涉及代理，配置错误可能是任何类型的系统，传统系统或代理系统被利用的最常见方式之一。我们有一个设置，它没有适当的控制措施。它打开了一个我们不知道的后门或门户，有人可以进来并利用这种配置。而且，他们再次通过提示注入来利用它。他们利用拥有过度授权的代理，该代理实际上可以去查看某些配置是否发生，并操纵系统。所以，现在这个坏人可以获得他们不应该获得的东西的访问权限。现在，当我们谈论所有这些时，我们看到的特权升级的风险是什么？嗯，第一个是安全受到威胁。而且，再次，当我们谈论网络安全和管理安全漏洞和问题时，情况也是如此。如果我们能够绕过我们的安全，那么那个坏人就可以获得大量不同的东西的访问权限。这当然会导致损害增加。而这。这是为了，你知道，公司，个人，嗯，我们现在已经利用了他们的系统。所以。所以，这就是它的发生方式。以及这些是涉及的风险。所以，知道了这一点，当我们开始考虑缓解措施时，我们想做什么呢？我们如何解决这些特权升级问题，并尽最大努力来预防它？现在，我们首先要谈论的是最小特权。现在，这 realmente 回到了超级代理权和过度授权以及权限继承，以及从坏人的角度来看我们真正试图利用它的最常见方式，这实际上说明代理应该只拥有执行任务所需的权限量。这涉及到高内聚、松耦合、面向对象的原则，这意味着我们不希望代理能够连接到所有东西。它们应该真正地说，这个代理负责连接到那个东西。如果我们需要的代理连接到其他东西，那么我们就创建一个连接到其他东西的代理。所以，这就是最小特权的概念，它说明我们真的只想给代理执行非常狭窄任务所需的权限量。现在，当我们谈论最小特权时，它也回到了个人，回到主体。所以，我们真的想看看用户的权限是什么，代理的权限是什么，然后实际取两者之间的最小特权并集。所以，这可以防止坏人找到拥有更多特权的东西来升级该特权并获得更多访问权限。现在，我们真的查看了两者之间的最小特权，这确实帮助我们开始控制我们的环境。接下来，我们开始真正关注访问治理。在访问治理下，有几个领域我们真的想谈谈。一个是，我将称之为独立的策略决策点。现在，这 realmente 意味着我们不希望发生的是，我们不希望用户或代理自己定义他们被允许访问什么。所以，我们不希望，你知道，一个代理说，好的，我需要访问这个工具来执行一个特定的任务。然后，它就可以提升自己的特权。然后，如果我们不使用最小特权，一个坏人就可以利用这一点并获得访问权限。所以，我们有一个策略决策点，它有点独立。它与系统不完全相关，代理必须针对它进行身份验证，就像我们有一个IDP身份系统，用户会进行身份验证一样。我们将有一个代理，以及，以及，这个治理系统将定义该代理被允许做什么，而这就是它被允许做的全部。而这有帮助的地方是，如果一个坏人试图通过提示注入或其他机制来操纵一个代理去连接某个东西，它就无法做到，除非它被某个企业级治理系统定义，该系统实际上告诉我们它被允许做什么。所以，这一点非常重要，这是一个独立的机制来处理这个问题。在治理下，我们想做的另一件事是，我们想拥有这个，你知道，我们想验证工具访问。所以，这些是工具，对吧？所以，这是我们试图在系统中连接的一组工具。这就是代理将与之交互的内容。现在，当一个工具……当一个代理连接到一个工具并说，嘿，我希望你采取一些行动时，我们真的希望这些工具实际上能够回到治理本身，并说，第一，我们信任这个代理吗？我们信任代理被允许做什么吗？我听到的所有内容都合适且被允许吗？因此，工具本身将验证正在发生的一切。所以，这是我们治理的一部分。好的。接下来，所以这真的开始让我们了解如何管理我们看到的特权升级的一些问题。现在，接下来我们要做的就是拥有动态和基于上下文的访问。而这真的很重要。因为一个代理，顺便说一句，它的设置和定义，可能有一个或两个——一组工具的访问权限。即使在该工具内部，它也可以读取，它可以执行写入，它可以执行删除，它可以执行修改，很多事情。我们所说的动态基于上下文的访问是，我们想看看请求的上下文，提示的上下文。而我们想最小化。而且基本上……实际上，这叫做，我们想将范围或操作限制在仅操作。这是一个只读操作。我们想进一步减少代理的权限和代理权，这取决于我们试图完成的上下文。所以，我们只是稍微缩小一点。我们想做的另一件事是拥有短暂的访问权限。换句话说，当一个提示进来，代理接收到请求并想要连接到某个东西时，我们将看到它被允许做什么。我们将确保我们拥有最小特权。我们将查看正在发生的事情的上下文。我们将限制它。然后，我们只允许它发生，比如说，几分钟，它将是一个非常短暂的操作。这样，我们就不能欺骗代理放弃。它的，它的令牌。我们不能欺骗一个LLM放弃一个令牌，这样我们就可以得到一些我们可以重放和攻击的东西。不，它将是一个非常短暂的操作，并且只允许在非常短的时间内发生。现在，这一切都很好，试图对抗我们谈论的特权升级的一些方式。现在，像往常一样，我们想做的最后一步是监控正在发生的一切。如果需要，撤销访问权限。访问撤销。所以，我们总是有系统在监控正在发生的一切，所有的流程，所有的动作。有很多好的工具可以做到这一点，并寻找我们通常会看到的异常模式。然后，我们可以实际去撤销。所以，如果，如果在这之后，我们仍然检测到特权升级正在发生，有一个坏人正在采取我们不希望的行动，我们可以监控然后撤销该访问权限。现在他们不允许做任何事情。好的。所以，我们已经谈论了特权升级，它的含义，它是如何发生的。我们已经通过了一系列工具和你可以做的事情来预防它。