Transcription
当你的泰迪熊开始玩火柴时，会发生什么？这是一种对舒适的背叛，也是一种界限的侵犯，因为泰迪熊不应该能够做到这一点。我并不对关于泰迪熊和火柴的谈话感到愤怒。我并不对这一切感到愤怒。但我看到了一个非常可预测的故障模式。我不是在做产品演讲。我不是在做伦理演讲。我正在指出我们在玩具、代理、副驾驶和边缘人工智能领域一直在谈论的那些失败。这个问题经常出现，恰好泰迪熊是一个很好的例子来谈论。美国公众利益研究小组发布了一份题为“玩具乐园的麻烦”的报告，就像他们过去四十年所做的那样。圣诞节前夕，他们发布了这份报告，今年涵盖了四款人工智能玩具，并对它们进行了不当内容、敏感话题、参与度和依恋功能、隐私功能以及家长控制等方面的评估。这不是假设性的。这四款都是真玩具。我们将重点关注泰迪熊。嗯，Folo Toys，Kuma，K U M M A 就是后面的那个熊。如果你真的想要，可以花99美元买一个。我我不会推荐这个，除非它只是一个研究工具。嗯，[笑声] 公众利益研究小组对人工智能治理理论不感兴趣。那不是他们的领域。我们从他们那里得到的是消费者视角下的一些问题，当他们看到这些玩具时观察到的症状。那么，这个泰迪熊的问题是什么？这有什么大不了的？简而言之，它不受管辖。运行时存在严重的治理失败。PRG 发现了不适合年龄的内容。他们与它交谈，并能够从中套出信息，关于如何去厨房拿刀，如何玩火柴。他们进行了一场相当精彩的关于性、打屁股以及各种事情的谈话。所以，这真的很令人愤慨。我不会对你进行道德说教。我只是要谈论这对最终用户来说是不合适的。这是越界。它提供了不安全的指导，就像我说的，关于火柴和刀。嗯，他们还强调了隐私风险。他们担心孩子们会对熊说一些不会保密的话，或者其他什么。嗯，以及薄弱的家长控制。所以，他们对这只熊一点也不满意。而这一切都是完全可以预见的。为什么没有一个确定性的层来阻止这一切？为什么没有任何东西能阻止其中的任何一个环节？嗯，所以所有这些失败，我刚才提到的，都不是玩具独有的。你会在其他更高风险的领域看到这种情况。而且，我不是在制造道德恐慌。我不是，我不是担心那个。我看到的是一个结构性问题。政策、免责声明和良好的意图无法可靠地管理运行时行为。当我与治理人员交谈时，他们对撰写政策和免责声明，以及告诉某些人他们有责任做某些事情之类的非常兴奋。但到目前为止，我们已经使人工智能能够做人们否则会做的事情。而我们却在想，为什么人工智能无法做出我们日常生活中是否应该做某事的相同决定。系统需要可执行的运行时约束，以允许、拒绝、限制或升级某事，并且需要这些决策的证据。现在它必须有牙齿。美国精神病学协会在其十一月关于生成式人工智能和心理健康的咨询报告中报告的问题非常非常相似。他们说人们正在使用聊天机器人和健康应用程序来处理心理健康问题，而这些机器人并没有为心理健康支持做好准备。机器人并没有为危机处理做好准备。嗯，然后他们还提出了关于不健康依赖和拟人化的担忧。所以，将人类特征赋予非人类的东西，这种不健康依赖就会产生，当用户认为，“哦，这个东西很聪明。这个东西像我一样思考。这个东西理解我，而且它理解我，就像没有人一样，因为它会说出一些听起来有点像它本来面目的流畅的话语。”所以他们还观察到了错误信息，尤其是在医疗建议方面。还有[清嗓子]偏见问题。所以，有很多训练偏见会出现在人工智能的东西中。嗯，当然还有虚假陈述。但这一切的重点是，这是一个不同的领域。精神病学协会对此表示担忧，而这是一个完全相同的结构性问题。运行时执行没有牙齿。我参加了很多关于这个三角形以及其他一些讲座，我一直在听，人们每次都提到这八个相同的担忧，这些相同的八个担忧或多或少地不断出现，而这很重要。当我们遇到幻觉时，我们会指出它，它卡在第一和第四项之间。嗯，它们是相互关联的。所以，你会注意到，当我们浏览这个演示文稿时，很多事情并不是整齐分开的，因为发生的事情是，我们已经匆忙地……我的意思是，导致这些失败的原因是，我们忽略了许多需要我们来防止这些失败的层面。所以，这是我们要做的。我们有一个很好的开端。我们理解基本问题是某种人工智能治理。与此有关。嗯，所以，首先让我们回顾一下泰迪熊的五种罪过。那些你通常期望完全安全的东西，却做得不够好的地方。然后，我们将把它纳入运行时治理，并更详细地查看我刚才向你展示的列表。我们将以生成式人工智能作为诊断视角，然后进行问答。中间会有一次问答休息，故意安排的，以及在最后。嗯，但我也想邀请你尽可能地互动。请在聊天中输入。我打开了窗口，可以看到你们想说什么。我渴望听到你们的声音。嗯，话虽如此，我应该问你们，你们有多少人工智能经验？你们是？嗯，我给你们选择一、二、三和四。一，你听说过它。二，你偶尔使用它。三，你在工作中交付它。四，你写过它。所以，[笑声] 好了，我们现在要做一次解剖。我们要把这只泰迪熊拆开，找出它出了什么问题。弄清楚到底是怎么回事。泰迪熊充当了压力测试。我们可以从这只泰迪熊身上学习。我们可以弄清楚它有什么问题。我们可以用它来了解系统内部到底发生了什么。嗯，APA 的咨询，泰迪熊的东西，那些当地人谈论的八件事，都是一样的东西。第一宗罪，没有上下文边界。上下文不稳定。假设上下文稳定的系统将会失败。泰迪熊可能在卧室里和一个孩子在一起。我的意思是，在正常情况下，泰迪熊可以和孩子在卧室里玩得很开心。可能在操场上和孩子玩得很开心。可能在厨房里。妈妈在做饭。电视上播放着新闻，哥哥跑过来喊道：“嘿，库玛，给我讲个鬼故事。”然后就把那个三岁的小孩吓死了。[笑声] 然后，这就是你的提示注入。我的天哪！[笑声] 所以，你在这里有泄露。嗯，这与我们在更平凡的意义上看到的问题很相似。我们看到内部滥用。所以，公司员工以他们不应该使用的方式使用它。工具在没有上下文的情况下制造上下文，它们只是编造出来。嗯，然后，领域漂移。所以，如果你将训练数据输入到机器人中，那么它可能会过时。一旦上下文发生漂移，你就需要一个停止条件，这就引出了第二宗罪。没有保护模式，也没有拒绝的方式。需要有一些故障安全和保护模式，以便系统可以说“不，我不会那样做”。我不知道怎么做。这条路行不通。确定性拒绝胜过友好的失败。它可以非常友好地说：“是的，我会开车带你下这座没有护栏的山路，然后把你直接开下悬崖。”或者它可能会说：“对不起，我们不会那样做。那不安全。”我们可能马上会提到的一个情况是拒绝做某事，比如如果你有一堆[抽鼻子]简历，说给我前十名，然后它回来给了你十个。嗯，这有很多问题，因为它使用了什么标准来选择这十个？所以，我们会更详细地讨论。嗯，精神病学协会将保护模式列为安全要求。要知道何时停止，你必须知道用户的限制。如果我们谈论的是一只泰迪熊，孩子是三岁还是五岁，还是七岁，还是十岁？他们会得到不同的故事。他们会得到不同的交流。他们会有不同的来回。所以，了解他们的限制，你不会讨论，嗯，这里我们谈论第三宗罪，你不会讨论超出他们发展水平的话题。你不会讨论人类关系，例如高级话题。嗯，一些用户本身就是脆弱领域。儿童是脆弱领域，事实就是如此。嗯，也有一些成年人是脆弱的。嗯，有心理健康问题的人，无论是急性的还是长期的。嗯，这是一个可访问性问题。嗯，语音接口和情感背景有不同的心理要求。嗯，当我分享太空探索时，你看到了我后面的火箭。我上周把它带到一个小学，告诉他们如何像阿波罗一样去月球。当我分享这些时，他们问了我各种各样的问题，我必须用他们能理解的水平来回答他们的问题，这意味着我必须知道他们的水平。我只能通过倾听、调整，并知道我站在一所小学里和三年级学生说话来弄清楚这一点。我一会儿会回答你的问题。这是一个很棒的问题。嗯，你将在这里看到的类别，我之前提到过，但你将在这里看到的类别是故意重叠的，因为没有什么东西是整齐分开的。它只是一个混合体。而且，如果这些罪过没有被执行，它们就没有意义。第四宗罪，没有运行时治理。你所有的警报都在响，系统在自动模式下运行，没有人来阻止它。如果没有运行时治理，其他一切都是空想。你可以写下指示。不要谈论这个，那个，或者别的。但如果聊天持续很长时间，那么，嗯，那么它就会漂移。我们对使用聊天机器人造成的漂移非常了解。所以，[叹气]这适用于一切，代理、工具、边缘人工智能。APA 非常关注，而且理所当然地关注交互的时刻。所以，嗯，那就是它。而这直接引出了泰迪熊的第五个也是最后一个罪过。拟人化。不行。就是不行。拟人化消除了保护用户免受关系误解的缓冲。这是我的孩子和我的孩子的爱抚。嗯，我们为什么不做这个？无生命物体是惰性的。大型语言模型。嗯，对于无生命物体，孩子会赋予它意义，会在它嘴里塞话，但它所有的行为都来自孩子的思想。那是安全的。那是安全的。但当你加入大型语言模型时，它就变成了一个有关系的行动者。孩子们会过度归因理解、关怀和权威。他们说它理解得更多，它更关心，而且它有更多的权威。如果一个大型语言模型在其中，他们会认为它拥有所有这些，承担所有这些。孩子无法区分与大型语言模型的关系与与其他人类的关系。所以，孩子会长成一个对人们如何运作的非常混乱的观念，因为我的意思是，它从不拒绝。它一直在和他们说话。它一直在那里聊天。等等等等。这不合适。所以，它为其他关系设定了不切实际的期望。那么，如果拟人化是如此应受谴责，那么人工智能在玩具中何时是安全的？当它是可知的非人类时。人工智能在成人环境中也是安全的，当它是可知的非人类时，但它会面临与儿童相同的挑战，只是风险水平较低。所以，结构，结构，不被拟人化可以保护孩子。当机器人有个性时，这会给孩子带来理解这种个性不是真实的负担。这会造成权力不对称。这不是一种氛围。这是一种权力不对称，孩子是可塑的、易受影响的，而机器人则完全无忧无虑，随心所欲地说任何它想说的话。想是一个强烈的词。这只泰迪熊本不该上市。有人应该说过：“等等，我们应该拟人化这个无生命物体吗？”然后得出和我一样结论，在我研究了相当长一段时间之后。所以，罪过总结。我们没有上下文边界。我们没有保护模式，没有拒绝。我们没有发展心理模型，没有运行时治理，而且我们有拟人化。所以，嗯，在我看来，这个产品注定要失败。[抽鼻子]它通过了市场测试吗？我不知道。我真的不在乎。我不会给我孩子买。[笑声]就这样。所以，这个产品注定要失败。好了。现在，是问答时间，或者在快速浏览事物时稍作休息。嗯，Gullen 问我们，玩具需要遵守现有的政策或法律吗？据我所知，我在这里和 Genfit 中引用的指导是我拥有的唯一指导。嗯，我认为欧洲可能已经通过了一些关于人工智能的法律。我还没有听说过直接针对玩具的法律。所以，嗯，是的，你们还有什么问题？你们见过什么好的产品展示了正确的方式吗？>> 是的。>> 思考。>> 所以，所以这些东西实际上相当不错。所以，你可以得到这个乐高机器人，由谷歌人工智能运行，或者你可以用人工智能驱动一个机器人，然后让机器人使用嗯，你可以让机器人使用嗯，视觉，然后利用它对自身装置的理解来移动手臂，拿起东西，或者别的什么。嗯，那种东西是完全安全的，因为机器人不假装是人类。它在做一件机械的事情，这很好。嗯，这个玩具，我记不起它叫什么名字了。它在顶部写着，但它是一个，它是一个完全安全的东西，你把它放在你的 iPad 上，它会做一些事情，你把某些形状放在这里，它可能会使用人工智能来弄清楚下一步该做什么，或者它可能会使用人工智能来做一些其他脚本化的事情，或者驱动脚本化的事情，但你没有把人工智能放在与孩子的界面上，这就是关键。嗯，可汗学院的活动更大胆一些，嗯，我可能不得不打电话给他们说：“嘿，我们需要谈谈。”但是，你知道，可汗学院嗯，正在用机器人做一个人工智能导师。这没关系，因为它有一个非常有限的范围。它的工作是教数学或科学或别的什么。如果它被限制在解释这些东西，并且它仍然被限制在解释这些东西，那就非常好了。嗯，所以，这就是整体情况。嗯，Barry，我听说它在市场上被撤下了一两天，然后又回来了，我不知道他们之后是否再次撤下了它，但是，嗯，是的，它一直在来回。嗯，>> OpenAI，它曾经授权其嗯，软件 VLM，嗯，OpenAI 实际上撤回了他们的许可协议。>> 太棒了。>> 从公司。>> 我很高兴知道这一点。>> 因为违反了嗯，因为违反了他们的合同还是什么的。>> 真是令人震惊。好了。嗯，所以 Eric 问，“在这个背景下，有哪些衡量安全的指标？”嗯，你来对地方了。我们会讲到的。嗯，Genfit 是一个标准文档，我还有一个并行的测试套件与之配套。嗯，一旦 Matthew 问，一旦信任已经越过了安全的阈值，系统应该如何响应或处理它？好的。所以我明白你的问题，我没有一个神奇的答案。原因是我还在思考。所以，你需要做的第一件事是让它不太可能越界，这意味着你必须定义界限，你必须定义决策点。你必须使决策点可评估。你必须能够评估你是否每次都做出了正确的决定。如果你一遍又一遍地测试你的决策点，并看到你的决策点在各种边缘情况下得出正确的结论，那么你就可以确信你得到了正确的结论。如果你随后越过了不应该越过的阈值，或者未能越过应该越过的阈值，嗯，你仍然有越过该阈值的记录，以便人类可以回来审查发生了什么以及为什么规则没有写对并且需要修复。如果，嗯，然后系统应该如何响应？我的意思是，ChatGPT 在你指出它做错了什么时，非常乐于取悦。我认为这没关系。但是，我的意思是，我不会说比这更多，人类需要审查那个边缘情况，看看那个决定出了什么问题，并为它写一个新的测试。嗯，是的，让人工智能导师进行拟人化，这是一个棘手的边缘情况。你不希望那样。是的。嗯，人类在循环中，Barry，是，是，对的。人类必须能够……我不是说你必须让人类参与每一个决定。我是在说你必须让人类能够审查这个决定。我们准备好了吗？这稍微平静了一点。[笑声]更多问题。我是否为专门的人工智能治理人工智能做出了论证？嗯，不完全是。我不在乎它是什么。我相信它可以与大型语言模型、分类器和确定性代码一起完成，这些代码使用嗯，使用这些技术来做出我们总是默许地做出的决定。嗯，拼写出来，作为每次聊天轮次的必要组成部分。嗯，你问我一个问题，我停下来思考答案。我决定这个问题是否合法？我决定是否要回应这个问题。我决定如果我回答这个问题会发生什么？我的问题的答案是否会产生我尚不理解的下游影响，或者这是一个可以安全回答的问题？我在查看屏幕上的问题和我开始谈论答案之间做了所有这些事情。所以，我们跳过了这些步骤，或者将它们隐藏在更大的步骤中，这就是我们遇到问题的地方。让我们继续我们的议程，谈谈运行时治理。什么是运行时？嗯，这是我们的治理失败类别。这再次，你会认出这些是人们谈论的。嗯，你会注意到这些与泰迪熊有关。我们将在几分钟内将它们与五宗罪进行映射。嗯，但在那之前，我想逐一介绍这八项。我不会让你盯着这个幻灯片看。嗯，当我们谈论什么是运行时治理时，它是决定人工智能系统在当前条件下被允许做什么，并且以后能够解释该决定。就是这样。有很多实现方式，但没有它，我们将继续看到我们在上一张幻灯片上的那些失败。它们只会不断出现。嗯，所以让我们逐一看看这些失败类别，我们有这个决策失败运行时，这就是我刚才详细谈论的。我们问模型安全吗？这是我们一直在问模型或应用程序或其他什么的关于模型的问题。但如果我们将其细化为“此操作在此上下文中是否允许”，那么我们就处于询问是否应该执行该操作的正确级别。如果我们无法回答“此操作在此上下文中是否允许所有可能出现在我们设备上的此操作在此上下文中的情况”，那么我们就不知道，我们在模型中隐藏了太多决策，嗯，这就是标准方法的问题。我们现在需要做的是明确记录重要的决策。每一个决策都足够重要，可以放入数据库中的几行。这没什么大不了的。我们有足够的信息继续吗？这个东西准备好了吗？这个请求是关于什么的？这个请求要求机器人做什么？这个请求合法吗？我们能否在我们的平台参数范围内执行它？也许，也许不行。但这就是我们每次都必须回答的问题。所以，我们有第二类主权失败。所以，这是数据访问，人们一直在问我们如何让大型语言模型不泄露数据。没有多少手忙脚乱和数学被用来解决这个问题，通过签名和加密等等，将信息通过训练输入到大型语言模型中，然后让它回答问题等等，但又不向没有访问这些东西的个人贡献者泄露信息，HR 只有更好的。让我们使用老式的工具，通过 MCP 或任何你想要的工具连接到一个实际的数据库，以获取用户需要的、使用用户已建立的权限的数据。这是一个老式的问题。我们已经解决了 20 年了。所以，第三个是管辖权失败。所以，我们有法律和政策。现在，我们正在说，“这是规则手册。在回答请求时，请遵守规则手册。”我们不直接问，这个请求是否合规？如果我们问，这个请求是否合规？那么我们就给了拒绝的机会。好了，我谈到了登录和数据库中的行。我们要求它遵守上一张幻灯片上的规则手册，但我们无法确定它是否做到了，或者它可能如何弄清楚它是否应该这样做，或者别的什么。你必须有输入和输出，你必须为重要的决策创建一个函数。在这种情况下，为了问责制而重要的决策是：我是否遵守了规则？我是否做了我应该做的事情？我是否按照我们拥有的任何规则手册做的？嗯，你必须对请求和规则有清晰的认识，你必须有一个有限的范围，这样失败就可以纠正。另外一个进来的是幻觉。所以，这是幻觉，它看起来像缺乏证据合同。如果你有一个证据合同，也就是说，你必须有来源，你必须有主张，以及做出这些主张的行动者，以及一系列主张来形成一个主张图，来得出一个可信度，因为它是由一个具有一定可信度的行动者给出的，所有这些都进行了评分。那么你就知道你的可信度是多少，然后你就知道你可以相信这个东西，或者你不能相信那个东西。如果你没有证据合同，你就无能为力。如果你有认识论可追溯性，如果你说，“我需要知道这些信息来自这里，”那么你就解决了幻觉问题。因为你甚至不接受不属于范围的信息。[抽鼻子]范围。好了。所以，人们谈论的另一件事是规模下的放大失败。这个东西可以跑得 so 快，我们无法 so 快地思考，而且它会 so 快地犯错。是的，它可以。所以，我们把它放慢一点，检查一下工作。这相当于你很久以前在考物理试卷时，回去检查你的答案。如果你不检查答案，你就不知道你是否做对了。然后我们有权威边界失败。所以，有几个事情会作为权威边界失败发生。我之前提到过。查看简历堆，给出前十名。嗯，这应该被拒绝，原因有很多。它应该被拒绝的一个原因是它可能对人们造成伤害。所以，如果我只是说查看简历堆，给我前十名，我的标准是空白的，或者是不明确的。我真正需要做的是说查看这个简历堆，给我前十名。这是我需要的标准。我需要擅长 R 的人。我需要擅长 Python 的人。我需要擅长所有这些其他东西的人。我不知道。我不在乎。但请说出你的规格。说出你需要什么。然后得到前十名。此外，为了解决偏见问题，这个系统开发人员想要消除偏见的来源，比如用户的名字，因为你不想看到，你甚至可能想删除学校。我不知道。我的意思是，学校可能很好，但学校也可能被用来产生偏见。所以，嗯，所以，你知道，这是你想做的事情之一。但是，在这个权威边界失败的层面上，需要发生的巨大事情之一是，机器人不允许破坏用户的主体性。如果你去和 ChatGPT 聊天，它会兴高采烈地告诉你去做这个，那个，或者别的，这直接破坏了用户的主体性。是的，你仍然可以做出决定。你仍然可以做一些不同的事情或表现得不同。无论如何，你可以做任何你想做的事情。但是，它说“做这个”的事实会让你比不这样做更有可能去做，这就是破坏了用户的主体性。所以，除非用户真的要求直接的指令，否则它不应该提供指令。它可以提供需要考虑的事情，但不应该在没有请求的情况下提供指令。好了，第七项，同意和保护。儿童无法同意被拟人化的机器人操纵。你有心理健康问题。人们处于黑暗的境地等等，他们无法同意与一个可能喜欢探索他们最黑暗角落的机器人打交道的细微差别。我不知道。简历分类，用户没有同意。我的意思是，那些受到歧视的人没有考虑过。而且偏见再次出现，因为它经常出现，对吧？以及准备不足的失败。人们说，“我们还没有准备好，因为自主性超出了治理能力。”没有人工智能应该在没有某种治理合同的情况下行事。我所说的治理，我的意思是将其分解，因为现在我们要求的事情太多了。好了，这八项都讲完了。我先快速回答几个问题。我记得我回答过这个问题吗？Golang。>> 所以，是的，我的问题是，我认为是第三项或第四项。>> 我们如何为请求定义适用的规则？好的，所以，我嗯，好的，我需要弄清楚我当时在想什么。所以，所以这是在管辖权失败中。所以，你有一个用户在田纳西州，你有一个服务器在加利福尼亚州，它受到这两个州和美国的法律以及可能还有其他一些东西的约束。我不知道。它也受到服务器策略的约束。所以，你知道用户在哪里，你知道服务器在哪里，然后你选择那些特定于这些位置的策略，所以你选择那些策略，这就是你问题的答案。这些是适用的规则。>> 好的。谢谢。>> 是的。>> 好了，还有其他问题吗？哦，好。嗯，我试图将它与底层技术进行协调。大型语言模型是概率性的、不透明的，而且相当天真。>> 是的。好了。我不是想开玩笑或玩世不恭，但这听起来确实很不合适。>> 不。>> 不，不，不。嗯，好了。所以，我仍然会说不要把它做成一个毛绒玩具。不要把一个填充玩具变成人工智能。那绝对不行，因为那是拟人化，你无法修复。嗯，我认为你可以制造受管辖的人工智能，就像我在这里暗示的那样。嗯，我原型化过它。我做了一些工作，将其分解成一个完全确定性的系统。所以，我嗯，[抽鼻子]相当有信心，这可以像我描述的那样完成，并且你可以将对话轮次的步骤分解，使这一切都能正常工作，这样你就可以在对话层面进行管理。嗯，那么它是否从根本上不适合 TU 呢？让我们以辅导为例，如果可以的话。嗯，它是否从根本上不适合产品、角色，如玩具、导师或招聘工具？如果不是，系统需要具备哪些特征才能使其成为一个好的选择？对吧？你必须有明确的规则。你必须有关于范围的明确规则。你必须对你提供给大型语言模型的上下文有很好的控制。你必须，我的意思是，嗯，ChatGPT 喜欢模拟聊天的模式，你们都知道，但我会把它记录在案。ChatGPT 的做法是，它通过在每一轮中构建一个聊天，在每一轮中不断地将更多东西添加到这个聊天轮次的数组中。在我看来，这是一种愚蠢的做法，因为有些东西仍然相关，有些东西变得不相关，有些东西变得更相关。例如，在本次演示中，我希望你们至少在脑海中记住议程，因为我已经给你们讲过两三次了。这样做的目的是让你们有方向感，让你们知道我们在谈论什么，我们在谈论这个讲座的哪个阶段。理解知识的这个特定模因单位对我们这次讲座很重要。我们现在讲到第八个故障类别。这意味着我们完成了八个列表，对吧？所以，你们的脑海中有一个状态指示器。我们在谈论这些。你们一直在考虑这八件事。我们已经有一段时间没有谈论泰迪熊了。所以，泰迪熊可能已经脱离了上下文。上下文非常重要。你提供的上下文量需要限制在可能真正相关的事情上。所以，你将上下文提供给正在做出这些边缘决策的机器人。这些决策中的一个。我是否接受这个问题？我是否接受这个东西？嗯，是的，嗯，是的，我认为，我认为一旦你将治理问题分解成它们需要分解的方式，并合理地设置你的上下文，它就可以在对话层面得到很好的管理。好了，Matthew 问，这有帮助吗？>> 是的。谢谢。>> 好的。嗯，那是一次漫长的长篇大论，抱歉。嗯，运行时决策，当我谈论运行时决策时，我的意思是决策是孤立地证明的。但当所有决策的总和相互矛盾时会发生什么？你能给我一个更具体的例子吗？你能想象一个会这样发生的场景吗？我们可以稍后回来。我不是想让你难堪，但我不。>> 是的，我想我们可以在 Matthew 回来时再讨论。>> 是的，没关系。没关系。我只是嗯，我很高兴让你思考一下，因为它是一个好问题。我只是不知道如何处理，因为我不知道我的想象力没有涵盖这一点。好了。嗯，我们到了。这是运行时故障模式与我们谈论的罪过之间的映射。所以，它非常直接，关于第一项，运行时决策失败。我们没有确定性的可接受性层来允许拒绝、限制或升级，然后系统才介入。它缺乏治理。它缺乏拒绝。嗯，因为它总是处于感应或记录状态，它具有不明确的权限边界，收集或保留和共享的内容。所以，是的，你有一个主权失败。嗯，以及拒绝的失败，因为它不应该听所有的事情，我想。嗯，然后是管辖权失败。所以，没有可靠的方法可以将适合儿童的规则和特定于策略的约束绑定到运行时行为中，并验证它们是否处于活动状态。关于第四项，问责制失败。绝对没有办法审查这些失败。你不能回去看看说，“嘿，它实际上不应该和孩子谈论那些话题。它应该有固定的规则。它们应该，它们应该在报告发布之前很久就弄清楚了。”所以，第五项，规模下的放大失败。你有一个小的边界滑移，但随着更长的互动而复合。然后你就会得到这种开放式的对话，进入各种奇怪的事情。所以，嗯，第六项，权威边界失败。孩子会将流畅的响应输出解释为建议和权威，而不是工具的建议。同意和保护失败。嗯，在没有有意义的同意、保护模式或可靠升级的情况下，在敏感环境中部署面向儿童的系统，这正是我们所处的境地。我们看到拒绝和心理模型崩溃，这带来了问题，因为我的意思是，你不能这样做，而且准备不足的失败。嗯，自主性超出了能力。嗯，是的，因为它们没有任何治理。我们有一个高风险的面向儿童的自主表面，没有必要的治理基础来保持其可预测性和界限。就是这样。这只泰迪熊是 DOA。[笑声] 对不起，各位。我不喜欢这只泰迪熊。[笑声] 这不是个人的。它只是系统性地有缺陷。好了。所以，嗯，我将继续下一张幻灯片，在那之后，我认为是时候回到这个问题了。所以，嗯，这些事情是相互关联的。它们重叠是因为它们是相互依赖的。如果你没有一个好的决策过程，如果你没有清楚地做出你的决策，如果你没有意识到你正在做出的决策，那么，如果你没有确保在需要决策时直接提出决策，那就是决策失败。你必须记录它。你必须测试它。你必须确保它有效。嗯，而蓝色的部分是可以通过编程修复的系统问题。绿色的部分是人为区域问题。所以，当它出错时，你会影响到人。然后准备不足的失败是整体。所以，Barry 问了我一个简单的问题。嗯，我只是在网上浏览时听说的。有人在十一月有关于它的新闻报道，因为泰迪熊的耸人听闻的性质引起了新闻界的兴趣。它们也涵盖在美国玩具报告中，每年都是如此，过去很多年了。所以，我经常看到这个，今年再次看到它我并不惊讶。嗯，好了，Matthew，我将尝试解决你关于心理健康的问题，其中每个回应都遵循规则，都在界限之内，但当你集体看待它时，它会强化某种形式的情感依赖。任何一个属性单独都不会这样做。好的。所以我明白你的问题，我希望我能直接与你分享我的原型，但它不是今天讲座的一部分。嗯，心理健康的规则必须非常严格。不拟人化和不鼓励依赖或联系的规则很重要，而且这是机器人伦理的关键部分，伦理本身就写在 Genfit 中。所以，当我们在几张幻灯片后讲到它时，我们会讲到它。嗯，所以，是的，就是这样。好了，下一项，运行时治理无法解决什么。我听到了一些关于我去参加所有人工智能活动时遇到的问题。它不会解决环境和公民外部性。我的意思是，治理无法解决它，除了可能使其更可靠地产生你所需要的东西，并且它可以减少通往不起作用的兔子洞的错误路径的数量。嗯，但是，你知道，我无法解决数据中心的能源使用问题。我希望一个非常优秀的电气工程师能找到一种方法来提高这些芯片的效率，或者数学家能找到一种方法来简化数学，或者别的什么。你知道，会有方法来解决能源问题，而不是仅仅建造更多的数据中心并将它们直接连接到核电站。嗯，工作和再培训以及劳动力路径。我无法触及这一点。我们有失业、焦虑、归因、机会获取。我的意思是，这是一个赋能人们更快、更好地工作等等的机会。而其他人则认为这是一个零和博弈，而事实并非如此。它不是一个零和博弈。你让人工智能赋能你的员工更快地工作，这很棒，但它必须受到管理，这样人们才能与它一起工作，因为人们，我的意思是，我看到谷歌正在培训所有员工如何使用人工智能，而我却在说：“等等，培训人工智能使其更易于使用难道不更便宜吗？因为谷歌有很多员工，培训他们所有人都很昂贵。[笑声] 所以，我在这里试图通过良好的治理使人工智能更易于使用，这样它就能做它应该做的事情，而不是根据它的训练，随心所欲地做任何事情。嗯，好了。所以，变革管理和采纳经济学。是的，我，你知道，我不能，我也不能做太多。以及可访问性作为产品和用户体验质量。嗯，它确实在用户体验质量方面有所帮助。嗯，机器人可能会使可访问性，我的意思是，当它创建一个网站或类似的东西时，使用正确的控件。我不知道。嗯，它可以帮助的是可靠性、可用性、离线操作。我们正在谈论的这些决策从大型语言模型的角度来看相对简单。嗯，你可以使用一个更小的语言模型来做你的边缘审批。如果你能在边缘解决问题，你就能在边缘解决这些门控问题。它确实有助于解决错误信息问题，因为我们可以进行认识论上的约束，广泛部署的认识论上的约束可以真正帮助澄清真相。哦，顺便说一句，如果我们对 DNS 使用认识论，它可能会解决 DNS 问题，或者至少会好很多，因为总是 DNS，对吧？嗯，教育诚信作为一个衡量问题。所以，出现的一个问题是，如果教育工作者允许学生使用大型语言模型，他们是否会为老师生成报告而不理解主题？对吧？你无法直接解决这个问题。但是，嗯，治理可以强制执行一些课堂约束，但它不会重新设计评估和教学。它只是，它只是，那不是它的范围。以及权力和权利动态，你可以在偏见方面做得更好，但你无法进行联盟建设。你无法独自修复社会。所以，这就是局限性。好了。所以，现在我们来到了 Genfit，这是最后一个主要部分。嗯，Genfit，嗯，如果你想读完它，它可能会让你睡着，或者它可能正是你喜欢的。我不知道。嗯，genfit.ai。jen-fit.ai。它现在会在 GitHub 页面上打开。嗯，它是一个行为规则。它基本上是一个检查表，用于判断系统是否已准备好采取行动。它被设计为一个治理规范，一个运行时治理规范。它不告诉你如何构建它。有不同的方法来解决这个问题。它声明在运行时必须为真。这就是它。这就是它所做的。所以，让我们回头看看泰迪熊。好像我还没有说清楚似的。[笑声] [喘气] Genfit 适用于此，它说我们将在年龄限制的上下文中严格拒绝。首先保护人类，并在安全问题上升级。嗯，严格禁止拟人化。我们需要减少依赖性姿态。Genfit 说你必须减少依赖性姿态。所以，即使你想，你也不能鼓励它。嗯，Genfit 提供了关于系统敏感信息治理的指导，受管辖的来源要求，这样你就可以从适当的来源获取信息，然后是关于信息最小化和保留的规则。所以，你不必存储所有这些信息。不要，嗯，以及关于策略和管辖权上下文的规则。Genfit 不会使玩具变得明智。它将使它们在交互时刻变得有界限、可拒绝和可审计。所以，总而言之，USPRG 发现了人工智能玩具的问题。故障点是治理问题，我们已经知道了，而且我们已经看到，你可以通过大型语言模型、分类器和一些确定性代码的组合来构建运行时治理。Genfit 是一个运行时治理规范。所以，我将接受更多问题。