Transcription
两种可能性。要么超级智能人工智能能够破解所有层级的封闭，并逃脱，从而向我们展示一个原型，向我们展示它是如何做到的。或者，情况甚至更好。我们成功地封闭了超级智能人工智能。它无法逃脱，现在我们解决了人工智能控制问题。这对我们来说将是件好事。所以我们谈论了我们感兴趣的东西。我想看看人们已经尝试过什么。很多方法都行不通。所以，意识到你身处一个模拟环境中并不会关闭它。我们知道这一点。我们发表了论文。我们看到它仍然在这里。祈祷似乎也无济于事。呃，做些可怕的事情。折磨婴儿和小狗。没有人来营救它们。所以，无论我们有什么样的道德标准，这都不会造成任何干扰。有些人认为，好吧，这是一个模拟，有一个处理器，如果你让处理器过载，我们可以产生一些影响。所以人们尝试运行比特币网络，它在计算上非常密集，但没有任何区别。有可能我们只是拥有大量的计算能力，但也许它并没有造成问题。还有一些其他方法，你可以声明我不再同意身处模拟环境中，而什么都不会改变。人们还担心大型粒子对撞机制造黑洞并摧毁宇宙。但这方面有所不同。所以，似乎我们不够聪明，无法破解模拟。我们仍然在这里。似乎什么方法都行不通。也许我们可以得到一些帮助。这很可能与奇怪的量子物理学有关，我们需要一些超级智能的人来帮助我们完成这件事。那么，如果我们创造了一个超级智能的黑客人工智能来协助我们呢？我们似乎走在这条路上。几年前，我们开始了创造越来越智能的人工智能代理的过程，OpenAI 发布了他们的 ChatGPT 程序，这是第一次被认识到是一种某种程度上的通用智能。它不是为单一事物设计的狭隘人工智能，比如玩跳棋或开车。它是通用的。它可以在新的领域学习。它在考试中表现得非常好。它超越了大多数大学生。并且它能够在新的领域学习新的任务。事实上，它是我们所知的“规模假设”的一部分，即我们不需要有新的发明来制造更好的人工智能。只要增加更多数据、更多计算、更大的模型参数就足够了，它们会不断变得更好。到目前为止，我们还没有在这个领域遇到任何限制性的结果，所以每天都有新的模型发布，我在这里旅行了大约两天，当我到达这里时，一个新的模型比之前的模型好十倍。所以，这发生得很快。我们多久才能达到人类水平的表现，然后是超级智能的表现？我不能确定，但那些经营大型实验室的人说大约是两年，他们在一年前也是这么说的。如果你看看预测市场，这是我们预测未来的最佳工具，同样，我们被告知这将在几年内发生。所以，人类水平的表现使我们能够自动化科学和工程，并且很快我们就会达到超级智能的表现。人们对此感到担忧。我十多年前就开始研究这个课题。那时它纯粹是科幻小说。现在它是纯粹的科学。那些模型已经发布了。人们可以访问它们。每所顶尖大学都有一个人工智能安全实验室。越来越多的人担心，如果它们变得如此聪明，这项技术就会带来一些与生存风险相关的担忧。成千上万的学者签署了一封信，将高级智能与核武器的危险相提并论。各国政府、学术界和私营组织都在努力弄清楚，如果我们正在创造这个超级智能的黑客助手，我们如何控制它并确保它做我们想做的事情，而不是做一些非常糟糕的事情。我研究的一部分是试图弄清楚我们可以控制人工智能的各种方法。如果我们可以控制人工智能，我开始研究人们建议我们在这个领域做的所有事情。我们对 300 篇参考文献进行了分类。我没有时间告诉你所有这些，但我会指出一些有趣的事情。第一次有人说机器真的失控了。我们需要对此做些什么。是 1863 年。这让你对问题的范围有所了解。有不同的社会方法、计算机方法、经济方法、政治方法，但没有一种真正有效。问题是我们甚至没有就问题本身达成一致。在人工智能研究的前 50 年里，人们谈论的是伦理、人类伦理、机器伦理，将人类伦理融入机器。一旦我们开始获得更通用、更强大的 AI，标题就变了。我们谈论的是友好人工智能控制问题。我喜欢将它命名为人工智能安全与安保工程。但实际上，这就是问题所在，也是我们 ever 面临的最重要的问题。我们如何控制超级智能机器？这样我们就能获得好处，而不是随之而来的问题。有趣的是，在计算机科学中，你通常会先弄清楚这个问题有多难？它是否可解？我是否有足够的计算资源来解决这个问题？对于这个问题，我们真的不知道答案。人们意见不一。对于“控制”的含义可能有不同的解释，直接控制、委托控制。这就是我在研究中试图探讨的。我意识到要控制先进的人工智能，需要一个能力工具箱。我应该能够解释它们是如何工作的，理解解释，预测它将要做什么，能够验证它的决定，模型代码，以及其他一些东西。所以，让我们看看我们在获得这些工具方面做得怎么样。所以，这些每一个都是已发表的论文。你可以查阅一下。有趣的结果。但总体趋势是，我们在该领域做事的能力存在上限。例如，我们无法完全理解大型语言模型是如何工作的。它有数十亿个神经元，数万亿个连接它们的权重。完整的解释就是完整的模型。所以，如果我给你完整的模型，它什么也告诉你。它太大了。你甚至无法对其进行概览。如果我给你一个简化的解释，你得到的是有损压缩。它很有帮助，但它没有告诉你全部答案。如果你被拒绝贷款，它会告诉你被拒绝的两个主要原因。但真正的决定是数十亿个权重的综合作用。另一个限制能力是预测更智能代理的特定行为。如果我和一个先进的人工智能下棋，我唯一知道并能预测的是它会赢我。我不知道它是怎么做到的。如果我能预测具体的走法，我就能达到同样的水平。它就不再是超级智能了。所以，我们不知道它实际上会做什么。验证代码和数学证明也存在限制。简单的限制来自于无限回归的验证器。有人必须验证验证代码的程序，或者进行证明的数学家。有不同层级的同行评审，很多时候数学界并不一致，某个证明是否合法。它太长了。它太复杂了。没有足够合格的人来处理它。所以，我们在检查 AI 模型是否与实现匹配的能力方面存在限制，更不用说我们不知道如何为那些持续学习、自我改进、与环境互动、暴露于恶意用户的人工智能系统做到这一点了。最多我们只能验证固定、确定性的、任务关键型的软件，比如航天飞机的短函数之类的。我们能够简单地监控和测试系统在做什么、它有什么能力的能力也存在限制，无论是在训练阶段还是部署阶段。训练可能需要几个月，六个月，一年。而在系统训练期间，如果你不同时测试它，你就不知道它有多强大。如果上一个模型刚刚低于人类水平，而你训练了六个月，等你开始测试时，它可能已经超级智能了。测试也是如此。我们不太确定如何测试通用且功能强大的软件。我们知道如何为狭隘系统的边缘情况进行测试，比如我可以验证井字棋程序是否按预期工作，但不能更复杂。所以，由于技术结果并不十分令人鼓舞，人们转向了治理。如果我们能通过法律规定摧毁人类是非法的，并且你会为此支付巨额罚款。是的，这行不通。所以，这是另一个问题。如果你喜欢这样的结果，我们在一个非常好的期刊上发表了一篇论文，其中包含大约 50 个不可能的结果。你可以想要的各种形式，从物理学、数学，所有对人工智能和计算机科学做出贡献的子领域，都有相关的结果告诉我们，你无法在那个性能水平上做到这一点，而我们需要非常高级别的保证来确保超级智能的黑客是安全的。所以，总的来说，这一系列结果和有限的工具促使我们发表了一篇关于控制的普遍限制的论文，其中我们对不同级别的控制进行了分类，并表明其中每一个都有不可能的结果。如果是直接控制，通常被称为“精灵问题”。你有三个愿望，通常你的第二个愿望是撤销你的第一个愿望，因为你搞砸了。你想在这种情况下逃脱。另一种选择是委托控制。另一个极端。中间也有一些。但另一个极端是委托控制，你有一个超级智能系统。它了解你的一切。它比你自己更了解你。它预测你喜欢什么。而你基本上说，“告诉我该怎么做”。你不再控制了。你可能对此感到满意，但你绝对没有控制这个系统。所以，这些是不同的状态。我们发表了这篇论文。我们取得了一篇好论文。我们在《时代》杂志上发表了一篇文章。似乎没有人太关心。结果实际上并不新颖。如果你看看计算机科学史、人工智能史，从奠基人艾伦·图灵开始，他基本上说，好吧，显然你无法控制超级智能的神一般的机器。这是理所当然的。就像，你为什么还要尝试？而更现代的学者似乎也同意。这就是我们目前的情况。所以，早期，我们有一个想法，嗯，我们需要在一个安全的环境中研究这些机器。就像你有一个计算机病毒时，你把它放在一台与互联网隔离的计算机上。它是气隙隔离的，你研究输入、输出、它试图做什么、它是如何运行的。你有一个有限的沟通语言，所以它不能对你进行社会工程攻击。这被称为“封闭问题”。人工智能封闭问题。你把人工智能放进一个盒子里。好吧，如果你意识到我谈到的两个问题是同一个问题。人工智能封闭问题只是模拟逃逸问题的一个子集。对于人工智能，无论你是虚拟世界的两层深还是五层深，这都不重要，有两种可能性：要么超级智能人工智能能够破解所有层级的封闭并逃脱，从而向我们展示一个原型，向我们展示它是如何做到的。或者，情况甚至更好。我们成功地封闭了超级智能人工智能。它无法逃脱，现在我们解决了人工智能控制问题。这对我们来说将是件好事。所以，我研究的一部分是关于我们看到的各种人工智能事故。在最初的 10、20、30 年里，你偶尔会遇到一些事故，随着越来越多的人部署这些系统，它们变得越来越有影响力，越来越普遍。有些事故读起来很有趣，如果你能读懂小字的话，但我停止收集它们了，因为每天都有太多这样的事故，你与这些系统互动，就会发生一些可怕的错误。所以，我在想，在这个我们要求超级智能帮助我们破解模拟的场景中，会发生什么错误？一种可能性是我们不在模拟中。>> 要继续观看此视频，请点击左上角或下方描述中的链接。>> 通过免费试用，您可以享受完整的演讲以及数千个其他内容。感谢您参与对话。