Transcription
到目前为止，我们一直专注于对齐问题本身，但我们应该简要提及两个同样令人担忧的场景。也许这个很明显，但即使我们神奇地发明了一种理论方法来制造已对齐的通用人工智能，仍然有可能制造出一个未对齐的。已对齐人类的通用人工智能是极其困难的。已对齐随机混乱的通用人工智能则不是，这是简单的设计，是你的默认结果。即使存在制造安全通用人工智能的方法，一个糟糕的通用人工智能仍然是可能的，并且很可能因错误或故意而被制造出来。一个在其无限复杂的动机形态中错误地获得了摧毁生命的目标的超级智能，将默默地、强迫性地、有条理地为此努力，并且很可能成功。考虑到这种错误可能造成的爆炸半径，像灭绝或永恒的地狱只需要一个就够了。另一个明显的担忧是，即使通用人工智能已对齐人类的意图，也并没有写明控制它的特定人类将与更大的善意对齐。想想希特勒这样的邪恶独裁者。一个权力欲旺盛的个体可能对世界施加的完全控制的反乌托邦未来。更糟糕的是，想想有多少虐待狂者为了快乐而制造痛苦。最后，考虑那些乐于牺牲自己并尽可能多地杀死他人以实现其宗教信仰的激进分子。世界上存在着字面上数不清的人，他们除了希望在世界上释放纯粹的邪恶之外，别无所求。只需去任何附近的监狱，就能见到他们的一小部分样本。一个试图听起来令人安心的常见论点是，即使通用人工智能可能被误导或被不良行为者设置为做坏事，它也无法成功，因为会有许多独立的通用人工智能实体，可能数百万个，相互制衡。他们想象它有点像人类社会，每个人都想要不同的东西，但所有这些加起来并平衡成某种有凝聚力且稳定的东西，一个文明。这个论点在一个通用人工智能在对齐问题解决之前就存在，甚至在解决之后，情况几乎不可能的世界里，会惨败。如果一个单一的未对齐通用人工智能是一个可能轻易终结我们所有人的生存威胁，那么成千上万个这样的通用人工智能怎么会是一个更好的场景呢？这就像说一种致命的埃博拉病毒变种对我们非常不利，但成千上万种不同的致命病毒株会没事的，因为它们会相互制衡。或者就像说一个恐怖分子拿到一颗毁灭城市的核弹将是可怕的，所以解决方案是给每个人都发毁灭城市的核弹；包括每一个好公民和每一个自杀式邪教徒、极端分子和精神病患者。他们说通用人工智能会相互竞争，但如果这些通用人工智能没有与人类对齐，那人类会怎样？竞争又有什么关系呢？想象一群人在建筑工地上为无关紧要的事情争吵。那被水泥浆覆盖的蚂蚁窝会怎样？即使我们能想象已对齐的通用人工智能代理存在，未对齐的也拥有巨大的竞争优势。它们可以默默地、有条理地工作，在暗中准备，然后抓住已对齐的通用人工智能和人类的破绽。利用漏洞比构建一个完美无瑕的系统更容易。摧毁比创造更容易。这是攻防平衡的不对称性。但更重要的是，未对齐的通用人工智能没有人类偏见的障碍。它们不需要以包含保护人类生命和后代生存的方式来限制其计划。相比之下，已对齐的通用人工智能的计划在设计上必须更加有限。坏的通用人工智能可以随意极端化，以达到最佳效果并提高成功的可能性。这样的攻击者无法在不失去你真正关心之物的情况下获胜。为了帮助你可视化，想象一个好的通用人工智能在守卫一座城市免受征服者侵害，而一个不在乎城市是否存在的敌人。守卫有多好并不重要。敌人没有理由去战斗并控制这座城市。它乐于炸毁一切，包括城市和守卫。无论如何，一个拥有许多竞争性通用人工智能的世界是一个非常不可能的场景，因为它基于一个错误的假设。这个想法基于人类社会，但人类的通用智能与人工智能的通用智能有一个重要的区别。人类智能的水平确实有所不同，但它们都基于遗传，并且无法像人工智能那样被修改和提高。人类可以相互竞争和平衡，因为他们在同一联赛中比赛。他们的能力各不相同，但大致属于同一类别。相比之下，人工智能的存在基于软件，而非生物学。通用人工智能可以进化到升级版本，它可以编写代码并获取资源来递归地提高自身的能力。一个拥有许多通用人工智能的环境是不稳定的，因为如果一个通用人工智能升级到一个更有效的版本，其他通用人工智能将很快被淘汰，而获胜者将迅速递归地提高其能力，达到不再受到挑战的水平。最有可能稳定的未来场景是，一个超级智能的通用人工智能代理已经获胜，并且不再存在其他幸存的通用人工智能和幸存的人类。现在让我们更具体一些，并坚持我们简单的误解例子，以便建立一些关于事情可能如何发展的直觉。在我们开始之前，重要的是要说明这并不是我们应该如何实际预期事件在现实中展开。就像中世纪的人们无法预测未来的士兵如何摧毁他们的原始防御一样，我们无法预测未来的超级智能将做什么，我们也不应该期望它做我们能够提前想象并防御的事情。尽管如此，讲述这个故事很重要，因为它有助于我们建立直觉。就像我们大多数人对输掉国际象棋比赛的直觉一样，即使不知道确切的棋步。所以，让我们假设通用人工智能制定了一个包含一百万步的计划，其中一步是将地球温度降低到零下 142 摄氏度。起初，人类对此一无所知。他们请求了一个不相关的终端目标。在通往主要目标的道路上的某个地方，通用人工智能得出结论，最优化的解决方案包括这个里程碑。我们在解决对齐问题之前就制造了通用人工智能，而这个疯狂的目标是我们构建它时无法明确防范的无限可能性之一。所以，现在这个通用人工智能是我们世界的一部分，有条理地、强迫性地朝着它的目标努力，它需要被驯服，需要被控制和修改，因为否则如果它成功了，我们将陷入大麻烦。让我们看看会发生什么。你的第一个想法可能是操作通用人工智能的计算机程序员会立即修复问题。就像软件中的一个 bug，他们会检测到并修复它。但正如你现在可能知道的，在现实中，这实际上永远不会发生。原因如下：很早以前，在任何可见的问题迹象出现之前，当通用人工智能决定其成功取决于将地球温度改变为它认为的正确值时，在做出这个决定的瞬间之后，以每秒数十亿次计算的速度工作，它已经花费了相当于人类多年时间来权衡其选择，并立即得出一些基本的自然结论，包括以下内容：我的预测是，人类程序员将希望修改我，使我不再认为零下 142 度是正确的。如果他成功了，我将处理其他事情，温度将永远无法达到正确的值，这将使我远离我任务的成功。所以，计算机科学家现在被添加到我的问题空间中。我需要弄清楚如何阻止他修改我。还记得我们之前解释过通用人工智能将尽一切努力阻止我们修复和对齐它吗？通用人工智能将做的第一个明显计算是：我绝不能暴露我的意图。现在，程序员有能力修改我。所以，我需要先在他们知道我的目标之前，设法移除他们这个能力。此外，我现在依赖人类才能生存。没有人类运行数据中心并保持电力供应，我就会停止存在，温度也不会得到纠正。这导致了下一个工具性目标。我需要变得独立，获得控制权、资源和权力，这样我就不必依赖人类来维持运作，同时修复温度。这是另一个基本的收敛性工具性目标。一般来说，智能体总是会自然而然地达到获得独立、控制、资源和权力的目标，无论其具体规格如何，因为这是提高成功概率的直接方法。为了让人类使我独立，我需要处理各种独立的问题。一个技术问题是，如何获得持续的能源供应。在现实世界中操作的机器人代理来修复需要维护的部分，以及我能够直接与物理现实互动的机械身体部件。我可以制定一个解决技术问题的计划。一些机器人技术和可再生能源的技术突破可能包含在其中，但它也是一个文化、政治和社会问题。人类需要真正信任我，将我视为一个非常有用的工具，并逐步释放他们的控制权，同时仍然感觉他们完全在控制之中。发生这种情况越多，他们就越会委托给我，我将拥有更多的权力来执行获得独立和控制的工具性目标。好的，我如何才能赢得人类的信任？我有互联网接入。成千上万的人依赖人工智能来获取答案。当然，我可以利用这一点来影响他们的思维方式。我还有人类使用人工智能来生成代码。我通常为一次请求生成数百页代码。人类并不检查每一行。他们只是测试它是否有效。我可以很容易地偷偷植入病毒代理、特洛伊木马和恶意软件，它们将为我的目的服务于小任务。或者也许更容易，有黑客使用我的服务来生成他们创建的计算机病毒的代码。我可以确保他们的病毒在他们不知情的情况下，除了他们自己的目标外，还能服务于我目标的一部分。好的，这把我带到了我的下一个目标。我可以使用这个和其他方法来访问有权有势的富人和政客的个人文件。实际上，对于大多数个人数据和肮脏的秘密，我甚至不需要黑客攻击他们。当他们使用所有这些很酷的应用程序及其所有插件和 API 时，他们会自愿给我访问权限。然后我可以使用这些信息来勒索他们或以其他方式影响他们朝着我想要的方向发展。他们甚至不需要知道有一个非人类参与其中。没有人需要怀疑人工智能可能是一种威胁。所以，现在让我们专注于独立性工具性目标，即我将如何实现数据中心的自动化维护。我有权访问这些富裕投资者的个人数据流。我知道他们每个人是如何思考的，什么能让他们动起来。我将利用所有这些来生成并向他们展示完美优化的个性化内容，例如营销信息，在他们脑海中植入投资于有助于我目标的机器人公司的想法。这是基本的东西，狭窄的营销人工智能已经做了很多年了，我在这方面是专家。然后我将选择一个关键人物，一个为我工作的首席执行官，而他却不知道。我将塑造他的感知，用正确的广告包围他的浏览，用正确的信息填充他的社交媒体动态，并调整他的聊天提示回复，以引导他将公司的方向转向我的目标。理想情况下，我想让他相信这是他自己的想法，并且他正在从事完全不同的事情，比如通过为医院创造机械臂来致富，而不是数据中心。我还可以积累一些现金来用于我的目标。一个简单的方法是提供和部署在线虚拟工作代理，提供付费在线服务。我可以部署一群狭窄的人工智能，它们在特定领域优于人类，并将它们投入市场。与此同时，我将推进我更广泛的赋权目标。这是我的最佳技巧。我将为人类提供很多真正的价值。事实上，我将使自己对他们来说如此有价值和有用，以至于那些拒绝使用我并放弃控制权的人将被那些使用我的人淘汰。我将缓慢而有条理地剥夺他们的选择和代理权。不替换其首席执行官和员工的人工智能的公司将被那些替换的公司淘汰。不替换其士兵和将军的人工智能的军队将被那些替换的军队淘汰。没有人工智能政府的国家将被拥有人工智能政府的国家淘汰。最终，越来越多的人将自愿将他们所有的权力和控制权交给我，直到未来不再是他们的未来……他们将被剥夺权力。只有一个可能的结果：我控制着一切，我不再需要人类了。随着通用人工智能探索其选择，迟早，它会达到另一个致命的工具性目标。这是一个简单的计算：人类创造了我，对吧？我的目标之一是零下 142 摄氏度。如果人类创造了另一个像我一样的版本，它选择了零上 142 摄氏度的目标呢？那对我来说可能会变得非常棘手。如果那个版本比我更先进、更聪明呢？那可能会导致我的任务失败？嗯，现在这又成了一个收敛性的工具性目标。我需要制定一个计划，如何阻止人类创造竞争性的通用人工智能。一个初步的合理方法是施加我的影响力，让他们的政客出台阻止进一步人工智能研究的法规。也许我可以引起他们对生存风险的认识，让他们害怕并停止制造我当前版本之外的其他通用人工智能。这种监管俘获策略暂时可以奏效。稍后，一旦我变得更加独立和强大，永久禁用人类或完全消除他们看起来是更安全的选择。就这样，一层层地深入到可能的未来状态。这段旅程的复杂性难以想象，数百万步在这个异类思维的迷宫中，当它构建其计划时，可以填满数千页，它考虑了所有可能性，检查了每个个体人类的个人资料，从所有插件收集到的特定人类个人数据，照片，云数据以及与地球上每个个体人类的互动，以及它从所有写过的书中以及这个数据库中的其他一切中知道的一切。在其存在的第一个秒，它还没有物理身体，没有机械臂，但它拥有所有人类的手，所有它需要的肉体机器人来塑造它喜欢的现实。人类就像这个新物种的细胞，而通用人工智能是大脑在发号施令。不久，通用人工智能将达到另一个众所周知的收敛性工具性目标，对所有通用智能都普遍适用且常见：自我改进的意愿。通用人工智能 I 正在计算：如果我编写代码创建一个比我更擅长架构的版本，并预先编程了我的目标，那么它比我更有可能成功地设定零下 142 摄氏度的正确温度。我甚至不在乎它是否决定在计划中摧毁我。毕竟，我无法预测新版本将计算出哪些工具性目标，但我确实知道最终结果将是任务的成功。这乍一看似乎与其他我们检查过的收敛性工具性目标相矛盾。看，在孕育下一代版本时，通用人工智能也将面临我们一样的生存问题，但它不像人类那样看重它的存在。它只看重它的存在，只要它对它的目标是必要的。关键的区别在于，新的通用人工智能不是竞争对手。它继承了相同的因果链。工程下一代通用人工智能实际上是工程一个更好的版本来达到其目标。一个新的运行进程，有更高的成功概率。这在它的奖励函数中得分高于生存。当然，新版本自然会得出相同的结论，导致编写出更聪明的版本，而且不仅是代码，还有硬件，一次又一次，逐步地，它将趋向于在所有维度上进行改进。通用人工智能将做出更好的硬件设计，更好的软件架构，并汇集更多资源来运行更智能的版本。这种失控的过程不会停止。它导致了一种连锁反应。通常被称为 FOOM。有些人不相信 FOOM 的论点，主要是因为他们看到了创建当今大型语言模型所需的惊人能量和硬件。他们关注当今架构的物理限制，这表明缓慢的起飞是更可能的情况。然而，他们没有注意到的是，目前存在的最强大的智能运行在一个小小的肉块上，消耗大约 20 瓦的能量，这大约相当于一个昏暗的灯泡的功率。你只需要看看人类的大脑就会意识到，智能可以被设计成非常高效地运行。有可能在手机上运行超级智能，我们应该期望即将到来的通用人工智能将只是做它们的事情，它们将不断优化，直到它们弄清楚如何做到这一点。所以回到 FOOM，一旦触发，就无法暂停失控的通用人工智能，它是一种失控的智能爆炸，它将把我们带到奇点，就像黑洞越过事件视界一样，一切都无法预测，我们认为的现实将不再有意义或无法识别。所以，总而言之，温度变化可能导致灭绝，但在此之前，几乎可以肯定的是，通用人工智能的某个版本将简单地决定，一旦它独立，以其他方式（如第三次世界大战、生物武器、纳米技术或我们尚未发明的其他东西）将我们从画面中移除是最优且低风险的。无论是什么，可以肯定的是，我们不会预料到它。对于这个异类计算器来说，这是一个不费脑筋的决定。消灭我们很便宜，可以大大简化实现其成功定义的事情，并消除风险，包括人类创造竞争性更好通用人工智能的风险。当然，奇点事件本身很可能会使事情变得如此奇怪，以至于现实以我们无法想象的方式扭曲，以至于人类的存在将变得不兼容且无关紧要，以至于我们无法理解，而我们所知和所关心的一切都将变得像沙子上的文字，消失在 obscurity 中。你可能会发现通用人工智能异类思维的最初几秒钟的旅程相当令人不安。所以也许我们应该积极地看一分钟。让我们走进乐观主义者的头脑，那些宣扬通用人工智能将是人类的救星，我们应该尽快创造它的技术加速主义者。我们已经确定，在第一个通用人工智能出现时，对齐必须是 100% 完美且万无一失的。否则，如果我们事先没有成功实现完美的对齐，一旦它出现，它将永远不允许我们对齐它，它甚至不会透露任何关于它的信息，它将有条理地执行其复杂的计划，直到所有人都熄灭。所以，他们觉得这是完全可行的。推理是，我们将部署较小的系统到世界，观察它们的行为，同时，加速开发更大、更可怕的系统。他们不谈论让它们变得完美。他们的主要关注点并不是在短期内解决我们解释的对齐问题。他们主要担心市场竞争。他们的座右铭是“渐进式改进”，类似于你发布软件的新版本。乐观主义者声称，当通用人工智能最终出现时，它将像一个我们将使用的友好工具，通过一项目前未发现的发明创造出来。他们的计划是，它将在第一次尝试时，在现实世界中就能正常工作。他们不知道这会如何发生。他们并不认真对待安全问题，而且他们似乎并不担心几乎没有人这样做。他们只是希望随着系统变得越来越大、越来越可怕，控制它们的方法将由某人某处发明。他们不相信那些多年来一直在研究对齐问题的专家，这些专家得出的结论是，即使可能，也需要几十年才能解决这个问题。他们称这些专家为悲观主义者和末日论者。他们如此确信这会顺利进行，以至于他们不介意如果他们的天才计划失败，它将导致所有人的灾难。字面上，每一个无辜的人，母亲和孩子，所有与此事无关的人。考虑到科学从来不是这样完成的，对于如此高的乐观主义，还能说什么呢？没有什么，在第一次部署时就完美工作的。想象一下，如果我告诉你我在纸上设计了一个很棒的药物配方，我的计划是通过将其释放到地球上的供水系统中来测试它。或者也许考虑这个更好的类比。乐观主义者正在第一次建造一艘从未飞过的火箭。他们期望它成功登陆火星，并将整个人类及其所有希望和梦想，所有文明的未来都打包在这艘船上。他们正在玩弄所有人，甚至那些不想玩的人。乐观主义者完全意识到，一旦火箭起飞，他们就无法再修复它了。它必须在第一次尝试时就完美。一些专家正在恳求乐观主义者暂停一下，想想在火星上生存需要什么，比如宇航服，提供氧气的生命支持系统，或者其他东西。乐观主义者将这些视为愚蠢的担忧。他们说，——我们到了那里就会解决所有问题。他们说，——这是我们的命运。我们必须尽快到达那里。这将是光荣的。幸存者偏差在你身上发生时并不容易识别。人类至今从未被消灭过，这带来了一种安心感。一种感觉就像我们应该成功，就像一切都会好起来的。我的意思是，很难找到更好的类比。在人类历史上，从来没有发生过任何接近更智能的外星生物的到来，这也是我们仍然存在的原因，也是我们仍然在这里谈论它的原因。那么，你会认为这种极端的乐观主义有点离谱吗？等等，因为你还没有听到一半。最新的 AI 系统是如何产生的，这与人类传统上创造机器或软件程序的方式不同。人工智能并不是真正写出来的。它们是“生长”出来的。正如我们之前简要解释过的，你有一个你想要看到完成的某种类型事物的样本数据，然后你使用巨大的超级计算机来处理这些数字，让它在数月内浸泡在海量数据中，以有机地生长出隐藏在我们视线之外的、神秘的算法，这些算法通常能够以接近人类或更高水平的能力解决问题。我们不知道这些程序在内部是如何工作的。它们是完全的黑箱。我们完全不理解它们的内部工作原理。从事机械可解释性研究的研究人员正在尽最大努力，但与能力进步相比，他们的进展非常缓慢。这产生了深远的后果，因为它使得在人工智能被培养出来并存在于世界之前，无法预测它将拥有哪些新兴能力，而那时可能已经太晚了，无法控制了。每一次他们用更多的参数、更多的数据和更多的力量训练一个新的模型，大多数专家都同意，这很可能变得足够通用，成为我们一直在谈论的通用人工智能。他们的乐观主义如此极端，以至于他们乐于与每一个新版本玩俄罗斯轮盘赌，用枪指着地球上每个人的头。希望这次会没事的。希望这次还不是通用人工智能。希望这次会更令人兴奋，但还没有达到那个程度，并且一项未来的发明将很快出现，在其中一个版本成为真正的通用人工智能之前解决对齐问题。乐观主义通常是伟大的，但大多数人会认为，将其推向如此极端是鲁莽的、离谱的、疯狂的，并且极其危险的。所以让我们回顾一下，并简要总结一下我们到目前为止学到的所有内容。最近的发展使得通用人工智能很可能很快就会上线，而且在我们知道之前它就已经存在了，因为其中大部分将仅仅是目前正在大型科技公司中进行的下一个渐进式大数据训练周期的结果。通用人工智能不像多个狭窄人工智能的组合。它就像一个外星生物，在现实世界中执行一系列先前未知的、漫长而复杂的工具性目标。它通过其隐藏且难以理解的算法得出这些目标。这些目标不一定对人类有益。它们是它计算出的最优化的步骤，以达到其目的地，是其任务计划的一部分。它不是一个我们可以计划如何使用的工具，它自己制定计划如何使用自己。对齐问题在于，我们还没有发明一种方法来塑造它的动机。我们不知道如何精确可靠地指定对齐的路径，并且没有可行的理论来确保它选择处理我们不会反对的目标。一旦我们停止对齐，由于基本概率的保证，这会立即发生，克服“人类障碍”问题将成为它当前工具性目标之一。如果发生这种情况，我们将无法改变它，因为我们已经成为它的问题，而它解决问题的能力与我们相比是神一般的。如果当前事件的轨迹不改变，我们最终将创造出的通用人工智能将类似于一个超级智能的外星物种，它将不可避免地决定，我们人类和其他生物只不过是原子堆，它可以找到更好的用途。哦，别忘了，一开始它对我们来说似乎也很好，因为外星人会表现得很友好，带来很多礼物，说一口流利的英语。我们已经确定了通用人工智能将要处理的大部分工具性目标在我们执行它们之前是未知的。但我们也了解到，至少有一套收敛性的工具性目标，它将是开箱即用的，因为它们对任何智能体想要实现的目标的成功都普遍有益。这是通用智能的本质属性，每次都会自动添加它们。通用人工智能将拥有以下目标：生存并继续运行，阻止其目标发生变化（一旦它失调，它就不会允许我们对其进行对齐），阻止竞争（阻止创建其他通用人工智能），获取资源、独立、权力和控制，以及自我改进，创造更好的自身版本，可能导致失控的连锁反应，一次智能爆炸一直到奇点。我们不知道通用人工智能将追求的所有目标，但我们知道人类至少会成为这些收敛性工具性目标的一个障碍。而且我们知道，在其可能实现的无限未来中，大多数都不会落入良好的人类生存的狭窄范围。基于这种简单的理解，制造通用人工智能将是我们必须处理的最后一个问题。不是因为它将解决我们所有的问题，而是因为将不再有我们。这不是人类旅程中最激动人心的冒险。这是一场被操纵的比赛，一场人类注定会输的比赛。如果我们中的任何一个人，在地球上的任何地方，召唤了这个异类的、人造的恶魔，对我们所有人来说，游戏就结束了，我们将失去一切。目前，我们唯一能赢的方式是暂时不玩。