Transcription
对你来说，超级智能人工智能将摧毁全人类文明的概率有多大？时间范围是多久？假设是 100 年，在未来 100 年内。在我看来，控制通用人工智能或超级智能的问题，就像创造一台永动机的问题，与永动机的类比一样。这是不可能的。是的，我们可能会成功，并且在 GPT 五、六、七方面做得很好，但它们会不断改进、学习、最终自我修改、与环境互动、与恶意行为者互动。网络安全、狭义人工智能安全与通用人工智能、超级智能安全的区别在于，网络安全我们没有第二次机会。有人入侵了你的账户，有什么大不了的？你换个新密码，新信用卡，搬个家。如果我们谈论的是生存风险，你只有一次机会。所以你实际上是在问我，我们第一次尝试就创造出有史以来最复杂的软件，并且零错误，并且在 100 年或更长时间内继续保持零错误的可能性有多大？
所以，存在一个系统改进的渐进过程，最终达到通用人工智能。对你来说，我们能否保持这些系统的安全并不重要。将会有某个级别的系统，你根本无法控制它。我认为到目前为止，我们还没有在他们展示的能力水平上做出任何安全的系统。他们已经犯了错误，我们有过事故，他们被越狱了。我认为今天没有一个大型语言模型，没有人成功地让它做开发者不希望它做的事情。但是，让它做一些非预期的事情，让它做一些痛苦的、昂贵的、破坏性的事情，以及做一些破坏性的事情，其程度足以伤害数十亿人或数亿人，数十亿人或整个人类文明，这是有区别的。这是一个巨大的飞跃。但我们今天拥有的系统有造成 X 量损害的能力。所以，如果我们失败了，那就这样了。如果我们开发出能够影响全人类、全宇宙的系统，那么损害是成比例的。
对你来说，这种大规模杀害人类可能发生的方式有哪些？这是一个一直都很棒的问题。我新书中的一个章节就是关于不可预测性的。我认为我们无法预测一个更聪明的系统会做什么。所以你实际上不是在问我超级智能将如何杀死所有人，你是在问我我会怎么做。而且我认为这并不那么有趣。我可以告诉你关于标准的，你知道的，纳米技术、合成生物、核技术。超级智能会想出一些全新的、完全超级的东西。我们甚至可能不认为那是一种可能实现的路径。所以，在人类如何被杀死方面，存在着无限的创造力。但是，你知道，我们仍然可以调查可能的方式，不是怎么做，而是最终的方法是什么。你知道，关掉电源，然后人类开始互相残杀，也许是因为资源非常有限。然后是实际使用武器，比如核武器，或者开发人造病原体、病毒之类的东西。我们仍然可以思考这些并进行防御，对吧？人类大规模创造力的上限在这里，对吧？选择是有限的，它们受限于我们的想象力。如果你聪明得多，有创造力得多，你就能跨越多个领域进行研究，在物理学和生物学领域进行新颖的研究，你可能不会受到这些工具的限制。如果松鼠在计划杀死人类，它们会有一系列可能的方式来做到这一点，但它们永远不会考虑我们能想到的事情。
所以，你是在考虑大规模谋杀和摧毁人类文明，还是在考虑松鼠？你把它们放在动物园里，它们并不知道自己在动物园里。如果我们只看所有不希望出现的轨迹，大多数都不会是死亡。大多数都会是像《美丽新世界》那样，你知道，松鼠被喂食多巴胺，它们都在做一些有趣的活动，而人类的灵魂之火因为被喂食的药物而熄灭。或者就像字面意义上的动物园，我们在动物园里，我们做自己的事情，我们就像在玩模拟人生游戏，而玩这个游戏的实际玩家是人工智能系统。所有这些都是不希望出现的，因为人类的自由意志、人类意识的火花在这种过程中被削弱了。但这并不是杀死人类。所以，你是在考虑那个，还是人类灭绝是最令人担忧的？我考虑很多事情。有 X 风险，生存风险，所有人都死了。有 S 风险，痛苦风险，每个人都希望自己死了。我们还有 IR 风险，意义风险，我们失去了意义。系统可以更有创造力，它们可以做所有工作。在一个存在超级智能的世界里，你必须做出什么贡献并不明显。当然，你可能会有我提到的所有变体，我们是安全的，我们被活着，但我们没有控制权，我们什么都不决定，我们就像动物园里的动物。再次存在可能性，我们作为非常聪明的人类可以想出一些东西，然后是比我们聪明一千倍的人，出于我们无法理解的原因，可以想出一些东西。我很想深入探讨 X 风险、S 风险和 IR 风险。所以，你能详细说明一下 IR 风险吗？
所以，日本的“Ikigai”概念，你找到一些能让你赚钱的东西，你擅长它，社会说我们需要它。所以，你有一份很棒的工作，你是一名播客，这让你很有意义，你过着美好的生活，我猜你很开心。这就是我们希望大多数人找到的，拥有的。对许多知识分子来说，是他们的职业让他们很有意义。我是一名研究员、哲学家、学者，这对我很重要。在一个艺术家因为他们的艺术无法与机器生产的东西竞争而感到不被欣赏的世界里，作家或科学家也会失去很多。而在较低的层面，我们谈论的是完全的技术性失业。我们失去的不是 10% 的工作，而是所有工作。人们会如何利用所有这些空闲时间？然后发生什么？社会建立在一切之上，在一代人中完全改变。这不是一个我们能慢慢弄清楚如何生活在这种新生活方式的过程，而是相当快的。在这个世界里，人类不能像现在下棋那样做事情吗？即使人工智能系统在国际象棋方面远比我们优越，我们也可以互相比赛，举办比赛。所以我们只是创造了人造游戏，或者对我们来说是真实的，比如奥运会，我们进行各种不同的比赛并享受乐趣。专注于最大化乐趣，让 AI 专注于生产力。这是一个选择。我有一篇论文，试图为多个代理人解决价值对齐问题，解决方案是避免妥协，给每个人一个个人的虚拟宇宙。你可以在那个世界里做任何你想做的事情，你可以成为国王，你可以成为奴隶，你决定发生什么。所以，这基本上是一个华丽的电子游戏，你可以享受自己，而别人会照顾你的需求。而底层的对齐是我们唯一需要解决的问题。我们不必让 80 亿人就任何事情达成一致。
好的，那么为什么那不是一个可能的结果？为什么 AI 系统不能为我们创造电子游戏，让我们沉迷其中，每个人都有一个独立的电子游戏宇宙？有些人说那就是发生的，我们生活在一个模拟中，我们正在玩那个电子游戏，现在我们正在创造，也许我们正在为自己创造人造威胁来感到害怕，因为恐惧真的很令人兴奋，它让我们玩电子游戏更起劲。有些人选择在更困难的级别上玩，有更多的限制。有些人说，好吧，我只是要享受游戏，高特权级别，绝对。好的，那么那篇关于多代理价值对齐的论文是关于什么的？个人宇宙？个人宇宙？所以，这是可能的结局之一，但论文的总体思想是什么？它正在研究多个代理人，它们是人类、人工智能，比如混合系统，无论是人类和人工智能，还是它只是在研究人类？所以，这是为了解决价值对齐问题。我试图将其形式化得更好。通常我们谈论的是让人工智能做我们想要的事情，而这并不明确。我们是在谈论系统的创造者、人工智能的所有者、整个人类吗？但我们并没有就此达成一致。没有普遍接受的跨文化、跨宗教的伦理道德。人们在政治上和个人方面都有非常不同的偏好。所以，即使我们以某种方式管理了所有其他方面，编程这些模糊的概念，让人工智能密切遵循它们，我们也没有就应该编程什么达成一致。所以我的解决方案是，好吧，我们不必在室温上妥协。你有你的宇宙，我有我的。你想要什么都可以。如果你喜欢我，你可以邀请我参观你的宇宙。我们不必独立，但关键是你可以。虚拟现实正在变得相当好，它将达到一个你无法分辨的程度。如果你能分辨出它是真实的还是假的，有什么区别？所以，基本上放弃价值对齐，创造一个完整的，就像多元宇宙理论一样，只是为你创造一个完整的宇宙。你的价值观，你仍然必须与那个个体对齐，他们必须在那个模拟中快乐。但与 80 亿代理人加上动物、外星人对齐，要容易得多。所以，你把所有这些代理人问题都转化成一个单一代理人问题。我正在尝试这样做。
好的，那么有没有办法，所以，好吧，那是放弃价值问题。那么，有没有办法解决价值对齐问题，即有一群人类，多个，几十个，或者 80 亿人类，他们有非常不同的价值观？这似乎是矛盾的。我还没有看到有人解释它，除了用一些包含很多内容的词语，让它变得好，让它变得可取，让它变得他们不后悔的东西。但你如何具体地形式化这些概念？你如何编程它们？到目前为止，我还没有看到任何人取得进展。但这不就是我们人类文明正在进行的整个优化之旅吗？我们正在关注地缘政治，国家之间处于无政府状态，它们发动战争，发生冲突，而且它们对什么是好的，什么是邪恶的看法常常非常不同。我们不就是试图一起弄清楚这个吗？试图趋同？所以我们基本上是在试图解决人类的价值对齐问题。好吧，但你给出的例子，其中一些是，例如，两个不同的宗教说这是我们的圣地，我们绝不妥协。如果你能在虚拟世界中创造两个圣地，你就解决了问题。但如果你只有一个，它就不能被分割，你就卡在那里了。但如果我们想互相竞争，并通过这种竞争来了解自己和世界呢？那就是我们人类文明正在进行的智力之旅。我们创造智力和身体上的冲突，并通过它来弄清楚事情。如果我们回到模拟的想法，并且这是一种娱乐，为我们提供意义，那么问题是，一个电子游戏可以承受多少痛苦？是的，我并不介意，你知道，一个我能感受到触觉反馈的电子游戏。有一点摇晃，也许我有点害怕。我不想玩一个孩子们被折磨的游戏，字面意义上的，那似乎是不道德的，至少按照我们人类的标准。你是在暗示，如果我们把人类文明看作一个优化问题，就有可能消除痛苦吗？所以，我们知道有些人，由于基因突变，不会经历身体疼痛。所以，至少身体疼痛可以被突变掉，重新设计掉。在意义方面的痛苦，比如你烧毁了我书的唯一副本，这有点难。但即使在那里，你也可以操纵你的享乐设定点，改变默认值，重置。问题是，如果你开始玩弄你的奖励渠道，你就会开始“线接”，然后有点过于沉迷。那么，问题是，你真的想生活在一个没有痛苦的世界里吗？这是一个黑暗的问题。但是，有没有某种程度的痛苦提醒我们这一切是为了什么？我认为我们需要它。但我会改变整体范围。现在它是负无穷到正无穷，痛苦，快乐。人工智能。我会把它变成零到正无穷。不快乐就像我接近零。
好的，那么 S 风险是什么？你想象中的 S 风险可能是什么？大规模的人类痛苦。我们谈论的是什么？由人工智能造成的。有很多恶意行为者。我们可以谈论精神病患者、疯子、黑客、末日邪教。我们从历史上知道，他们试图杀死所有人，他们故意试图造成最大程度的损害。恐怖主义。如果有人恶意地想尽可能长时间地折磨所有人呢？你解决了衰老问题，所以现在你有了功能性不朽，你只是试图尽你所能地发挥创造力。你认为人类历史上真的有人试图字面意义上地最大化人类痛苦吗？我只是研究过世界上的人们做过邪恶的事情。似乎他们认为他们在做好事，而且他们似乎并没有试图最大化痛苦，他们只是在做他们认为好事的同时造成了很多痛苦。所以，有不同的恶意代理人。一些可能只是为了个人利益而牺牲他人。另一些我们确切地知道，他们试图杀死尽可能多的人。当我们看最近的校园枪击事件时，如果他们有更强大的武器，他们就不会杀死几十人，而是成千上万，数百万，数十亿人。好吧，我们不知道，但这是一个可怕的可能性，我们不想去发现。就像恐怖分子拥有核武器一样，他们会走多远？他们愿意做什么有没有限制？在你看来，有些恶意行为者是没有限制的。有精神疾病，人们没有同情心，没有这种理解他人痛苦的人类品质。然后还有一套信仰，你认为你通过杀死很多人来做好事。再次，我想假设普通人从不那样想。总是某种精神病患者。但是的，对你来说，通用人工智能系统可以承担这些，并更自信地执行它们。它们当然可以更有创造力。它们可以更好地理解人类生物学，以及我们的分子结构、基因组。再次，很多时候，折磨最终以个体死亡而告终。这个限制也可以被消除。所以，如果我们实际上是在看 X 风险和 S 风险，随着系统的智能越来越高，你难道不认为有可能预见到它们可以做到这一点的方式并进行防御吗？就像我们对网络安全、对安全系统所做的那样，对吧？我们可以保持一段时间。我说的是你无法永远做到。总有一天，认知差距太大了，你需要防御的表面是无限的，但攻击者只需要找到一个漏洞。所以，你最终会认为，如果我们创造了通用超级智能，我们就会走向悬崖。我看不出人类的长远好结局。赢得这场比赛的唯一方法就是不玩它。
好的，我们来谈谈可能的解决方案以及“不玩它”意味着什么。但对你来说，可能的时间线是什么？我们谈论的是几年、几十年、几个世纪？你认为呢？我不知道确切。预测市场现在说 AGI 是 2026 年。我从 Anthropic 和 DeepMind 的 CEO 那里听到了同样的消息。所以，也许我们还有两年时间，这似乎非常快，考虑到我们还没有一个有效的安全机制，甚至是一个原型。而且有人试图加速这些时间线，因为他们觉得我们不够快。但当他们说 AGI 时，你的意思是？我们过去使用的定义，以及人们最近稍微修改了一下。人工智能通用智能是一个能够在一个人类可以执行的任何领域执行的系统。所以，就像你创造了这个平均的“人造人”。它可以做认知劳动、体力劳动，你可以让另一个人来做。超级智能被定义为一个在所有领域都优于所有人类的系统。现在人们开始将 AGI 称为超级智能。我最近发了一篇帖子，我争辩说，对我来说，至少如果你平均计算所有常见的人类任务，这些系统已经比普通人聪明了。所以，根据那个定义，我们已经有了。Shane L 有这个定义，你试图在所有领域获胜，这就是现在的智能。它们比某些领域的精英个人更聪明吗？当然不是，它们还没有达到那个水平。但进步是指数级的。你看，我更担心的是社会工程。对我来说，人工智能在物理世界中做某事的能力，最低的、最容易的方法就是通过让人类去做。要成为那种接管机器人思维的病毒，让机器人执行命令，这会难得多。人类的社会工程似乎更有可能。这足以引导整个过程。
只是为了详细说明 AGI 这个术语，对你来说，AGI 和人类水平智能的区别是什么？人类水平是人类专业领域的通用性。我们知道如何做人类的事情。我不会说狗语。如果我是一个通用智能，我应该能够学会它。它是一种劣等的动物。我应该能够学会这项技能，但我不能。真正的通用智能应该能够做人类做不到的事情，比如与动物交谈，解决这类模式识别问题，在我们的专业领域之外做其他类似的事情。因为我们生活的世界不是这样的。如果我们只看我们拥有的认知能力的空间，我只想了解 AGI 系统可以达到的极限是什么？那是什么样的？实际的数学思维或科学创新呢？