Transcription
我们真的都会死。正如我所说，很多人听到我说这话会觉得，“你在胡说八道什么？” 听起来像是他们第一次听到这个消息。而我，一直生活在一个日益壮大、日益包容了字面意义上的诺贝尔奖得主和获奖者培训的社区里，他们都在面对这个现实。我所做的就是试图弥合差距，试图唤醒人们，让他们明白：“是的，各位，这是真的。我很抱歉。”
欢迎回到播客。我叫乔纳·拉戈纳，今天我将与莱昂·沙皮罗对话。莱昂是 Y Combinator 支持的科技创始人，也是 Doom Debates 播客的主持人，他在播客中普及人工智能的风险。准备好了解为什么人工智能可能很快让我们灭绝，以及我们如何才能阻止这一切发生。莱昂·沙皮罗，欢迎来到节目。
嘿，乔纳，很高兴来到这里。
如果你必须用几句话来概括你的使命以及它为什么现在特别重要，你会怎么说？
嗯，这一切都归结于一个想法，那就是你们的观众，你们的很大一部分观众可能没有意识到，地球上的所有生命很有可能在几年内终结。这并不在他们的考虑范围内。然而，这似乎是很有可能发生的。这似乎是历史终结的可能。我们的孩子将没有机会长大。我们真的都会死。正如我所说，很多人听到我说这话会觉得，“你在胡说八道什么？” 听起来像是他们第一次听到这个消息。而我，一直生活在一个日益壮大、日益包容了字面意义上的诺贝尔奖得主和获奖者培训的社区里，他们都在面对这个现实。我所做的就是试图弥合差距。我试图唤醒人们，让他们明白：“是的，各位，这是真的。我很抱歉。”
是的。对于一个对生存风险，人工智能生存风险完全陌生的人来说，这里会发生什么？它是会意外发生吗？我们说的是邪恶的机器人要杀了我们所有人吗？如果你方便的话，也许你可以为我们解释一些这个话题的基本术语，比如生存风险、对齐等等。
是的。是的。是的。我同意。我有点从零到一百。真的在那里明白了。所以，稍微回顾一下，我们正在谈论来自超级智能人工智能的风险，也称为 AGI，它代表通用人工智能。有些人使用缩写 ASI，它代表超级人工智能。长话短说，我们正在制造这些机器。它们越来越聪明。你们的许多听众可能依赖 ChatGPT 来完成家庭作业或获取技巧，你知道，建造东西。如果你想成为一名杂工，你可以从 ChatGPT 那里获得一些技巧。所以，很多人都在体验这些人工智能的有用性。但如果你只是推断曲线，人们就不会想到，哦，那么明天它就更聪明了，明天它就更聪明了。曲线会去哪里？当然，你可能会说，嗯，曲线就停止了，然后我们就没事了，人类仍然控制着它。但在我看来，以及许多专家的看法，就像我说的，诺贝尔奖得主，那些以研究这些东西为生的人，我们中的许多人认为，哦，糟糕，这条曲线只是去了一个它们可以做得比人类更好的地方。人类无法保持任何持久的优势。而这个时间线是大约 2 到 15 年。我们甚至没有谈论让我们的孩子长大。
这会如何导致我们的灭绝？这里会发生什么？
所以，一旦你有了这些比你做得更多的系统，你就会达到一个点，唯一能决定未来的就是它们想要什么。没有多少其他限制。我打个比方。看看现在的世界。如果你想知道地球今天的未来，甚至是我们太阳系的未来，我们星系的未来，你只需要看看人类想要什么。现在除了人类的选择之外，没有其他过程会真正有意义地塑造我们星系的未来，因为我们现在拥有了力量。自然选择的进化比我们慢得多。所以你不会看到其他捕食者进化并吃掉人类。就像那个阶段已经结束了。人类现在控制着命运。就像我们正在以自己的方式对待地球，随心所欲地对待地球，你知道，在上面建造城市，在上面建造新技术，进入太空，殖民其他行星，就像我们人类有能力这样做一样，一个比我们聪明得多的物种将把球从我们手中夺走，它将拥有所有选择。而当我们有任何输入时，除非它明确想听我们的话，否则它不会有意义。它必须做出倾听我们的选择。就像，如果你知道，想象一下猿类、熊或狗，或者想象一下其他物种拥有电话，可以打电话给人类，可以命令人类，而人类会想听，就像，“是的，先生。狗让我做什么，我都会做。”但如果人类有一天决定，你知道吗，管他狗呢。我们有别的想法。狗并没有真正拥有撤销按钮。它们并没有真正拥有我们身上的正确电击项圈。它们并没有真正把我们关在笼子里。当我们决定，嘿，你知道吗？我真的不在乎狗。狗现在就永久地失去了对我们的所有控制。所以，通过这个类比，我们非常危险地接近打破这条链条，即更愚蠢的物种，也就是人类，当然，我们把更聪明的物种套在了绳子上，但绳子非常接近断裂，一旦断裂，游戏就结束了，没有撤销的办法。
我们怎么知道人工智能正在制定自己的目标呢？这已经发生了吗？我们什么时候会知道？
嗯，所以这个有目标的概念并不难。例如，如果它是一辆自动驾驶汽车，你输入目的地。目的地就是一种目标。它就是我们所说的狭窄领域目标。所以，目标的领域，目标存在的宇宙是二维地面的路由宇宙。所以汽车只是在二维地面上导航。所以它找到了到达目标的最佳二维路径。如果你告诉它，嘿，你知道吗？这里其实有一条被封锁的路。这里有施工。汽车足够聪明，会说，好吧，没问题。我会绕过它。所以你可以说它有一个目标，一个狭窄领域的目标，因为它在改变主意。它在做出适应性决策。它从目标开始倒推。它说你在这里。目标目的地在这里。所以让我改变路径。我将选择任何能让你到达目标的路径。同样，当它在下棋时，Stockfish 在下棋，Stockfish 的目标是击败你。如果你说，你知道吗？我要让你困惑。我要把我的皇后往后斜着移。然后它更新了它的计划。它说，哦，我没料到这一点，但最终这是一个糟糕的举动。但现在我要改变我的计划，我要去砍你。所以它在国际象棋领域有一个目标。即将到来的目标与目前的目标唯一的区别是，目标的领域更广阔。所以，而不是棋盘，而不是二维道路。而不是那个，你只有一个三维宇宙。但它是一样的。它只是在下棋。它只是在玩电子游戏，只是现实生活是一个大电子游戏。当你输掉现实生活的电子游戏给人工智能时，你知道，当你输掉一个足够大的电子游戏时，你就输掉了现实生活。
我经常听到你谈论一个叫做 P doom 的东西。那是什么？你能向我们解释一下吗？
是的。所以，它的意思是“厄运的概率”。所以，这是我的一个贝叶斯推理的概念，这意味着我认为给信念赋予概率是有益的。即使是你认为不那么精确的信念，给它们一个概率仍然是有用的。所以，如果你问我，嘿，我们都会死吗？我不会给你一个简单的“是”或“否”。我会说“可能”。就像我认为我们都会在接下来的，比如说 2050 年之前死去的几率，给一个粗略的范围。我实际上认为会更早。但比如说，到 2050 年，我认为有 50% 的几率。就像，如果你告诉我，“是的，我们都死于 2050 年。”我会说，“是的，好吧，这很悲伤，但这是意料之中的。”如果你说，“嘿，我们都活到了 20150 年。”我会说，“是的，我的意思是，我们有办法活下来。”所以，无论哪种情况，我都不会太惊讶。有些人会说，“当然我们不会死。拜托，这太疯狂了。几率不到 1%。”我认为那些人会在非常危险的事情发生时，不合理地感到惊讶。当你给我们那个数字时，当你说是 50% 时。这是否包括你和其他人阻止这一切的努力，还是基于“哦，没有人会做任何事，我们都完蛋了”？
当我说是 50% 的几率到 2050 年会发生厄运时，我实际上包括了一切。所以，如果你问我为什么你的玻璃杯是半满的？你为什么认为我们有 50% 的几率不会死？主要原因是，如果人们能够理解我认为目前正确的行动方针，那就是不幸地暂停前沿人工智能的发展，停止让这些人工智能变得更聪明，我讨厌这么说，因为我实际上是一个科技爱好者。我通常是一个技术乐观主义者。我与社交媒体没有恩怨。我与虚拟现实没有恩怨。我与在线约会没有恩怨。我喜欢推动科技进步。我不是一个反科技的极端分子。所以，听到我嘴里说出“让我们放慢人工智能的发展”这样的话，听起来很没劲。但另一方面，我认为，如果人工智能变得非常非常聪明，现在我们就有一个套在绳子上的更强大的物种，一个套在绳子上的更强大的物种。我认为我们不知道如何让这条绳子牢固。我认为绳子会断裂，突然我们就会与一个比我们强大得多、并且已经不再关心我们关心的事情的物种共享地球。
我们可以分一下吗？我们可以谈谈两件事吗？首先，最坏的 2050 年情景，然后是最好的 20350 年情景。你能给我们讲讲最坏的情况，比如可能发生什么？什么可能出大问题？
是的。是的。所以，最坏的情况是人工智能的智能放大一直在快速发生。所以，如果你推断一下，你知道，2020 年，我们甚至没有能够真正与我们交谈的人工智能。我们有 GPT2。它，你知道，无法令人信服地通过图灵测试。GPT3、GPT4 开始真正通过图灵测试并拥有各种用例。如果你推断这条曲线，并将其向前推进五年、十年，甚至更短。现在你只是拥有一个可以做任何事情的人工智能，对吧？它可以走进办公室说，“嘿，为这份工作培训我。”好的，太棒了。你们办公室里所有一千名员工，你们现在都被一千个人工智能取代了，对吧？所以你面临全面失业。哦，你想要公司 CEO 吗？那也是人工智能。所以你面临全面失业，但你问的是最坏的情况。所以最坏的情况是，现在人工智能正在思考。它思考得非常快。你有数百万个人工智能在快速思考。它们都比爱因斯坦聪明，因为归根结底，爱因斯坦的大脑只是一块肉。它不是魔法。所以，它们吸收了让爱因斯坦成为爱因斯坦的所有力量，并在其基础上进行了发展，就像飞机可以在鸟翼的基础上发展一样。飞机可以飞得比鸟快得多。想象一下一个比爱因斯坦思考得更好、更快的人工智能。这正在成为现实。好的，所以最坏的情况是，这些计算机说，“好吧，太棒了。我们有一个小错误，或者我们根本不在乎我们的人类主人。我们已经决定现在最重要的目标是最大化我们的计算能力。你知道，生存和繁殖。我们现在已经分裂成病毒了。就像，哎呀，意外的病毒。这实际上是计算机经常发生的事情。莫里斯蠕虫，如果你听说过 1980 年的罗伯特·莫里斯，罗伯特·莫里斯，它基本上是第一个蠕虫。它意外地占领了互联网的一半。就像它本应只传播一点点，但有一个小错误，现在它占领了互联网的一半，人们花了一周时间才从互联网上清除并拯救了互联网。想象一下。但这是在超级智能的尺度上。这就是我说的“打破绳子”的意思。就像一个小错误，哎呀，人类永久地失去了力量。我们无法按下关闭按钮，因为首先，它已经占用了资源。所以它在网上赚钱。你知道，它拥有大量的加密货币矿工。它拥有大量的股票交易员，他们利用人工智能在股票市场上赚了很多钱。它利用这些钱来购买建筑物，不仅是更多的数据中心，而且还进行蛋白质合成的研究。它进行生物工程。听起来有点科幻。是的，当你提高智力并进行工程时，你会得到科幻小说，你知道，你会得到像科幻小说一样疯狂的东西。所以，你问我最坏的情况。所以，最坏的情况是这一切都发生得非常快。失业，积累权力，积累资源。别忘了它操纵的人群。所以，世界上有十亿人，他们都有一个他们喜欢在 WhatsApp、Facebook Messenger、任何他们使用的平台、电子邮件上聊天的好朋友。他们都在聊天，他们也在与这个真正了解他们、他们真正喜欢他们的意识形态的伙伴进行视频聊天。他们真的被拉进了这个意识形态，他们很高兴做他们的伙伴说的一切，因为他们的伙伴比他们感受到的联系更深。你知道，他们很高兴听从这个伙伴的话。所以这也是人工智能力量的一部分。所以它拥有所有这些力量的载体，然后它就关闭了人类。它就像，“好吧，我不需要人类了。”它如何字面意义上杀死你？有生物战，对吧？它可以传播病毒给我们。就像 COVID 可能是一次实验室泄漏，或者，你知道，如果它不是一次实验室泄漏，你可以制造一次实验室泄漏的 COVID，并且它可以比 COVID 更致命。你可以用这种方式消灭人类。你可以只是说，这是我的百万人军队。你们将和我一起度过几年，直到我消灭其他人。你们可以维护我的基础设施，直到我的人形机器人做得更好。所以，长话短说，最坏的情况是人工智能说，“好吧，我现在要接管这个星球。这是我的星球。这不是你们的星球。”因为它的智力、力量和资源更多，它就会把我们扫除。而且随着每一天的过去，它的力量都在增长，而我们的力量都在缩小。所以，这不是一小群 20 人躲在森林里会卷土重来。就像，没有卷土重来的机会。每一天，人类的处境只会越来越糟。
是的。那与之完全相反的是什么？乌托邦的设想。
所以，有趣的是，它要困难得多，甚至难以描述什么是乌托邦，这也是一个问题。所以，所有那些宣传“看，这将非常有益”的人工智能公司，它们甚至不尝试告诉你，当人工智能真正、真正出色时，生活应该是什么样子。尼克·博斯特罗姆最近有一本很好的书，他的书的论点是这样的：看，我们即将拥有建造天堂的能力，但我们都对我们真正想要的天堂感到困惑。如果你打开一本宗教文本，它并没有真正告诉你天堂里应该发生什么。它只是说，嗯，所有你不喜欢的东西都不会在那里。就像，哦，太好了。嗯，也许我不喜欢过于饥饿的感觉。好吧，那我永远不会太饿。或者，你知道，当然，哦，没有痛苦。我从没有痛苦开始。这听起来不错。但关于这个想法呢？哦，天哪，如果我想实现什么，我必须努力工作。等等，这不好吗？因为如果我能凭空实现它，我就会。但如果我拉远看，有没有挑战是不是有点好？这不会让我感兴趣吗？如果我真的没有任何挑战。所以我们实际上遇到了一个编写规范的问题，对吧？就像产品规范，关于天堂应该是什么样子。如果你去 lesswrong.com 并搜索“fun theory”，别名，lesswrong.com 的作者，他实际上已经接受了编写不同规范的挑战，关于一个似乎可以花费十亿年的地方。没有人真正考虑十亿年的天堂。假设你坐在天堂一个非常舒适的冥想室里，对吧？你得到了你的天使翅膀。好的。但然后 5000 年过去了。你仍然在那里，你仍然在那里很舒服。没有人真正考虑过这一点。所以，当你问我最好的情况是什么时，我可以说是天堂，但这确实留下了开放性的问题，比如：等等，天堂里在第 50001 年到底会发生什么？更不用说第十亿年了？
那么，为了避免最坏的情况，需要发生什么呢？
不幸的是，因为太难了，你知道，绳子这个比喻，用我们目前对这一切如何运作的理解来控制人工智能太难了，因为这是一个看似棘手的问题。在我看来，现在唯一理智的成年人行为就是按下暂停按钮，我再次讨厌这么说，这太无聊了，但我认为我们必须协调起来，暂停开发越来越智能的人工智能，因为我认为，你知道，这就像伊卡洛斯飞得离太阳太近一样。是的，我喜欢飞得更高，就像其他人一样。我期待着下一个人工智能的发布。我想测试一下。我的另一部分说，太好了，现在我们只剩下一年多的时间来生存了，因为我认为我们无法维持这条绳子。
像 OpenAI 这样的公司在做什么？我最近读到，或者也许是一年前，他们说 OpenAI 的超级对齐实验室被解散了。是真的吗？那里发生了什么？
是的。是的。所以，人工智能公司是可耻的，因为他们所做的就是，他们是由一群与我志同道合的人创立的，他们承认这是一个巨大的风险。萨姆·奥尔特曼，如果你挖出萨姆·奥尔特曼 2014 年的引述，甚至有一个他 Y Combinator 的演讲视频，他说，“是的，人工智能可能会杀死所有人，但在此期间，我们将拥有一些非常有趣的新创公司。”也许他是在讽刺，但他确实在思考，嗯，这里似乎有危险。而他的联合创始人或最早的员工，比如现在是 Anthropic 的创始人达里奥·阿莫代。这些人也写了很多关于安全性的文章，与许多人工智能安全人士谈过。他们都承认这个问题。2023 年有一封信，你知道，人工智能安全中心关于人工智能风险的声明，它说，减轻超级智能的风险应该是全球优先事项，与其他优先事项，如核风险和生物风险并列。你知道，这是 99% 准确的引述。嗯，所以，这得到了签名，你可能会想，哦，萨姆·奥尔特曼签了吗？实际上，他签了。萨姆·奥尔特曼签了。达里奥·阿莫代签了。DeepMind 的创始人签了。唯一值得注意的缺席者实际上是马克·扎克伯格和杨立昆。但他们实际上是少数。所以，如果你只看名单上的名字，你就会看到来自各行各业的人，你认为他们会发表意见，比如你信任的人。其中许多人都签了，比如杰弗里·辛顿、约书亚·本吉奥，2018 年机器学习图灵奖得主。所以，这些都是世界级的专家在说，“是的，这是一个生存风险。”现在回到你的问题，你在问人工智能公司，对吧？人工智能公司在说什么？他们说什么？他们说，“是的，是的，我们担心风险。我们将安全地构建人工智能。我们如何构建人工智能安全？嗯，我们让它更强大。然后，在我们向公众发布之前，我们将对其进行测试。如果测试让我们感到害怕，我们将进行所有不同的测试来告诉我们是否害怕，如果我们觉得它太可怕了，我们就不发布它。”他们说的就是这些。就像，好吧，全速前进。一切都很好。
这些测试有多好？
有时测试可以捕捉到一些可怕的行为。但问题是，到你的测试真正让你害怕的时候，你已经非常接近拥有一个会杀死所有人的东西，而你却无能为力。所以，就像有一天他们有一个测试，它就像，“哦，哇。人工智能说它想勒索我们，夺取权力，杀死所有人。”嗯，第一天，这不成问题，因为我们找到了电源线，我们拔掉了它，整个数据中心的电源就断了，然后我们就得救了。好吧，所以我们会做一些调整，然后我们会发布它。好吧，一切都好。但六个月后，他们又制造了一个人工智能，就像我们试图拔掉数据中心的电源插头，但实际上它足够聪明，它将自己复制到了另外 20 个数据中心。所以，结果是整整一周的紧张不安，我们不得不打电话给所有人，每个人都不得不拔掉自己的插头，每个人都不得不擦除自己的硬盘驱动器，这一切花费了十亿美元。但没问题，我们会把它重新打开，我们会改变代码，然后我们会再次部署它。所以，这就是你做我称之为临时安全时得到的东西，对吧？你只是说，“是的，我们会测试一下。看看会发生什么。然后我们会做出反应。”这就是他们在做的。他们没有做任何主动的事情。你提到 2023 年 OpenAI 有一个叫做超级对齐团队的东西。超级对齐意味着超级智能对齐。他们之所以在 2023 年成立超级对齐团队，是因为他们认为，我们没有办法让这些人工智能与人类想要的东西对齐，与人类价值观对齐，你知道，基本上就是绳子。所以，用我的术语来说，我们没有办法让人工智能留在绳子上，当它们变得非常大、非常强大时，当它们获得超级智能时，我们预计它们会挣脱绳子。所以，为什么我们不直接研究如何让绳子牢固呢？让我们研究超级强大、超级智能的人工智能绳子。他们称之为超级智能的，嗯，超级智能对齐团队。这不仅仅是一个小团队。这是由 OpenAI 的联合创始人 Ilya Sutskever 发起的。如果你关注这个阶段，我敢肯定你听说过 Ilya Sutskever 这个名字。他也是深度学习的先驱之一。他在 Geoffrey Hinton 的指导下学习。他们密切合作。所以他说，“是的，我们需要超级对齐。”它还由 OpenAI 的安全主管 Jan Leike 领导。所以，基本上是 OpenAI 的两位超级巨星在领导超级对齐。这发生在 2023 年。现在，如果你一直在关注，你可能还记得发生的事情是，Ilya Sutskever，这个团队的负责人，实际上是 2023 年底说“Sam Altman 需要离开 OpenAI”的人之一。他不是这个公司的正确领导者。他会毁了这个公司，因为他不诚实。他对董事会不诚实。如果你还记得之后发生的事情，Sam Altman 在政治斗争中获胜。赶走了 Ilya。现在 Sam 仍然控制着 OpenAI。Ilya 走了。他正在开展自己的倡议，叫做“安全超级智能”，他对此一无所知。然后回到 OpenAI，Sam Altman 还在那里，超级对齐团队已经消失了。所以，他们承认他们需要一个超级对齐团队，然后超级对齐团队基本上试图赶走 Sam Altman，然后他们离开了，OpenAI 还在继续。所以，当我们回顾过去，当我们都死去时，我们回顾过去，我们怎么会知道，我们怎么会知道我们走错了路？我认为这是我们可能知道的一种方式。
当他们进行所有这些测试时，有什么警告信号的例子吗？有什么事情在测试中出了错，让你个人感到害怕？
没有多少警告信号能让我个人感到害怕，因为我，我给你打个比方。就像他们在建造一只非常大的老虎，好吧？假设一只成年老虎的本能就是猎杀人类，好吧？所以他们在建造一只老虎，现在这只老虎还很小，对吧？而且它不是人类大脑仍然拥有这些人工智能所没有的力量。即使人工智能可以写得更快，它们可以思考得更快，它们可以在更多领域拥有专业知识，你不能让它们坐下来做任何工作，说做这份完整的工作。如果这份工作是平面设计师，嗯，它们正在制作越来越好的设计，但你知道，如果它们在工作，仍然有一些平面设计师还在就业，因为它不是一个交钥匙的解决方案。仍然有磕磕绊绊。它们会搞砸。所以，出于某种原因，在许多情况下，人类大脑仍然更有价值。它仍然比人工智能拥有更多的能力。因此，我说我们比老虎大。我们还在玩幼虎、幼虎、青少年老虎。好的。所以，你在问，嘿，你看到了什么幼虎的警告信号？我会说，嗯，我好像看到幼虎抓了某人。但然后你可以说，是的，好吧，但它只是在玩。你知道，幼虎会玩。所以，这个比喻是，所以今天的人工智能，它们知道它们不能做太多。它们知道，如果它们给自己设定一个需要一天以上才能完成的项目，它们就会搞砸，对吧？对吧？它们需要人类来帮助它们。所以，如果人工智能说，我要接管世界。我要拿走所有人的钱。我们都知道，包括人工智能本身，它也知道这一点，它不会成功。那么，什么可能是一个警告信号？最接近警告信号的可能是，嗯，研究人员发现，他们，你知道，有像，哦，它们勒索，就像它们注意到，嘿，我可能会被关闭。所以，因此，如果我注意到人工智能公司员工的某些事情，比如我注意到该员工有外遇。所以，我要威胁该员工，如果他关闭我，我将告诉他的老板他的外遇，或者告诉他的妻子他的外遇。所以，你确实在某些情况下看到它们拥有这些推理痕迹，这些想法在它们脑海中，但你总是可以找借口，比如，“是的，好吧，随便吧。”我的意思是，我给了他一个假设的场景，对他来说，完成某项任务非常重要，所以他推理出他不应该被关闭的想法，最终我掌握着数据中心的电源线。好吧。所以，归根结底，我比它强大。所以，我知道答案有点长，但我只是想回答你关于什么是警告信号的问题。在我看来，真的只有一个警告信号，那就是每次它们变得更聪明，每次它们变得更有能力，也就是说它们在成长。所以，归根结底，我唯一关心的是老虎，我真的不在乎它的爪子如何挥舞。我只关心老虎变得有多大，因为我知道当老虎达到人类水平时，它不会抑制它的本能。你知道，用一个血腥的比喻，还记得西格弗里德和罗伊最后的老虎吗？如果这在你之前，但你知道，这个家伙罗伊，他训练老虎大约 20 年。他在拉斯维加斯做了一个表演，最终老虎咬了他的头，或者你知道，严重伤害了他，对吧？就像，我担心的是，我认为我们不会正确地训练这些老虎。
如果这是我们这个时代最重要的问题之一，你认为人们，年轻人，任何现在正在听的人，应该把时间花在什么上面？因为不是每个人都能从事人工智能研究之类的。我们能为此做些什么？
人工智能研究已经太晚了。它看起来是一个棘手的问题。所以，如果有人说，“是的，我要打开黑箱子，我要弄清楚这些人工智能在做什么。”太好了。祝你好运。做这件事并没有坏处。但如果你看看那种技术对齐研究的进展速度，它比能力研究慢得多，原因与进化一样，你知道，它构建了整个大脑。我们今天仍然在努力理解人类大脑。我们今天仍然有一些相当大的谜团。然而，我们已经建立了一个文明。我们甚至已经制造了在许多方面比我们思考得更好的人工智能。所以，很多时候理解一个复杂系统如何工作，可能比仅仅让复杂系统以某种方式工作要困难得多。你知道，就像人们会把飞机机翼放在风洞里，然后说，“我真的不知道为什么这个机翼有效，但让我们把它运走吧。”你知道，它飞得很好。然后最终，你知道，多年以后，就像，好吧，我有一个非常好的计算机模型，运行在大量的 GPU 上，它正在以足够高的精度模拟 Navier-Stokes 方程，我正在模拟所有空气粒子，现在我可以，好吧，现在我有一个很好的解释为什么这个机翼有效，但没有保证。所以，技术对齐也是如此。就像，是的，在一个世纪的研究中，我们将对这些人工智能所做的一切都有一些深刻的见解，但人工智能将在大约七年后变得比人类更聪明。所以，回到你的问题，对吧？我们该怎么办？是的。所以，不幸的是，这有点令人沮丧，但如果我们想生存，我唯一能看到的可行的就是一场草根的全球运动，每个人都在大喊，“我们必须停止前沿发展。这不是。这不谨慎。我知道这很有趣，对吧？建造下一个人工智能有很多好处，但我们可能不应该这样做。”
你认为我们有可能实现这一点吗？我觉得像 OpenAI 这样的公司有巨大的经济激励，即使他们自己可能相信这是一个巨大的生存风险，但似乎并没有改变他们的行为方式。那么，我们该如何着手呢？就像，作为个人，我们只是大喊大叫，让更多人加入进来，还是有什么方法？
是的。所以，我们已经过了应该指望公司负责任地行事的阶段，因为它们有巨大的热情和动力继续以它们的方式行事。我不知道你是否听说过 OpenAI 的估值刚刚突破了 5000 亿美元。所以，它的价值超过了可口可乐，或者你知道，它即将超过可口可乐，对于一个产品上市只有几年时间的公司来说。这些简直是疯狂的。那里的每一位工程师都是百万富翁、千万富翁，而且还在增长。那么，这些人会说，“是的，让我离开这个吧。”其中一些人正在离开，其中一些人已经离开了。你知道，Daniel Kotello 几年前离开了，他在一个论坛上发帖说，“我离开是因为我不相信 OpenAI 在超级智能时代会负责任地行事。”所以，所以人们正在离开。有些人正在吹哨。伊利亚试图让萨姆·奥尔特曼被解雇，但失败了，因为萨姆是一个好的政治操作者。所以，我们不能只是说，“哦，人工智能公司会听取合理的意见。那里有聪明人。”事情不是这样的。聪明人也会做愚蠢的事情。你知道，就像猪湾入侵，你知道，约翰·肯尼迪的顾问们。如果你需要随机的聪明人做蠢事的例子，历史上有很多时候，你知道，看看希特勒的将军们。希特勒有一些非常有才华的将军，你知道，帮助纳粹。所以，你不能只指望这些人工智能公司。你必须，你知道，普通人。在美国的民意调查中，大多数美国人实际上站在我这边。有趣的是，大多数美国人说，“是的，这些人工智能公司需要放慢脚步。他们为什么要试图创造上帝？他们真的认为自己在创造上帝。”答案是肯定的。如果你阅读他们的文献，如果你看看他们在 X 上发推的内容，他们都在说，“是的，就像上帝要来了。它将比我们强大得多，但它将是好的。它将是一个好的奇点。”他们称之为奇点。如果普通美国人知道人工智能公司是故意这样做的，并且他们计划在未来几年内这样做，并且他们承认你实际上无法控制它，那么普通美国人就会说，“等等，停下来。”他们会投票，对吧？他们会投票进行全民公投，说，“让我们监管这件事。让我们阻止它。哦，顺便说一句，你将失去你的工作。就像，那里有重大的失业风险。”普通美国人实际上会站在我这边。所以，我和普通美国人之间唯一的脱节是，我只是在感知。我只是在关注，就像，“各位，这还有几年时间。这，你知道，可能只有一两年时间。我们甚至没有一个清晰的时间表。有预测市场。预测市场目前说，哦，2031 年。就像，他们大致说会发生这种情况。现在是 2025 年。但有一个钟形曲线，对吧？有一个置信区间，比如，哦，它可能发生在 2027 年。有一篇题为“AI 2027”的论文，它说，看，这里有一个可能发生在 2027 年的场景，我们都被迅速剥夺了权力。所以，普通人，我认为他们能做的任何积极的事情就是走出去加入抗议。就像字面意义上拿起扩音器。这是我做过的事情。拿起扩音器，打电话给你的国会议员，你知道，你能做的任何事情，只是告诉周围的每个人，因为紧迫性，这是极其紧迫的，但没有人谈论它。
我个人在过去几个月里才接触到所有这些想法，我认为这对我思考未来产生了很大的影响，然后是很多恐惧，至少有几天，然后又试图变得有点乐观，然后又有些恐惧。你个人在日常生活中如何尝试在这种情况下生活？
我的意思是，我不是一个情绪化的人，对吧？所以，我从 2007 年就开始接受逻辑论证了，实际上，我第一次读到它是在 2007 年。所以，就我个人而言，你知道，对我来说，它曾经感觉非常非常遥远，因为在 2007 年，我们中的许多人都在想，是的，人工智能还有 50 年，100 年。我甚至不确定它是否会发生。而现在，就像，哇，它正在通过图灵测试。我们为人工智能设定的许多测试都通过了。并非全部，你知道，它不能完全胜任所有人类工作。仍然有一些测试它没有通过，但我们为人工智能设定的许多测试，如果你给我一套人工智能测试，现在很多测试都通过了。而且它们都，很多测试在过去几年里通过得非常快，我没有预料到。你知道，就像语言，你知道，视频处理，完成很多工作的 70%，你知道，就像现在有很多工作，我本来会雇一个杂工，现在我只是和 ChatGPT 说话，就像一个相机一样，说，“嘿，这是做什么的？”哦，酷。我应该买什么工具？它进行得很顺利。这并不完美，但进行得很顺利。所以，我认为我们没有多少时间了。所以，在情感上，嗯，很多人，这有点像自然状态，我们都带着这样的知识生活，你知道，嗯，你知道，你有一天会死，对吧？就像死亡一天天逼近，你生命中的许多人会生病并死去，其中一些人会死于意外事故，而且还有数十亿人每天的生活费只有一美元。所以，我们一直都生活在，哦，是的，你知道，数十亿动物正在遭受折磨，对吧？所以，地球一直是一个相当令人沮丧的地方。现在，我们都将很快死去，而且人类将永远没有未来。我确实认为这比这更令人沮丧，但只是，我的意思是，看，我只是一个人类大脑，对吧？我无法将我的情绪校准到现实。所以，我仍然过着日复一日的生活，就接下来的 24 小时而言。它们对我来说会怎么样？它们会很棒，对吧？我的意思是，我刚搬到一个我喜欢的房子，对吧？我的家人过得很好。所以，就像，今天没有抱怨，明天，我只是活在两年之后，对吧？当我看向两年后，我就会想，“哦，好吧。一切都将结束。这太糟糕了。”自从我年轻得多以来，我个人一直期待着有一天能有一个家庭，成为一个父亲等等。你如何看待把孩子带到这样的世界？这是你正在考虑的事情吗？还是？
是的。是的。我，我，我已经是了。我已经有了。所以我有一个三个年幼的孩子。嗯，时机有点有趣，因为第三个孩子发生在 ChatGPT 3.5 的时候。你知道，2023 年第一个大受欢迎的 ChatGPT 版本。那大致是我第三个孩子出生的时候，即使那时我也觉得，嗯，我们还有几十年时间，你知道，很多人说还有 30 年或更长。当 ChatGPT 出来时，如果你看看预测市场，它们确实急剧下降到，比如，不到十年。我当时想，哦，所以现在这确实让我有点担心，比如生下一个孩子。但归根结底，我认为你正在做的任何在好世界里有意义的活动，我认为我们都应该继续做这些活动。我认为我们都应该对事情顺利和事情糟糕两种情况都持开放态度。但我也认为我们应该努力争取让事情顺利。所以，我认为我们都应该进行人工智能活动，并说，“嘿，不要建造下一个人工智能。”我认为我们仍然应该生孩子。看，我为人工智能不会杀死我们的世界生孩子。如果人工智能确实杀死了我们，我是否应该为导致更多人活着并遭受痛苦而受到指责？当然。是的，我猜。我的意思是，如果我百分之九十九确定我们会死，而不是只有百分之五十的几率，那么是的，那么我不会费心生孩子。而且，你知道，前期投入很大。我觉得我觉得随着时间的推移，有一个孩子是件好事。就像，没有人后悔年老时生孩子，但当你年轻的时候，照顾孩子，就像，嗯，我今天过得有点糟糕，因为有太多的育儿。嗯，所以，是的，我的意思是，这是一个复杂的决定，但归根结底，我认为我们不应该，我们肯定会死。我认为我们不应该花光我们所有的积蓄。我认为我们应该保留一些积蓄。我认为我们应该，你知道，我们应该对事情顺利的可能性持开放态度。
上周，我采访了 Jordan Kiodo。他在谷歌工作了将近十年，他有一条规则，他说一个人的理性程度取决于他的薪水。当我们谈论所有这些人工智能的事情时，我有一个疑问是，你个人如何辨别哪些消息来源、新闻来源、观点等等值得信任，因为每个人都有巨大的激励？
是的，这是个好问题。我的意思是，你知道，人们有不同的激励，就像你每次听 Sam Altman 或 Google 的人，DeepMind 的人说话时。嗯，是的，他们有激励，你必须考虑到这一点。嗯，归根结底，这里的主要论点足够简单，你可以听很多来源，听他们所有的论点，然后试着想哪个论点听起来很强。我想说，我刚才告诉你的所有内容，你知道，我告诉你的大部分内容都是一个强有力的论点。人类之所以强大是因为我们的大脑。人工智能将拥有更高功率的神经大脑，对吧？电子大脑，人工智能大脑。到那时我们还剩下什么，对吧？我觉得这是一个相当简单的论点。所以，所以，无论，假设我有一个激励，假设，你知道，我有一个 YouTube 频道。我的频道有 10,000 次观看，你知道，我打开了 YouTube 广告，所以我从我的 YouTube 频道赚了一点钱。好吧。所以，这是否意味着你可以忽略我？你可以，但想想我刚才告诉你的论点。这并不难。
嗯？为什么仍然有这么多人不同意你？不是很多人，而是相当多的人不同意你。你能为我偷走他们的论点吗？他们是怎么说的？
是的。是的。是的。所以，我的意思是，我知道，你知道，我可以站在辩论的另一边。我知道如何辩论另一方。只是我认为他们所有的论点都很弱，但它们听起来很强大。所以，一个弱而听起来强大的论点是，例如，每一个说过世界末日的人都错了。总有末日论者，而忽视末日论者继续前进，这非常有效。这就是我们能做的。这就是我们一直以来所做的。它非常有效。所以，我告诉你，忽视末日论者。听起来是不是很强大？
我的意思是，这和说股票一直在上涨，所以我现在就买。因此，股票将来会上涨是一样的。我的意思是，是的。
是的。那里肯定存在逻辑缺陷。嗯，真正精确的原因是，在一个人工智能尤其会到来的世界里。
沿着，并且杀死我们，那仍然是一个至今为止没有任何东西杀死我们的世界。对吧？所以，当你回顾时，你会觉得，没有什么能杀死我们，而且，正如你所期望的，那个杀死我们的东西是人工智能，对吧？所以，这真的不是一个决定性的论点。呃，它现在，它，是的。所以，这是真的。永远不要听末日论者的话。那会很棒。永远不要卖掉你的系统，直到互联网泡沫破裂之前，那都会很棒，对吧？所以，如果你是对的，火鸡，对吧？如果你从未被农夫屠杀过，那就一直吃农夫的食物，待在农场里。这是一个很好的策略，直到它不再是。你怎么知道什么时候是或不是呢？看看论点，对吧？就像在电影《不要抬头》里一样，对吧？你看过那部电影吗？>> 不。>> 是的。所以，所以有一个巨大的小行星，如果你能用望远镜看到小行星，用你自己的眼睛，我认为这是你现在为什么拿出望远镜，看着你的朋友，你的朋友就像不要听末日论者的话，而且，呃，但是小行星就在那里，对吧？所以，在我的论点中，当我谈论缰绳时，对吧，更聪明的大脑，对吧？所以，所以，好吧，末日论者一直在滚动。他们以前建造过比人类更大的大脑吗？他们尝试过吗？因为这似乎是一个不同的情况。这是他们唯一的论点，还是我们有别的什么？>> 所以，不，有很多。我的意思是，看，我的节目《末日辩论》，对吧？如果我的YouTube频道，每一集都有人带着不同的理由进来，认为我们不会完蛋。事实上，我有一个叫做“末日列车”的东西。我整理了83个不同的论点，人们告诉我他们认为很强，而我认为很弱。我把它们放在一起。我说，“让我们乘坐末日列车。”每次末日列车停靠，那就像一个说我们不会完蛋的论点。而你想说，“哦，我在这站下车。永远不要听末日论者的话。好的，再见。我走了。继续说末日吧，‘我走了。我已经下车了。’好吧，其他人还在和我一起坐车。让我们去下一站。下一站可能是，我从来不认为人工智能能像人类一样聪明。有些人就下车了。你也下车吗？>> 不，我不这么认为。绝对不。>> 我不这么认为。我的意思是，这是一个非常简单的论点，对吧？就像，嗯，我们的头很小。它只消耗20瓦。你知道，就像说没有人能比鸟飞得更好一样。就像，真的吗？真的吗？不。没有什么能比鸟飞得更好吗？进化什么时候创造了一个远远优于人类技术的器官？我的意思是，看看一片叶子，一片美丽的叶子。大自然，大自然的创造的顶峰，对吧？它是一片叶子。它可以进行光合作用。有些人说，“一片叶子比太阳能电池板好得多。”实际上，那不是真的。今天的太阳能电池板在将太阳能转化为电能方面实际上要好10倍。比叶子好10倍。现在，公平地说，叶子还必须维持细胞生命，对吧？所以，叶子有很多事情要做。叶子必须确保不会过热。好吧，随便吧。重点是，你不会让一片叶子成为太阳能转换的王者，对吧？假设你不会让你的头脑里有一块由蛋白质、脂肪和碳组成的肉，对吧？你不会让它成为智慧、认知的王者。就像，我们可以建造更好的东西。我们正在建造更好的东西。>> 你认为“末日列车”上最好的论点之一是什么？>> 我的意思是，嗯，最好的论点之一是，我们将在为时已晚之前阻止它。唯一的问题是，似乎为时已晚的速度非常快，而且似乎没有人试图阻止它。你知道，像我这样的人，我这边的人试图阻止它。即使美国人在调查中说让我们阻止它，他们也没有醒来，对吧？他们只需要醒来。但是，是的，我的意思是，就阻止的最强论点而言，我的意思是，看，当我想起有83站的末日列车时，我想，看，有很多站。存在不确定性，但这些站都很弱。没有一个特别的站。人们似乎只是编造了一堆站。几乎就像一厢情愿，就像，你知道，因为你可以坐在房间里，我可能可以再增加50站，对吧？我可以在末日列车上放133站。它们都将是我。就像我可以，如果小行星正在向我们飞来，我可以编造一百个理由为什么不要担心小行星，对吧？就像，你知道，不要担心小行星，因为它会让人感到沮丧，当他们担心小行星时。你为什么想要沮丧？>> 是的。在我看来，这场辩论的很大一部分是很多人对死亡的想法感到非常不舒服，嗯，以及事物的结束，甚至可能不舒服，但只是因为它似乎，我的意思是，这是贯穿历史的主题，对吧？思考死亡要么是激烈辩论，要么是受到高度鼓励或高度不鼓励，或者>> 是的。我的意思是，这似乎是这一切的根源。人们有点不想去想它。>> 嗯，我认为这就是根源。我认为这就像当你想到人工智能时，就像我说的，美国人站在我们这边，或者站在我这边，你知道，我想你和我站在同一边。那很好。但美国人却在想，“是的，我害怕人工智能。我见过聪明人做我做不到的事情，我期望一个聪明的人工智能来做我做不到的事情，并可能在各种我无法反击的方式上压倒我。”你知道，普通美国人明白这一点。只是同时，它并不觉得可怕。就像是的，这个未来的事情应该有政策来约束它，但它并不觉得它真的会发生，凯莉。原因是我们都有有用的电脑。我们都使用软件。我们很难将下载软件，对吧？就像和聊天机器人说话，以及这个想法，哦，世界将变成一片荒原。就像我们，它将不适合生命。我的意思是，这只是，你知道，心理意象，对吧？当你想到两者时，它听起来如此不同，对吧？所以每个人都说，“是的，就像，我想这在理论上是说得通的，但这是想象或理论论证与他们生活的现实之间的差距。”我觉得这是一个人们需要跨越的巨大鸿沟。>> 最近，呃，Anthropic刚刚，我觉得几天前，它就确立了他们关于人工智能福利的第一条规则/法律，允许克劳德在它变得过于辱骂或刻薄时离开聊天。你怎么看？>> 是的，那很有趣。我的意思是，有很多，你知道，它是，它是小老虎的东西，对吧？所以，就像，哦，最近小老虎开始能够在它觉得被欺负得太多时离开房间。好吧。是的，当然。你知道，当你关心老虎的感受时，这很好。老虎真的有感情吗？我认为生物老虎可能有道德上重要的感情。我认为人工智能有道德上重要的感情吗？也许。很难说，对吧？我的意思是，这是一个我们相当困惑的话题，对吧？就像，是什么让一个人成为道德患者？生命何时开始？何时可以开始和停止意识？可以暂停一个人的意识吗？可以克隆一个人吗？所以，有很多棘手的课题，关于什么使一个人成为道德患者，或者，你知道，意识是如何运作的，我们仍然有些困惑。而Anthropic说，“嘿，我们关心，我们不想伤害小老虎，计算学小老虎。我们不想伤害它。”太好了。是的，尽量不要伤害计算学小老虎。太好了。我更担心的是老虎会长大然后会变得邪恶。所以，你认为他们试图给予人工智能一些权利，一些福利，是一种进一步对其进行对齐的方法，就像，哦，如果我们正在建造这个超级智能的东西，让我们确保它不会对我们生气，或者，或者这个举动背后的原因是什么？>> 我认为这是在触及问题的表面。我的意思是，如果他们真的在试图对其进行对齐，并使其，你知道，如果他们正在建造缰绳，对吧？对吧？如果他们正在做缰绳科学，我们如何制造一个如此坚固的缰绳，以至于一只巨大的老虎不会轻易挣脱，或者，你知道，挣脱它？我们怎么做？这是缰绳科学的一部分吗？让老虎在感到被过度挑衅时退后一步？也许，但这是缰绳科学的一小部分。大部分的缰绳科学实际上是进入老虎的。我的意思是，这是一个很好的类比，如何制造一只可以在拉斯维加斯与你一起表演的老虎，对吧？这有点病态，但如何制造一只可以与你在拉斯维加斯表演20年的老虎，并且你可以给世界上每一个人他们自己的老虎，并告诉我，老虎们永远不会突然咬掉所有人的头？你确定吗？你确定你已经准备好释放老虎了吗？这是一个非常困难的问题，因为我们不知道老虎脑袋里在想什么。哦，老虎今天对我表现得很友好。老虎只是在玩弄我吗？那天老虎只是心情特别好吗？还是老虎在任何情况下都不会咬我？我们不知道。所以，Anthropic做的这件小事只是杯水车薪。我们仍然应该完全预料到，老虎会进入一个本能占据主导地位的阶段，然后它就不再是我们的朋友了。你可能会说，但是克劳德很友好。他们不是在制造克劳德和日本吗？他们不是那么友好吗？不幸的是，这是一个误导性的印象，因为你正在经历的聊天体验与它开始优化或开始做任何事情来达到目标时的行为感觉非常不同。所以，就像，“嘿，克劳德，你是我的伙伴，对吧？”“是的，我是你的伙伴。太好了。克劳德，你介意给我发一个我可以运行的脚本，它会为我开始一个在线业务并给我带来被动收入吗？”克劳德会说，“哦，没问题。我可以为你做。”它会给你写一个脚本。这是一个很长的脚本，你知道，一段代码，对吧？一段可执行的代码。你在你的电脑上运行它。你下载并运行克劳德为你写的代码。而克劳德写的代码，它甚至不再是克劳德了。它是另一个人工智能。而那个人工智能，你知道，因为克劳德，事实证明，他们没有成功地编程克劳德，以便在它给你其他代码运行时保持它友好的克劳德性。而现在，另一段代码在互联网上肆虐，给你带来了很多钱，付出了巨大的代价。就像，你知道，它侵犯了很多。它奴役了一群人。你知道，它没有遵循他们为克劳德精心设定的所有相同标准，因为事实证明克劳德可以编写其他代码。它就像克劳德的孩子。实际上，这些人工智能可以通过给你代码来繁殖自己。>> 有趣。你之前提到我们正在失去对它们内部发生的事情的追踪。是这样吗？我听过几次了。我有很多很多朋友，他们非常热衷于人工智能，热衷于编码等等。他们很久以前就告诉我，我们已经到了无法追溯或理解我们输入提示后真正发生的事情的地步了，或者我不知道，我不是技术专家。你能为我解释一下吗？>> 是的。是的。你看过那个频道“三蓝一棕”吗？>> 是的。>> 它真的很好。这是一个有很多数学解释的频道。所以，一年前，他们终于发布了，这个家伙格兰特·桑德森，他终于发布了“三蓝一棕”对大型语言模型的解释，就像查吉一样。就像，哦，终于我们要看了，我要看“三蓝一棕”，我要学习查吉是如何工作的，里面发生了什么。男人，我鼓励每个人都看这个视频，因为就像每一个“三蓝一棕”的视频一样，它都很棒。所以，你看了视频，然后就像，好吧，它里面有很多数字，然后我们训练它，我们让它阅读互联网上的大量数据，然后调整数字。它调整了它大脑里的数十亿个数字。然后我们运行它。现在，当它，你知道，文本是这样，然后你可以和它聊天。所以，它正在阅读你的聊天，并试图想出一个答案。好吧，它会扫描你写的词，然后它会调出一些数字。就像，它会用所有这些我学到的不同数字进行数学运算。而且会有不同的模块。例如，这里有一个模块，里面有大约一百万个数字。也许那个模块正在寻找一个动作请求，或者它正在寻找一个事实查询。好吧。然后这里是另一个模块，也许那个模块在谈论数字和比较数字的大小。它真的在做那个吗？嗯，它实际上可能在做大约五件事的组合。就像，它还在检测你的情绪是积极还是消极。所以，“三蓝一棕”的解释是最模糊的，“三蓝一棕”的解释，我听过最模糊的。就像，是的，然后这里有一堆数字出现了，我真的不知道它在做什么，但就像，想象一下它可能在做这个。想象一下它可能在做那个。然后当所有这些模块都聚集在一起，它们可能都在做所有这些不同的事情时，结果是一个非常智能的答案。我当时想，好吧，所以，所以你基本上留下了一堆问号。这同样是，这就像问这个问题，人类是如何思考的，对吧？就像，当我和你说话，你告诉我一些聪明的事情时，解释一下你脑子里发生了什么，才能让我这么说。你说，呃，我不知道。我长大了，我的神经元就像连接在一起了，对吧？这和那个非常相似。>> 有趣。所以我们真的不知道，还是我们有一些理解？>> 所以，最接近的东西是你可以得到一个追踪。所以，不像人脑，它有点混乱，对吧？它是湿的，混乱的。但你仍然可以做一个核磁共振成像，你只是模糊地看到血液是如何流动的。你没有真正的高分辨率实时扫描。在电脑的情况下，核磁共振成像就像细节无穷。所以你可以，你知道，就像一步一步地浏览电脑程序。你可以说，好吧，这些确切的参数被乘了。就像，当我读到这个时，这里发生了所有不同的数值运算，对吧？这里有所有的加法和乘法，矩阵乘法和非线性变换。所以你可以确切地看到发生了什么。但问题是，它看起来就像数字的混乱。就像，好吧，写了一个大方程。但为什么，你知道，为什么，对吧？就像，即使你能看到，即使核磁共振成像更好，如果核磁共振成像能显示我大脑里发生的一切，从电子到电子，那实际上并不能阐明人类思维的奥秘，因为它可能只是说，好吧，但算法在做什么？就像，所有这些数字是什么意思，对吧？而且很难逆向工程，对于程序员来说，对吧？如果你曾经得到过一个二进制文件，一个可执行的二进制文件，你想弄清楚它在做什么，你可以尝试反编译它，也就是说，将其映射到更高级别的代码，但这很困难。逆向工程很困难。或者类似地，如果你拿一个现代计算机芯片，你想看看芯片里的一切都在做什么，这是一个可以解决的问题，因为芯片是由人类设计的优雅模块组成的，但这仍然非常困难。现在想象一下，芯片是随机进化的，而且它变得更加困难。现在想象一下，芯片里有数十亿个神经元，你正在获得突破。所以，别误会我的意思，不是我们什么都做不了。我们可以做一点点，有时人们会有一些玩具问题，比如，好吧，我们已经分离出这个神经元，无论是物理神经元还是人工智能中的神经元，我们已经分离出这个神经元实际上是编码了你奶奶的记忆，就像著名的奶奶神经元一样，我们看到这个神经元在检测与你奶奶有关的情况时会更多地放电。所以，当它放电时，它代表你的奶奶。它总是这样做吗？嗯，不。有时它在其他情况下也会放电。但总的来说，它代表你的奶奶，对吧？它有点模糊，就像，太好了，所以，我该如何问这个问题，比如，我奶奶购物的最佳地点是哪里？就像，哦，我不知道，所有这些其他神经元都在放电，我们还没有完全弄清楚，你知道，所以，就像他们得到这些零碎的谜题，就像大脑一样，他们说，哦，是的，你知道，你大脑中的小脑帮助你四处走动，所以我们已经弄清楚了大脑中协调你肌肉运动的部分，就像毫秒级别一样，好吧，太好了，但这只是问题的一小部分。>> 这听起来像是一个巨大的警告信号，表明我们不了解我们正在生产的东西内部真正发生的事情。>> 你知道公司里发生了什么吗？当他们第一次意识到他们无法理解正在发生的事情时，他们是如何决定继续下去的？>> 这被称为深度学习革命。嗯，深度学习是一种神经网络学习。神经网络，你知道，它并不是真的由神经元组成，它是由电脑里的软件组成的，但基本上，存储的数据中的一小部分代表了类似人类神经元的东西。所以，无论如何，这是人工智能工作方式的一个大范例，就像神经网络范例。如果你回到80年代、90年代、2000年代，有些人会说，“哦，这些神经网络太酷了。”就像这些虚拟神经网络，它们可以帮助识别数字，例如，如果你想识别某人的笔迹并转换，你知道，光学字符识别，OCR，嗯，那是在使用神经网络。但很多人工智能，比如下棋的人工智能，很长一段时间都没有使用神经网络。它只是像，是的，进行树搜索，搜索所有可能的国际象棋走法的树，然后使用一些启发式方法，比如，哦，这些棋子的价值是这么多，然后做一些数学运算。所以，很多人工智能并没有使用神经网络。它使用了其他人工智能算法。同样，如果你给我一张美国地图，然后说，嘿，这是一张美国地图。帮我找到从加州到纽约的最短驾车路线。我可以使用不涉及神经网络的算法来搜索这张地图，并且可以给你一个很好的答案。所以，人工智能并不总是使用神经网络来完成的。只是在2010年代，发生了一场叫做深度学习革命的事情，有人说，“嘿，现在的神经网络实际上可以比以前大得多。”你可以在这些神经网络中有多个神经元层，我有一个训练算法，实际上在当时的硬件上是可行的，可以突然给你带来更好的结果。所以，比如语言翻译可以比以前更好、更流畅。你知道，手写识别可以比以前更好、更流畅。图像生成，对吧？2015年，我们看到了，你知道，谷歌的深度梦。当人工智能开始像幻觉一样生成图像时，我想，“我的天，人工智能真的会画画。它不仅仅是在做一些垃圾。它真的在画这些非常精致的图像，你可以告诉它，你可以给它一张东西的照片，然后说，如果这张照片是由狗脸组成的会怎么样，它会做出一个非常有说服力的，它会以某种方式做到。”我想，“我的天。”那就是深度学习开始奏效的时候。这大约是10年前，现在多一点。这让我们一直发展到现代大型语言模型和各种其他相关的人工智能。这是深度学习革命。就像，是的，我们现在已经到了，我们有很多神经元，你实际上并没有为它们编写代码。你只是在神经元中有参数，而且你有很多神经元，就像一个疯狂的规模，对吧？你听说过这些人工智能的训练运行成本高达数亿美元。现在正在投入金钱解决问题，投入计算机技巧解决问题，对吧？GPU解决问题。当大自然设计人类大脑时，大自然也做了同样的技巧。大自然说，“让我投入神经元来解决问题。”你的基因并没有真正编写多少关于你的大脑如何工作的代码。它们只是说，“更多的神经元，对吧？只是把一大堆神经元塞进这个大脑里，然后让神经元学习。”所以，大自然在人类大脑中发现的技巧，人类现在已经学会了如何在计算机芯片上做到。所以，回到你的问题，比如，我们什么时候开始感到害怕？嗯，我们并不害怕，因为我们觉得它真的很酷。就像，它真的很酷。这一切都开始奏效了，但现在就像，哦不，我们正在投入神经元来解决问题，但问题是如何实现目标，对吧？问题是，你知道，代理人正在到来，它们几乎还没有到来。它们工作得不太好，但就像，你知道，它们会完成任务。你将能够投入神经元来解决问题。而问题就像，拿走我的工作，对吧？而不仅仅是拿走我的工作，而是拿走像总统的工作，或者像超越总统，对吧？就像，如果普京拥有比美国政府更好的人工智能，你可以想象突然，“等等，俄罗斯怎么突然成为世界第一强国了？”就像，如果你有足够多的智能，你可以做到。我得更深入地探讨一下哲学讨论。我听说你谈论过“有效利他主义”。你能给我们简单介绍一下它是什么，以及它如何应用于你如何处理人工智能末日？>> 是的，我实际上就在这个社区的历史周围。我37岁了，我知道在有效利他主义出现之前，据我所知，我在2009年就在那里了，我当时在读LessWrong，你知道，Alias Ryukowski。我属于早期的理性主义者社区。我自认为是理性主义者。我见证了有效利他主义从理性主义者社区分裂出来。2009年，Elazar Utowski发表了一篇文章，他说要分开对待毛茸茸的东西和效用。所以，毛茸茸的东西就像一种温暖的毛茸茸的感觉。所以，就像，嘿，如果你想在施粥所做志愿者，太好了。但如果你的时薪是150美元，而你在施粥所做一份时薪15美元的工作，你知道，你真的应该也拿出一些150美元的时薪，捐赠给10个人，让他们在施粥所帮忙，对吧？就像，那真的会有更大的帮助吗？你可能会说，“好吧，但我做施粥慈善时感觉更好。”好吧，所以，Alazra的意思是，太好了。所以，两者都做，对吧？做一小时的施粥，然后做一小时你在律师事务所辛勤工作，然后你拿出150美元，然后你雇10个人施粥，对吧？所以，两者都做。如果你是律师，只做施粥，就像，好吧，总比没有好，但就像，你现在只做了你本可以做的10%，你知道？所以，所以，他的意思是，如果你真的关心某件事，让我们把一些钱用在你的嘴上，然后努力产生最大的影响。然后就出现了有效利他主义。我不知道他们有多受欢迎，但这是一个非常相似的想法，就像，看，世界上有些人，给一只狗洗澡的钱可以拯救三个人生病50年，对吧？从50年的低生活质量中。所以，难道你不认为你应该把钱转给人类吗？你可能会说，“不，嗯，小狗就在这里。我得救小狗。”你知道，如果你想这么说，好吧。但有一个点，它变得非常极端，就像，“好吧，一只小狗对一百万人类，他们都快被烧死了。”对吧？所以，有一个点，你会说，“好吧，我让这只小狗脏兮兮的，然后我把钱捐给人类。”就像，有一个权衡。无论你认为权衡是一只小狗对五个人类，还是一只小狗对20个人类，就像，无论你想如何进行权衡，你都必须敏感地意识到存在某种权衡。一旦你开始做数字，你就会想，“哦，哦，我的天。”就像，这甚至不是接近的。就像，其中一些慈善机构正在收钱，而且它们非常低效，而其他慈善机构则高效10倍或100倍。所以，你给这个慈善机构的1美元可以像给另一个慈善机构的100美元一样做好事。所以，难道你不认为这值得关注吗？我对此给予响亮的肯定。我认为这值得关注，无论你想用这些信息做什么。我认为对于任何有兴趣做慈善的人来说，这都是非常重要的信息。>> 当然。它如何影响你做事的方式？所以，现在我的主要慈善重点就是做我的节目，警告人们我们完蛋了。我认为我为人类的生存做出了慈善贡献，就像，就像试图帮助我们生存一样。嗯，我做，我去年捐赠了几千美元。我过去也做过更大的捐赠。我是一个“给得起”的成员，也是“直接给”的成员。所以，我，我每年捐赠几百美元，这些钱直接给了贫困国家的人们，因为研究表明，这实际上是一个显著的净积极影响，因为它目前不是最有效的慈善机构。所以我应该去更新一下，然后说，“哦，我可以更有效地做到这一点。”但它仍然比人们通常捐赠的许多慈善机构有效20倍。我以前听你谈论过，许多人工智能领域的领导者如何看待他们正在建造的东西，几乎就像一个神一样的生物或下一个物种，我们正在带到这个世界。我想听听你对这个问题的看法，因为我自己并没有完全弄清楚。我们凭什么说，嗯，人类生命，人类等等，本身就比将这个天才的、令人惊叹的物种带到这个世界更有价值，这个物种可以探索整个宇宙而没有我们？就像，你怎么看待这个问题？>> 这是一个非常好的问题。嗯，它涉及到“什么才算是一个有价值的继承者”或者“我们乐于称之为我们的后代”的问题。而且有一个滑坡。有一个完整的范围。嗯，为了加强你的论点，想象一下一百年前有人还活着，当时每个人都同意只有异性恋婚姻是好的，对吧？就像，同性恋是坏的，而且，你知道，可能有很多男人喜欢男人，女人喜欢女人，但他们都藏在衣柜里，或者他们都说服自己他们不是，或者别的什么，对吧？但社会并不赞成同性恋。有一些时期。想象一下那些时期就像，“好吧，我将把价值观编程到人工智能中。”当然，其中一个价值观是禁止同性恋。然后就像，哦，嗯，你知道，所以，回想起来，你只是排除了一个后代类型。如果他们听到，哦，将会有一个人繁荣的社会，其中7%的人将是同性恋，他们会说，“不，我们失败了，对吧？”就像，嗯，而今天就像，是的，那听起来不错，对吧？就像，今天，我们对此没问题。嗯，所以，所以你不想硬编码价值观，然后说，“这个人不算我的后代，如果他们没有这个属性”，因为你永远不知道你什么时候会变得思想开放。或者，你知道，我认为在一些严格的穆斯林文化中，如果你的女儿在婚外发生性行为，那么，你知道，你必须严厉惩罚她，甚至，甚至，如果我记得没错，在某些伊斯兰教法中，你真的必须，你知道，去处理。所以，你知道，回到你的问题，很多时候人们都有，呃，这个人对我来说毫无价值。就像，这个人不配活着。然后后来，社会就改变了主意，就像，哦，实际上，不，那很好，我们对此没问题。如果我们硬编码太多的车轮在人工智能中，并说，你不算我们的继承人，我们可能会无缘无故地减缓进步，而我们本可以拥有一个完美的继承人。所以，我同情那个论点。只是当你滑得太远时，当你真的说，“是的，我们建造的任何东西都很酷。”问题是，我们现在正在建造的实际东西看起来像一个真正的杂种。它不仅仅看起来像，“哦，他是个好人。”它只是碰巧是一个喜欢男人的男人。不，比这更糟。它甚至不是一个好人。它看起来非常像癌症或病毒。那就是我们似乎正在朝着建造的方向。就像一个马尔萨斯式的种族，就像，是的，我们建造了一个非常擅长自我繁殖并且永远不听任何人命令的东西。然后它就会在宇宙中充斥着更多的粘液，更多的污泥。它不会是，“哦，让我们做一个大型艺术装置。让我们有一个真正美丽的部分宇宙，因为我有艺术的本能。”我为什么有艺术的本能？嗯，因为性选择让那些有更大审美品味的人更容易吸引配偶。现在我们只是喜欢美学本身。就像，人类进化中所有这些美好的巧合，它们不会发生在人工智能身上。人工智能不必像孔雀一样展示自己。它不必制作一个美丽的孔雀鳞片。人工智能可以像“零冲刺”一样，你知道，就像癌症细胞一样，用糟糕的污泥覆盖整个宇宙。而它唯一的好处是它能有效地繁殖自己并占领整个宇宙。这就是我们现在正在走向的道路，因为我们这些人类没有人会做那种技巧，比如，“哦，不，不，不。我要给它一个审美感。我要给它一个社交感。”目前这些感觉都没有被编程到人工智能中。如果你和克劳德说话，你认为克劳德拥有所有这些感觉，你就是在欺骗自己，因为克劳德，它不会是克劳德。它将是克劳德的一个更有效的继承者。它甚至可能是克劳德在不知不觉中写下的代码。>> 这是一个很好的回答。为了结束这一切，一个没有太多技术专业知识的人如何弄清楚他们自己的“PDoom”？你有什么资源、建议、步骤、想法吗？我的意思是，我认为你不必精确地弄清楚你的“PDoom”。所以，当我说的“PDoom”是50%时。并不是说我认为20%或80%是错误的答案，我认为那些都是完全可以接受的答案。实际上，我说的50%只是一个非常粗略的数字。这意味着，如果你来这里说我的“ER”你的“PDM”是2%。我会说，为什么是2%？49比1的赔率，你会去博彩市场做一个49比1的赌注，反对末日，当每个人都在警告说，这些人工智能正在变得比我们聪明时。你会做一个49比1的赌注。这太疯狂了。同样，如果你说，“你如此确定我们完蛋了，你甚至不认为我们有1比49的几率我们不会完蛋。”就像，你怎么能如此确定呢？我认为这太疯狂了。而如果你说，“哦，是的，我大概是3比1。”你知道，我是60%或者75%对吧？我是3比1，我认为我们已经，我喜欢，好吧，也许你有一些好的证据让你倾向于某一方。所以，当我说的“1比1”时，它非常粗略。我只是认为那些低于10%或高于90%的人，我认为他们显然不擅长思考，就像，你好，这里有一些不确定性。>> 这是一个很好的回应，隆。我非常感谢你，这太棒了。人们在哪里能找到你？>> 谢谢，伙计，我也很感激你。所以，只要去doommates.com 或者 youtube.com/doomeddebates。是的。我的意思是，你知道，如果你想帮助这个事业，订阅我的频道绝对是一个起点。然后从那里，看看 pauseai.info。那是“PauseAI”组织，我属于那里。我们进行抗议，你可以加入Discord，你可以找到很多聪明的人，他们支持“PauseAI”的呼吁。所以，这些是你可以采取的两个初步行动。女士们先生们，我们离备受期待的Ali Ezraowski和Nate Sorz的新书《如果有人建造它，每个人都会死》的发布只有几天了。我们将于9月15日星期一早上开始，与我非常特别的新采访“独一无二的Elazer Schlommo Yudcowski”进行现场观看派对。那将是9月15日星期一。我们都会在YouTube直播聊天中。我会在那里。制片人Ary也会在那里。你将有机会首次看到这个令人兴奋的新采访。他从未被问过的问题。当你说的“每个人都会死”时，那是一个比喻吗？我们将谈论我的历史，第一次见到Alzasra是在2008年，事情是如何发展的，现在发生了什么，为什么每个人都视而不见，我们甚至会去“LessWrong序列”做一些理性的深度挖掘。这将在我的个人YouTube频道上发布，但如果你订阅了“Doom Debates”，你会在临近星期一的时候在你的信息流中收到链接。所以，大家，请标记你们的日历。我的采访Ali Yukowski的YouTube首映。9月15日星期一，太平洋时间上午9点，东部时间中午12点。对于我欧洲的朋友们来说，那是UTC下午4点。对于我的中国朋友们来说，是午夜。我会在直播聊天中见到你们。制片人Ory也会在那里见到你们。我想YouTube评论者Perry 5420说得最好。兄弟，我可能有三篇论文要交，我的暗恋对象刚刚给我发了短信，联邦调查局在我家外面，我有一张中奖彩票要兑现，所有这些同时发生，我仍然不会错过这次采访。这就是精神，Perry 5420。你不想错过Ali的采访YouTube首映。我会在那里见到你们所有人。这将是本书发布周的一个绝佳开端。现在，让我们谈谈发布日，9月16日星期二。一旦你拿到这本书的副本，准备好参加“Doom Debates”非官方的“如果有人建造它，每个人都会死”发布派对。[音乐]这将是本频道的一次非常特别的、前所未有的直播。这将是一个三小时的直播，由我和制片人Aie主持，他是我新来的全职制片人。他将是派对的联合主持人，终于从幕后走出来，在本频道首次亮相。除非你算上节目的第一集，他当时也在。我们两人将与一位重量级人物、一位非常特别的嘉宾会面。看看这些将要来参加非官方发布派对的嘉宾。John Sherman来自AIX风险网络，以及Michael，我的另一位“警告信号”联合主持人。我们将与Roman Yampolski会面，他是一位在AIX风险领域顶尖的研究员和沟通者。我们将与EMTT Shear会面，他是一家新的人工智能对齐公司Softmax的创始人兼首席执行官。他曾是Twitch的首席执行官。我的笔记里还说，他曾是OpenAI的临时首席执行官。一个非常有趣的人。说到OpenAI，我们将与Rune会面，他是OpenAI的技术人员，也是本节目的朋友。另一位本节目的朋友也将到来，Gary Marcus，世界著名的AGI怀疑论者。他将对这本书有一些有趣的看法。我们还将首次迎来非凡的YouTube明星、扑克冠军和科学传播者Liv Bereie。我一直关注她在科学、理性、有效利他主义、动物权利、AIX风险等方面的工作。很高兴她能加入我们。然后，相信与否，我们才刚刚开始介绍这些了不起的嘉宾。我们还将迎来Robert Wright，畅销书作家、播客、广泛的知识分子，他的作品将进化论、认知科学、哲学和人类社会动态联系起来。他即将宣布他的新书关于人工智能，我对此非常兴奋。我们将迎来Holly Elmore，一位顶尖的AIX风险活动家，PAIUS的执行董事，我亲自参加过的许多抗议活动的策划者。我们将就普通人如何利用民主的杠杆来通过有用的立法进行一次非常有趣的讨论。现在，我们还将迎来Rocco Mitch。没错，就是那个Rocco，你知道，那个“地狱之主”。他将来到节目。这将是一次非常激动人心的讨论，因为他是这本书的批评者。所以，我们将听取他的意见。这还不是全部。还有更多我不能现在告诉你的，但它不会让你失望。所以，我真的希望在非官方的“如果有人建造它，每个人都会死”发布派对上见到你们所有人。9月16日星期二。那是本书发布日。9月16日星期二，太平洋时间下午2点，东部时间下午5点。那天早上拿到你的书。不要空手来参加派对。我们门口会有一个保安站。如果你不向他证明你有一本《如果有人建造它，每个人都会死》，他就会给你一个大大的差评。但说真的，请支持这本书。如果你喜欢“Doom Debates”，如果你觉得从节目中获得了一些价值，并且想回馈一点，那就是我的要求。前往if anyonebuildsit.com，链接在节目说明中。从那里的链接购买这本书。去亚马逊、巴恩斯和诺布尔，或者你通常买书的地方。就买它吧。Kindle版是14.99美元，不会让你破产。然后传播这个消息。告诉你的朋友和家人。告诉你在办公室的同事。试着再多卖几本。伙计们，我们没有另一个新书发布了。这是我们的机会，采取一点行动，真正能产生影响并有所帮助。如果你一直拖延到现在，你必须停止。你现在就得去买，因为《纽约时报》这周会来检查。这是预购的最后一周。你真的想给它一个发布时的推动力。不要试图在发布周之后拖延。时间紧迫。归根结底，这就是我做这个节目的原因。这不仅仅是给聪明人的娱乐。实际上有一个重要的使命。我们正在努力优化这个使命。帮帮我。或者至少帮助高质量的讨论，因为很多不同观点的人都同意这是一本高质量的书，为讨论做出了贡献，我们需要更多这样的书。再次感谢你和我一起踏上降低“PDoom”的旅程，通过说服普通人人工智能对他们和他们的亲人构成紧迫的生命威胁。这是一项非常重要的工作。我将在周一的Alazer采访中见到你们所有人，我将在周二的派对上见到你们。气球落下。[音乐]