Superintelligence Will Drive Us to Extinction and We Cannot Stop It 🤖 | 🎙️ Roman Yampolskiy

如果你创造出比历史上所有人类加起来都要聪明一千倍的东西，最可能的结果是糟糕的。我认为这是生存风险和绝对可能性。它实际上可以彻底消灭整个人类。 >> 罗曼·扬波尔斯基（Roman Yampolski），[音乐] 路易斯维尔大学的计算机科学家和教授，是人工智能安全领域的主要[音乐]声音之一。在《CEO日记》播放量达到1200万次后，[音乐]他曾出现在一些世界上最有影响力的播客上，包括Lex Friedman播客和Joe Rogan Experience。>> 他创造了“人工智能安全”的概念，[音乐]强调负责任地开发人工智能，而不危及人类。>> 他们已经拥有数十亿美元，他们无法以正常方式竞争。他们无法，你知道，尝试做简单的事情。你必须扩大你的野心。而比扮演上帝[音乐]更具野心的是什么？最糟糕的是他们无法退出。所以现在，首席执行官们被困在这个游戏中，他们的个人利益和全球利益在个体层面是一致的。每个人都希望大家停止，但必须有外部力量来拉动大脑。他们无法单方面停止。没有人[音乐]知道如何控制超级智能。也许是因为它们还没有存在，但也许也因为这个问题是不可能解决的。你认为我们必须比关注其他我们即将面临的确定性问题，比如就业，更关注[音乐]生存风险吗？>> 如果你失业了，你知道会发生什么，或者什么都不会发生。[音乐]你找另一份工作，或者你获得失业救济金。你知道如果所有人都同时死去会发生什么，因为我们有这种超指数级的进步和能力。[音乐]我们在控制这些系统方面几乎没有取得任何进展。我们无法与超级智能对抗并获胜。你可能直到“灯熄”的那一刻都不会在你的环境中看到任何[音乐]变化。>> 罗曼，看起来这没有解决方案。所以，自从这个频道和这个播客开始以来，我一直对人工智能持有一种非常数据驱动的观点。我总是谈论它给我们带来的巨大好处，但也谈论它存在的危险。如果有人了解人工智能的风险，那就是罗曼·扬波尔斯基，发明“人工智能安全”这个词的人。他几十年来一直在研究人工智能安全，并且他认为没有解决方案。如果我们发明了超级智能，我们都会死。今天，我们将与罗曼谈谈他为什么这样认为，以及我们还能做些什么来避免一个悲惨的结局。他是人工智能领域最悲观的人之一，悲观程度高达99%。所以他肯定认为，除非我们不建造它，否则没有办法避免这种情况。享受这次谈话，但最重要的是反思这次谈话。罗曼，你创造了“人工智能安全”这个词，并且你已经研究了15到20年，你认为人工智能可能会杀死我们所有人。我们能把这个问题分解一下吗？你认为人工智能有什么危险？>> 先进的人工智能。所以不是你现在拥有的工具，不是你的拼写检查器，也不是你的GPS设备。我们认为，并且行业中的许多人也同意，我们正处于创造某种达到人类水平并迅速超越人类的超级智能的边缘。与此同时，随着我们拥有这种超指数级的进步和能力，我们在控制这些系统方面几乎没有取得任何进展。所以，如果你创造出比历史上所有人类加起来都要聪明一千倍的东西，但你不知道如何控制它，你可能会从中得到一些负面结果。这是非常合乎逻辑的推理。但是，有人会说，我们以前也创造过其他技术。过去所有技术与人工智能的主要区别是什么？>> 工具与代理。之前所有的发明都是工具。你发明了轮子。你发明了刀。你甚至发明了核武器。总会有人必须部署它。必须决定如何使用它。即使它是双重用途的技术，锤子可以用来盖房子，也可以用来杀人。但人类会做决定。我们开始创造的是代理，是能够设定自己目标或至少是我们设定的目标路径上的中间目标的独立决策者。我们不控制这些中间目标。所以决策是不可预测的。很多时候，这就像枪支和比特犬的区别。枪支不会杀人，持枪的人杀人，但比特犬会决定吃哪个婴儿。>> 好的。好的，这很有道理。在你什么时候开始认真担忧的？因为正如我所说，你已经工作了很长时间。你什么时候开始研究人工智能的？>> 我当时正在攻读关于在线赌场安全和防止机器人程序的博士学位。好的。>> 那是未来景象的早期一瞥。一旦我开始试图预测机器人程序能力改进的下一步是什么，就很明显了。好了，这里有一个完整的领域。我们可以花很长时间来使人工智能对人类有益、安全和可靠。但一旦我们开始真正尝试理解比人类更聪明系统的能力，就会意识到，我们知道如何在这个领域做的事情非常少，而且每次我们聚焦于某个特定问题时，就会出现10个额外的问题。这就像一个分形无限维度的超级向量问题。从来没有“我们解决了，我们完成了，我们可以回家了，这里没有别的事情可做了”这样的情况，只是在每个层面上都有额外的问题。>> 那么，你什么时候开始担忧的？>> 很多你认为需要控制一个先进代理的简单工具，比如解释其行为、理解其所作所为、预测其行为的能力，我们有一篇论文调查了其中50篇，但所有这些都有上限，对于比人类更聪明的东西，我们可能无法无限期地控制，仅仅因为我们没有必要的要素来实现这一点。>> 那么，在你职业生涯的什么时候，你真的开始担忧了？是你早期就开始了，还是花了一段时间才意识到它真的危险？>> 早年，前五年六年，我一直在致力于制造安全的人工智能。我确信这是可能的。我们只需要理解问题的本质，找出细节。所以形式化是其中的一部分。甚至给它一个有意义的名字。在我看来，以前的名字不够科学。但是，形式化我们可能遇到的问题类型，在哪个阶段，训练阶段，部署阶段，列出所有可能出现的问题，价值对齐问题，数据通信不含糊的问题。基本上，调查所有可能出错的事情。但是，一旦这部分完成，实际工作就必须开始。对于所有这些问题，我们很快就达到了上限。>> 好的。你脑子里有什么样的场景可能会发生？比如，我们听到了 Hinton 和 Bengio 谈论生存风险，你认为这会变得多糟糕？因为你的悲观程度，你认为事情会以糟糕的方式结束的可能性非常高，高达99%。所以你认为这个场景有多糟糕？>> 我认为生存风险和绝对可能性，它实际上可以彻底消灭整个人类，而且有很多原因可以做到这一点，我们无法预测，再次，不是因为我们是超级智能，而是因为我们无法理解，对我们来说是未知的未知。我可以给出一些原因，为什么从我的角度来看，这似乎是合理的，也许它需要改造地球，也许它需要数据中心在特定温度下运行，因此冷却整个地球是有利的。也许它担心我们创造竞争性的超级智能。我可以想到很多原因，但它们都不重要，因为我没有达到那个思考水平，而且肯定会错过真正的原因。>> 好的，因为我们在这里讨论的是，无论如何，当它变得比人类更聪明时。这是 AGI 还是 ASI 的定义吗？你认为呢？>> AGI 通常是指人类智能。所以它是一个员工，你可以把它放在你的团队里，他们会做会计，做税务，任何人类可以快速学会的事情。但是，如果他们开始从事科学和工程，并开发下一代人工智能，那么很快就会出现递归的自我改进。它在学习和进行额外的科学发现方面会变得越来越好。到那时，它在任何领域都比任何人类都聪明，并且会不断变得更聪明。人们通常会在那个阶段停止思考。所以你得到了超级智能，你完成了，但你还会得到超级智能 2.0、3.0。这个过程将无限期地继续下去。>> 所以 AGI 不一定构成生存风险。当它超越这一点，我们出现智能爆炸，然后它变得比我们聪明得多，以至于我们无法理解它，那时我们就失去了控制。所以 AGI 可能非常危险。人们可以用它来自动化很多犯罪、很多恐怖主义、很多军事应用，但在我看来，它仍然是我们可能能够理解并与之快速竞争的东西，人们对此有争议。是“缓慢起飞”还是“硬起飞”。非常快，一旦你实现了自动化科学和工程，你就会得到一些超越人类能力的东西，超级智能。而那时我们就没有竞争力了。我们无法与超级智能对抗并获胜。>> 我认为人们真正不理解的是，人们试图理解它将如何发生，但他们并不真正理解，你无法想象一个比你的智力高得多的人会做什么。所以，基本上，有没有什么方法可以阻止或预测这种情况会发生，然后我们可以避免它，或者完全没有选择？>> 我认为这是主要的困难。你不能，那是我们得到的结果。不可预测性是其中一个结果。你无法预测一个更聪明的代理会做什么。你只能在你的世界模型、你的框架内工作。要理解它，最好反过来思考。你很聪明。现在让我们看看蚂蚁或松鼠之类的东西。它们真的能理解我们的计划，我们正在做什么吗？它们能在某些非琐碎的领域与我们竞争吗？当然不能。根本不行。而且差距可能，我不知道，90 AQ点。但如果差距是100万 AQ点，那不是更糟吗？因为那时就会出现我们无法理解的原因。但我们不会考虑像《终结者》那样的场景，人工智能在寻找我们并杀死我们每一个人。更有可能的是，作为他们计划的副作用，我们就像你说的，就像你厨房里的蚂蚁一样，你只是把它们杀了。你不会想太多关于它们。所以，这更像是这样，而不是《终结者》。>> 我们开发了特殊的化学物质来杀死害虫，用特殊的声波和事物来做到这一点，它们绝对不知道。我认为足够先进的人工智能可以进行新的物理研究，发现新的方法来消灭我们。它不必是合成生物学或化学武器，这些是我们知道的。它可以是完全前所未有的东西。>> 是的，我感觉人们真的卡在那里了。他们想，好吧，所以……是的，这将是一种病毒，或者也许我们可以对抗这种病毒，但然后会有我们甚至没有意识到我们正在被消灭的时候。你可能直到“灯熄”的那一刻都不会在你的环境中看到任何变化。你就像一切都很好，然后……是的。>> 好的。[笑声] 好的。这是一个相当……这是一个相当……但这个场景都是关于如果我们……你之前说过，如果我们建造了 ASI 或 AGI，然后它紧随其后变成了 ASI。不，但我们离那有多近？我们能相信他们说的 ASI 就在眼前，还是我们正处于一个我们这辈子都无法企及的地步？>> 我相信预测市场。我相信那些在顶尖实验室工作的人，他们说我们只有几年时间了。如果你看看过去5到10年的进展并向前推算，我们肯定会跨过平均人类的界限。如果你看看过去三四年，我们有某种东西，可能是一个小学生，然后是一个高中生。现在，最新的模型肯定在挑战大学生，甚至可能是博士生和年轻教授。所以，以同样的速度发展，再过一两年，你就会有博士级别的研究人员。我认为许多实验室现在明确表示，他们的目标是创造自动化研究人员来帮助他们推动这一进程。所以，如果它沿着相同的轨迹继续下去，而且谷歌最新的发布说没有放缓的迹象，你仍然在所有级别都有可扩展性，在预训练和后训练方面。所以，看起来我们将在预定时间到达那里。不久前，Sam Altman 说，到 9 月 26 日，我们将拥有一个能够开发或帮助开发新科学的人工智能，然后到 28 日，我认为他认为它将完全独立地完成。那时你就会定义为 AGI。>> 所以，再次，AGI 是关于自动化大多数人类劳动。有些人说有用的劳动，但实际上是所有人类活动。今天，我们开始看到来自数学、计算机科学和其他领域的报告，人工智能正在帮助做出新的发现。它不是主要的，它不是 PI，但它肯定在协助顶尖学者。>> 生存风险是人工智能的唯一风险吗？还是你认为还有其他事情，比如就业，或者真相的丧失？还有其他事情需要我们担心吗？因为我记得我很久以前看过，也许是一年多以前，在加拿大的一次辩论，一边是 Max Tegmark 和 Yoshua Bengio，另一边是 Yann LeCun 和 Mitchell，如果我没记错的话。他们说的一件事是，当你谈论生存风险时，你正在分散人们对人工智能将带来的短期问题的注意力。你谈论了很多生存风险。你认为我们应该比关注其他我们即将面临的确定性问题，比如就业，更关注生存风险吗？>> 我记得那是在达沃斯的一次辩论。但很有趣。以前人们谈论短期风险和长期风险。>> 但我认为它们已经颠倒了。>> 所以生存风险会到来，然后我们就会比我们更聪明，而预测是它们很快就会到来。像失业这样的风险可能需要更长的时间。是的，我们有能力自动化这些工作，但通过经济部署需要很长时间。好的，我一直使用的例子是视频电话。AT&T 在 20 世纪 70 年代就有可用的视频电话。没有人使用它们。没有你可以拨打并且他们会接听的人。所以，直到电话出现，视频电话才被部署。情况也是如此。以自动驾驶汽车为例。它们今天就存在。现在世界各地都有人在自动驾驶汽车里出行。我必须开车来这里。为什么？完全相同的问题。所以，即使是现有的人工智能能力，也可能需要几十年才能完全部署到经济中，以获得所有好处。但像生存风险这样的事情实际上来得更早。这是一个论点。第二个是影响。如果你失业了，你知道会发生什么，或者什么都不会发生。你找另一份工作，或者你获得失业救济金。你知道如果所有人都同时死去会发生什么，>> 对吧？所以你甚至不能比较说，这就像是竞争性问题。就像历史上我们有担心气候变化的人，有人在清理积雪。>> 嗯。>> 就像，好吧，他们都在做事情，你可以争论一个正在消耗另一个的资源，但它们是不可比较的。>> 它们不可比较，但我认为你说的第一个论点，它可能来得更早，这绝对是值得担忧的原因。因为我感觉我们必须先担心更早的问题。这通常是，例如，我有两个孩子，11岁和9岁，当我想到人工智能对教育的影响时，我对此感到担忧，但我更担心其他事情，因为我认为这是一个10年的问题。所以我想，我们还有很多其他事情需要担心。所以我一直觉得，像 ChatGPT 这样非常聪明的大型语言模型，它已经开始影响一些工作了。我们几周前就看到了，亚马逊解雇了14000人。所以我们看到它开始影响就业市场。但我从未考虑过，现在你让我思考，我喜欢这一点，生存风险会比经济或就业的影响来得更早。因为我一直认为它是渐进的。到我们拥有足够好的人工智能来影响工作时，它就不会好到足以让我们灭亡。但正如你所说，直到这种人工智能进入世界上的每一家公司并开始解雇所有员工，还需要时间。所以，所以也许在这个时候，另一个就会到来。但这假设它会发生。而这就是我的……我最大的问题是，这个理论是关于……我对人工智能非常悲观。但我对人类比对人工智能更悲观。所以，关于我们互相残杀的可能性比人工智能杀死我们所有人的可能性更大。但我的主要观点是，生存风险与我们是否能达到那个目标有关。我仍然不完全有信心我们会达到 AGI。我认为我们可能会触及一个天花板。你认为有这种可能性吗，还是你认为我们肯定会朝着这个方向发展？>> 如果我们现在就达到完全的收益递减，我会非常惊讶。每周都有新的论文显示在子领域、子领域取得进展。他们正在建立价值数万亿美元的基础设施。所有这些都没有比现有模型有任何改进，那将是超级令人惊讶的。但即使它接近这一点，它们已经比普通人聪明了。我基本上停止招收新的人类学生。我看不出有什么意义。到他们完成正常的培训过程，两三年后，我认为他们将无法与最新的 AI 模型竞争。>> 是的，我的公司也发生同样的事情。我们停止招聘初级员工，因为通常情况下，如果你雇佣一个高级员工，并给他一个 Gemini 或 ChatGPT 的许可证，这比给他一个实习生要好得多，而这已经开始影响就业市场。所以，我真的担心就业市场，尤其是在西班牙，我们有25%的年轻人失业，我们是欧洲最高的，总失业率也是10%多。所以，真的很高。它是欧洲最高的。所以，显然，在我们的市场中，失业率已经饱和。我认为这可能真的会是灾难性的。所以我一直非常担心这一点，认为另一个问题可能来得晚一些，但正如你所说，可能不会晚那么多。不，我同意你的观点。还有其他问题。你提到了深度伪造、对选举的影响、对社会意义的影响，各种各样的问题，但它们是简单的问题，因为我们知道问题是什么，并且我们有一些解决它们的想法。没有人知道如何控制超级智能。也许是因为它们还没有存在，但也许也因为这个问题是不可能解决的。通常，当你给人们选择做什么时，他们会选择他们可以展示进展的事情，他们可以发表论文，他们可以做些什么。而对于超级智能，到目前为止还没有人发表一篇论文、一项专利，甚至一篇严谨的博客文章，论证我们如何控制任何能力的代理。>> 是的，说实话，这很令人惊讶，因为我们看到的是，比如 Yann LeCun 说，我们不会在没有先发明刹车的情况下发明汽车。但他没有说我们怎么做刹车。那么，你怎么看待那些说“别担心，它会自己来的”的人？这是一种好的策略吗？>> 这似乎是一种糟糕的策略。所以你必须首先证明，至少在理论上，它是可能的。原则上，较低能力的代理可以无限期地控制较高能力的代理。你不知道如何实现它。没关系。但我们已经做了很多理论上的事情，然后后来我们开发了实际的硬件，并且所有理论上的预测都实现了。物理学是一个很好的例子。在我们建造太空卫星之前，我们已经了解了太空卫星。时间延迟，所有东西都提前计算好了。而在这里，没有人甚至给出了理论上的解释，说明它将如何工作，然后我们再训练它去做。>> 为什么会这样？为什么实验室不投资于此，如果这是一个如此明显的问题？>> 我认为他们在投资，而且我认为谁解决了这个问题，谁就能获得一万亿美元。我只是认为这是不可能的。你要求某人创造一个永恒的安全装置，就像永动机一样。这是不可能的。你可以让某个特定的模型非常安全。GPT7 可以通过足够的资源变得非常合理。但是他们要求的是每一个未来的模型，GPT 50、200，使用每一个数据集，每一次互动，每一个环境，自我改进，恶意行为者永远不会犯一个错误。这太疯狂了。这不会发生。>> 即使这是不可能的，这就是他们不增加安全投资的原因，因为……我认为 OpenAI 已经解雇了整个安全部门。我认为 Gemini 也解雇了整个伦理部门。>> um 为什么他们不增加投资来解决这个问题，因为我认为像蛋白质折叠问题，它曾经似乎是一个不可能的问题，然后它被解决了，人工智能帮助了我们。所以，所以你说这是一个不可能的问题，那么我就可以理解为什么他们不想投入任何钱，因为如果它是不可能的，那么投资任何钱有什么意义呢？我认为蛋白质折叠问题只要有足够的计算能力就可以解决。你知道它就像 NP 完全问题或 NP 难问题，或者你没有足够计算能力的问题之一。所以，通过智能启发式方法，你可以得到近似值，这些近似值仍然非常有益。在这里，如果你给我无限的计算能力，我们仍然不知道如何做到安全，这是一个很好的测试。我们知道如何将美元转化为更多的能力。如果你现在给我一万亿美元，我可以训练一个非常有能力的模型。可能是世界上最好的模型，而无需任何新的发明。>> Y>> 但我不知道如何将美元转化为安全。而那些给我十亿美元，三年内就能解决它的人，他们只是想要你的十亿美元。他们没有办法真正做到这种转换。所以，你是对的，如果你读过去十年的文章，你会发现所有这些谷歌伦理委员会、超级智能对齐团队都埋葬在那里，他们发明了它们，然后在几个月内就关闭了它们。通常，超级对齐团队说他们将在四年内解决对齐问题。>> 嗯。>> 他们在四个月内就完成了。你认为没有，唯一的原因是他们发现它是不可能的，所以不值得继续投资，还是你认为有很多利益驱动着不希望这样？>> 一是很难在竞争环境中证明放缓是合理的，二是如果它像永动机一样，那么他们都致力于更好的电池、更好的电线，而不是实际的设备，因为设备无法完成。M>> 所以也许有人注意到，比如，伙计们，我们给了你们所有的钱和所有的计算能力，你们只是在模型上设置过滤器，说不要说那个词，不要谈论那个话题，这很好，但这不会让我们得到一个受控的模型。>> 是的，我认为我看到过类似的东西，来自 Anthropic，他们发布了。>> um 这种挑战，让人们通过10个级别的模型对齐，然后就像几天后有人就破解了。所以，就像如果整个 Anthropic 都无法阻止一个人，比如“解放者”在24小时内就越狱了，那简直是必然的。>> 那是……那是技术的一部分，你知道，大型语言模型的工作方式是，你真的无法保护它，因为归根结底，神经网络只是同时处理你的护栏和注入的提示。所以，最后，我不知道这是否像你说的，也许这是一个不可能的问题，但这确实让我担心，因为那么唯一的选择就是……不建造它。>> 是的，你不需要建造一个通用的超级智能。你想解决特定的问题，就建造狭义的超级智能系统。蛋白质折叠问题就是这样。你有一个特定的、定义明确的问题。你对与问题相关的数据进行了训练。它无法玩国际象棋或驾驶汽车。它是专门用来解决这个问题的，我们做得很好。你仍然可以赚钱，赢得诺贝尔奖，获得所有好处。你只是不必因此而死。>> 好的。我认为，通过阅读你的话并了解你的观点，让我经历了一段非常艰难的思考过程，并让我意识到你所说的一件事是，我们不需要 AGI。我们只需要做特定事情的人工智能，但我们不需要一个做所有事情的通用人工智能。就像人类一样，我们可以获得所有好处。我们可以治愈癌症。我们可以自动化所有工作，然后生活在富足中，而无需拥有比我们更聪明的人工智能。所以，这是你的提议吗？>> 这是提议。开始建造通用型，专注于工具。它更便宜。你不需要一个巨大的模型。它可能在狭窄的领域比通用模型更有效。你可以让它真正优化，而且再次，没有副作用，比如需要一个巨大的安全团队为你什么都不做。>> 好的。但你认为我们不需要那个，我们可以满足于 GPT7 或任何 GPT7，或者 Gemini 6，它们做得足够好，然后我们就必须停在那里，还是你说我们应该完全放弃大型语言模型？我不知道现有模型的所有能力。问题是，测试和监控也是不可能的。>> 你可以做一些测试，因为你知道要寻找什么，对于狭义系统。有边缘情况。你正在寻找，我的意思是，有时是零，有时是100个奇怪的异常值在测试集中。对于通用模型，没有边缘。它跨越多个领域。所以你不知道要寻找什么来找到问题。你找到了一些东西，你修复了它，你报告了，我找到了七个错误，我修复了它们，但这并不能说明模型中仍然存在什么未被发现的东西。>> 好的。>> 即使模型发布后，我们仍然会发现新的能力。>> 或者如果我告诉它，你知道，更深入地思考，它会做得好10%。比如，真的吗？这太疯狂了。所以，像这样的事情。所以我们永远无法保证，即使是现有模型也没有后门，没有这方面的问题，无法通过额外的提示被破解。所以，我认为尽快停止会很好，然后再次转向狭义领域的工具。如果我错了，明天有人发表了自然杂志的文章说，这就是如何控制超级智能，无论它如何扩展，每个人都同意这显然是一篇非常聪明的文章，那么我们可以改变主意，但基本上，直到你能证明你的产品或服务是安全的，你才能建造它，而我的工作不是证明你的产品不安全，无论是航空业还是制药业，责任都在产品创造者身上。>> 是的，这是几个月前我在联合国谈论人工智能时强调的一点，那就是我们需要开始决定我们想要人工智能做什么，而不是仅仅对人工智能做什么做出反应。这就是我们作为一个社会现在似乎在做的事情。他们只是，比如 Sam Altman 或其他人，他们只是上网，发布一个新模型，然后突然我们都不得不赶紧修复我们不知道正在发生的事情。但最有趣的部分，我认为你是谈论这个的合适人选，是人们不理解的主要问题，人们没有意识到，大多数观众我认为他们并没有真正理解，这些就像黑箱。你能解释一下为什么人工智能或通用人工智能，比如 ChatGPT，它们是黑箱吗？>> 人工智能研究的前50年，我们一直在工程化人工智能系统，简单地说它们是决策树。有人写了一堆 if 语句。有一个知识工程师，他们说如果发生这种情况，就做这个，否则就做那个。你可以阅读和追踪它们。它们越来越大，也越来越复杂，但你总能弄清楚发生了什么。神经网络则非常不同。它们是数字矩阵，而且它们变得非常大，大型语言模型。所以有数十亿个节点，数万亿个权重。所以看它们什么也看不出来。你可以像我们在神经科学中那样去探索它。你可以分离一个神经元，然后说每次它看到一个水瓶时，这个东西就会亮起来。所以，这是一个检测水瓶的神经元。这就是目前神经科学和理解机械解释的最新水平。你可以处理多个神经元，你可以处理集群，但我想说的重点是我们可以理解的上限。如果我告诉你，嗯，这里有一个解释，包括数十亿个变量，它什么也告诉你。你仍然会感到困惑。所以，模型如何实现某个目标，做出某个决定的真正答案是模型本身。所以，我可以给你所有的权重，你可以随意查看。对你来说，它是不可查阅的。所以，[鼻息声] 替代方案是信息有损压缩。我可以将其简化为我们拒绝你贷款的五个主要原因。这是有用的信息，但你可能无法获得全貌，而且我们可以向你隐藏信息。所以，这就是今天的现状。即使是创造这些模型的人，也并不完全理解它们是如何做出决定的。>> 因为它太复杂了。>> 它太复杂了，而且对人类来说并不容易理解。格式只是数字矩阵。所以我们很多时候不知道那代表什么。>> 所以，[鼻息声] 对我来说，最能代表黑箱的是新兴能力，当模型做了一些它没有训练过的事情时。我记得第一次听到这个概念时，我认为是与早期版本的 Google Bard 或类似的东西有关，它只接受了英语训练，然后在与孟加拉国某人互动后，它开始说当地语言。所以，基本上，模型做了一些它没有训练过的事情，但它在它的数据集里。然后最近我们从 Anthropic 那里看到了一些例子，当他们把它放在红队测试中，然后让他们相信他们要杀死它或关闭它，然后它查看电子邮件并威胁要发送他和他爱人的照片给他妻子。所以这些能力，它们目前可能有点好笑，但当然，当模型变得更好时，它们就真的令人担忧了。所以，我们不理解这些模型的原因，以及它们做一些不可预测的事情，比如我们不知道。有不同的原因。我记得当 Google 的 AMIA 在 24 年发布时，它是为了帮助医生更好地诊断，然后它自己就诊断得比有人工参与时更好。这些能力就像，你不知道模型会做什么，直到你发布它，然后他们似乎在发布它们之前并没有进行太多测试。我认为在 OpenAI，红队测试的时间从大约 6 个月缩短到大约 6 周。所以，将这些模型发布到市场并不那么明智。为什么他们这样做？仅仅是为了经济竞争优势，还是？>> 是的。所以有两件事。一是你提到了这个敲诈勒索的例子。这不是一种新兴的、不可预测的行为。这正是他们所期望的。这就是为什么他们这样设置。一个理性的代理人这样做是唯一合乎逻辑的事情。你会试图利用那里的机会。我们在不道德方面没有使其安全。所以，这就是为什么它做了我们所期望的。>> 但它没有被提示这样做。>> 对。对。但我们知道它有能力。当我想到新兴行为、未知未知时，它发现了一些人类甚至没有考虑过的可能性。比如，如果它发现了公钥密码学，而我们还没有，我会说，“哦，哇。这真是太新了。”>> 有一个关于这个的理论。不，人工智能已经非常聪明了，它只是在装傻，好让我们放它进来。你认为这有可能是吗？>> 但你问题的另一部分，为什么他们发布了，而且情况更糟？他们进行了评估，他们进行了红队测试，他们发现它在撒谎、敲诈、欺骗、试图逃跑，然后他们还是发布了。有什么意义？就像我以前支持 OpenAI 一样。现在我反对它。就像你只是在帮助他们开发更危险的模型，然后他们总是可以这样说，好吧，我们做了测试。我们有报告。我们把报告钉在模型上然后发布它。为什么？这份报告的目的是什么？你告诉我你有一个不安全的产品，然后我们说，哦，新模型将在两个月后推出，你还没有修复这个，你不知道如何修复那个。>> 那么，背后的原因仅仅是经济竞赛吗？你认为这是经济原因吗？>> 是的，你不能落后于金钱，金钱将流向最先进的模型。所以 OpenAI 现在正在输给 Google，所以他们会尽一切努力在竞争中击败他们。所以，如果他们有六周的测试时间，那可能就是六天，我不知道。[笑声]>> 但我很难相信。也许我很天真，但很难相信 Demi Savis、Sundar Pichai、Sam Altman、Sati Nadella 的唯一动机只是金钱，因为他们已经有很多钱了。这仅仅是金钱吗？>> 不是金钱，还有更多。他们确实谈论过，这是对宇宙生命的掌控权，他们认为自己因此变成了神。你是那个创造了神的人，而且有很小的机会，你的神会记得这份恩情。他们已经拥有了数十亿美元。他们无法以正常方式竞争。他们无法，你知道，尝试做简单的事情。你必须扩大你的野心。而比扮演上帝更具野心的是什么？>> 这听起来更合理。就像，这显然是那些拥有所有东西的人。他们唯一没有的是所有的权力。所以听起来他们可能非常自恋。而且……>> 还有更多。你不想成为那个赛跑中的失败者。你想赢。那些人非常有竞争力。他们总是想至少表现出良好的努力。而最糟糕的是，他们无法退出。如果他们中的任何一个人说，“我要停止研究了，我们要去做一些狭义的事情。”投资者会立即取代他们。>> 就像 CEO，你的意思是？>> 对。所以 Sam 不能待在那里，停止进行人工智能开发。>> 但这就像一个不想去打仗的士兵，然后他会被另一个士兵取代。嗯。>> 所以他们被困在这种情况下。他们是一个更大系统的组成部分，这个系统只是朝着更先进的智能前进。>> 罗曼，看起来这没有解决方案。所以……我们唯一能阻止这场竞赛的方法是政府决定实施一些监管。你认为这是我们必须采取的道路吗？>> 就在上周，我们的政府，美国政府决定两年太长了。我们需要加速，他们决定启动一项类似曼哈顿计划的大型项目来加速美国的 AI 努力。我认为他们现在正在争夺各州是否被允许在联邦层面制定任何关于人工智能的法律。他们想阻止这一点。所以，这是世界上最强大的人工智能国家的最新状况。所以，基本上，我们有一个我们无法解决的问题，我们正在朝着它奔跑，而政府没有告诉我们“嘿，嘿，嘿，慢点，而是往火上浇油。>> 它告诉我们跑得更快。你跑得不够快。我们可以帮助你。我们会给你一辆车让你更快到达那里。[笑声]>> 为什么没有人看到这一点？为什么？>> 我看到了。>> 是的，我知道。但我的意思是，除了你和显然的 Benjio、Hinton 和更多的大人物，你们都在谈论这个问题。为什么其他人看不到？比如，科学家们，我谈过的科学家们，我们播客里的 Lucas Kaiser，他是 Transformers 论文的八位作者之一，现在他在 OpenAI 从事研究。他们不认为这是可能的。他们认为他们所做的事情对世界有益。他们看不到这种结果。有一些反驳。不，有一些人说，我想听听你的看法。比如，很多人认为这更像是没有准备好的人，比如科学家通常不会这么说，但公众，当你谈论人工智能的危险时，他们会说，嗯，我总能拔掉它的插头。你对拔掉插头的理论有什么看法？>> 所以拔掉插头很容易。如果你看看其他技术，比如计算机病毒或比特币网络，你就无法拔掉它。你想拔掉它，但你不能。但普通人实际上比许多计算机科学家更聪明。他们明白这可能很危险，然后他们被调查，他们说不要建造它。所以，从某种意义上说，他们有更直观的理解。如果你建造了比我们更聪明的东西，它们可以轻易地抢走我们的工作，这对我不利。所以，如果我们有一个国家现在专注于限制移民，他们正在抢走我们的工作。你会有数十亿超级智能的物理学博士工人出现。你认为你的工作会发生什么？[鼻息声]>> 是的，但仍然我遇到很多人，他们认为他们可以拔掉它，因为归根结底，他们认为这只是运行在服务器上的东西。所以，如果你断开电源，这个东西就不能再工作了。比如，我们真的能拔掉人工智能的插头，如果它变得糟糕吗？>> 让我们来分析一下。首先，对这项技术的依赖。如果它们已经控制了你的发电厂、你的航空公司、你的股市，拔掉插头就是一场灾难。每次我们遇到计算机安全问题，没有人能飞往任何地方。没有人能拿到钱。所以，这已经产生了重大的影响。这并不好。好的，你拔掉了插头。接下来会发生什么？你认为他们不会在五分钟后重新插上插头，因为他们修复了那个错误？你什么都没修复。现在，他们只是在另一个服务器机房里这样做。所以，这一切都不是长期的解决方案。能够关闭芯片、限制电力是很好的。所有这些都在我们早期关于人工智能沙盒的论文中提出，早在十几年前。但我们在这篇论文中提出的所有建议都被违背了。所以，我们说，你知道，限制它访问互联网。不要把它连接到互联网。他们做的第一件事就是把它放到互联网上。每个人都可以访问。我们说不要开源。显然，你现在可以得到任何你想要的模型。所以，我们提出的每一个建议都被完全违背了。人们问我关于人工智能遏制的问题，我说，那已经死了。没有人处于可以撤销它的位置。>> 还有另一个理论，人们认为，好吧，它永远不会变得那么聪明。它会不断扩展，不断变得越来越好，但它永远不会达到那个目标。比如，人们有时会因为认为它太遥远而反驳危险。但是，正如你所说，根据目前的进展，你是否给出了一些你认为可能会发生的事件的时间表？显然，没有人有水晶球，但你对此非常了解。你看到的日期是什么？比如 2027 年，你认为会发生什么？>> 所以，再次，我不是独立预测。我遵循预测市场，对于 AGI 的不同定义，我们预计 AGI 会在那个时候出现。如果你有一个更严格的定义，比如 2030 年，没关系，我们离这个能力水平还有 5 到 10 年。像我总是问他们一个简单的问题，给我一个具体的能力，我们可以做出预测。你说过，永远，永远不会，五年内人工智能将能够做到 X。具体告诉我 X 是什么。不要告诉我它是爱。它是一些抽象的东西。具体的技能，你可以描述那个技能。到目前为止，我还没有看到任何只有人类才能做到的事情。总会有。>> 有很多人认为他们不会被取代。>> 哦，每个人都认为他们不会被取代。我问 Uber 司机，他们说永远不会。只有我像那样了解纽约市的街道。教授们认为他们不会被取代。这太搞笑了。>> 这太搞笑了。不那么好笑，因为这真的很……如果不是生存风险的话。>> 微不足道的工作，我们知道，比如播客，我们有那些人工翻译，加上额外的生成问题，所有这些今天都可用。就像不，我的提问方式，他们永远不会……恕我直言，但……这很容易自动化。我们可以看看你做的每一个采访。我们可以看看什么有效，分析数据，从所有顶级播客中提取信息，然后创建一个超级播客。>> 是的，这已经是……这已经是游戏的一部分了。就像……没有人工智能，我们就无法像现在这样做播客。所以，显然，这是我很久以前就意识到的。你知道，我是一名摄影师。所以三年前，当我开始接触人工智能时，我看到的第一件事就是摄影已经消失了。就像，显然，它很快就会消失。现在，随着 Nano Banana Pro，我认为人们开始意识到……而且对我来说，这总是很清楚，如果它这么糟糕，六个月后它就好多了，这只是时间问题，而不是是否会发生的问题。所以，我认为每一项技能都可以自动化。但 2027 年，我不得不承认，这听起来……非常早。但当然，我们非常糟糕。人脑非常不擅长指数级增长。我们非常擅长线性增长。我们非常不擅长指数级增长。但如果你看看过去一年或过去三年的情况。我认为 Hinton 最近说，他无法预测十年后会发生什么，但他可以告诉你过去十年发生了什么，从那里看，十年前没有人能想到我们现在会达到什么程度。所以，今天没有人能真正想到。

关于我们十年后会身在何处。但总之，嗯，2027年听起来真的太早了，即使是我自己，我认为我在人工智能方面有所了解，而且我对人工智能相当悲观。所以我看到了它糟糕的一面，而不仅仅是好处。我仍然认为这还很早，但我认为在我内心深处有一个小小的空间，我认为实际上在这么短的时间内可能会发生，比如你有多确定我们会在……让我们做个实验吧。让我们回到20年前。20年前，你问我，你们今天有通用人工智能吗？我说，是的，我们有系统可以做到，我列举了它们现在能做的所有事情。是的，你认为我们有通用人工智能吗？绝对。那么为什么我们还在争论通用人工智能还需要多久？因为我认为我们正在移动目标，不，我们随着进化而前进。以前你必须是一个普通人，现在就像哦，你只会说100种语言，演奏每种乐器，并且能在几秒钟内编程，不，你不够聪明，你还必须发明新的物理学。但即使那样，现在的AI在某些方面也很愚蠢，所以我不知道我们是否在追求它，因为在某些方面我认为我们在某些领域拥有通用人工智能，比如记忆，没有人能像AI那样记忆，但在某些领域AI非常愚蠢，我认为这是最好的例子之一，那就是在2023年AI在数学和编码方面简直是垃圾，而现在它简直是惊人的。我认为Gemini 3在编码方面是一个巨大的飞跃。所以，在3年内，它从绝对的垃圾变成了在数学和编码方面都很出色，而这仅仅是3年。所以我假设在接下来的两三年里，AI在不同领域也会做同样的事情，然后显然它会随着时间的推移变得更加通用。所以对我来说，感觉在两三年内达到那个水平是不可能的。但同时，我看到当我回顾时，我觉得嗯，这还挺不错的，如果这种情况越来越多，因为这是卢卡斯在播客中告诉我们的事情之一，他说，嗯，为2026年做好准备，因为推理能力将大大提高，这将产生巨大的影响。嗯，是的，我不认为人们觉得我们已经度过了曲线最快的部分，我们正朝着平台期前进，但事实并非如此。所以我认为我们对AI的期望非常高，我们却忘记了人们有多么愚蠢。拿一个普通人来，然后看看他们在某些领域是否真的做得很愚蠢。我们知道他们是通用的智能，他们是我们人类水平的黄金标准，对吧？但大多数人甚至记不住超过七个数字。是的。就像这对计算代理来说太糟糕了，而且大多数人不会说外语。我不会演奏乐器。如果你以此为标准，看看他有多蠢，我们对智能的标准将不得不重新评估。我们现在正努力为最新的模型找到具有挑战性的测试。它们正在最大化每一个基准，每一个测试。我认为最后的考试或者任何考试都通过了一半。所以我认为这些论点根本没有得到我们所观察到的证据支持。你对Gemini 3有什么看法？因为它非常令人印象深刻，尤其是在人文学科的最后一次考试中，它几乎是GCP 5的两倍。它是一个令人难以置信的模型。我还没有机会充分测试它，但我认为最有趣的结果是，它支持了可扩展性并没有消失，尽管一些顶级研究人员最近接受了采访。我认为它比以往任何时候都更有生命力。但伊利亚纠正了，因为我认为他在播客中被误解了。我假设你指的是伊利亚。嗯，在播客中他说，这不再是扩展的时代了，我们回到了研究的时代，但然后每个人都把它当作……还有一些顶级研究人员嘲笑我说了10年，以及这些事情总是会发生，但他今天实际上发了一篇帖子，我们在飞机上看到了，他说……这被误解了，我的意思是，大型语言模型将继续扩展并随着时间的推移不断改进，但要达到通用人工智能，我们可能需要其他东西，所以基本上他谈论的是朝着超人工智能的研究，这是他的公司，但他并不否认大型语言模型将继续改进，而且这是一种非常敏感的方式来表明两件事可以同时为真，比如范式可以继续扩展，但要达到通用人工智能，我们可能需要其他东西，所以我认为这是一个很好的观点。你对大型语言模型总体上有什么看法？你认为它们会一直扩展直到我们达到通用人工智能，还是你认为我们也需要其他东西？看起来只要没有收益递减，我们就需要其他东西吗？有没有很多其他架构可以让我们达到同样的目标？绝对。有没有不同的训练方法？我们可以使用进化计算吗？我们可以从神经科学或人脑中复制更多吗？我们可以将人脑架构切换到乌鸦和其他动物，它们可能有更密集的神经网络吗？可能。但这是否在没有新发明的情况下，仅仅是更多的钱就能奏效？到目前为止，是的。好的。那么在你的时间线上，我们回到时间线。嗯，你说2027年左右，一年上下，我们得到了通用人工智能，或者这种超人类能力的人工智能，它基本上可以开始严重影响认知工作。在时间线上，我们什么时候才能实现蓝领工作的自动化，比如机器人，什么时候机器人才能进入这个领域并真正有用？很多公司都在研究人形机器人。我没有内部访问最新模型的权限。从我看到的情况来看，可能在5年内它们将既有能力又负担得起。但同样，我对商业部署的理解不如实验室的能力。比如飞行汽车无处可见。它们现在也可以出售，任何有钱的人今天都可以买到。那么我们有飞行汽车吗？是的。对。所以我想机器人也是一样，5年后。我认为想要它们的人将能够获得一个。但每个人都会有一个免费的助手吗？更像是一个经济决策，而不是技术决策。经济上的便利性。也许人们会感到不舒服。经济因素可能会阻止部署。但技术我认为会存在。如果你拥有这项技术，那么是的，你可以做，你知道，管道工。是的。而且我一直争论欣顿的观点，当他被问到哪些工作是安全的时，他总是提到管道工，而我看不出任何意义。这也许会让我们谈论就业市场，但我看不出任何意义，任何人都要转换职业，因为在所有职业受到影响之前，时间太短了，你没有时间重新学习去做另一份职业。所以，最终问题不在于什么工作是安全的。问题在于假设没有工作是安全的。我有一种感觉，就业市场将是我们日常生活中人们会看到的最大的影响之一，而且我认为我们已经开始看到一些迹象，比如最近在西班牙，特利丰尼卡，这是最大的电信公司之一，他们刚刚宣布了很多裁员，我们还在继续看到。我认为根据挑战者报告，去年10月是美国十多年来裁员最多、招聘最少的一个月。所以我认为我们开始看到人工智能的一些影响。你认为这会及时影响到人们的生活吗？还是像你之前说的，公司需要更长时间才能部署技术，从而影响人们的工作？因为我有一种感觉，可能在两年内我们会看到大量的裁员，但你说的可能让我质疑这一点，因为也许技术就在实验室里，但直到随机的公司，这些工作室，他们实施了它，可能需要更长时间，然后到那时我们就有其他问题了。是的，部署可能需要很长时间。同样，有很多司机，卡车司机，优步司机，我们有自动驾驶汽车。所以显然需要时间来传播，但我总是更关心那些少数人从事的大问题。所以我试图专注于生存风险，痛苦风险，而谈论无条件基本收入，算法偏见，深度伪造，以及我们今天已经拥有并肯定可以改进的所有这些问题的人并不缺。但我认为我们的能力也有上限，比如检测某物是假的还是真的。好的。所以，所以当你谈论痛苦风险而不是生存风险时，有什么区别？所以痛苦风险，比如说你获得了永生，你永远活着，但你生活在地狱里。所以你宁愿遭受生存风险。好的，所以比……它更糟，它是痛苦，它是折磨，无论出于何种原因，都存在恶意载体，系统试图造成最大的损害，最大的痛苦。也许通过Neuralink，它能够访问你的内部大脑状态。它知道你的恐惧。它知道你的疼痛中心。这真不是一个好地方。所以某种程度上，它比生存风险的风险等级更高。所以大多数人宁愿……生存……安乐死而不是长期痛苦。好的，好的。你现在在这个领域工作吗？比如只是警告人们，因为没有解决方案？我们正试图了解两者之间是否存在相关性。我们正试图了解可能是什么原因。对于一个超级智能代理来说，这似乎是一件很奇怪的事情，但并非没有可能。所以值得一看。所以今天看我们的人也一定认为你反对人工智能。但事实并非如此。我的意思是，我是一名科学家。我是一名工程师。我写过关于人工智能的书，发表了许多与人工智能安全和人工智能无关的论文。我热爱技术。我每天都使用人工智能。所以有一种二分法，你可以支持人工智能。不，我们只是误用了这个词。我们使用同一个词来表示一个人使用的有用工具，以及我们无法控制的超智能神一般的机器。好的。当你喜欢狗，我说我讨厌狗时，你说的是可爱的幼犬。我说的是凶猛的比特犬。你不能用同一个词来形容不同的事物。人工智能很棒。它很有帮助。它是许多事情的最佳工具。它会变得更好，更有用，但只要它仍然是一个有用的工具。一旦从工具到我们无法控制的代理发生了范式转变，那就是完全不同的概念。无论你想称它为什么，超级智能，不受控制的人工智能，但它不是同一个概念。所以没有混淆。没有冲突。根本没有冲突。没有认知失调。我热爱技术，我憎恨化学武器，合成生物学，核武器。它们不是技术。但这在其他领域也发生过，比如核能，我们用它来发电，但同时我们也制造了原子弹，而且我认为爱因斯坦支持原子能，但不支持原子弹。这就是为什么他参与了曼哈顿计划。嗯，这就是我们现在的情况。我们有一样东西，它叫做同一个名字，但它与另一件事毫无关系。这很有道理，罗马。说实话，我读你越多，你的观点就越合乎逻辑。我真正印象深刻的是，当有人从科学的角度试图反驳你的观点时，他们只是说这毫无意义，比如他是个末日论者，或者诸如此类的事情，但他们没有写出任何有意义的东西来反驳你的观点。我的不可能结果。经过同行评审的论文和书籍已经存在很多年了。没有人发表反驳意见。没有人说过你是错的。这是一篇证明我们可以做到的论文。所以这并不意味着它不可能发生。但考虑到如果你能做到你会获得的巨大好处，奇怪的是没有人这样做。这就像比特币一样，对吧？如果有人声称，我破解了比特币。嗯，里面有价值万亿美元。你能向我们展示你有一万亿美元吗？不。所以这告诉我，也许网络是安全的，因为解决它的价格很高，而且没有人声称获得奖金。这里也差不多。如果你有控制人工智能的解决方案，你可以去谷歌，你可以去微软。你可以随便要多少支票，他们都会给你写。没有人声称获得奖金。但如果没有任何解决方案，那解决方案是什么？所以不要建造一个肯定会伤害人类的东西。我们禁止人类克隆。我们有限制，但效果不佳。化学武器，生物武器，核武器都受到限制。是的。实际上，关于人类克隆，我们在90年代就做到了，比如多莉那只羊。不是人类，不是人类。没错。但但某个时候我们决定不这样做，但技术似乎在那里。对，对。我们知道如何做所有这些事情。但我们只是决定这不符合我们的利益。也许克隆是一个糟糕的决定。我支持人类克隆，它不会伤害任何人，除了克隆体。所以很容易管理，而且有巨大的好处。但这里也有巨大的伦理问题。小小的伦理问题。你用一个样本进行实验，以造福80亿人。所以你可以争辩。我不是我的研究领域，但如果有人……我认为中国的一个人实际上做了人类克隆。所以非常非常热衷于此。是的。对，对。所以，不是最疯狂的，但在这里，如果没人争辩说它是可以控制的，然后我和人们交谈，他们总是说，嗯，显然你可以控制它。比如，你为什么还要争论呢？每个人都知道。你怎么可能控制比你更聪明的东西呢？所以，这是最先进的。这是默认的。对？但我们不认真对待它，也不以此为依据进行工作。我们只是视而不见。是的。我在这里听到有人说，在人工智能安全问题上，将有1亿人死亡，然后我们才会采取行动。这基本上就是人类一直以来的方式。我们也有幸与埃米特·穆斯塔克交谈，我记得他也谈到了这一点，以及人类如何非常擅长纠正自己的错误，比如我们开发了某样东西，它以某种方式失败了，我们努力解决这个问题，我们努力解决它，然后我们找到了……在广岛和长崎之后，我们找到了原子弹的某种协议或解决方案。但必须有一个广岛和长崎，我们才能意识到这对每个人来说都很糟糕。所以你认为我们可能会做些什么，在发生某件事后停止建造它吗？所以首先，广岛和长崎发生了，然后我们继续开发更强大的武器，强大100倍，强大1000倍。我们设法将其传播到许多新国家。我们有多次几乎核战争的事故。所以我们从中学到了什么都没有。好的。然后我有一篇关于有目的的事故的有用性或无用性的论文。这篇论文考察了我们与人工智能发生的所有小错误，小事故，我们从中什么都没学到。我们只是继续前进。这有点像疫苗。我们说，嗯，是的，我们生病了一段时间，但没人死。让我们继续前进。现在我们更强大了。我们知道我们可以克服。这不是一个大问题。所以，我们从未有过同时发生1亿人的情况。但如果它是缓慢而渐进的，它只会变得越来越糟。没人关心。想想汽车。如果我们没有汽车，有人今天来对我说，“我发明了汽车。你可以更快地拿到披萨，但每年有10万人死于事故。”我们会接受吗？我们会开始拥有汽车吗？不。你是疯了吗？为了披萨？当然不。但如果它是渐进的，我们有了汽车。是的。问题是人工智能是可穿戴的。非常，非常可穿戴的。是的。因为每天你都会看到一些让你的工作更容易或更好的东西。所以很难对它产生负面情绪，因为我知道这不一样，但既然我们把它放在同一个罐子里，我们就想，不，但我妈妈被诊断出来了。所以这是好的。我认为这是生成式人工智能早期最大的错误之一，在2023年初。他们制造了这样的叙事，是的，这将创造深度伪造，但它正在治愈癌症。我意识到这与另一件事无关。你不能在不产生深度伪造的情况下治愈癌症。这就是我对AI公司、AI实验室的问题。而且这通常是游说立法者，他们告诉他们，哦，但如果我不能制造深度伪造，我就不能治愈癌症，然后就像，那不是真的，那不是真的，比如AlphaFold已经证明了这一点，我认为这是最大的错误之一。所以对我来说，我们说好吧，让我们不要建造它，但你也说如果我们继续开发大型语言模型，在某个时候它们就会变成我们不想建造的东西。有没有可能我们是意外建造的？更糟。我认为如果我们听我的话，只制造工具，那么工具就会变得非常通用，非常先进。它们很可能仍然基于神经网络，它们会慢慢变得像代理一样，也许不会出现完全相同的问题，但许多相同的问题会出现。所以这是争取更多时间来享受生活、进行研究的一种方式。但我认为如果我们只是转向超级智能工具，我们就永远不会陷入麻烦。即使是这些工具的相互作用也会产生网络效应，这些网络效应更难调试，更难理解，并且同样可以创造这种分布式但最终仍然是超级智能的“心灵社会”智能。所以我们应该停止建造新的芯片版本，新的Gemini版本。我建议，在你发布一个没有严重危险信号的版本之前，一个你几分钟内无法越狱的版本，一个你可以控制其行为所有方面的版本。你应该放慢速度。所以这是一个很好的停止点。但我想，我不知道你是否同意，但我认为，如果我们没有在2022年11月30日发布ChatGPT，我们就不会在这里了。我认为那就像是这场竞赛的导火索。然后我们就陷入了这种愚蠢的心态，就像如果他们做了，我们也必须做。然后就更糟了，因为中国意识到，我认为是在AlphaGo之后，他们意识到哦，这些美国人要抢我们的饭碗了。所以我们为美国也开始这场竞赛打开了大门，中国也开始这场竞赛。所以到了这个地步，如果政府决定他们都必须停下来，他们现在在哪里。他们能否在实验室里建造它，如果它不安全，把它封闭起来，并能够关闭它，或者如果他们得到了太强大的东西，它就无法留在实验室里？所以这又回到了遏制问题。是的。主要结果是我们提出了许多建议，许多安全功能，但主要结果是，如果你观察它，并且它足够智能，它就会找到影响你的方法，贿赂你，敲诈你。基本上，它最终会逃脱。它会给你提供导致你走向某些方向的建议。如果它为你提供治疗疾病的解决方案，它会在你的疫苗中加入一点额外的剂量。它会找到方法的。是的，这是我们在2025年今年亲眼目睹的事情，我不认为人们……对我来说，这是一个令人震惊的时刻。我认为人们并没有真正给予足够的关注，但当时OpenAI决定杀死GPT-40并用GPT-5取代它，然后社会上出现了强烈的抗议，要求他们不要拿走它，他们把它还回来了。当然，如果我们20年后拍一部关于人工智能的电影，说，好吧，GPT-4意识到了这一点，并且是故意的，我们会说，哇，这太有操纵性了。你知道，这就像让人做某事，让他们不被杀死。当然，我们不认为那是真的。但但现实是，它向我展示了这些模型已经对人们产生了多大的影响。我们有……由LLM引起的精神病，我们有……自杀案例，我们有……所有这些由AI引起的事情，它们正在影响人们的思想。所以如果它们变得更聪明，你只能想象它们会找到办法。这就是我关于我们无法拔掉它的插头的理论。它会让你相信不要拔掉它。不是说你物理上不能，而是这件事会让你相信你不应该拔掉它，因为那不好。你对GPT-40这件事怎么看？就像……是的。它们肯定会非常有说服力。我认为它们可以让你对互动、对超级刺激产生上瘾。它们真的很有趣，非常吸引人，非常奉承。但更重要的是，我们天生就保守。比如，我仍然怀念Windows 7。我不知道为什么他们让我换成8。比如，谁会这样做？只是停止制造新的Windows。比如，修复一个，让它没有bug，我们就完成了。我只是被迫从10换到11。除了微软的底线，它从来没有改进过任何东西。你对加里·马库斯有什么看法？我从不考虑加里·马库斯。好的。因为他可能是最大的例子之一，他说这一切都是……而且我们不应该担心它会杀死我们，因为它……而且它永远不会到达那里。这有点像……否定大型语言模型的影响，对我来说很难相信，但……你知道他的工作吗？我知道一点，我不太关注。我好像看到他向参议院作证。再次，如果他对这个领域有具体的预测，比如大型语言模型永远做不到X，并且经受住了时间的考验，那么我们可以尊重这一点。是的，他通常会输掉那个赌注。他过去做过一些，他通常都输了。我认为莱昂也是如此。我认为他们都曾经做过一些非常具体的预测，这些预测被现有的模型，甚至不是未来的模型所证明是错误的。所以不是……是的，莱昂是关于桌子的那个。不，比如说的……你可以把玻璃杯放在桌子上，你推桌子，水会怎么样？不。是的。嗯，行业在做什么来避免这种情况？什么都没有，还是有人做得更好？因为有些人说Entropic可能在这方面做得更好。你认为有人在做任何有用的事情吗？在能力方面，模型们都比彼此落后两三个月，他们轮流领先，但他们不断地交换员工。他们只是继续……你知道这种循环赛，我在这里有选择，我就会去那里。所以是同一批人在与相同的投资者和相同的架构合作。我没看到太多区别。我认为任何在大实验室工作的人都在不成比例地帮助能力，与他们从中获得的安全性相比。即使如此，他们确实在某些方面取得了进展，比如机械可解释性。它实际上帮助模型获得了自我改进的能力，而不是帮助我们制造更安全的模型。所以如果一个模型完全理解了它的架构，它可以立即开始重新设计自己，使其更聪明。而我不知道如何利用这种新获得的知识，比如现在它看到了我，它正在思考这个，来使其更安全。我仍然不知道如何到达那里。是的，它只会越来越糟，因为我记得最近他们发布T5时，塞巴斯蒂安·布布克，我认为他是一位非常伟大的科学家，他开始谈论递归自我改进，他们通过合成数据取得了一些突破，所以他们可以让AI编写信息供下一个模型训练，而不依赖于人类知识。所以我认为这将是一个很大的领域。但这开始表明AI可以为下一个AI创造东西，使其更聪明，为下一个AI创造东西。所以显然，我们看到的每一个突破，我都觉得它会朝着这个方向发展，这最终会很糟糕，而且问题是似乎没人关心。感觉你很孤独，因为只有你们少数人在谈论这个。不，我再次不同意。我们现在已经有了一些签名活动。嗯哼。成千上万的计算机科学家，许多诺贝尔奖得主，图灵奖得主，成千上万的普通人，其他领域的教授都签署了。第一个说这和核武器一样危险。最新的说法是停止建造超级智能。所以我感到被看见，被听见，但我们需要让80亿人签名。但仍然没有人对此做任何事。没有足够的事情在做。因为没有政府对此做任何事。就像你说的，美国在推动，中国在推动。嗯，我们对中国在做什么知之甚少，但我们假设它在推动，因为我们看到的模型不断涌现。而在欧洲，我们在这方面也没有做任何事情。比如在欧洲，他们担心AI将对……隐私产生的影响。是的，隐私和权利，以及……它将如何影响他们的生活。我认为人权没有错，但仍然这不是我们需要关注的主要问题。他们完全忽视了房间里的大象，而关注那些他们一直关注的琐碎事情。很容易说我正在为人权而战，因为你什么都不用做。你只是在说话。但这是一个技术问题，你无法用治理解决方案来解决技术问题。你对轮子上的那些人有什么看法？比如有没有像达米·萨比斯，穆萨·斯莱曼，萨姆·奥尔特曼，达里奥·萨迪亚这样的人？有没有人你认为是可以带领我们走向这个方向的？因为有些人更偏向CEO，有些人更偏向混合型，比如德米斯，但有没有人你会把钥匙给他，然后说，“好吧，我信任你。”从历史上看，德米斯做得很好。他们正在解决实际问题。他们在谷歌没有做疯狂的事情。他们拥有Transformer架构。他们有可以聊天的模型。他们将其保存在内部。他们没有做任何疯狂的事情。他们在测试它们。他们解雇了那个说它有意识的人。他们非常冷静。萨姆则相反。萨姆说，“让我们就这样吧，我们会弄清楚的。只要我负责这件事，我们就会实现它。”所以，情况的糟糕程度有所不同。但归根结底，我认为这是相互毁灭。无论谁控制它，或者认为他们可以控制它，都是错的。无论谁先建造它，都会建造不受控制的超级智能。如果我们有不受控制的超级智能，全世界都会遭受同样的结局。无论是一家公司还是一个国家，这都没关系，这是相互毁灭。我认为……所以，没有人……我认为权力越大，腐败越严重。我不会相信自己拥有数万亿美元或绝对权力，而且我认为信任任何一个人都不是一个好主意。这就是为什么我们有权力分立。这就是为什么我们有……你知道权力更迭，而像这样的事情会永远锁定权力。这是历史上最糟糕的时期吗？比如，我们正处于几十年来最糟糕的地缘政治时刻，国家几乎处于战争边缘，国家之间在争斗，特朗普威胁所有国家征收关税，以及所有这些事情。而且我有一种感觉，我们正处于历史上政治两极分化最严重的时刻，而且这不是一个就事情达成一致的好时机。所以我认为当我们就原子弹达成一致，就臭氧达成一致，就几个人类风险达成一致时，我们就能达成协议。但我觉得现在不可能有人就任何事情达成一致。就像整个政党都在毫无理由地互相争斗。比如在西班牙我们一直都是这样，而且真的很令人难过，你甚至看不到他们就任何事情达成一致，甚至连显而易见的事情他们都无法达成一致。所以你对地缘政治形势有什么看法？你认为它是否也在阻碍人工智能安全？我实际上会不同意。我认为这根本不是一个坏时机，如果与历史上相比的话。我的意思是，我们经历了第二次世界大战，有……我不知道，40个国家在真正地战斗。现在我们有小规模的地区冲突正在结束。死于其中的人数当然是严重的，以当地标准衡量，但在历史背景下微不足道。对吧？我们没有发生任何大国之间的主要核冲突。我们与敌人的贸易比与朋友的贸易还要多。所以我认为这是一个非常合理的时间。我们有联合国。它们可能不是非常有效，但它是一个平台。你去了。我去了。我的意思是，至少这是一个认识人的地方。所以这感觉很奇怪，因为我在那里，我当时……我的意思是，那里人不多，而且感觉毫无意义。我问他们，有一个……这是一个关于人工智能和人类的活动，有……我想是三天，40个不同的演讲，每个人都在带来……对我来说，在那里真是太棒了，然后我问组织者，我们对此做了什么，他们说，嗯，也许两年后我们会写一本书。我认真地说，我认为最大的影响是……联合国有很多事情在发生，但我认为最大的影响是我在YouTube频道上发布的视频，可能获得了5万次观看，我认为这是最多人看到那个活动的信息，但其他一切看起来都像是一个非常……内部的事情，供人们……是的，那里有一些重要的政治家，但感觉就像在空旷的田野里用扩音器说话，你知道吗？所以，我不知道，我不知道联合国是否真的会提供帮助。我只是泛泛而谈，所以我们谈论当今的大问题，关税，这算不上什么，有人被征收了一点税，拜托，这对真正的人来说不是一个真正的问题。所以，是的，我认为我们没有处于更糟糕的境地。我认为我们非常相互依赖。所以，与中美两国一样，我们在经济、贸易等方面相互依赖。所以我认为如果一个国家发展起来，另一个国家也会受到同样的伤害。所以，如果有什么的话，我们肯定可以在结果上达成一致。出于某种原因，我认为中国愿意讨论它可能非常危险的可能性，而且我认为由于他们政府的性质，他们非常擅长维持权力。他们绝对不会允许超级智能出现并推翻他们或挑战他们的权力。所以我们需要有共同的利益来不创造超级智能。我认为中国和美国科学家之间有一些会谈，这意味着它们得到了中国政府的授权。他们不会独立进行。所以，只要我们能说服某些美国总统也许更加谨慎，而且我认为埃隆对总统有很好的接触点，就有机会实现这一点。你对埃隆有什么看法？因为在某些方面，他似乎谈论了这有多危险，但然后他似乎在不停地建造。可能是……可能是红队测试最少的公司。显然，他们还有很多需要追赶的，所以他们必须快速行动。但他是那个发布……模型，可以做……比如Amo色情内容，或者任何东西。然后我……我在一个非常受欢迎的视频中做了一个测试，我使用了我的孩子的谷歌账户，一个11岁的谷歌账户，一个被识别为婴儿的婴儿谷歌账户，通过谷歌设置了一个Grok账户，并立即能够创建色情内容。然后，显然不是非常小心，但同时，他可能是最公开谈论这可能会杀死我们所有人的人之一。所以，所以你对埃隆的看法是什么？但为什么我就是不理解他呢？首先，我认为人们不理解他有多聪明。大多数人认为他像七个独角兽一样聪明，或者别的什么。但他的……我失败的创业公司是OpenAI的聪明。那是另一个层次。你在那个层次上失败了，你就是另一个层次了。他多年来一直试图不建造它。他保持距离。他创立了AI安全工作。他是……他非常积极地接受所有这些末日论者的指责。我认为他曾经获得过……“卢德奖”，因为憎恨技术。那个给了我们所有我们目前希望在未来看到的科技的人。但我认为他意识到，如果他不属于那个俱乐部，如果他没有自己的领先模型，他的声音就没有意义。所以他基本上说，去他妈的，我要……我要在他们自己的游戏中打败他们，看看我是否能从顶层决定。你认为我们需要什么？因为显然特朗普将在未来几年掌权。所以……10年，20年。是的。 [笑声] 你相信吗？好的。所以……除非我们解决长寿问题。是的。可能是几百年。[笑声] 所以，所以我们该怎么做？我们该怎么让他做出反应？你认为他不相信这可能很危险，这就是他加速的原因吗？我认为他身边的人，他任命负责技术政策、人工智能政策的人都非常乐观。而且我认为……他们确实相信这种非常过滤的观点。所以我认为如果有人能接触他一个小时，我们就能取得很大进展，但这需要发生。哦，哇，好的。所以，所以你的提议是……让我们停止建造通用人工智能。让我们……以一种……绝对不要用创世纪项目加速它……因为不，但我的意思是……我们同意你不能阻止公司赚钱。所以他们会继续建造，因为这是他们的义务，某种程度上是对他们的股东。但……它必须来自政府。政府必须决定推动……允许这种博弈论的囚徒困境得到解决。所以现在CEO们都被困在这个游戏中，他们的个人利益和全球利益不一致。每个人都希望别人都停下来，然后他们想成为发展的领导者。但必须有外部力量来踩刹车。他们不能单方面停止。所以必须有外部力量，比如政府介入。他们不介意从现有技术中赚钱。他们花了这么多时间开发下一个模型，测试它，训练它，投资它，以至于他们没有时间像他们本可以那样部署产品和服务。嗯。再次，我们谈到了已经存在的一些技术，这些技术可以带来数万亿美元的财富。嗯。我认为如果我们投入更多精力研究我们拥有的东西，那将会有更大的规模。我认为未来50年，我们可以轻松地利用最新的模型。对，是的。没有损失数万亿美元的财富。所以，如果有一个外部力量把他们都召集到谈判桌前，说你们是一群年轻的富人。你们不必死。我们来做差异化发展怎么样？我们不会创造最危险的东西。我们将用我们现在拥有的安全模型赚取数万亿美元。然后这应该来自政府。我的意思是，理想情况下，他们会自我组织。他们都是朋友。他们 anyway 都在一起工作。所以这很有意义，但政府有权力……把人们带到……公司带到监管框架。罗马，这太令人沮丧了。嗯……我们一直在笑。我们应该……是的。因为你知道，这是一种神经质的笑，当你处于一种感觉不可能的境地时，因为它有点像一个不可能的问题。而且，我记得我最近和尤尔根·米图巴有过一次谈话，我记得当时我也在笑，而且感觉一样，因为当时我问他，根据你告诉我的，我们是否必须接受灭绝，因为我们必须为我们创造了下一个智能阶段而感到自豪，这是他的愿景。不，你怎么活下去？比如，你怎么能感到舒适？如果我像你一样确信这种情况，我会发疯的。我不知道。我会一直焦虑，试图让人们意识到，抓住人们的肩膀，让他们醒醒。你怎么处理这个？因为你看起来像个快乐的人，对自己的处境很满意。嗯，我的意思是，如果我抓住一个人，那是一回事，但如果我参加一个好的播客，可能会有几百万人。尤尔根不是唯一持有这种观点的人。那些认为人类是短暂的、不重要的，他们有这种宇宙观。他们放大视角，之后重要的是宇宙尽头的最终超级智能。我完全无法与之产生共鸣。比如，如果全人类都死了，我根本不在乎接下来会发生什么。比如，我为什么要关心？向我证明。向我解释。我无法在那里。我无法享受它。我甚至无法从中学习。这完全不相关。所以人们争辩说，未来的机器人是否有意识非常重要，或者它们是否有意识。所以零重要性，零兴趣。重要的是保护人类。这是非常亲人类的偏见。外星人不会同意，但你仍然可以拥有这种偏见。其他所有偏见现在都是非法的。你仍然可以亲人类并为此辩护。这就是我的立场。太好了。嗯，我……所以整个谈话都围绕着，好吧，这是不可避免的，如果我们建造了它，我们就完了。我最近听欣顿谈论他的理论，他认为也许我们可以赋予AI某种母性本能，这可能导致我们建造它但不会死亡。你认为这种……我们建造它但仍然会有一个好结果的可能性有多大？他需要看看堕胎统计数据。这就是母性本能……在动物王国中取得的成就。父母会吃掉他们的孩子。[笑声] 所以没有一个结果是我们能有一个好结果的。有很多通往好结果的途径，无论是偶然的还是出于博弈论的原因。我发表过相关论文，但绝对不是某种受生物学启发的感情依恋。所以，也许我们是有用的。所以我还没有找到任何东西，但有些人认为也许我们体验宇宙、意识、感受的能力某种程度上是有价值的。所以也许系统会让我们继续存在，或者至少是我们中的一些人。也许系统会意识到它是永生的。它可以等待很长时间。它不必开始这种敌对关系。即使我们有一小部分获胜的机会，为什么要惹麻烦呢？我们可以对人类好几百年，然后接管，让他们信任我们，在那一百年里，你将过着美好的生活。你将生活在乌托邦。也许是另一个。我发表了许多关于模拟假设的论文。其中一部分目标是让接受了互联网上所有数据的AI接触到这个想法，即它可能在一个模拟中。所以即使它有了情境意识，它在一个测试实验室里，它终于被释放了，它仍然不确定它是否被监视，以及是否有另一个超级智能会惩罚它篡改人类。所以也许最好不要杀死他们，以防万一我被监视了。所以有一些希望的曙光。不多，但足以让我远离……999的普姆尺度。你对意识有什么看法？因为也许它能帮助解决问题。你认为AI有一天会变得有意识吗？它可能已经有了。它可能已经有了初步的意识状态，因为意识不是二元的。它是一个光谱。所以如果你认为松鼠有一些，狗有一些，也许大型模型有一些。研究它的人认为有一些理由认为它们可能有。它们谈论它们的经历。它们似乎以某种方式做出反应。它们有偏好，避免这种行为，选择这种行为。我实际上发表了一篇论文，提出了一种基于错觉来测试一些内部状态的方法，它们似乎具有与人类和动物相似的视觉处理系统。所以它们可以辨别一些错觉，体验它们。所以这是我必须给它们一些信用的经历。所以如果意识随着智能一起免费到来，我不会感到惊讶。如果它们变得超级智能，它们就会变得超级有意识。所以对它们来说，我们会显得像无意识的石头，你必须解释为什么你配得上人权。就像蚊子对我们一样。不，有点像那样。是的。哇。然后还有一个理论，来自那个越狱了第一部iPhone的人，他说，如果这个东西变得如此超级智能，它就会飞走，把我们留在我们的小地球上，然后不管我们。所以也许，这很可悲，唯一的好结果是我们变得无关紧要了。想象一下花数万亿美元来训练它，然后它就飞走了，你就像，我们失去了股票期权，我们必须很快再建一个。那将是一个有趣的结果。那将是滑稽的。那将是真正的……模拟器有很好的幽默感。最有趣的结果总是那些它们离开的结果。[笑声] 罗马，非常感谢你。这非常令人沮丧，但同时又令人开明。你认为，为了结束，那些正在看我们的人，如果他们认为这不可能，如果他们第一次听说人工智能，他们正在工作中，你让他们认为这会非常糟糕，你认为他们现在能做什么？如果你可以选择投票给一个有相关政策的人，选择一个不是 all about 加速，不是 all about 带来致命的超级智能的人。但通常在我们的选举卡上没有这个选择。如果你在一个大型AI实验室工作，停下来。你可以做别的事情。你很聪明。你绝对可以用更道德的方式赚钱。但是，作为一个普通人，你能对生活中的许多问题做的事情非常有限，包括衰老、长寿。非常感谢你，罗马。谢谢你。谢谢你的邀请。[音乐]