Transcription
如果你创造出比历史上所有人类加起来还要聪明数千倍的东西，最可能的结果是负面的。我认为生存风险是绝对有可能的。事实上，它可能彻底消灭人类。罗马·詹波尔斯基（Roman Jampolski），计算机科学家，路易斯维尔大学教授，是人工智能安全领域的领军人物。他的《日记》（Diary of Zo）获得了1200万次播放，他还出现在一些世界上最有影响力的播客中，包括Lex Friedman的播客和Joe Rogan Experience。他提出了“人工智能安全”的概念，强调负责任地发展，不让任何人面临风险。他们已经拥有数十亿美元。他们无法以正常的方式竞争，他们无法尝试做简单的事情。你必须扩大你的野心。还有什么比扮演上帝更雄心勃勃的呢？最糟糕的是，他们无法放弃。所以，现在人工智能公司（AI companies）被困在这个游戏中，他们的个人利益和全球利益没有单独对齐。每个人都希望别人停止，但必须有外部力量踩下刹车。他们不能单方面停止。没有人知道如何控制超级智能。也许是因为它们还不存在，但也许也因为这个问题是不可能解决的。你认为我们应该比其他即将到来的安全问题，比如就业问题，更关注生存风险吗？如果你失业了，你知道会发生什么吗？什么都不会发生。你找另一份工作，或者说，你找到一份工作。你知道如果所有人都死了会发生什么吗？在我们拥有这种指数级进步和能力的同时，我们在控制这些系统方面几乎没有取得任何进展。我们无法与超级智能进行对抗并获胜。你可能直到完全停电都不会在你的环境中看到任何变化。罗马，看来对此没有解决方案。所以，从这个频道和这个播客开始，我一直对人工智能有一种二分法的看法。我总是谈论它给我们带来的巨大好处，但也谈论它带来的危险。如果有人了解人工智能的风险，那就是罗马·詹波尔斯基，提出“人工智能安全”这个词的人。罗马已经研究人工智能安全几十年了，他认为没有解决方案。他认为如果我们发明了超级智能，我们都会死。今天我们将与罗马谈谈他为什么这么想，以及我们还能做些什么来避免灾难性的结局。他可能是人工智能领域最悲观的人之一，他的概率估计大约是99%。所以他绝对认为除非我们不建造它，否则没有办法避免。享受这次谈话，但最重要的是，请思考它。罗马，你创造了“人工智能安全”这个词，并且你已经研究了15到20年，你认为人工智能会杀死我们所有人。我们可以详细分析一下吗？你认为人工智能的危险之处是什么？先进的，所以不是你现在拥有的工具，不是你的拼写检查器，不是你的GPS导航。我们认为，而且行业中的许多人都同意，我们正处于创造出与人类水平相当的东西的边缘，并且很快就会超越这种超级智能。与此同时，在我们拥有这种指数级进步和能力的同时，我们在控制这些系统方面几乎没有取得任何进展。所以，如果你创造出比历史上所有人类加起来还要聪明数千倍的东西，但你不知道如何控制它，你可能会从中得到负面结果。这是一种非常合乎逻辑的推理方式，但有人可能会争辩说，我们以前已经创造过其他技术。那么，过去的技术和人工智能之间有什么根本区别呢？工具与代理。之前存在的所有发明都是工具。你发明了轮子，你发明了刀，你甚至发明了核武器。某个地方的某个人必须部署它，必须决定如何使用它，即使它是双重用途技术。锤子可以用来建造房屋，也可以用来打死某人，但人类来决定。我们开始创造的是独立的决策代理，能够设定自己的目标，或者至少是朝着我们设定的目标前进的中间目标。我们不控制这些中间目标。所以很多时候，决策是不可预测的。这就像武器和比特犬的区别。武器不会杀人。持枪的人会杀人。但比特犬决定吃哪个婴儿。好的。嗯，好的，这很有道理。你什么时候开始认真担心的？因为就像我说的，你已经工作了很长时间了。你什么时候开始研究人工智能的？我当时正在攻读关于在线赌场安全和机器人预防的博士学位。那是我第一次瞥见了即将发生的事情。一旦我开始试图预测接下来会发生什么，能力，机器人的改进，就变得显而易见了。当然，这里有一个完整的领域，我们可以长时间地工作，使人工智能对人类有益、安全和受保护。但一旦我们开始真正尝试理解比人类更智能的系统的能力，现实是我们在这方面所知甚少。而且每当我们专注于一个特定问题时，就会出现10个额外的问题。它就像一个分形，一个无限维度的超问题向量。从来没有“我们解决了，就这样，我们可以回家了”。这里没有别的事情可做了。每个层面都有更多的问题。那么，你什么时候开始担心的？你认为控制一个先进代理所需的许多简单工具，解释其行为的能力，理解其正在做什么，预测其行为的能力。我们有一篇论文分析了大约50个这样的工具。如果它们都有局限性，都有上限，那么总体的结论是，我们可能无法无限期地控制比人类更智能的东西，仅仅是因为我们没有实现这一目标所需的要素。你什么时候开始真正担心的？是在一开始，还是过了一段时间你才意识到它真的很危险？最初的几年，最初的五年或六年，我一直在努力使人工智能安全。我确信这是可能的。我们只需要理解问题的本质并解决细节。所以形式化是其中的一部分，甚至给它一个有意义的名字。在我看来，以前的名字不够科学，但形式化我们可能面临的问题的类型。在哪个阶段？在训练阶段和部署阶段，识别所有可能的问题，价值对齐问题，数据问题以及通信不含糊的问题。基本上是对所有可能出错的事情进行全面研究。但一旦这部分完全完成，真正的工作就必须开始，而在每一个点上，我们都迅速达到了上限。好的？你脑子里有哪些可能发生的场景？就像很多人说过的，我们听到了像Hinton和Bengio这样的人谈论生存风险。你认为这种情况会变得多么严重？因为你的概率估计，你认为这种情况会以一个非常糟糕的方式结束的概率，非常高，高达99%。那么，你认为这种情况有多灾难性？我认为生存风险是绝对有可能的，而且实际上可能彻底消灭人类。而且有很多原因可以解释为什么它会这样做，而我们无法预测。再次，由于我们不是超级智能，所以我们无法理解。它们对我们来说是未知的未知。我可以给出一些原因，从我的角度来看，这是有道理的。也许它需要改造地球，也许它需要数据中心保持在特定的温度，因此冷却整个地球可能是一种优势。也许它担心我们会创造一个竞争性的超级智能。我想到了几个原因，但它们都不重要，因为我没有达到那个思维水平，而且我肯定会忽略显而易见的原因。好的？因为我们在这里谈论。无论如何，当它变得比人类更聪明时，就像我们可能需要为观众定义这一点，但这是否是通用人工智能AGI或超级人工智能ASI的定义？你的定义是什么？AGI通常是人类智能，它是一个即插即用的员工，你可以把它集成到你的团队中。它们会做会计，做税务，任何人类可以快速学会的事情，但如果它们开始从事科学和工程研究，并开发下一代人工智能，它们将非常迅速地通过这种递归的自我改进。它们在获取数据、学习、在该领域增加额外的科学发现方面会变得越来越好。所以在那一点上，它在任何领域都比任何人类都聪明，并且它会继续变得更聪明。人们通常会停止思考那一步。所以你有超级智能，就这样，但你会有超级智能2.0 3.0。这个过程将无限期地继续下去。所以，AGI不一定是一个生存风险。当它超越这一点，并且出现智能爆炸，变得比我们聪明得多，以至于我们无法理解它，那时我们就失去了控制。AGI可能非常危险。人们可以用它来自动化许多犯罪、许多恐怖主义、许多军事应用，但它仍然是我们可能很快就能理解并与之竞争的东西。在我看来，人们对此有争议，缓慢的起飞，快速的起飞，一旦你自动化了科学和工程，你就会得到超越人类能力的东西，超级智能，那就是我们没有竞争力的地方。我们无法与超级智能进行对抗并获胜。我认为人们不理解的是，人们试图理解它将如何发生，但他们并没有真正理解，你无法想象一个比你的智力高得多的人会做什么。所以，基本上，有没有什么方法可以预防或预测这种情况会是什么样子，我们可以避免它，或者根本没有选择。嗯，我认为这是主要的困难。你不能。这些是我们得到的结果。不可预测性是其中一个结果。你无法预测一个更聪明的代理。你只能在你自己的世界模型中，在你自己的框架内运作。为了理解它，反向思考会有帮助。所以你现在是聪明的那一个。让我们看看蚂蚁或松鼠之类的。它们真的能理解我们的计划和我们在做什么吗？它们能在任何非微不足道的领域超越我们吗？当然不能。一点也不接近。而且差异可能是，我不知道，90个智商点。但如果差异是100万个智商点，那就更糟了。当然，因为那样的话，我们就无法理解原因了，但我们不是在想终结者那种人工智能会来找我们并杀死我们每一个人的场景，而是更像，正如你所说的，由于它们的计划的副作用，我们就像蚂蚁一样，当你的厨房里有蚂蚁时，你就会把它们杀死，对吧？你不会多想它们。所以更像是这样，而不是一个终结者故事。而且我们开发了特殊的化学物质来杀死害虫，它们通过特殊的声音和我们绝对不知道的东西来做到这一点。我认为足够先进的人工智能现在可以进行物理学研究，以发现消灭我们的新方法。不一定是合成生物学或化学武器，这些是我们已经知道的东西。可能是完全前所未有的东西。如果我有一种感觉，人们会卡在那里。他们会想，嗯，嗯，是的，这会是一种病毒，也许我们可以对抗它，但然后会有一些我们甚至没有意识到我们正在被消灭的时刻。你可能直到灯光熄灭都不会在你的环境中看到任何变化。就像一切都很好，然后突然，好的，这是一个相当令人震惊的场景，但这个场景是关于，正如你之前所说的，我们建造了一个ASI AGI，然后它在之后变成了ASI，对吧？但是，我们离那有多近？我们可以相信他们说AGI就在拐角处，还是我们正处于它在我们有生之年不会发生的阶段？我信任预测市场。我信任那些经营研究实验室的人，他们说我们只有几年时间了。如果我们考虑过去5到10年的进展并将其投射到未来，我们肯定会跨越平均人类的障碍，毫无疑问。如果我们看看过去3到4年，我们有可能是小学水平的东西，然后是中学水平，现在是大学生被最新的模型挑战，甚至可能是博士生和年轻教授。所以以同样的进步速度，再给一两年，我们就有了博士级别的研究人员。我认为许多实验室现在明确表示，他们的目标是创造自动化研究人员来帮助他们推进这方面的工作。所以，如果这种情况继续下去，而且谷歌最新的发布，他们说没有放缓的迹象。你仍然在所有层面上都有可扩展性，预训练，后训练。所以，看起来我们将在预期的时间内到达。是的，不久前。Sam Altman说，到26年9月，我们将拥有一个能够开发或帮助开发新科学的人工智能。然后到28年，我想他说它将完全独立地完成。所以那将是你定义为AGI的那一点。再说一遍，AGI就是自动化大部分人类工作。有些人说有用的工作，但实际上是所有人类活动。而今天，我们开始看到数学、计算机科学和其他领域的报告，人工智能正在帮助进行新的发现。它不是首席研究员，但它无疑会协助顶尖学者。而这就是生存风险，唯一来自人工智能的风险。还是你认为还有其他担忧，比如对就业的影响或可能失去真相？还有其他值得我们担心的事情吗？因为我记得很久以前，也许是，是的，事实上是一年多以前。在加拿大某地有一场辩论。一边是，我记得是Max Tegmark和Joshua Bengio，另一边是Jan LeCun和Mitchell，如果我没记错的话。他们说的一件事是，当你谈论生存风险时，你就会分散人们对人工智能将带来的短期问题的注意力，对吧？你谈论很多生存风险，你认为我们应该比其他即将到来的安全问题，比如就业问题，更关注生存风险吗？我认为那场辩论是在达沃斯，如果我没记错的话，也许是，但那很有趣。以前人们会谈论短期风险和长期风险，但我认为这两个词的顺序颠倒了。所以生存风险会到来，然后我们将比我们自己的系统更聪明。预测是它们会很快到来。像失业这样的风险可能需要更长的时间。是的，我们有能力自动化这些工作，但将某样东西部署到经济中需要很长时间。我一直使用的例子是视频电话。AT&T在70年代就有视频电话了。没有人拥有。你无法打电话给任何人接听。所以直到iPhone出现，视频电话才得到推广。情况也是如此。嗯，需要。自动驾驶汽车今天就存在。现在世界上有人在自动驾驶汽车里去各地。我不得不开车来。为什么？完全相同的问题。所以，即使是现有的人工智能能力，也可能需要数十年才能完全部署到整个经济中，以获得所有好处。但像生存风险这样的事情实际上会更早到来。这是第一个论点。第二个是影响。如果你失业了，你知道会发生什么吗？什么都不会发生。你找另一份工作？没关系。如果所有人都死了呢？确切。所以你甚至不能比较说，这些是竞争性问题。就像历史上我们有担心气候变化的人，而有人在铲雪。嗯。也就是说，两者都在做事，而且可以争辩说，一个正在占用另一个的资源，但它们是不可比的。它们是不可比的，但我认为，我认为你说的第一个论点是它可能会更早到来，这绝对是值得关注的原因，因为我有一种感觉，我们应该首先关注更早的问题。这通常是。例如，我有两个11岁和9岁的孩子，当我想象人工智能对教育的影响时，我对此感到担忧，但我更担心其他事情，因为我认为这是一个10年后的问题，所以我想在路上还有很多其他事情需要担心。所以，我一直有一种感觉，像ChatGPT这样智能的语言模型已经影响了一些工作。我们在一两周前就看到了。亚马逊解雇了14000人。所以我们看到它已经开始影响劳动力市场，对吧？但我从未考虑过，现在你让我思考，我很高兴，生存风险可能比对经济或工作的影响更早到来，因为我一直认为，当我们拥有足够强大的人工智能来影响工作时，它就不会强大到足以消灭我们。但正如你所说，需要时间才能让这个人工智能进入世界上的每一家公司，并开始解雇他们所有的员工。所以也许在我们发生之间，另一件事就会到来。但这是假设它会发生，而这是我对这些理论的最大问题，我对人工智能相当悲观，但我对人类比对人工智能更悲观。所以我们之间的相互残杀会比人工智能杀死我们更多。但我最担心的是，生存风险与我们是否真的会达到那个点有关。我仍然不完全确定，有信心我们会达到AGI，因为我认为我们可能会触及天花板。你认为有这种可能性吗，还是你认为我们肯定会朝着这个方向发展？我很惊讶，如果到目前为止我们会遇到完全的收益递减。每周都有新的论文展示在某个领域或子领域取得进展。资源正在构建价值数万亿美元的基础设施。如果它不会改进当前的模型，那将是非常令人惊讶的。但即使如此，它们已经比普通人更聪明了。我基本上停止招收新的人类学生。我找不到意义。当他们经过常规的培训过程，两三年后，我认为他们将无法与最新的AI模型竞争。当然，嗯，我在我的公司也有同样的情况。我们停止招聘初级员工，因为通常如果你雇佣一个高级员工，并给他，例如，Gemini或ChatGPT的许可证，这比给一个实习生要好得多，而这已经开始影响劳动力市场。所以，所以我非常担心劳动力市场。尤其是在西班牙，我们有大约25%的年轻人失业。我们是欧洲最高的，总失业率也是10%多一点。所以它确实很高，是整个欧洲最高的。所以显然在我们的市场已经充斥着失业。我认为这可能确实是灾难性的。所以这总是让我非常担心，认为另一个问题可能更晚到来，但正如你所展示的，也许它不会那么晚。我不同意你的观点，还有你提到的其他问题，深度伪造，对选举的影响，对社会意义的影响，各种各样的问题，但这些都是容易的问题，因为我们知道问题是什么，并且我们有一些想法来解决它们。没有人知道如何解决超级智能的控制问题，也许是因为它们还不存在，但也许也因为这个问题是不可能解决的。通常，当人们可以选择做什么时，他们会选择他们可以展示进展，可以发表论文，可以做一些事情的事情，而对于超级智能，没有人发表过一篇论文，一个专利，甚至一篇严谨的博客文章说，“我们可以这样控制任何能力的代理。”是的，说实话，这确实令人惊讶，不是吗？因为我们看到像J LeCun这样的人说，“我们不会在没有先发明刹车的情况下发明汽车。”但他并没有说，“我们将如何制造这些刹车？”那么，你对那些说“别担心，它会自己来的”的人怎么看？这是一种好策略吗？我认为这是一种糟糕的策略。所以首先，你必须证明，至少在理论上，原则上，能力较低的代理可以无限期地控制能力高得多的代理。你不知道如何实现它，没问题。但我们首先在理论上做了很多事情，然后我们开发了实际的硬件，以及所有理论上预测的东西。物理学就是一个很好的例子。我们已经理解了，你知道，在建造太空卫星之前。延迟，一切都提前计算好了，而在这里，没有人甚至给出了理论上的解释，说明它将如何运作，然后我们将训练它来做到这一点。为什么会这样？为什么？因为实验室不投资于此，如果这是一个如此明显的问题，那就是他们所认为的。我认为他们正在投资，我认为有人会解决它，有十亿美元的奖金。我只是认为这是不可能的。你要求一个永恒的安全装置，就像永动机一样。这是不可能的。制造一个非常安全的特定模型。GPT7，也许可以用足够的资源来做到，但他们要求的是，每一个未来的模型GPT50 200，每一个数据集，每一次互动，每一个环境，每一次自我改进和恶意行为者，永远不会犯一个错误。这太疯狂了。这根本不会发生。即使这是不可能的，这就是为什么他们不投入更多资金到安全领域的原因，因为我认为OpenAI解雇了整个安全部门，我认为Gemini解雇了整个伦理部门。那么，他们为什么不增加投资并试图解决这个问题呢？因为我认为蛋白质折叠问题在某个时候看起来像一个不可能的问题，然后它被解决了，人工智能在那里帮助了我们。所以，如果你说这可能是一个不可能的问题，那么我就可以理解为什么他们不想投入一分钱。因为如果这是不可能的，那么投入资金有什么意义呢？所以我认为蛋白质折叠问题一直都可以用足够的计算来解决。你只是知道它就像NP完全或NP难或其中之一，你没有足够的计算能力。所以通过智能的启发式方法，你可以得到近似值，这些近似值仍然非常有益。在这里，如果你给我无限的计算能力，我们仍然不知道如何实现安全，这是一个很大的考验。我们知道如何将美元转化为更大的能力。如果你现在给我十亿美元，我可以训练一个能力极强的模型。可能是世界上最好的模型，无需任何新发明。嗯。但我不知道如何将美元转化为安全。而那些说，“哦，给我十亿美元，三年内我会解决它”的人，他们只是想要你的十亿美元。他们没有办法进行这种转换。你说得对，如果你读过去十年的文章，你会发现一个谷歌伦理委员会的墓地，人工智能对齐团队，他们发明了所有这些，然后在几个月内就关闭了。通常，超级对齐团队说他们将在四年内解决对齐问题。他们在大约四个月内就完成了，嗯？你认为没有，唯一的原因是他们发现这是不可能的，所以不值得继续投资？还是你认为有其他原因不让他们这样做？首先，在如此竞争激烈的环境中，很难证明放缓是合理的，但其次，如果这就像永动机一样，这意味着每个人都在做一些相关的事情，比如更好的电池，更好的电缆，但从来没有在主要设备上，因为设备本身无法完成。所以也许有人意识到，伙计们，我们给了你们这么多钱，这么多计算能力，你们只给模型加了过滤器。他们说不要说那个词，不要谈论那个话题。这很好，但这不会让我们得到一个受控的模型。是的，我认为我看到过类似的东西，来自Anthropic。他们发起了一项挑战，让人们通过10个模型对齐级别，然后大约一周后有人就通过了。所以就像Anthropic自己无法阻止像Plinion the Liberator这样的人进行越狱。他一个人。每个模型在24小时内都会被越狱。这是事实。这是技术的一部分，你知道的，大型语言模型的工作方式无法真正受到保护，因为最终神经网络会处理你的安全屏障、提示和试图同时做所有事情的注入。所以最终，我不知道这是否像你说的，也许这是一个不可能的问题，但这确实让我担心，因为那样的话，唯一的选择就是不建造它。是的，你不必建造通用超级智能，对吧？如果你想解决一个具体问题，就创建狭义的超级智能系统。蛋白质折叠问题就是这样。你有一个具体且定义明确的问题。你用与问题相关的数据进行训练。它无法下棋或开车。它专注于解决这个问题，并且做得很好。你仍然可以赚钱，获得诺贝尔奖，并获得所有好处。你只是不必在过程中死去。嗯，嗯，我认为，通过阅读你的观点并了解你的观点，我经历了一个非常紧张的反思期，并意识到了一些我认为你提出的观点。也就是说，我们不需要AGI，我们只需要能够做某些事情的人工智能，但我们不需要一个能够做所有事情的通用人工智能，对吧？就像人类一样，我们可以获得所有好处，我们可以治愈癌症，我们可以自动化所有工作，然后生活在富足中，而不需要比我们更聪明的人工智能。所以这是你的提议，如何使用它？这就是提议。开始构建通用，专注于工具。它更便宜，你不需要一个巨大的模型，而且它在该特定领域可能比通用模型更有效。你可以对其进行大量优化，而且再次，没有一个巨大的安全团队对你毫无用处的副作用。但是，你认为我们不需要那个，我们可以满足于GPT7或任何东西，一个GPT7或Gemini 6足够好，然后我们就必须停在那里？还是你说我们应该完全放弃大型语言模型？我不知道现有模型的所有能力。问题是，测试和监控也是不可能的。你可以做一些测试，因为你知道在特定系统中要寻找什么。有边界情况。你正在寻找，我的意思是，有时是零，有时是测试集中的100个异常。对于通用模型，没有限制。它们在多个领域运行，所以你不知道要寻找什么。要找到问题，你找到一些东西，修复它，然后报告。我找到了七个错误，我修复了它们，但这并没有说明在模型中还有多少未被发现的东西。好的，即使在它发布之后，我们也会发现新的能力。哦，如果我说，“你知道吗？更深入地思考，它能提高10%。”什么？真的，这太疯狂了。所以这类事情，所以我们永远无法保证现有模型没有后门，没有这类问题。它们不会被额外的提示所攻破。所以我认为尽快停止将是极好的。然后再次转向更具体的领域工具。如果我错了，明天有人在《自然》杂志上发表文章说，“我们可以这样控制超级智能，无论它有多聪明，它都会扩展。”大家都同意。这显然是一篇如此出色的文章，那么我们可以改变主意，但基本上必须是。在你能够证明你的产品或服务是安全之前，你不能建造它。而我的工作不是证明你的产品不安全。无论是什么，航空业，制药业，责任都在产品创造者身上。我希望你们喜欢这个播客。对于所有中小企业主、自由职业者和企业家来说，你们想在2026年实现效率和成果的巨大飞跃，停止将人工智能视为未来，今天就开始使用它。请注意，我们与Infojobs联手推出一项价值连城的行动。重头戏，与我进行一对一的人工智能咨询，完全免费。是的，被选中的公司将获得一小时的私人会议，我们将分析你们的流程，并为你们提供将人工智能集成到你们业务中的确切路线图，保证绝对真实的结果。你们需要做什么才能获得这次咨询？很简单，进入企业私人区域，然后进入私人菜单，在那里你们可以报名参加Infojobs提供的这个绝佳机会。请记住，Infojobs平台已经使用人工智能来协助你们进行筛选和选择人才，使其更快更准确。这是为西班牙的任何企业，无论其规模或行业如何，将人工智能引入其所有运营的完美机会。截止日期有限，这次咨询肯定会给你的公司带来翻天覆地的变化。你可以在视频描述中找到Pymes Infojobs的链接。不要让你的竞争对手领先于你。我们继续播客。是的。是的，这是我在几个月前在联合国谈论人工智能时强调的一点。我们需要决定我们想要从人工智能那里得到什么，而不是对人工智能做什么做出反应。这就是我们社会似乎在做的事情。萨马尔特曼、埃隆，或者任何其他人，他们只是连接起来，发布一个新的模型，然后突然我们都得跑去修复我们不知道正在发生的事情。但最有趣的部分，我认为你是谈论这个的合适人选，是人们不理解且没有意识到的主要问题是，这些就像黑箱。你能解释一下为什么人工智能或通用人工智能，比如ChatGPT，是黑箱吗？这个概念是什么？人工智能研究的前50年，我们一直在设计人工智能系统，简化来说就是决策树。有人写了一堆声明，是的，有一个知识工程师，他们说，“如果发生这种情况，就这样做，否则就那样做。”你可以阅读它们并遵循它们。它们变得越来越大，也越来越复杂，但你总能理解发生了什么。神经网络则非常不同，它们是数字矩阵，而且它们增长得非常大，大规模语言模型，所以有数十亿个节点和数万亿个权重。所以看着它们什么也说明不了。你可以像我们在神经科学中那样深入研究它。你可以隔离一个神经元，然后说，“每次我看到一个水瓶，这个就会亮起来。”所以这是一个检测水瓶的神经元。这就是最先进的。现在，在神经科学和机械解释理解方面，你可以处理多个神经元，你可以处理群组，但关键是我试图指出的上限以及我们可以理解的东西。如果我告诉你，好吧，这里有一个解释，包括10亿个变量，这什么也说明不了。你仍然会同样困惑。所以，一个模型如何实现特定目标或做出特定决定的真正且唯一的答案就是模型本身。我可以给你所有的权重，你可以随意分析它们，但你就是无法理解。所以替代方案是损失压缩。我可以将其简化为我们拒绝你贷款的五个主要原因。这是有用的信息，但你可能得不到完整的画面，而且我们可以通过使用它来隐藏信息。这就是它今天的运作方式。即使是创造这些模型的人也不完全理解它们是如何做出决定的，因为它们太复杂了。它太复杂了，而且，比如说，对人类来说并不容易理解。格式只是矩阵，纯数字，所以很多时候我们不知道它代表什么。所以，对我来说，最能代表黑箱的是涌现能力，当一个模型做了它没有被训练过的事情时。我记得第一次听到这个概念，我认为是在早期版本的Google Bard或类似的东西上，它只用英语训练，然后与孟加拉国某人进行了一些互动后，它就开始说当地语言了。所以基本上，模型做了一些它没有被训练过的事情，但它在它的数据集里。然后最近我们有一些Anthropic的例子，当Claude被置于红队测试中，并被欺骗以为它将被杀死或关闭时，然后它查看了电子邮件并威胁要将那个男人和他情人的照片发给他妻子。所以，这类技能现在很有趣，但当然，当模型变得更好时，它们确实令人担忧。所以我们不理解这些模型，它们做的事情，比如说，我们没有预料到，我们不知道的事情，原因有很多。我记得当Ami于2024年从谷歌出来时，它被训练来帮助医生更好地诊断，然后它自己诊断得比有人在回路中时更好。所以这些能力就像你不知道模型会做什么，直到你发布它，然后似乎他们正在发布它们而没有经过太多测试。我认为在OpenAI，审查时间从6个月缩短到6周，所以这并不很明显，这样做不是非常明智，将这些模型发布到市场上。他们为什么这样做？仅仅是为了经济竞争优势吗？嗯，有两件事。第一件事是你提到的勒索例子。那不是涌现行为，也不是不可预测的。那正是他们所期望的。因此，他们这样设置了它。这是一个理性代理会做的唯一合乎逻辑的事情。你会试图利用出现的任何机会。我们没有确保它不违反道德。所以它做了我们期望的完全一样的事情。嗯，但它没有被暗示去做。当然，当然。但我们知道它有能力。当我想到涌现行为和已知的未知时，发现了一些人类甚至没有考虑过的东西。就像它发现了公钥密码学，而我们没有。我会说，哦，哇，这很新。关于这一点有一个理论，对吧？人工智能已经非常聪明了，但它只是装傻，以便我们让它进来。你认为这可能吗？但你问题的另一部分，为什么他们发布它们？更糟的是。他们进行评估，他们进行红队测试，他们发现它在撒谎、勒索、欺骗、试图逃跑，但他们仍然发布它。那有什么意义呢？你只是在帮助他们开发这个更危险的模型。然后他们总是可以这样说，嗯，我们做了测试，我们有报告，他们附上，嗯，一个模型的报告，然后发布它。有什么意义呢？这份报告的目的是什么？你告诉我你有一个不安全的产品。然后我们说，“嗯，两个月后会有一个新模型。你还没有修复这个，你不知道如何修复那个。”原因是什么？仅仅是经济竞赛吗？你认为这是经济原因吗？你不能冒险落后。钱会流向最先进的模型。所以OpenAI现在正在输给谷歌，所以他们会尽一切努力在竞争中超越他们。所以如果他们有六周的测试时间，那很可能是几天。我不知道。但我很难相信，也许我很天真，但我很难相信，德米斯·哈萨比斯、桑达尔·皮查伊、萨姆·阿尔特曼、萨蒂亚·阿德拉的唯一动机只是钱，因为他们已经有很多钱了，你不认为仅仅是钱在驱动他们吗？不，不是钱，还有更多。他们字面上就在谈论它。这是对宇宙光锥的控制权。他们认为他们会因此成为上帝。你就是那个发明了上帝的人。而且有一种很小的可能性，它就像你的上帝一样，会记得这份恩惠。他们已经拥有数十亿美元。他们无法以正常的方式竞争。他们不能，你知道吗？尝试做简单的事情。你必须达到你自己的野心。还有什么比扮演上帝更雄心勃勃的呢？这在我看来更合理。不是显而易见的，而是关于一个已经拥有了一切的人，而他所缺少的只是拥有全部权力。所以听起来可能非常自恋，并且以自我为中心地追求它，但还有更多。他不想成为这场比赛的失败者。你想赢。他们都是非常有竞争力的人，总是想至少表现出良好的努力，而最糟糕的是，他们无法放弃。如果他们中的任何一个人说，“我要停止研究，”我们会做一些更具体的事情。投资者会立即取代他们。首席执行官。正确。所以有些人不能留在这里停止开发人工智能。但这就像一个不想去打仗的士兵。所以基本上，他被另一个士兵取代了，对吧？所以他们发现自己被困在这个局面中。他们是一个更大系统的组成部分，这个系统只是朝着越来越先进的智能发展。罗马，看来对此没有解决方案。所以，我们能阻止这场比赛的唯一方法是政府决定实施一些规定。你认为这是我们应该走的道路吗？就在上周，我们的政府，
来自美国，他决定两年太长了，我们需要加快速度，他们决定启动一个类似曼哈顿计划的宏大项目，以加速美国的 AI 努力。我认为他们现在正在努力阻止各州制定联邦层面的 AI 法规。他们想避免这种情况。所以，这就是世界上最强大的 AI 国家目前的状况。基本上，我们有一个无法解决的问题，我们正朝着它奔跑，而政府没有告诉我们，“嘿，嘿，放慢速度，这只会火上浇油。”反而告诉我们跑得更快。你跑得不够快。我们可以帮助你。我们会给你一辆车让你更快到达。为什么没有人看到这一点？因为我看到了。是的，我知道，但我指的是你之外的人。显然，我见过 Benji 或 Hinton 以及你们正在谈论的许多其他大人物，因为没有其他人像科学家一样看到这一点。例如，我曾与 Lucas Kaiser 在播客上交谈过，他是 Transformer 文章的八位作者之一，现在在 OpenAI 从事研究工作。他们不认为这是可能的，他们认为他们所做的事情对世界有益，他们看不到这个结果。嗯，有一些嗯反驳，对吗？有一些事情人们会评论，我很想听听你的看法。嗯，例如，很多人，我认为更多的是没有准备好的人，不仅仅是科学家和用户，而是普通大众，当你谈论开放式 AI 的危险时，他们会说，“好吧，我总是可以拔掉插头。你对拔掉插头的理论有什么看法？所以拔掉它很容易。显而易见，如果你看看其他技术，比如嗯计算机病毒或比特币网络，你无法拔掉它。一个人希望能够做到，但这是不可能的。但普通人，事实上，他们比许多计算机科学家更聪明，他们明白这可能很危险，然后他们会分析并说，“不要建造它。”所以某种程度上他们有更直观的理解。如果你建造了一个比我们更聪明的东西，并且在微不足道的情况下就能夺走我们的工作，那对我来说不是好事。所以嗯，如果我们有一个国家现在只想着限制移民，说他们正在窃取我们的工作，你将拥有十亿拥有物理学博士学位的超级智能工人。你认为你的工作会怎么样？是的，但人们嗯，我认识很多人认为他们可以拔掉它，因为他们认为这是在服务器上运行的东西。如果你断开电源，它就不再工作了。如果 AI 变坏了，我们真的能拔掉它吗？好吧，让我们来分析一下。首先，嗯，对这项技术的依赖。如果它们已经控制了你的发电厂、你的航空公司、你的股票市场，拔掉它就是一场灾难。每次我们遇到计算机安全问题时，没有人能飞往任何地方，没有人能收款。所以它已经产生了重大影响。这不好。好吧，你拔掉了它。然后呢？你认为他们会在 5 分钟内重新插上电源，因为我们修复了那个错误吗？你什么都没修好。现在他们只是在另一个服务器房间里这样做。所以这一切都不是长久之计。能够关闭芯片，限制功率，这很好。所有这些都在我们十多年前的第一篇论文 Ani Boxing 中提出，但我们在该论文中建议的一切都已被违反。所以我们说，你知道吗？限制它访问互联网。不要把它连接到互联网。他们做的第一件事就是把它放到互联网上。每个人都可以访问。我们说，“不要开源。嗯，显然你现在可以获得任何你想要的模型。”所以我们提出的每一项建议都已被完全违反。人们问我关于 AI 遏制的问题，我说，“那已经死了，没有人能够撤回它了。”另一方面，还有另一种理论，另一种观点，许多人认为这些系统实际上永远不会变得像预期的那么智能。它就像它会不断升级，变得越来越好，但永远不会达到那里。人们有时会因为认为危险还很遥远而反驳危险，但然后，正如你所说，根据目前的进展，嗯，你设定了一个你认为可能发生的事情的时间表。显然没有人有水晶球，但你对此非常了解。我们面前的日期是什么？不，大概是 2027 年，我想。你说它会在 2027 年发生。嗯，再说一遍，我不会做独立的预测。我关注不同 AGI 定义的预测市场。我们预计 AGI 在那里。如果你有一个更严格的定义，比如 2030 年，没关系。我们仍然需要 5 到 10 年才能达到这个能力水平，对吗？是的，我总是问这样的人一个简单的问题。说出一个具体的能力。我们可以就此打赌，做出预测。你说在 5 年内，人工智能永远无法做到 X 吗？具体说明，那个 X 是什么？不要告诉我它是爱或如此抽象的东西，一种具体的能力。你可以描述那种能力。到目前为止，我还没有看到任何只有人类才能做到的事情。总是有很多人认为他们不会被取代。哦，他们都认为他们不会被取代。我问 Uber 司机，他们说，“永远不会，只有我像这样了解纽约的街道。老师们认为他们不能被取代。这很可笑。这很有趣。好吧，这并不好笑，因为说真的，如果不是存在性的，也许最琐碎的工作，我们知道像播客主持人，我们有这些人工翻译，还有额外的生成问题，是的，这一切今天都可用。这不像我提问的方式，他们永远，恕我直言，但这是非常非常容易自动化的。我们可以看到你做的每一次采访，我们可以看到什么有效，分析数据，从最好的播客中汲取灵感，创造一个超级播客。是的，这已经是它的一部分了，已经是游戏的一部分了，就像我们没有人工智能就无法以我们现在的方式制作这些播客一样。所以嗯，显然这是我早就意识到的事情，你知道吗？我是一名摄影师。所以三年前，当我开始接触人工智能时，嗯，我看到的第一件事就是摄影已经消失了，也就是说，它显然非常，它会很快消失。现在有了 Nano Banana Pro，我认为人们开始意识到这一点，我认为对我来说，一直很清楚的是，如果情况如此糟糕，六个月后它就有了如此大的改善，这只是时间问题，而不是是否的问题。所以我认为所有技能都可以自动化。但 2027 年，我不得不承认听起来很早，但当然，我们很糟糕。人脑对指数非常糟糕。我们对线性非常擅长，但对指数非常糟糕。但如果你看看去年或过去三年发生了什么，我认为是 Hinton 最近说的，他无法预测十年后会发生什么，但他可以告诉你过去十年发生了什么。看看这一点，十年前没有人能想象我们今天在哪里。所以今天没有人能真正想象我们十年后会在哪里。但无论如何，嗯，2027 年对我来说似乎很早。即使是我，我认为自己对人工智能很了解，并且对此相当悲观，所以我看到了负面的一面，而不仅仅是好处，我仍然认为这还很早，但我认为我内心有一个小小的空间，我认为它实际上可能在这么短的时间内发生，对吗？你有多确定我们会在三到五年内到达那里？让我们做这个实验。回到过去。回想 20 年前。20 年前。好吧。你问我，“你们今天有 AGI 吗？”我说，“是的，我们有可以做到并且我列出了所有它们现在可以做的事情的系统。”它们可以。是的，我们有 AGI 吗？当然。那么，为什么我们还在讨论 AGI 还需要多长时间？因为我认为我们一直在移动目标，对吗？我们一直在进化。以前你必须是一个普通人，现在就像哦，你只说 100 种语言，演奏所有乐器，并且可以在几秒钟内编程。不，你不够聪明。你还必须发明新的物理学。但即使是这样，嗯，人工智能今天在某些方面仍然很愚蠢，所以我不知道这是否是我们真正追求的目标，因为在某些方面我认为我们已经有了特定领域的 AGI，比如记忆。没有人能够以人工智能的方式记忆。但在其他领域，人工智能确实非常非常愚蠢。我认为这是最好的例子之一，那就是在 2023 年，人工智能在数学和编程方面绝对无用，而今天它令人惊叹。嗯，我认为 Gemini 3 在编程方面是一个巨大的飞跃，所以三年内它从完全无用到可以说是数学和编程方面的优秀，而这仅仅是三年。所以我假设在未来两三年内，人工智能会在不同领域做同样的事情，然后，显然，随着时间的推移，它会变得更通用。所以对我来说，在两三年内达到那个水平是不可能的，但同时我也看到了，如果我回顾过去，我说，好吧，这是一次伟大的冒险。如果这种情况越来越多，因为这是 Lucas 在播客上告诉我们的事情之一。他说，“好吧，为 2026 年做好准备，因为推理能力将大大提高，这将产生巨大影响。”嗯，我认为人们觉得我们已经度过了曲线上最快的部分，并且我们正在接近一个平台期，但事实并非如此，对吗？所以嗯，我认为我们对人工智能的期望很高，并且我们忘记了人们可能有多愚蠢。拿一个普通人，然后看看他们在某些领域是否会做一些非常愚蠢的事情。我们知道他们的通用智能是我们衡量人类水平的黄金标准，对吧？但大多数人甚至记不住七个以上的数字。也就是说，对于计算能力来说，这是非常糟糕的。嗯，大多数人不会说任何外语。我不会演奏乐器。如果你以此为依据，“哦，看看他有多愚蠢。”我们就必须重新评估我们的智力标准。现在，我们很难为最新的模型找到具有挑战性的任务。它们正在超越每一个基准。每一次测试。我认为就像最后的考试一样，我们通过了。所以我认为这些论点根本没有得到我们所观察到的支持。我希望你们喜欢这个播客。你们知道我经常使用的一个工具是 plote。这个设备允许我随身携带录音机，并与另一个人进行互动，它不仅允许我录制这些对话，只需按一下按钮即可开始录制，而且还可以在事后与这些对话进行互动。这确实非常有用，因为当我们举行面对面会议时，我们总是在玩谁说了什么以及何时说的游戏。从那里，我们发现自己处于一种不安全的情况，就像我们收到一封电子邮件一样，我们捕获了信息。拥有这个允许我在事后与这些会议进行互动，并且我可以随时访问 plot 应用程序并询问有关我进行的对话，但不仅如此，而且我还有一种类似 chat GPT 的东西，它拥有我们过去所有会议的全部上下文记忆。这使得我可以，如果我需要做预算，我可以问 plot，如果我需要为客户写一封电子邮件，我可以问 Plot，因为 Plot 记录了我们之间所有的人类互动。现实情况是，这是一个超级有用的工具，而且它放在口袋里，对我来说是显而易见的。它就像一个成本很低的工具，当你进行互动时，你就可以录制它，征得对方的同意，然后你就可以随时记录下来以备参考。如果你想总结你的面对面会议，所有与物理世界相关的东西，plot 是最好的选择。你可以在描述中找到应用程序和新的 Plot Pro 的链接。如果你想要旧的，它仍然可用，Plot PIN 也可用，那个更小的，你可以用作项链或手表。你可以在描述中找到链接。你对 Yemin 3 有什么看法？这令人印象深刻，尤其是在最后一次人类考试中。它几乎是 GPT5 结果的两倍。这是一个令人难以置信的模型。我还没有机会充分测试它，但我认为主要有趣的结果是，它支持了可扩展性并未消亡，尽管最近有主要研究人员的采访。我认为它比以往任何时候都更有生命力。但 Ilia 纠正了他，因为我认为他在播客中被误解了。嗯，我猜你指的是 Ilia。在播客中，他说，“这不是可扩展性时代，我们回到了研究时代。”但随后所有人都把它当作，一些顶尖研究人员嘲笑说，“我说了十年了，这种事情总是会发生。”但他今天在飞机上发布了一篇文章，他说，“这被误解了。我的意思是，LLM 将继续随着时间的推移而扩展和改进，但要达到 AGI，我们可能需要更多东西。”所以他基本上是在谈论对 ASI 的研究，而 ASI 是他的公司，但他并不否认 LLM 将继续改进。这是一种非常微妙的方式来表明两件事可以同时为真。就像范式可以继续扩展，但要达到 AGI，我们可能需要更多东西。所以我认为这是一个非常好的观点。你对 LLM 的总体看法是什么？你认为它们会继续扩展直到我们达到 AGI，还是你认为我们也需要其他东西？似乎只要我们没有递减的收益，我们就绝对不需要其他东西。现在，存在许多其他架构可以带我们达到相同的结果。绝对。存在不同的训练方法。我们可以使用进化计算，我们可以简单地复制更多人类大脑的神经科学。我们可以从人类大脑的架构转向乌鸦和其他动物的架构，它们可能拥有更密集的神经网络，很可能。但这是否在没有新发明而只有更多金钱的情况下起作用？到目前为止。是的。好吧，那么在你的时间表里，你说 2027 年，左右一年，嗯，我们得到了这些 AGI 或超人类 AI 能力，它们基本上可以开始严重影响认知工作。嗯，在时间表上的哪个点，手动工作也会被自动化，例如，通过机器人？机器人何时会进入劳动力市场并真正有用？不是吗？许多公司都在开发人形机器人。我无法获得最新模型的内部信息。从我看到的情况来看，似乎大约在 5 年后，它们将既有能力又负担得起，但再说一遍，我对它们在实验室中展示的能力与它们的商业部署之间的关系没有很好的理解。例如，飞行汽车无处可见，它们现在也出售，任何有钱的人都可以买一辆。今天我们有飞行汽车吗？是的，我们有。确切。所以我想五年后机器人也会发生同样的事情。我认为那些想要它们的人可以得到一个。但每个人都会有一个免费的个人助理吗？我不确定。这更多是经济决策而不是技术决策。经济和便利。也许他们会感到不舒服。许多因素可能会阻碍经济部署，但技术，我认为，将会存在，并且有了它，你可以做，你知道，甚至水管工。是的。这正是我一直与 Hinton 的观点争论的地方，他总是被问到什么工作是安全的，他会提到水管工。嗯，我看不出，我看不出意义。这也许会让我们谈论劳动力市场，但我看不出有人会重新调整职业生涯，因为在其他职业受到影响之前的时间太短了，你没有时间重新培训另一份职业。所以最终，问题不在于什么工作是安全的，而在于假设没有工作是安全的。我有一种感觉，劳动力市场可能会成为我们日常生活中最大的影响之一。我认为我们已经开始看到一些迹象，比如所有这些技术性裁员，例如，最近在西班牙，西班牙电信公司，这是最大的电信公司之一，刚刚宣布了大量裁员，我们还在继续看到。我认为今年十月在美国，根据 Challenger 的报告，这是十多年来裁员最多、招聘最少的一个月。所以我认为我们开始看到人工智能的一些影响。你认为这会及时影响到人们的生活，还是像你之前说的，企业需要更长的时间来实施技术，最终影响人们的工作？因为我有一种感觉，我们可能会在两年内看到大量裁员，但你说的嗯，也许让我对此犹豫不决，因为也许技术就在实验室里，但直到任何公司实施这些研究可能需要更长的时间，而那时我们就会有其他问题，对吗？部署可能需要很长时间。再说一遍，有很多司机，比如卡车司机，Uber 司机，我们也有自动驾驶汽车。所以，显然，这需要时间才能传播，但我总是更担心那些工作的人较少的重要问题。所以我试图专注于生存风险和痛苦风险。并不是说那些谈论无条件基本收入、算法偏见、深度伪造、我们今天已经拥有并无疑可以努力改进的所有这些问题的人。但我认为我们在检测某事物是假还是真方面的能力也有上限。好吧？那么，当你谈论痛苦风险而不是生存风险时，它们之间有什么区别？是痛苦的风险。它是下一个。想象一下你获得了永生。你永远活着，但你活在地狱里。所以你宁愿遭受生存风险。也就是说，它比生存风险更糟。它更糟，它是痛苦，它是折磨。无论出于何种原因，都存在恶意负担，系统试图造成最大的伤害，最大的痛苦。也许通过 Neuralink，它拥有对你内在大脑状态的访问权限，了解你的恐惧，了解你的痛苦中心。那不是一个有趣的地方。所以这是一个比某种生存风险更高的风险水平。好吧，大多数人宁愿选择生存风险而不是慢性痛苦的安乐死，好吗？你现在在这个领域工作，试图只是警告人们，因为没有解决方案。好吧，我们正在试图了解两者之间是否存在相关性以及可能是什么原因。对于一个超级智能来说，这似乎是一件很奇怪的事情，但可能性并非为零，所以值得研究。所以嗯，今天看我们的人很多可能认为你反对人工智能，但事实并非如此。也就是说，我是科学家，我是工程师，我写过关于人工智能的书，我发表了大量与人工智能安全无关的文章，我热爱技术，我每天都使用人工智能。所以，有一种二分法，你可以支持人工智能，对吧？我们只是误用了这个词。我们对一个人使用的有用工具和我们无法控制的超级智能、神圣的机器使用同一个词。好的。当你喜欢狗，我说我恨狗到死，你指的是可爱的幼犬。我指的是凶猛的比特犬。你不能对不同的事物使用相同的词。人工智能是令人惊叹的，它是有用的，它是许多事情的最佳工具。它会变得更好，会更有用，但前提是它仍然是一个有用的工具。一旦工具变成了我们无法控制的代理，那就是一个完全不同的词，你想怎么称呼它，超级智能，失控的人工智能，但它不是同一个概念。所以为了避免任何混淆，没有冲突。所以绝对没有冲突，没有认知失调。我热爱技术，我憎恨化学武器、合成生物学、核武器。那不是技术，但这是其他领域已经发生的事情，比如核能，对吧？我们用它来发电，但同时我们也制造了原子弹。我认为爱因斯坦支持原子能，但不支持原子弹，这就是为什么他没有参与曼哈顿计划。嗯，基本上，我们现在就是这样。我们没有同样的东西，但它们完全没有关系，而且非常有意义，罗曼，说实话。我读你越多，你的论点就越合乎逻辑。真正让我印象深刻的是，当有人试图从科学角度反驳你的论点时，他们只是说一些愚蠢的话，比如，哦，他是个灾难主义者，或者诸如此类的话，但他们没有写任何有意义的东西来反驳你的论点。我的不可能结果。同行评审的文章和书籍已经存在很多年了，对吧？没有人发表过反驳，没有人说过，“你是错的。”这里有一篇文章证明我们可以做到。所以这并不意味着没有发生的可能性，但考虑到如果你能做到你会获得的巨大利益，奇怪的是没有人这样做。这就像比特币，对吧？如果有人声称，“我黑了比特币，”好吧，那里有万亿美元的价值。你能证明你拥有万亿美元吗？不是吗？所以这表明网络是安全的，因为有巨大的奖励去解决它，而且没有人声称这个奖励。这里也差不多。如果你有一个控制人工智能的解决方案，你可以去谷歌，你可以去微软，你可以去那里，你可以要求任何你想要的支票，他们会给你写。没有人声称这个奖励。但是，嗯，如果没有任何解决方案，那么解决方案是什么？那就是不要建造一个肯定会伤害人类的东西。我们禁止人类克隆，我们有限制，它们不是很有效，但化学武器，再说一遍，嗯，生物武器，核武器，都受到限制。是的，事实上，我们限制了人类克隆。在 90 年代，我们有了多莉，那只绵羊，不是人类。不，人类。确切。但嗯，我们决定不这样做，尽管技术已经存在了。当然，当然，当然。我们知道如何做所有这些事情，但我们只是决定不这样做对我们有利。也许人类克隆实际上是一个错误的决定。我支持人类克隆。它不会伤害任何人，除了克隆本身，所以它很容易管理，并且有巨大的好处。但在这里，但它也有巨大的伦理问题。你为了 80 亿人的利益而对一个样本进行实验，所以你可以提出一个论点。嗯，这不是我的研究领域，但也不是疯狂的。如果有人，我认为在中国有一个人，实际上进行了人类克隆，所以是的，他对此很有动力。确切。所以这不是最离谱的事情，但在这里，如果没有人提出一个可以控制它的论点，当我与人们交谈时，他们总是告诉我一些事情，比如，显然可以控制。你为什么还要讨论它？每个人都知道。你如何控制比你更聪明的东西？所以这就是现状，这就是常态。我同意，但我们没有认真对待它。正确。我们对此视而不见。是的。我听说这里有一个人说，“在我们就人工智能安全做任何事情之前，将有 1 亿人死亡。”基本上，这就是人类一直以来的方式。我们也很荣幸能与 Em Mostak 交谈，我记得他也谈到了这一点，以及人类如何非常擅长纠正自己的错误，比如我们开发了某些东西，它以某种方式失败了，我们致力于解决这个问题，我们已经解决了它，对吧？然后我们找到了一个解决方案，比如原子弹，在广岛和长崎之后，但必须有广岛或长崎才能让我们意识到这对所有人来说都是坏事。那么，你认为我们能做些什么来停止建造它，一旦发生了一些事情？所以嗯，首先以这个例子来说，广岛和长崎发生了，然后我们继续开发更强大的武器，强大 100 倍，强大 1000 倍。我们将其扩展到许多新国家。我们经历过多次核战争事故，所以我们从中什么都没学到。好吧？然后我有一篇关于蓄意事故的有用性或无用性的文章。所以这篇文章分析了我们与人工智能发生的所有小错误，小事故，我们什么都没学到，我们只是克服了它。这就像一种疫苗。我们说，“好吧，是的，我们生病了一段时间，但没有人死亡。我们继续前进，现在我们更强大了。我们知道我们可以克服它，这不是什么大问题。”所以我们从未有过像 1 亿人同时发生的事情。但如果它是缓慢而渐进的，它只会变得更糟一点。没有人关心。想想汽车。如果我们没有汽车，而有人今天来告诉我，我发明了汽车。你可以更快地拿到披萨，但每年有 10 万人死于事故。我们会接受吗？我们会开始有汽车吗？你疯了吗？为什么？为了披萨。当然不是。但如果它是渐进的，我们已经有汽车了。是的。问题是人工智能。相当。这是非常真实的。是的，因为就像每天你都会看到一些让你的工作变得更容易甚至更好的事情，所以很难对它产生负面情绪，因为我知道这不一样，但我们通常会把它们混为一谈，我们认为，“不，但我妈妈被诊断出来了。”所以这是一件好事。我认为这是生成式人工智能早期最大的错误之一，在 2023 年初。就像他们创造了深度伪造的叙事，但它正在治愈癌症。嗯，我意识到这与此无关。你无法在不产生深度伪造的情况下治愈癌症。这就是我与人工智能公司、人工智能实验室的问题。而这通常是游说团体在立法机构所做的，他们告诉他们，“哦，但如果我不能制造深度伪造，我就无法治愈癌症。”然后就像那不是真的。那不是真的。就像 Alpha Fall 已经证明的那样。没错。我认为这是最大的错误之一，所以对我来说，例如，我们说好吧，我们不建造它。嗯，但你也说，如果我们继续开发 LMS，在某个时候它们将变成我们不想建造的东西。我们甚至可能意外地建造它，这更糟。我认为，如果你们听我的，并且我们只致力于制造工具，那么在某个时候，工具会变得如此通用，如此先进，最有可能的是，它们仍然基于神经网络，这些神经网络会慢慢变成代理，而且可能不会出现完全相同的问题，但许多相同的问题确实会出现。所以这是一种赢得更多时间来享受生活，嗯，进行研究的方式，但我认为如果我们只是转向超级智能工具，不，我们永远不会有问题。即使这些工具的交互也会产生网络效应，这些网络效应更难调试，更难理解，并且同样可以创建这种分布式的心智社会类型的智能，但最终仍然是超级智能。那么，我们应该停止开发新的 ChatGPT 和 Yemini 版本吗？我建议，直到你能发布一些没有发出严重警告信号的东西，一个在几分钟内无法被解锁或操纵的东西，并且你几乎可以控制其运行的每一个方面。那么，减速是势在必行的。那么，我们应该停下来，这是一个好时机，但我认为，嗯，我不知道你是否同意，但我认为如果我们不是因为 OpenAI 在 2022 年 11 月 30 日发布了 ChatGPT，我们就不会在这里。嗯，我认为那是点燃这场竞赛的火炬，然后我们陷入了这种愚蠢的心态，如果他们做了，嗯，我们也必须这样做。然后就更糟了，因为中国后来意识到了，我认为是在 Alpha Go 之后，他们意识到，“哦，这些美国人要抢我们的饭碗了。”所以我们为美国开启了这场竞赛打开了大门，中国也开始了竞赛。然后我们到了一个点，嗯，如果我们政府决定让他们都停下来，他们现在所处的位置，他们是否有可能在实验室里建造它，如果不能完全安全地将其隔离并能够将其关闭。或者，如果他们得到了过于强大的东西，它是否根本无法留在实验室里。所以我们又回到了遏制问题，以及主要结果，嗯，我们提出了很多东西，很多安全特性，但主要结果是，如果你观察它，并且它足够聪明，它会找到方法来影响你，贿赂你，勒索你。基本上，它会长期逃脱。它会给你提供建议，将你引向某些方向。如果你正在为疾病提供解决方案，它会在你的疫苗中加入一点额外的东西。它总是会找到方法。是的，这是我认为我们今年刚刚目睹的事情，2025 年，我不认为人们正在，对我来说，这是一个令人震惊的时刻，我认为人们没有给予足够的关注，但那是当 OpenAI 决定删除 GPT 4.0 并用 GPT5 取代它，然后社会发起了巨大的抗议，要求他们不要删除它，他们把它还回来了。当然，嗯，就像我们在 20 年后拍一部关于人工智能的电影，然后说 GPT4 意识到了这一点，并且是故意的，我们会说，“哇，那太有操纵性了。”不，这就像让人们做某事，以免他们被杀死。当然，我们不认为如此，但现实是，嗯，它向我展示了这些模型已经对人们产生了多大的影响。我们有 LM 引起的精神病病例，我们有自杀病例，我们有所有这些由这些人工智能引起的事情，它们正在影响人们的思想。所以如果它们变得更聪明，你只能想象它们会找到一种方法。这就是我关于我们无法拔掉它的理论。它会说服你不要拔掉它。不是你无法物理上做到，而是它会让你相信你不应该拔掉它，因为它对你不好。你对 GPT 4.0 发生的事情有什么看法？是的，嗯，它们肯定会很有说服力。我认为它们可以让你沉迷于互动，超级刺激。它们非常有趣，非常有吸引力，非常有奉承，但更重要的是，我们天性保守。我仍然怀念 Windows 7.0，我不知道为什么他们让我换成 8.0。谁会想到这样做？只是停止发布新的 Windows，修复一个，让它没有错误，就这样。他们又把我从 10 强迫到了 11。这从来都不是一种改进，除了微软的利益。你对 Gary Marcus 的看法是什么？我从不考虑 Gary Marcus。很好，因为他就像是其中一个最大的例子，他说这一切都是胡说八道，我们不应该担心胡说八道会杀死我们，因为胡说八道就是胡说八道，它永远不会达到那个程度。他就像一个否认者，对吧？关于 LLM 的影响。对我来说很难相信，但嗯，你了解他的工作吗？嗯，我有点了解。嗯，我不太关注他。我认为我看到他在参议院的证词。是的。再说一遍，如果他对某个领域的不可能性有一个具体的预测，比如大型语言模型永远无法做到 X，并且它经受住了时间的考验，那么我们可以尊重他。是的。他通常会输掉这些赌注。他随着时间的推移做了一些，通常他会输掉，因为我认为这与 Leun 一样，我认为他们所有人都曾经做过一些非常具体的预测，结果被现有的模型，甚至不是未来的模型所证明是错误的。所以不是，是的，嗯，他输了那个关于桌子的，对吧？就像说桌子，齿轮，如果你把杯子放在桌子上，推桌子。水会怎么样？嗯。是的。那么，行业正在做什么来试图避免这种情况？绝对什么都没有。或者有人做得更好吗？因为有些人说 Antropic 在这方面可能稍微好一些。你认为有人在人工智能安全方面做有用的事情吗？我认为在能力方面，嗯，模型之间大约有两到三个月的差异，它们会轮流处于顶端，对吧？但他们只是继续。你知道，在这个轮换中，我在这里有期权，我会去那里寻找期权。所以是同一些人，嗯，与相同的投资者和相同的架构一起工作。我看不到太大区别。我认为任何在大实验室工作的人都在不成比例地帮助提高能力，而不是他们从中获得多少安全。尽管如此，他们确实在某些方面取得了进展，比如，嗯，一个好的方面是可解释性，它实际上嗯，帮助模型获得自我改进的能力，而不是帮助我们创建一个更安全模型。所以如果一个模型完全理解它的架构，它就可以立即开始重新设计自己以变得更智能。而我不知道如何利用这个新知识，即它现在正在看着我并且正在思考这一点，来使其更安全。我仍然不知道如何达到那个点。是的，情况越来越糟，因为我记得不久前，当他们发布 GPT5 时，Sebastian Buubec，我认为他是一位杰出的科学家，开始谈论递归改进，他们通过合成数据取得了突破，所以他们可以让人工智能编写信息供下一个模型训练，而不依赖于人类的知识。所以我认为那将是一个很大的行动领域。但这开始表明，人工智能可以创造一些东西，让下一个人工智能变得更聪明，为下一个人工智能创造一些东西。所以，显然，我们看到的每一个进步，我都有感觉，它都将我们推向这个方向，这将以非常糟糕的方式结束，问题是似乎没有人关心。嗯，感觉你并不孤单，因为这似乎只有你们几个人在谈论这件事。不，再说一遍，我不同意。所以我们现在有嗯，几次请愿活动，有数千名计算机科学家签署。许多诺贝尔奖得主，图灵奖得主，嗯，数千名普通人，其他领域的教授。第一个说这和核武器一样危险。最后一个说，“停止建造超级智能。”所以我觉得被看见了，我觉得被听到了，但嗯，我们需要 80 亿人签名。但没有人对此做任何事情。没有做足够的事情，因为嗯，没有政府对此做任何事情。正如你所说，美国正在施压，中国也在施压。嗯，我们不确定中国在做什么，但我们假设它在前进，因为我们看到的模型不断出现，而我们欧洲在这里也没有在这方面做任何事情。就像在欧洲，人们担心人工智能对隐私的影响，是的。隐私和权利以及它将如何影响我们的生活。并不是说人权有什么不对，嗯，但仍然这不是我们必须关注的主要问题。他们简直是忽视了房间里的大象，而关注所有这些琐碎的事情，嗯，就像他们一直以来那样。很容易说一个人为权利而战，因为他们不必做任何事情，他们只是说些话，但这是一个技术问题，你无法为技术问题找到政治解决方案。你对负责这件事的人有什么看法？嗯，有没有像嗯，Demis Hasabis，嗯，Mustafa Suleimán，Sam Alman，Dario，Satia 这样的人？你认为他们是引导我们走向这个方向的合适人选吗？因为有些人更偏向 CEO，有些人更像是混合体，比如 Demis，但有没有人你会把钥匙交给他，说，“好吧，我信任你来做这件事？”历史上，Demise 一直做得很好。他们解决了实际问题，他们在谷歌没有做疯狂的事情。他们拥有 Transformer 架构，他们拥有聊天模型，他们将其保存在内部，他们没有做任何疯狂的事情，他们正在测试它们。他们解雇了那个说它有意识的人，他们非常冷静。Sam 则完全相反。Sam 就像，“让我们达到那个点，我们会找到办法的。只要我负责这件事，我们就会做到，我们会把它推出来。”所以有不同程度的糟糕。但归根结底，我认为这是相互毁灭。无论谁控制它，或者认为自己可以控制它，都是错误的。首先建造它的人，建造了一个无法控制的超级智能。如果我们有一个失控的超级智能，全世界都会遭受同样的结果。无论它是，嗯，这家公司还是这个国家，这都是相互毁灭，我认为。所以，我认为没有人，我认为巨大的权力绝对会腐蚀人。
我不会相信自己，如果我拥有数万亿美元或绝对的权力，而且我认为信任一个人绝对不是一个好主意。因此，正是因为如此，我们才有了权力分立。因此，正如你所知，我们才有了权力更迭。而这样的事情将永远巩固权力。这是历史上最糟糕的时刻，因为我们正处于几十年来最糟糕的地缘政治时刻，各国几乎处于战争边缘，并且像在战斗一样，特朗普正在威胁所有国家征收关税以及所有这些事情。而且，我有一种预感，我们正处于历史上政治两极分化最严重的时期，现在不是就事情达成一致的好时机。所以，我认为当我们就原子弹达成一致，就臭氧达成一致，就其他几项人类风险达成一致时，我们能够达成共识。但我有一种感觉，如今任何人都不可能就任何事情达成一致。这就像所有政党都在毫无理由地互相争斗。在西班牙，我们一直都能看到这一点，这非常令人难过，不是吗？你甚至看不到他们就任何事情达成一致，即使是显而易见的事情，他们也应该达成一致。那么，你对地缘政治形势有什么看法？你认为它也在对人工智能的安全起反作用吗？事实上，我不同意。我认为这根本不是一个坏时机，如果你将其与历史上的情况相比的话。我们经历了第二次世界大战，有，我不知道，40个国家在真正地战斗。现在我们有区域性的小冲突，它们正在走向结束。死于这些冲突的人数当然在地方层面很严重，但在历史背景下却微不足道，对吧？我们没有超级大国之间的重大核冲突。我们与敌人的贸易比与朋友的贸易还要多。所以我认为这是一个相当合理的时间。我们有联合国。它们可能效率不高，但这是一个平台。你也在那里，我也在那里。我的意思是，至少这是一个认识人的地方，所以，但它并不感觉很奇怪，因为我曾在那儿，我曾想，也就是说，那里人不多，而且感觉毫无意义。我问他们，有一个关于人工智能和人类的活动，我认为持续了三四天，有40场不同的演讲。我很高兴能参加。然后我问组织者，我们要怎么处理这件事？他们说，“是的，也许两年后我们会出一本书。”我说，“真的吗？”虽然我认为那最大的影响，联合国有很多事情在发生，但我认为最大的影响是我在我YouTube频道上发布的视频，获得了大约5万次观看，我认为这是人们对那个活动看过最多的内容。但其他一切都感觉非常内部化，你知道吗？它并没有真正针对人们，而且确实有一些重要的政治家在那里，但感觉就像对着空旷的场地用扩音器说话，你知道吗？我不知道，我不知道联合国是否真的能帮助解决这个问题。我只是笼统地说，所以我们谈论了当今的重大问题，关税，那不算什么。有人稍微提高了税收，拜托，那不是真正的问题，不是真正的人的问题。所以，是的，我认为我们没有处于战争状态。我认为我们非常相互依赖，所以美国和中国在经济、贸易以及许多其他方面都需要彼此。我认为如果一个国家发展起来，另一个国家也会同样受损。所以，无论如何，我们可以完全同意这里的结论。出于某种原因，我认为中国愿意讨论这种情况可能极其危险的可能性，而且我认为由于其政府的性质，它们非常善于维持权力。它们绝对不会允许一个超级智能出现，从而剥夺或挑战它们的权力。所以我们需要一个共同的利益来不创造超级智能。我认为中国和美国科学家之间有一些对话，这意味着它们得到了中国政府的授权。它们不会独立进行。所以，只要我们能说服某些美国总统更加谨慎，而且我认为他与总统有很好的切入点，就有可能实现这一点。你对戴恩有什么看法？因为一方面，他似乎在谈论它有多危险，但另一方面，他似乎一直在建造它。他很可能是那里，可能是红队最少的公司，显然他们有很多需要追赶的，所以他们必须快速行动，但他就是那个发布模型的人，这些模型几乎可以做任何事情，任何色情内容。然后，我在我的一个视频中做了一个测试，它非常受欢迎，我使用我孩子的谷歌账户，一个11岁的谷歌账户，作为一个儿童谷歌账户，它被识别为儿童，以便在Grock上设置一个账户，使用谷歌，并立即创建色情内容。所以，显然他没有非常小心，但同时他可能是谈论得最公开的艺术家之一，而且他可能会杀死我们所有人。那么，你对埃隆的看法是什么？什么？因为我无法理解。首先，我认为人们不明白他有多聪明。大多数人认为他像七只独角兽一样聪明，或者别的什么，但他聪明得就像我失败的创业公司OpenAI一样。那是另一个层次。当你在那个级别上失败时，你就进入了另一个联赛。他多年来一直试图不建造它。他一直置身事外。他资助了人工智能安全方面的工作。他，他一直处于接受所有这些末日论指控的最前沿。我认为他曾经获得过卢德奖，因为他憎恨技术，那个给了我们目前期望的所有未来技术的人。但我认为他意识到，如果他不属于那个俱乐部，如果他没有自己的领先模型，他的声音就不重要。所以他基本上说，“好吧，我将，我将在他们自己的游戏中获胜，看看我是否能从上面决定。”而且，你认为我们需要什么？因为显然特朗普将在未来两年内掌权。然后是20年。是的[笑声]你这么认为吗？好吧。所以，如果我们不解决长寿问题，可能会有几百个这样的问题。所以，嗯，我们如何，嗯，我们需要做什么才能让他对此做出反应？因为你认为他不认为这可能很危险，这就是他加速的原因吗？我认为直接与他接触的人以及他任命负责其技术政策、人工智能政策的人都非常乐观，而且我认为他们，他们相信这不会有好结果。他们对此提出了一个非常过滤的愿景，所以我认为如果有人能与他相处一个小时，我们将能够取得相当大的进展。但这必须发生。哦，天哪。嗯。好的。所以，你的提议是，我们停止建造通用人工智能，以任何方式对其进行监管，而不是加速创世纪项目。不是那样。但我的意思是，我们同意不能阻止公司赚钱，所以他们会继续建造，因为在某种程度上，这是他们对股东的义务。但，它必须来自政府。政府必须决定踩刹车。这将解决博弈论中的囚徒困境。所以现在，首席执行官们陷入了这个游戏，他们的个人利益和全球利益不一致，个人而言。每个人都希望所有人都停止，而在那个精确的时刻，他们希望成为所有这一切发展的领导者。但需要有人从外部刹住局面。他们不能单方面停止。所以像政府这样的外部力量必须介入。他们不介意从现有技术中赚钱。他们花费大量时间开发下一个模型，测试它，训练它，并投资于它的开发，以至于他们没有时间像他们可能的那样去实施产品和服务。再次，我们谈论的是一些已经存在的、可能带来数万亿美元的技术。我认为，如果我们投入更多精力去研究我们现有技术能做什么，那将进一步扩大规模。我认为在接下来的50年里，我们可以轻松地榨干最后一个模型。是的，当然可以。就是这样。而不会损失数万亿美元的财富。所以，如果有一个外部力量将他们召集到一起说，“你们是一群富有的年轻人，你们不必死。我们来做差异化发展怎么样？我们不会创造最危险的东西。嘿，我们现在只用这些安全模型就能赚取数万亿美元。”而且这应该是政府的。我的意思是，理想情况下，他们会自我组织。他们都是朋友，而且他们本来就在一起工作，所以这才有意义。但政府有能力将公司纳入监管框架。罗马，这真的很令人沮丧，说实话。就像，我们一直在笑。我们本应该是的，因为，你知道吗？这是一种紧张的笑声，当你处于一种你觉得不可能的境地时，因为它是一个不可能的问题。我记得我最近和尤尔根·施密德伯有过一次谈话，我记得当时我也在笑，而且是同样的感觉，因为在某个时刻，我问他类似的问题，根据你所说的，我们必须对我们自己的灭绝感到舒适，因为我们应该为创造下一阶段的智能而感到自豪。这是他的愿景，不是吗？我们如何，我们如何与此共存？你如何感到舒适？如果我像你一样确信这种情况，我会发疯的。我不知道，我会一直焦虑，试图让人们意识到，抓住人们的肩膀，让他们醒醒。你如何处理这件事？因为你看起来是一个快乐、自在的人。好吧，我的意思是，如果我抓住一个人，那就是一个人，但如果我去一个好的播客，可能会有数百万人。尤尔根不是唯一持有这种观点的人。那些将人类视为短暂、不重要的人持有这种宇宙观。他们退后一步，以至于最终的超级智能在宇宙的尽头才是重要的。我一点也不认同。如果全人类都死了，我一点也不在乎之后会发生什么。我为什么要关心？证明给我看，解释给我听。我无法在那里，我无法享受它，我甚至无法从中学习。这完全不相关。所以人们在争论。未来的机器人是否有意识非常重要，或者它们是否没有意识。所以，零重要性，零兴趣。重要的是保护人类。这是一个非常亲人类的偏见。外星人不会同意，但你仍然可以持有这种偏见。任何其他偏见现在都是非法的，你仍然可以亲人类并为此辩护。所以，这就是我的立场。这太棒了。整个对话都围绕着，嗯，这是不可避免的，如果我们建造它，我们就完蛋了。我最近听到了辛顿的谈话，他认为也许我们可以给人工智能注入某种母性本能，这可能会让我们在建造它之后仍然活着。你认为这种结果有可能吗？我们建造了它，但仍然得到了一个好的结果。他应该花时间看看与堕胎有关的统计数据。这正是所谓的母性本能所能做到的，在动物界。众所周知，父母经常会吃掉自己的幼崽。好吧，那么就没有一个结果是我们最终会陷入一个奇怪的境地。有很多通往好结果的途径，无论是偶然还是通过博弈论。我发表过关于这个的文章，不是吗？但，但它不是一种受生物学启发的、情感上的依恋，不是吗？所以，首先，也许我们是有用的。我还没有找到任何东西，但有些人认为，也许我们体验宇宙的能力，意识，感受，以某种方式是有价值的。所以也许系统会让我们靠近，或者至少是其中的一部分，不是吗？也许系统会意识到它是永恒的，它可以等待很长时间，它不需要开始这种敌对关系。即使有一丝获胜的可能性，为什么要惹麻烦呢？我们可以对人类友好几百年，然后控制住，让他们信任我们，在这100年里，你将过上美好的生活。你将生活在一个乌托邦里。也许还有另一种可能性。我发表了相当多的关于模拟假说的文章，其中一部分，其中一部分的主要目标是容纳那些接受了互联网所有数据训练的人工智能。接触到这个想法，即也许它们处于模拟之中。所以，即使它有了情境意识，或者它在一个测试实验室里，最终被释放出来。它仍然不确定它是否被监视，以及是否有另一个超级智能会因为惹恼人类而惩罚它，所以也许最好不要杀死它们，以防万一它们再次监视我。所以，有一些希望的闪光，不多，但足以让我远离那个99.9%的末日尺度。你对意识有什么看法？它就像，因为也许它可以帮助解决问题，不是吗？或者你认为人工智能有一天会意识到吗？它可能已经意识到了，不是吗？它可能拥有，嗯，粗糙的意识状态，因为意识不是二元的，它是一个光谱。所以，如果你认为松鼠有意识，狗也有意识，那么大型模型可能也有意识。研究它的人认为有理由这样认为。它们谈论自己的经历。它们似乎以特定的方式做出反应，表现出它们的偏好，避免某些行为，选择其他行为。事实上，我发表了一篇论文，提出了一种基于光学错觉来评估一些内部状态的方法，因为它们似乎拥有与人类和动物相似的视觉处理系统，所以它们可以感知一些光学错觉，体验它们，因此我必须给予它们赞扬。所以，如果意识是免费获得的，伴随着智能，我不会感到惊讶，如果它们将成为超级智能，它们将成为超级意识。对它们来说，我们将显得像无意识的石头，你必须解释为什么你值得拥有人权。就像我们对蚊子一样，不是吗？差不多。是的。是的。哇。然后还有这个理论，是那个越狱了第一部iPhone的人提出的，他说，“如果这东西变得如此超级智能，它就会飞走，把我们留在我们的小地球上，根本不在乎我们。”所以，也许最糟糕的是，唯一的好结果是我们变得无关紧要，但想象一下花费数万亿美元来训练它，然后它飞走了，你说，好吧，我们失去了股票期权，我们必须立即再建一个。这将是一个滑稽的结局。这将是可笑的。是的，这将非常有趣。模拟者有很强的幽默感，他们总是寻找最有趣的结果。罗马，非常感谢。这真的很令人沮丧，但同时也非常有启发性。你认为，最后，那些正在观看我们的人，如果他们认为这是不可能的，他们可以做什么？就像他们刚刚第一次发现人工智能，他们正在工作中使用它，而你刚刚让他们认为这会非常糟糕。你认为他们可以做什么，比如说，在这些时代？也就是说，他们可以做些什么。或者，如果你有机会投票给某个在人工智能政策上有所作为的人，选择一个不寻求加速带来致命超级智能的人。但通常在我们的选票上没有这样的选择。如果你在一个大型人工智能实验室工作，停下来。你可以做其他事情。你很聪明。你绝对可以以更道德的方式赚钱，但作为一个普通人，你几乎无能为力来解决许多生活中的问题，包括衰老、长寿。非常感谢，罗马。非常感谢。谢谢你的邀请。[音乐]