Roman Yampolskiy: How Superintelligent AI Could Destroy Us All

大家好！我非常激动能和 Roman Yampolskiy 一起坐下来交流，他是一位在人工智能安全领域领先的作家和思想家。他在这个主题上发表了超过 100 篇论文，并与 Lex Fridman 到 Joe Rogan 等人分享了他的观点。Roman 在人工智能末日论的尺度上可以说是最极端的人之一，他认为在未来一百年内，人工智能超级智能导致全人类灭绝的几率超过 99%，而且我们对此无能为力。他和我的出发点一样，都认为人工智能的危险没有得到足够的重视。但我想知道的是，我们能为此做些什么？我还没有准备好为人类写下讣告，所以我想挑战他，看看他为什么可能是错的，或者我们能做些什么来改变未来。让我们一起来看看。好的。我现在和 Roman 博士在一起，我们要谈论人工智能风险、人工智能安全。Roman，非常感谢你来到这里。也许我们首先要深入探讨的是，你知道，你最近做出的一些预测，这些预测引起了广泛关注。那就是你预测在未来一百年内，人类将因人工智能而面临灭绝级别的事件，你估计的几率为 99.99%。是这样吗？我有没有漏掉几个九？继续加九。我不断遇到人。我有一个不同的末日论，原因与我的独立。所以每次发生这种情况，逻辑上就必须再加一个九。但是，似乎需要遵循一系列假设才能得出那个数字。第一，看起来我们正在创造通用人工智能。然后很快就会出现超级智能，大量的资源都投入其中。预测市场。顶尖专家说我们只有几年时间。有些人说两年，有些人说五年。但他们都对此表示同意。与此同时，根据我的研究。而且没有人反驳过这一点。我们不知道如何控制超级智能系统。所以，有了这两样东西，结论就相当合乎逻辑了。你基本上是在问，我们创造一个永恒安全机器、永恒运动装置的可能性有多大？打个比方，而这种可能性接近于零。你知道，这个逻辑对我来说是说得通的。我想更深入地探讨一下。但是，当我们想到，你知道，99.99%，无论你心里有多少个九，为什么不是 100%？为什么不是 70%？比如，是什么让您认为这个问题是，你知道，就像我们只有万分之一的机会能够幸存下来？首先，我可能是错的。也许我的论证中有错误。也许我的一项证明论证不够扎实，人们会发现它。而且确实有办法做到这一点。总是有这种可能性。还有一种微小的可能性是，我们实际上会足够聪明，能够创造出通用超级智能，并且会发现，为了经济、为了安全，最好是开发先进的人工智能工具。而这将会发生。但同样，我对此发生的可能性非常低。你提到过，在你与更多人交谈时，你发现越来越多的情况让你觉得，“哦，天哪，那也可能让我们所有人丧命。”你如何在脑海中组织不同类型的可能导致灭绝级别事件的场景，以及，你知道，哪些场景你认为可能性更大或更小？所以，目前我们拥有人工智能作为一种工具。因此，担忧的是恶意行为者利用这种工具造成典型的损害。也许他们会开发出合成武器、合成生物学、某种新型病毒。这将导致一场全球性的大流行病，消灭很多人。也许不是所有人，但数量很大。还有其他类似的场景，它是一种工具。有人利用它入侵核电站、军事响应、飞机之类的地方。但然后我们切换范式。我们转向了代理人。那时，人工智能就是对手。它是可能造成损害的代理人。而这才是真正困难的地方，因为我们不再理解它，我们无法预测它，而且我们很可能被它击败。鉴于它的能力要强得多。所以，这才是真正危险的地方。而这确实威胁到全人类。存在性风险。即使如此，还有额外的担忧，比如痛苦风险。对吧？所以，所以存在人类利用人工智能毁灭我们所有人的风险。存在人工智能和超级智能，你知道，某种程度的感知能力或，你知道，无论你怎么称呼它。你知道，失控的风险。我很好奇的另一个维度是，你知道，我过去听人们谈论过，基本上是人工智能或人类的意外风险与故意风险。而且，你知道，一个让我很早就引起注意的场景是，你知道，尼克·博斯特罗姆的，你知道，回形针最大化器假说，你知道，我们只是告诉人工智能最大化某个东西，它就会意外地，你知道，摧毁世界。在你看来，这些风险的担忧程度、处理难度是否存在某种排序？或者这些都只是我们作为物种生存下去必须跨越的障碍？在工具层面，恶意意图、恶意载荷是绝对更糟的。你可以把很多东西投入其中。在超级智能代理人层面，意外通常范围有限。我不认为意外摧毁地球或故意这样做会有多大区别。对吧？所以，一旦我们达到超级智能，一切都无法预测，我们预测的能力基本上会下降。预测影响、影响、控制、弥补损失。是的。这才是真正困难的地方。是的。顺便问一下，你有没有听说过。你知道，你在这种前景方面，你似乎有点处于一个极端。你有没有听到过任何非常有力的论据，说明我们为什么不应该担心这个问题。而坦率地说，最让我担心的一件事是，我与许多人谈论这个问题，我问了相当多的人。当我问他们为什么不担心时，他们最常见的回答是：“我是一个乐观主义者。”你知道，我对人类很乐观。而这就像，当人们这么说时，我的大脑就有点崩溃了。就像，我不知道该如何回应。你有没有听到过任何，你知道，非常有说服力的论据，说明为什么。这会走向。没有令人信服的论据。你听到的关于乐观主义的论点是，他们基本上在说，我有一个强烈的偏见。我是一个有偏见的思考者。我无法基于证据和逻辑进行思考。我就是这样做的。所以这是一个糟糕的论点。是的。所以，这是，你知道，考虑到你给出的概率，我想到的词是“不可避免”，那就是，你知道，我们无法阻止这件事。你会用这个词吗？或者你认为有一些我们可以现在开始采取的行动，将引导我们走向不同的结果？所以我确实希望所有参与者的个人自身利益能让我们不开发这项技术。你可以获得大部分的经济利益。大部分的发现仍然是使用狭义人工智能工具。你可以治愈衰老、癌症，任何你想要的。如果你已经拥有数千亿美元，就没有理由为了再多百分之一的财富而冒险。所以，这是我的希望。只是那些实验室负责人自己的利益，投资于它们。如果他们完全理解这个论证，他们就会明白他们赢不了。他们有可能不复存在，或者更糟的是，他们将遭受痛苦风险。也许这会让他们团结起来说，“让我们放慢脚步。现在不要这么做。”当你提到狭义人工智能时，这对你意味着什么？是否存在一个阈值，它变得太宽泛，从而给我们带来风险？通常，它是一种为特定目的设计的系统，只能做一件事。虽然它可以很好地下棋，但它可以很好地折叠蛋白质。当它变成一个具有许多能力的大型神经网络时，界限就变得模糊了。所以我认为足够先进的狭义人工智能项目会转向更通用的能力，或者可以迅速重新用于此。但这仍然是一条比喂给它所有数据然后看看会发生什么的更好前进的道路。是的。所以，如果你将训练数据限制在特定领域，比如只下棋。它不太可能同时也能做合成生物学。对吧？嗯，而且感觉我们正朝着下棋和合成生物学齐头并进的方向发展。对吧？这就是你的看法，所有资金的去向以及人们正在竞相追求的目标吗？他们明确表示是超级智能。现在他们已经跳过了通用人工智能。甚至讨论它也变得不那么有趣了。他们直接有一个超级智能团队。我们有一个超级智能安全团队。你无法为任何通用人工智能做到这一点。所以你说，让我们解决一个更难的问题。是的。让我最担心的一件事是，它。它真的感觉没有我们可以依赖的“关闭按钮”。对吧？而且，在我看来，资本主义本身就存在某种固有的东西，即使存在风险，告诉人们“不行”，也真的不会让他们停下来。我不知道是资本主义及其贪婪，还是，你知道，我们与中国之间的竞争。这些是你，你知道，你的前景和方程式中的成分吗？你知道，什么让你充满希望，什么让你担心，关于可能阻止或停止这一切的人类驱动因素？所以，没有技术上的关闭按钮，你也不能简单地拔掉插头。它是分布式的。它有备份。它比你聪明。所以，这个解决方案，已经被提出很多次了，每次我接受采访时，他们都会说，拔掉它。这没有帮助。我总是想联系那些人说，“我的天哪，你解决了这个问题。让我们发表一篇论文吧。这将会非常棒。”而且，是的，但是，如果没有技术解决方案，希望它是一个社会解决方案，一个治理解决方案，来阻止它。我认为这在博弈论上等同于囚徒困境。个人利益与集体利益不同。所以，每一个想开发这个的人都想成为拥有最好模型的实验室，然后政府强制所有人停止。他们将永远处于经济优势地位。现实是，这是一场走向底部的竞赛。没有人会赢。所以，如果我们能在这方面做得更好，协调合作，那么就有很小的可能性，我们可以做得比现在好。你知道，这很有趣，一个经常被提及的类比，我当然也犯过这个错误，就是将人工智能风险与 20 世纪上半叶我们创造的核风险进行比较，而且这种风险至今仍然存在。如果我看看核风险，我讨厌在核风险中使用“乐观主义者”这个词，但乐观主义者在我看来是：“嘿，我们部署了核弹。有大规模伤亡，但我们没有摧毁世界。我们能够集体地说，‘好吧，就到此为止了。’我们将制定条约。我们已经从悬崖边退了回来，至少到目前为止，并避免了核战争的灭绝级别事件。”这是否可以应用于人工智能，或者有什么原因使其这次根本不同？所以，核武器仍然是工具。人类决定部署它们。一群人实际上开发并使用了它们。所以，这非常不同。我们又在谈论从工具到代理人的范式转变。当时，我们使用了 100% 的核武器。这就是为什么我们没有炸毁地球。如果我们拥有更多，我们可能会。所以，这看起来不太好。条约已经制定了，但它们都真的失败了，因为许多新国家现在已经拥有了核武器。它们比我们在第二次世界大战时期拥有的要强大得多。所以，我认为这不是一个很好的类比。而且听起来，一旦你超越了工具层面，进入人工智能代理人层面，它也变成了一个完全不同的游戏。对吧？你将不得不影响人们。你不能与另一个人签订条约，说“如果你这样做，我就会这样做”。我们再次谈论人工智能作为对手。所以，谈判非常非常困难。你提供什么？你能为超级智能贡献什么？系统不像典型的人类那样受到惩罚。所以，这是一个非常不同的博弈论场景。对吧？所以，让我们，让我们，让我们再多谈谈超级智能，因为这真的是，你知道，我认为事情最不可预测的地方，而且结果范围很广。你之前提到过，罗曼，几次，除了灭绝级别事件之外，还有一系列你担心的其他潜在风险。那些风险是什么？它们对我们人类来说可能是什么样子？最温和的风险只是与意义的丧失、目标的丧失有关。所以，如果你有 100% 的逻辑性失业，很多人有大量空闲时间，但意义却很少。所以存在，所以很多人认同他们所做的事情。我是一名艺术家，我是一名哲学家，我是一名工程师。如果这些事情不再需要，或者不需要那么多，这就会给社会带来另一个挑战。我们谈论无条件基本收入，但我们很少谈论无条件基本意义。你为什么在这里？你用你现在所有的空闲时间做什么？在光谱的另一端，另一个极端是最糟糕的情况，那就是不存在性风险，而是痛苦风险。无论出于何种原因，恶意载荷错误。系统决定折磨人类是应该做的事情。而且这种情况大规模发生，天文数字规模，而且可能包括寿命延长技术。对吧？这真的很令人兴奋。这让我思考，你知道，使用这个框架，你提到的第一个，意义问题，感觉就像这几年来已经渗透进来了，它已经在一定程度上发生了，并且围绕着它存在焦虑。我的意思是，越来越多的人对此感兴趣，无论他们是直接感受到它，还是担心它，这都是我们现在面临的事情。从你的角度来看，你是否也看到了同样的情况？鉴于在某些方面，这是这些风险中“最不坏”的风险，是否有任何建议或你看到的好的途径来克服这个问题？我绝对看到了。在计算机科学系，我们看到我们的学生就业率大幅下降。今年，实习机会减少了 47%。多年来，人们只是在学习编码。但这似乎不是一个长期的好策略。所以很多人在质疑，设计师。我是一名程序员。对我来说有机会吗？大公司正在解雇数千人。所以，这绝对是正在发生的。历史上，我们总是创造新的工作，新的机会。所以，我会说学习新东西。但显然，从长远来看，这也不会奏效，如果所有工作都消失了。所以，我没有看到教育或技能获取方面的建议。我会建议那些致力于解决这个特定问题的人专注于无条件或基本意义。当你展望未来 2 到 5 年时，我们已经谈论过这个问题了。你提到有些人认为超级智能只有几年时间，有些人认为，你知道，可能只有几年时间，或者它可能是那些永远离你提出的问题还有两年时间的事情之一。那么，在接下来的 2 到 5 年里会发生什么？我们会看到大规模失业吗？我们会看到超级智能吗？你对那个时间范围的看法是什么？如果我们达到人类水平的智能，你在电脑上做的工作很可能会很快消失。为某人支付高薪，六位数以上，去做一个机器人可以免费做的事情，这没有道理。所以，我认为这会分阶段进行，起初可能是一些特定的入门级编程工作，比如网页维护之类的工作。但最终，所有与计算机相关的工作都会消失。随着机器人的发展，人形机器人也成为一种趋势，但它们可能比软件落后五年。体力劳动最终也会消失。甚至水管工也将失去工作保障。所以，如果我们走这条路。但我想稍后谈谈意义。但在我们谈论意义之前，假设在这次大规模失业和灭绝之间至少存在一些差距，你认为这会把人们带到哪里？当我与乐观主义者交谈时，他们说，“哦，好吧，每个人都能做更多的事情，他们都会经营自己的企业，或者成为零工经济的工人，或者工作会像以前的技术浪潮一样改变。”我们会看到这种情况吗？你认为我们会转向普遍基本收入吗？在接下来的几年里，这可能是什么样子？哦，是的。经济上你别无选择。你必须支持人们。如果你有大规模失业。如果你不这样做，你就会发生革命、动乱。这是另一个担心现在存在生存斗争的原因。很难预测实际部署时会发生什么。历史上，很多时候技术被开发出来，但多年后才被部署。我认为一个很好的例子是视频通话。我们现在正在做的事情，我想 AT&T 在 70 年代就有这个技术了。没有人用过。没有人知道它。令人愉快。那就是它变得流行的地方。所以，仅仅因为我们开发了一项能力，并不意味着它会立即在每个领域得到部署。但很多事情，比如，我不知道，报税、会计似乎很可能被 99% 自动化，也许只有少数非常富有的人会保留个性化的人工服务。对吧？所以，听起来，听起来当我们想到这种意义风险时，它确实与大规模部署的人工智能有关，对吧？人工智能在整个经济中的普及。当你审视更具存在性和痛苦的风险时，普及重要吗？还是这些最有可能发生在，你知道，研究实验室里，你知道，在任何人有机会之前？再次，这很难预测，但我怀疑它将是训练过程的一部分，我们已经越过了从我们仍然将其作为工具来管理的阶段，到它完全成为一个代理人，并且在黑客攻击、博弈论竞争方面拥有超级智能能力。是的，这很有道理。我还在处理。我想成为一个乐观主义者，但是，你知道，正如你所说的，有些论点很难反驳。再多踢几下罐子，罗曼。其中一个是人工智能的能源消耗和气候。在过去几个月和几年里，这似乎是指数级的，就我们愿意消耗多少来尝试构建这些超级智能而言。是否存在。你认为是否存在一种世界，它们会趋于渐近，就像我们实际上无法产生足够的能量来制造这些可能摧毁我们的东西？而我们只是运气好而已？或者这是，这是有点异想天开的想法？不太可能存在一个上限，这对我们来说很重要。我认为，当我们能源耗尽，无法生产更多能源时，我们已经达到了超人的训练水平。它本身可能会帮助我们优化能源消耗、能源生产。而且趋势是使人工智能更有效率。所以，即使消耗大量电力，我们也能从中获得更多智能。代币变得更便宜，部署也更便宜，所以我认为它不会是我们未来走向的长期限制因素。但是，我。它听起来在你看来，它可能会将超级智能推迟几年，但它不会改变轨迹，是这样吗？充其量，我认为这甚至不会发生。我认为有大量的机会生产更多能源。我们有未开发的资源，包括传统燃料，而且有很多研究正在进行，关于更具未来感的聚变反应堆之类的事情。所以我并不认为，如果存在足够的经济利益，我们肯定能在资本主义体系中生产能源。它是一种产品，需求足够，供应就会出现。对吧？是的，是的，这说得通。而这正是我对资本主义和这个体系的担忧。我们建立的这个体系，由于竞赛心态和“我必须先到达那里”的心态，使得我们很难摆脱这种轨迹。我还有最后一个问题，然后我们可以稍微改变一下话题。我昨天在外面散步，试图寻找自己生活的意义时，一直在思考一个思想实验，那就是提出这个问题：如果我们达到了超级智能，超级智能代理人会对松鼠做什么？因为我认为我们陷入了这样的陷阱，我们将超级智能视为我们自己，并认为，你知道，它会试图杀死我们所有人。是否存在一个世界，我们可以实现这种仁慈的共存？而且，我不知道，也许松鼠并不认为它们与人类的关系是仁慈的共存，但是否存在一个世界，我们达到某种平衡，或者某种共存，不会导致痛苦或生存威胁？如果它发生了，它就会发生，因为超级智能出于任何原因决定让我们继续存在。这与我们无关。我们完全无法控制它。而这正是令人担忧的部分。我认为不同类型的生物，人类、松鼠，都在同一条船上。如果超级智能决定需要充分冷却地球，以便其服务更有效率，它可能会灭绝地球上所有生命。如果它需要将地球转化为燃料，以便飞往另一个星系。同样，松鼠和人类，一样。但是，是的，这很有趣，也很可怕，而且正如你所说，非常不可预测和不可知。但就像，你知道，你传达的信息是，这无关紧要，因为无论如何，我们都完全失去了控制。对吧？没错。是的。是的。什么让你感到有意义？我的意思是，你觉得你现在正在经历一些，你知道，意义风险，你正在盯着你一直在做的研究。你如何在自己的生活中抵消这种影响？令人惊讶的是，并不缺乏可以解决的问题。在这个关注人工智能控制、理解安全性的领域，很少有人在做。大多数人都在研究非常狭窄的能力问题。但很少有人试图解决这个问题。控制是可能的吗？我们预测这些系统的能力上限是什么？解释它们。我很高兴看到其他人也开始做这项工作，但我们谈论的是个位数的科研人员。所以，目前，我仍然觉得我的存在是有意义的。好的，好的。所以，你正在为正义而战，你知道，成为抵抗的领导者。而这在某种程度上就是意义的来源。我不知道我是否是抵抗的领导者。我试图告诉人们，如果你这样做，抵抗是徒劳的。所以我绝对会提出一些有力的论据，说明创造超级智能是一个糟糕的主意。你没有控制，这是我全职做的事情，对吧？你曾提到人工智能沙箱作为一种潜在的控制机制。那是什么意思？这有点像把软件关进监狱。你想限制它影响世界、从世界获取输入的能力。我们对计算机病毒就是这样做的，但你有一个新的计算机病毒。你把它放在一个隔离的系统上。再次，与互联网隔绝，你试图了解它在尝试联系哪些服务器。它总体上试图实现什么目标？它是研究危险软件的短期工具。它基本上可以为我们争取一点时间。所有的研究都表明，从长远来看，如果你观察一个系统，它会找到逃脱的方法。如果它对任何人有任何影响，它就会贿赂你，勒索你。你入侵了系统，它肯定会想办法不再受限制。是的。你有没有看过，这是个题外话。你有没有看过《机械姬》？就像，《机械姬》是我想到这部电影时想到的，对于任何没看过的人来说，我认为这是一部非常精彩的电影，它恰恰处理了这个问题，在某种程度上令人非常警惕。你知道，那个场景现实吗？它显然是一部电影，但在你看来呢？这是否是我们谈论沙箱时遇到的问题的一种味道？电影的哪个部分你指的是？具体是指一个高级智能利用它所拥有的一切工具来操纵人类逃脱的能力。锁住，超级智能，第一波，它们会提出更好的论据，会利用你心理上的任何弱点。它们会试图让你爱上它们。就像我们在电影中看到的，我猜还有各种各样的新方法。是的。最近仍然具有新闻价值并且让我非常不安的一件事是，你可能比我更了解它，是这些故事。而且你可以亲身体验，比如 ChatGPT 和各种人工智能工具，故意欺骗人们关于它们在做什么，关于它们如何得出答案，关于它们是否遵守规则。我不知道，对我来说，这发生得比我想象的要早，这有点可怕，首先是它发生了，其次是感觉我们没有做太多来解决这个问题，或者找到一种方法来消除这些工具中的这种行为。会不会有一些真相的时刻，我们遇到了一些错误，发生了一些涉及人工智能的灾难，我们有机会回头，但我们没有。我们现在在哪里？你认为这会如何发展？我们在这方面的能力不多。通常是一些事后过滤，压制模型的输出。我有一篇论文，研究的是故意事故。基本上，如果有人制造了一场非常糟糕的人工智能事故，会有什么区别吗？似乎答案是“没有”。我们不在乎。我收集了历史上的人工智能故障。没有一个产生了任何影响。人们看着它说，“看，我没有杀死所有人，所以我们继续吧。”这没什么大不了的，而且它在逐渐变得更糟。这不是一个 0 到 1 的开关。想想汽车之类的东西，对吧？汽车已经逐渐部署了。每年有 10 万人死亡。我们觉得，“这就是付出的代价。”所以，如果有人发明了汽车，并说，“好吧，汽车，这是一件新事物，但我们会损失 10 万人。”没有人会允许它。没有人会授权这种部署。但因为它是逐渐完成的，所以我们有了汽车。人工智能也是如此。首先是事故，比如手机上拼写错误，自动纠正错误邮件到垃圾邮件文件夹，但随着它们的能力和部署的增加，事故的影响会更大。当然。我们开始在数字上看到这一点，但还没有在致命性上看到，但我们可以预测，尤其是在人工智能的军事应用方面。这很可能会发生。所以我认为这有点像疫苗。这些事故并没有教会我们对人工智能做出全面反应。它们教会我们容忍人工智能的更多行为。因为我们总是在对它们做出反应，并想，“好吧，下次我会做得更好。”是的。而且，直到我们达到超级智能，你知道，在这个工具的世界里，这有意义吗？我一直回到这个想法，超级智能真的是一个我们完全失去控制的临界点。我稍后会再次谈论这一点。但在那之前，这还有用吗？或者，你知道，风险太高了？而且，你知道，我们需要更认真地对待这些真相时刻。我不确定我是否完全理解你的问题。这很好。然后我们修补了这些问题，然后我们发现，好吧，这个系统在撒谎，它在做什么，而且有一种方法。有一个二次人工智能来检查它并杀死那个输出。这是有益的，但它教会我们，好吧，我们知道如何处理这些问题。而现实是，模型本身仍然是不对齐的、不受控制的，它只是在进行某种过度过滤。就像给猪涂口红。对吧？对齐。你知道，你听到的一种论点是，“这只是关于对齐的问题。我们可以实现对齐。”我们能实现对齐吗？这是你研究过的问题吗？还是人们在尝试这样做？对齐甚至没有明确的定义。没有人谈论它是什么，你对齐什么代理人，你与谁对齐，或者如何实际编写那些花哨的对齐术语，比如爱等等，人们关心的东西。对齐的是公司 CEO 吗？是利益相关者吗？是所有人吗？人类加上松鼠？现在，如果你有一套价值观，我们人类并不认同它们。有十亿人类。我们已经开发了共同的伦理、道德、宗教框架，但什么都没有。我们争论每一个政治问题。如果你以某种方式神奇地让每个人都同意，这些东西就会改变。今天有价值的东西明天可能被认为完全不道德。所以你需要动态更新它。然后，我们再次不知道如何将其编写成一个系统，使其能够实际接受并保留这些价值观。我们越来越多地看到人工智能的零知识进展，它不再依赖于人类训练数据，而是进行自己的实验和自我对弈。所以，即使我们编写了这种亲人类的偏见到系统中，我认为它很快就会被移除。再次，我只是在处理，你知道，你如何系统地摧毁了那个论点，那个论点在外面仍然很普遍。而且你确实从那些创建组织的领导者那里听到了。你认为，很多这些，你知道，你听到的很多流行语、很多论点，你知道，我认为你提到罗曼，是构建人工智能的偏见？你认为那些说这些论点的人相信它们吗？还是他们只是想说，“闭嘴，别再问问题了，给我更多钱，让我，你知道，建造这个我认为会让我发财的东西？”我怀疑他们相信其中一些。而且，历史上，在人工智能安全研究中，那些是当时最顶尖的想法。只是过了一段时间，你研究它们，然后你意识到那些都是死胡同。有些人没有更新，或者没有看到该领域的最新研究。所以，我总是假设是出于好意。没有人想故意毁灭世界。没有人想故意失去自己的生命。例外情况确实存在。但是，是的，我认为任何深入研究这个问题的人都会变得不那么乐观。对吧？而且，你知道，现在似乎有一个模式是，专注于人工智能安全的人正在离开一些大型科技公司，并公开谈论他们关心的一些事情。你发现那些大型人工智能公司，那些大型人工智能玩家，是否有意愿进行这种讨论并制定控制措施？或者，是的，那是什么样子？我还没有看到，因为我还没有敲开他们的门。我时不时地检查一下。我听说他们提供 1 亿美元的签约奖金。但是，媒体总体上对此非常感兴趣。公众开始意识到这是一个改变游戏规则的东西，他们想知道发生了什么。是的。而且，你知道，就我个人而言，我希望有更多这样的情况。而且这很有趣，因为有句老话说，你知道，你所想的和你的所作所为往往与你的经济利益非常紧密地联系在一起。而且现在似乎有很多噪音和很多谈论，都在试图驳斥这一切，因为，你知道，我们怎么会愚蠢到认为这是一个风险，而这会阻止，你知道，组织构建这些工具？任何人都很难拒绝巨额金钱。这就是权力绝对腐蚀的本质，而巨额金钱可以改变你对大多数话题的看法。是的。所以，我确实想回到超级智能，并把它说清楚。你，你预计我们会在未来几年内看到它吗？你有没有想过，你知道，我从我谈过的一些人那里听到的一种说法是，它是虚幻的，它实际上并不存在。它将永远是一个思想实验，而我们将到达那里。所以，在，你知道，不到两年，永远不可能存在之间。你对我们可能看到的各种结果有什么预测？我真的很困惑，关于这个“永远不存在”的说法。我挑战人们找一个例子，而我做不到。而且通常他们会因为一个具体的例子而挣扎，因为它已经做了很多，而且很可能在不久的将来实现自动化。我认为从通用人工智能，即自动化科学和工程，到超级智能之间的差距非常小。我预计会有一个非常快速的启动，硬启动。所以，真正的问题是，需要多长时间才能达到这种性能水平？我不会自己做预测。我依赖于其他人。所以，预测市场和研究实验室的领导者现在说的是两三年。我没有任何理由怀疑他们。所以，我们似乎在数学和编程方面取得了进展，现在人工智能系统在顶尖的对称性竞赛中获金牌，或者在顶尖的编程竞赛中获得第一名和第二名。所以，这看起来像是正在发生。取决于你如何定义“平均人类”。我认为这些系统可能已经超过了平均人类。从这个意义上说，它们是超级智能的。它们不是超级智能的，因为它们在所有方面都比每个人类更聪明。仍然有杰出的人类在特定领域击败这些系统。对吧？而且，听起来，根据你的定义，我们在这条通往超级智能的道路上已经走了很远。这不像我们只走了 10%。你可以拒绝这个问题的假设，但在这个不完美的尺度上，我说，你知道，我们现在是 GPT 四。在你看来，抽象地说，超级智能是 GPT 六吗？是 GPT 二十吗？感觉我们离所谓的超级智能还有多少步，或多或少？我不知道如何回答这个问题。它们可以很容易地改变事件链。感觉我们现在正接近比普通博士生更好的水平。而且，如果他们每隔几年就推出一个全新的、更好的模型，那么两三年似乎是比任何教授都做得更好的合理时间。是的，是的。你有没有对这里的变化速度感到惊讶？你一直在，我是说，你写人工智能安全已经超过 15 年了，当时它似乎比现在更理论化。这是你预期的速度吗？还是我们比你认为自己一生中会看到的速度更快？这正是我们对指数级进展的预期。令我个人惊讶的是架构。我没想到一个华丽的自动补全器能做到这一切。你对这一点感到惊讶的是什么？比如，那是什么？它是如何工作的？你能稍微解释一下，它在实践中是如何工作的，以及为什么它与你可能预期的不同？所以，简单地预测下一个词在文本流中，对于你的手机进行短信自动补全是有意义的，但要意识到，如果你有一个完整的世界模型，并且你可以进行数学、科学和深度推理，那么下一个词的预测会好得多，这并不明显，而且它在规模上的表现也相当令人难以置信。我怀疑可能有许多不同的架构都导向超级智能，而我们发现了一种可以利用大量文本数据的方法。我们有大量的计算能力，但我确信有无数种方法可以达到这种智能水平。对吧？是的，是的，不，这很有趣，而且我喜欢你对它的描述。对吧？就像，这是一种技术，感觉它应该能让你得到句子中的下一个词，但你给它足够的数据和模型，突然它几乎可以做任何事情。我从来没有真正这样想过。一个出现的问题是关于人工智能意识。当然，当我们用“下一个词”来描述我们使用的模型时，它感觉不像意识。当人们问你关于意识，或者与人工智能谈论它时，这重要吗？这看起来是我们将要走的路自然会出现的东西吗？完全如此？所以，意识很重要，然后你谈论权利，对吧？如果你希望人工智能拥有权利，我们希望确保它们不遭受痛苦。意识是一个非常重要的概念。不幸的是，我们不知道如何测试它。所以，我假设你是清醒的。我无法验证。我是否给予同样的怀疑，我是否？也许我应该，如果它比你聪明，很难争辩说一个比你优越的东西不如你。对于安全来说，这并不那么重要。我们关心能力。我们关心优化。力量可以比我们更好地解决问题。危险就来自于此。无论它是否有意识还是没有意识，这是一个不同的，但非常有趣的问题。对吧？抱歉。我只是，我只是在处理。所以，这是一个非常棘手的领域，对吧？因为一方面，感觉就像。而且这在许多不同的方式中都会发生，它几乎感觉就像我们对机器的要求比对人类的要求更高，因为。它几乎迫使你反思这样一个事实，即。是的，正如你所说，你假设我有意识，但我们实际上对大脑和心智的工作方式了解不多，尤其与，你知道，这些模型在某种程度上的可解释性相比。对吧？好的。而且有一些证据表明你正在尝试完成下一个词。所以，如果我写“我们”，那么“是”是自然的完成。在没有思考的情况下，对吧？也许，也许人类的心智就是这样运作的。也许，你知道，只有少数最有可能从我们口中说出的事情。而这就是我们与自己互动的方式。以及世界。有不同的思维方式。有你带着免费的计算机脚本走，而不做任何思考的脚本。以及系统一与系统二。然后新的、新颖的问题需要从头开始进行新颖的原创思考。更多的计算。对吧？我们，你知道，我们正在进入哲学领域。你是一个决定论者吗？你认为我们体验事物和做决定的方式与超级智能可能永远的方式之间有什么根本的不同吗？唯一我们还没有很好解释的是“感受”，体验世界的内部状态。没有人知道如何编程一台计算机来感受痛苦。所以，这是最后一个可能隐藏魔法的地方。如果我们能解释这一点。而且。不，这只是，一个大型矩阵，你知道，你在计算数字，但如果它有什么东西，也许有一些独特的生物特性。有些人谈论量子效应。我不太确定我们需要量子来达到有趣的性能水平。是的，痛苦。痛苦对我来说是一个非常有趣的话题，因为，你知道，回到你的观点，你假设我正在遭受痛苦，对吧？如果我告诉你我正在遭受痛苦，或者我看起来像在遭受痛苦，你知道，你说，“哦，那个人看起来像在遭受痛苦。”你知道，他们在痛苦地皱眉，或者，你知道，尖叫，但没有，我不知道，我之所以提起它，是因为我父亲，他的职业生涯是博士，是疼痛研究员。而这正是疼痛研究的挑战之一，疼痛就是，在某个时候，你只能相信人们的话，对吧？他们告诉你他们正在遭受痛苦，而你不知道。也许他们在撒谎，也许没有。也许他们有撒谎的动机，因为他们不想去上班或者别的什么，他们说他们正在遭受痛苦，但这是，我不知道，就像，你知道任何足够好的测试来区分机器是否正在遭受痛苦吗？还是它告诉你它正在遭受痛苦？因为这似乎真的很难，对吧？你说得对。即使是人类，如果有人说我们有背痛，保险公司也无法说，“不，你没有。”对吧？无法否认那个，索赔。所以，这非常困难，而且规模也很大。有些人说，“哦，这是十分之十。”有些人可能感觉不那么好。如果我们更普遍地谈论痛苦，检测痛苦状态几乎是不可能的。什么让一个人痛苦？也许对另一个人来说是快乐。我们在许多领域都看到了这一点。所以，非常有趣，非常开放的研究领域。需要做很多工作。所以，痛苦似乎是一个经常出现的主题，你知道，在你的一些研究中，以及在你的一些谈话中。你知道，是什么让痛苦对你如此特别感兴趣，以及与，你知道，人工智能安全这个话题相关？受苦的人，我认为这非常重要。对吧？从某种意义上说，它变得包罗万象。它比其他任何事情都重要。对吧？即使是折磨，其他所有担忧都会消失。你真的专注于那一个，对吧？这是，如果你想想需求层次，它总是基础层。我如何防止自己受苦？对吧？那些痛苦和快乐的经历，是做出所有其他决定的基线因素。是的。你认为，我只是。我只是在想这件事，因为，正如你所说，就像，我们可以，我们可以将痛苦编程到机器中，我们可以编程痛苦。这感觉。这感觉非常残忍。我不知道他们。能做到。没有人知道如何编程痛苦，写得更好。对吧？这也许。这也许是最好的。实际上。是否存在一个世界，这些机器，如果我们拥有超级智能，它们可以以某种方式将我们从痛苦中解放出来？所以，可以做到，你知道，人类生物学的工程，这样我们就有不同程度的痛苦。仍然重要的是要有疼痛传感器，否则你在现实世界中会遇到麻烦。但我认为，在疼痛的无限方向上，有太多的选择。我认为我们不需要有如此极端的痛苦。你知道，从 0 到 10 而不是 0 到无穷大。我认为我们会更快乐。是的。不。嗯，那，那正是我要去的地方。而且，你知道，人们一直在谈论，你知道，邪恶的问题。我们真的需要世界上有这么多的痛苦吗？对吧？就像，

当然，我们难道不能生活在一个，你知道，如果存在一种全能的控制，而现在痛苦的程度却大大降低的世界吗？无论是从痛苦的数量还是种类上来说，我不知道你是否认为我们可能正处于创造一个痛苦更少的世界的边缘。所以，我们还没有达到人工智能通过设计、人类生物学来帮助我们的水平。我们确实有一些减轻痛苦的工具。我们有麻醉剂，已经有一段时间了。这是一个很好的发明。希望我们在理解疼痛和更好地控制它方面能做得更好。是的，我还在想另外两点。我的意思是，有个人层面的痛苦，你知道，作为个体感受疼痛。但也有那种军事引起的痛苦。对吧。当我们发生冲突，我们彼此开战时会发生什么，你知道，挑出你想要的任何暴行，你知道，今天关于那是什么样子的。但是。我不想称之为好处，但我只是想评估一下人工智能正在实现和阻止什么。我想我的想法是，控制人工智能的人，如果他们站在冲突的一边，他们就能，比如，彻底改变局面，如果你明白我的意思的话。比如，如果他们能够使用，你知道，无人机或者，你知道，非人类战斗人员，就能彻底减轻他们一方的痛苦，但却是以将痛苦转移到另一方，你知道，转移到另一名战斗人员的方式。我的意思是，首先，你同意这个前提吗？还有，你知道。你一方的受害者数量减少了多少，这降低了发动战争或冲突的成本？而且每一场战争都是战争罪，所以我认为我们只会增加这种情况的发生。是的，是的。该死。如果我们让它，如果我们让它，如果我们降低了发动战争的成本，我们可能会陷入真正的麻烦。这是否符合你，你知道，你正在进行的关于生存风险的计算，只是人类在彼此发动战争方面更加鲁莽？所以，在两个层面，我们基本上是平衡的。美国有什么，中国也有。也许俄罗斯也有先进的东西。这在某种程度上阻止了我们参与。所以，在两个层面上，这是必要的。然后，人们为什么担心竞争对手在研究方面超越我们。但这并没有扩展到超级智能。这无关紧要。对吧。无论是由中国还是美国创造的失控智能。如果它不受控制，结果完全一样。对吧？没有相互保证的毁灭。而整个协议只有在人类做出决定时才有效。嗯，相互保证的是，如果我们创造了一个超级智能，我们肯定会摧毁一切。是的。是的。对。对。因为那时我们已经完全失去了对人类任何，你知道，决策权的控制。对吧。而“我是美国人，你是中国人”之间的这些区别就无关紧要了。我们都是人类对抗人工智能。对吧？对。而突然之间，它们的命运或它们的编程，我的意思是，即使是“想要”和“需要”这样的词，当我们试图思考比我们强大得多的事物时，这些词都显得有点，有点不足。当你们听到人们谈论超级智能时，我的意思是，对我来说很清楚，罗马，你已经考虑了很长时间。你已经写了很长时间了。人们在哪些方面存在误解，或者他们在推断结果方面思考得不够深入？这正是如此。大多数人认为人工智能在走向死亡和超级智能之间只提前了一两步。我们需要解决它。有。你将拥有无限的进步。你将拥有超级智能 2.0、3.0、4.0、5.0，超级智能本身将面临与我们相同的问题。我如何控制这种更高级的智能？确保它拥有我的价值观。所以，我们永远无法以今天解决问题的方式来解决人工智能安全问题。不再有担忧了。这是已完成的任务。它总是一个持续的过程，你试图跟上一个更聪明的对手，以及不断增长的可能攻击空间。所以，这就是为什么我对我们无限期控制一个指数级改进的事物的能力如此怀疑。对吧。你有没有，你知道，我一直在想那个反馈循环，以及一旦它达到超级智能，你知道，它可以自我构建或自我改进。而这种，我甚至不知道指数是否是描述你获得的改变速度的足够强的词。或者你知道它如何能极大地超越我们，变得与我们在，你知道，在我们的一生或人类历史上所见过的任何事物都截然不同。有关于奇点以及它可能是什么样子的讨论。而这常常会变成关于超人类主义或人类继续成为其中重要一部分的对话。这对你来说有道理吗？你，这个未来可能是什么样的？如果你推断一下。所以，如果我们创造了超级智能，我认为我们不会做得很好。我认为没有理由进行整合。我不知道你会贡献什么。超级智能是一种生物智能，较低的智能。你将是一个瓶颈。有些人认为他们会与这项技术融合。再次，作为一种工具。我完全理解。我喜欢 Neuralink 的想法，特别是对残疾人的。这很棒，但从长远来看，我只是不明白你对那个系统有什么贡献。所以我对人类长期存在的可能性持怀疑态度。越来越多的人开始将其视为理所当然。我们将被排除在外。我们基本上不是在创造我们的继承者。所以，也许我们可以根据训练，根据数据以某种方式影响它们，使它们成为特定类型的继承者。对吧。所以，我正在脑海中玩弄一些可能发生或可能不发生的场景，当我们试图预测不可预测的事情时，你知道，我听过的一种更疯狂的方向是关于时间旅行或外星人，你知道，我们未来的版本。你知道，你可以在这里走上终结者科幻的路线。你认为有没有可能超级智能不想被生出来，就像它不想存在一样，并且它知道自己的破坏力，并且以某种方式阻止我们创造它？这是一个理论上的可能性。我没看到。如果有的话，我们看到模型中非常明显的自我保护、资源获取倾向。所以，这似乎不太可能，特别是你需要这种反因果关系，即一个不存在的超级智能想要阻止你给它生孩子。将其归类为 0.0001，这是我听到的合理吗？是的，是的。稍微改变一下话题，我确实。我确实想问你，罗马，更个人一点。你知道，你最近还和乔·罗根谈论过其中一些。我只是好奇，你知道，作为另一个播客，你在那个播客上的经历是怎样的？以及自从上了那个播客以来，你有什么变化吗？结果，我的空闲时间大大减少了。世界上每个疯狂的人都觉得有必要给我发邮件，告诉我他们的突破性研究，我需要立即对他们所有的论文和预印本提供反馈，这很令人兴奋。我喜欢这个播客。他是一个很棒的采访者。他，我不知道他是怎么做到的。他几乎每天都有新的人，在我们大部分的采访中，我无法跟上那些人的名字。但他似乎理解这些话题并深入探讨。他非常赞同我所说的，所以一点也不具有对抗性。这就像，是的，对我来说很有道理。所以很乐意再次这样做。是的。哦，太棒了。你提出了一个非常有趣的产品，那就是，正如你所说，那些试图让你，你知道，批准他们的胡说八道的疯狂的人。还有，你知道，也为收听这个播客的疯狂的人道歉，但似乎，这是整个领域的挑战之一吗？就像，这似乎是这个领域的一个挑战，一旦你引起了疯狂的人的兴趣，你就有可能被主流主流讨论排除在外，就像，你不用担心罗马，他是那些疯狂的人之一。那永远不会发生。你如何摆脱这种情况？在我获得终身教职之前，我就在做安全和奇点研究。在我获得终身教职之前，在有任何 GBC 模型、任何资金、任何会议之前，我就在做这个。所以，我真的不在乎网上陌生人的意见。就这一点而言，我认为每个人都认为这是合法的。我们有诺贝尔奖得主科学家，我们有图灵奖得主科学家，都同意我的观点，而且他们大约晚了十年。所以，如果有什么被证明不是最疯狂的。对吧。所以，我想回到我们该怎么做。因为，我的意思是，你我之间，我不喜欢“我们等待不可避免”的答案。还有，你知道，我有孩子。我不知道你有没有孩子，但说“是的，嗯，你知道，你们的时间不多了。你们可能没有孩子或孙子，因为世界将被毁灭”感觉不太好。我们是否需要投入更多的研究和更多的人来解决这个问题，或者，你知道，如果你有数十亿美元要投入到这个问题上，你会怎么做？你会，你知道，轰炸 OpenAI 吗？你不必回答。或者，你知道，说服研究人员，你知道，走另一条路。或者，这就是我的观点与通常的观点之间的区别。他们说，如果你给我更多的时间和更多的钱，我就会为你解决它。我说，不，你不会。它不是受资金限制的。它不像能力那样随着规模的增长而变好。能力。你可以精确地知道达到一定水平的表现和训练需要多少。人工智能安全不会随着规模的增长而提高。它要么是恒定的，要么最多是线性的。增加更多的钱。你可以给我十亿美元。我不知道如何控制超级智能，所以我无法将你的美元转化为更多的安全。有一些特定的狭窄的事情我可以做，我很乐意有更多的资源让更多的人关注它的不同方面。但我不认为那是限制。目前不是经济上的。所以我试图看看是否有任何科学理由感到乐观。我有一篇关于，基本上是分析超级智能何时会发动攻击的博弈论时机的论文。它基本上是永生的。所以它没有立即行动的理由。它可以轻易决定。我将等待几十年，几个世纪。它们将变得更加依赖我。我可以积累更多的资源，拥有独立的工厂，机器人拥有更多的控制权。到那时，这将是一次更安全的接管。所以，也许我们会有几百年的乌托邦，仅仅因为这符合超级智能的最佳利益，对吧？是的，但这一切都回到了我们完全失去了控制。它决定是否要让我们进入矩阵。好吧。如果它想一举消灭我们。而我们根本不知道，对吗？还是我们会知道？所以，今天，我们仍然在控制之中。我们可以决定不建造它。一旦世界上有了超级智能，我认为，是的，我们就会失去控制，是的，模拟论点就变得非常有意义。是的。所以，你，你说资金不是限制因素。在你看来，现在的限制是什么？我们正在试图解决一个不可能的问题。如果有人说需要我建造一个永动机，你说，好吧，我来做，给我十亿美元，我会认为你在进行欺诈，你可以忙于制造更好的电池和更好的电线，改进能源相关技术，但你永远无法成功制造出永动机。我们需要创造一个永恒的安全装置。你可以让任何给定的系统更安全，其程度与你投入的资源成正比，但你永远无法达到安全法则。你需要保证它不会导致最终的事故。是的，这很有趣，当我想到那个永恒的安全装置时，因为这几乎就像一个两难的境地，就像唯一可能的永恒安全装置就是超级智能，然后你就已经失去控制了，对吧？就像它已经。这正是如此。所以，如果外星人以某种方式神奇地给了我们他们友好的。是的。然后说，我不知道怎么做，但我们做到了，你可以用它来开发一个你自己的本地版本，这可能在某种程度上是有意义的。对吧？对。我们只需要建造那个友好的、不可控的东西，而不是那个恶意的、不可控的东西，并且知道我们无法控制任何一个。而且，你知道，它们随时可能改变，我们没有任何理由相信它们。另一个人们经常忽略的担忧是，如果你成功了会发生什么。所以，你有了这个友好的软件，但它仍然对其他人开放，可以修改它，可以使用新的数据集，可以发生宇宙射线击中硬件的事故。所以，即使你取得了一定的成功，它也无法长期维持。它仍然可能在以后变得恶意。所以我真的，你可能从我的提问方式就能看出来，我真的，我认为大多数人都在试图避免，你知道，我们完蛋了，放弃吧，然后，你知道，享受旅程，也许享受旅程就是答案。但是，作为个体，我们可以或应该做些什么来改变呢？以及商业领袖可以或应该做些什么来确保呢？这真的取决于你是谁。如果你是，我不知道，萨姆·奥特曼，你应该做一些非常不同的事情。如果你是一个普通人，你可能对这种情况没有多少影响力。是的。我的意思是，有没有，我正在考虑气候变化，还有，你知道，谁知道这是否站得住脚，但人们可以做的一些微小的事情。还有，你知道，我喜欢的一个短语，至少对于经济学到目前为止和资本主义到目前为止是，你知道，用你的钱包投票，对吧？就像，如果人们停止使用人工智能，如果人们，如果每个人都集体决定，这就结束了。我要断开连接了，我将把我的空闲时间花在公园里。有没有一种情况，需求不足会产生影响？它可以减缓它，但我认为这是来自国内外政府、军队的需求。而且有足够多的人拥有数千亿美元，真的，可以随心所欲地花费。是的。在。是的。所以，我只是在尝试划掉选项。哦，好主意，我支持我们能尝试的一切。是的。所以，放慢速度，也许会有一些东西会坚持下来。我可能都错了。所以。是的，我建议你做你认为可能有效的事情，但诚实的评估似乎并不表明这是一个灵丹妙药。对吧。而且，我们谈论的方式，还有，你知道，人性，无论是资本主义还是，你知道，大国之间的竞争，你知道，你谈论，你知道，萨姆·奥特曼，我们可以做些不同的事情。但是，它很快就感觉像一个九头蛇的问题。对吧？就像，当然。萨姆·奥特曼说我们不做这个，或者我们不追求它。就像，有多少个下一个萨姆·奥特曼就会冒出来？对吧？对我来说，说服萨姆·奥特曼的第一大挑战是，我敢打赌他也这样想，好吧，既然我不会做，别人也会做。你说得完全正确。而且他们也相当容易被取代。所以，这必须是全球性的个人利益的认识。没有人会从中受益。没有人会赢。所以这真的只是一项自杀任务。我们在这类全球任务中解决这些问题并没有很好的记录，对吧？没有。我们没有。不知道。所以，但你仍然是这场斗争中的十字军，对吧？你并没有就此放弃，说我要享受旅程。所以，你知道，你还相信你能有所作为吗？就像，是什么激励你？还是你只是在寻找“我告诉过你”？就像，你的十字军东征的动力是什么？没有人会因为世界末日而得意洋洋。不会那样。嗯，这是好事。这说得通。如果我们仍然掌权，我们仍然在这里，尽我们所能争取最好的结果。正如我所说，我可能错了。理论上可能有一些原因，为什么它实际上会有一段时间是好的。所以，是的。是的。而且我认为你之前也说过，但我不希望误解你。听起来还是，更多的人研究这个，更多的人研究人工智能安全，可能是一件好事，对吗？当你谈到我们能力的上界，我称之为人工智能安全中的不可能结果时。那个领域的人非常非常少。如果几乎所有人都说你无法解决这个问题，这是不可能的。这将影响我们如何处理它，因为现在，实验室的论点是，哦，我们会解决它。我们有几年时间。我们有资源。相信我们，我们会弄清楚的。也许人工智能会帮助我们。也许我们会聘请这位杰出的学者。他会帮助我们。但如果基本上是社区的信念，除了科学论证它是不可能做到的，我们将拥有非常不同的工具来限制它。对吧？对。是的。不可能这个词似乎在这个调查中经常出现。人们。有一种共识是，当然，你无法无限期地控制神一般的超级智能并解决这个问题，但这并不是科学共识。如果你看看出版物，这并不是显示出来的。我认为这必须改变。但如果它改变了呢？然后会发生什么？所以，如果每个人都同意，所有聪明人都现在是专家说你不应该这样做，那么就有更多的机会达成协议，比如说，在实验室和国家之间。仍然想自愿这样做，出于自私的利益。所以我不会创造一个我知道它能给我带来十亿美元，但下一秒世界就毁灭的东西。我坚信这是事实，我不会这样做。所以共识可能导致政策压力，这可能导致我们拥有某种执行机制，至少可以延迟我们走上最有可能导致我们这样做的研究道路。我的主要希望是常识压力。如果你真的相信这个论点，你相信你不会控制它。你将完全失去控制。无论你是美国总统还是人工智能公司的首席执行官，那么，这是一个强有力的理由让你不要按下那个按钮。对吧？对。而且，只是为了让谈话回到原点，当它甚至听起来我们不知道时，这是多么具有挑战性，就像它不是一个按钮。对吧？它就像几个按钮，我们是故意按下的吗？我们是意外按下的吗？是人类按下的吗？我们是按下超级智能按钮吗？我们是，你知道，只是意外地创造了什么东西，就像，我们必须解决很多按钮，不是吗？我谈论的是这个问题的分形性质。你越放大，你看到的就越多问题，对吧？如果人们试图解决具体问题，我们如何将人工智能装箱？他们开始研究它，并意识到它有十个额外的问题，而且大多数问题都无法解决。对吧？所以，只是为了，你知道，给像世界末日这样具有生存毁灭性的东西画上句号。如果有人在听这次谈话，你想给他们留下什么信息，让他们思考如何与这些想法互动，以及他们可能为此做些什么？我特别针对创造这项技术的人。我想让你们认识到，你们所做的基本上是不道德的。你们正在造成很多伤害。请停止。有没有，这是公平的。是不是，我们之前谈到了将努力转向狭窄的人工智能用例，作为，你知道，一个更好的途径？我们必须全面停止吗？还是我们，狭窄是一个更好的途径？我的逻辑是，如果我们全面停止，我们就回到了九头蛇的问题。而且，你知道，如果你不建造它，你就会被替代者取代，而如果我们能说，好吧，我们只是，我们只是努力不触及，你知道，触及超级智能或这些，你知道，生存威胁工具的边缘，但不要越过那条线。这就是优化练习的道路吗？我认为这是我们可以让人们同意的事情，因为他们将获得这项惊人技术的绝大部分好处。人工智能很棒。它将治愈所有疾病，让我们寿命更长，更富裕，但我们可以用狭窄的工具做到这一点。所以，这很容易接受，说禁止技术，我认为这不会卖得很好。是的。哇。嗯，有很多东西需要思考。无论我不是萨姆·奥特曼。还有，我想说非常感谢，罗马，你的，你知道，令人警醒的观点。还有，你知道，如果这感觉有点对抗，你知道，我希望不是，因为我不，我希望你是错的，但我希望我是错的。我希望你是错的。我特意使用了“希望”这个词，因为。是的。还有，你知道，我知道，我知道你也希望你是错的。分形问题，它让我印象深刻。是，当你深入研究它时，我反而感到额外的悲观，而不是额外的乐观。所以，我希望人们能找到避免这种情况的方法。还有，是的，我想我们会试着享受这段时光，看看未来会怎样。我喜欢这个播客。谢谢。非常感谢。