Transcription
我认为我们可以既拥有蛋糕又享用它，因为这会杀死我们吗？如果我们允许它蓬勃发展，如果我们创造了它，它会在乎吗？但无论如何，当然这里有不同的意见，我们尊重所有这些意见。所以，你知道，正如波尔斯基博士警告的末日游戏，以及本当然邀请我们进行开放式进化。我们发现人类不是旁观者，而是作曲家，也许每一个协议价值，每一次治理行为都成为未来交响乐中的一个音符。让我们集思广益来回答这个问题。那么，前进的道路是什么？鉴于我们无法阻止它，让我们先考虑这个场景，然后我也会考虑另一个场景。但我认为这个更重要，这个更热门。所以，如果我们无法阻止它，你们可以一起做什么才能真正采取最佳行动方案？[笑声] 罗曼，>> 我认为一个简单的解决方案是让本今天创造出有益的超级智能，并免费提供给全世界。我们搞定了，对吧？>> 谢谢。我们正在为此努力。>> 现在一切都取决于你了，本，去吧。解决它。[笑声] >> 现在本可能必须向我们证明它将是有益的。是的。>> 嗯，智能将创造证据并提供它。它足够聪明。>> 正确的。正确的。谢谢。我喜欢这个答案。现在我更倾向于本。我的意思是，让我们想象一下，你可以设想一些安全规则。比如说，罗曼希望在那里存在一些全球性的安全措施，在我们大规模释放通用人工智能之前必须存在。这些规则会是什么样子？你能设想至少一个吗？本，>> 我的意思是，我们可以为人工智能项目创建共享的安全护栏的程度。我的意思是，我们可以做到这一点，这可能会有益，就像我们应该有一个通用的开放基础设施来评估安全性，用于跟踪人工智能产品的来源，用于人工智能可以做什么的能力的通行证或认证。我的意思是，拥有一个通用的、全球采用的框架来支持这种安全基础设施将是很好的。你会希望这成为一种行业认证。我认为这比让它成为一种政策更有趣，如果你发布一个不够安全的人工智能，你就会被判刑。比如，如果你有一些印章表明这个人工智能已被验证具有这些属性，这个人工智能已被验证是透明的，它是顶级的目标不会比什么什么快地修改，我的意思是，如果人们同意，你知道，不购买没有这些印章的软件，那么，是的，这并不能排除一个随机的心理变态者构建其他东西，但这意味着人工智能行业正在遵守某些常识性的安全标准。但埃莱泽现在的观点似乎是，这种安全卫生无论如何都是徒劳的，因为你做得不够好，即使你试图正式验证尽可能多的属性，等等，如果你构建了它，它仍然会杀死所有人，对吧？但我不知道你是否像埃莱泽那样朝着那个方向发展。>> [音乐] >> 大家好，欢迎来到 Mindplex 的有益通用人工智能系列节目的另一集。我非常激动有机会主持盖特尔博士和扬波尔斯基博士之间关于我们这个时代最热门话题的对话。通用人工智能将导致我们的灭绝还是让我们极度繁荣？当然，没有比这更好的专家来处理这个问题了。借用约翰尼·米切尔的话，现在双方都[笑声]嗯，当然，是的，盖特尔博士，通用人工智能之父，他实际上一直以来都在培育通用人工智能，并且仍然在继续培育它，相信并且实际上正在设计它，以便它能为人类的繁荣做出贡献，当然，如果我可以这么说的话，在另一边，但是的，这是一场我们宣布的和平辩论，扬波尔斯基博士，他是世界上最严谨的关于高级人工智能风险的声音之一。我们都知道他们两人。他们非常有名。扬波尔斯基博士最近在他的某个播客上获得了超过 1000 万的观看次数。所以，但简而言之，你知道，对于那些住在火星上的人来说，本是一位数学家和认知科学家，也是最早和最有影响力的远见者，他的工作塑造了现代通用人工智能的追求，作为奇点大学的首席执行官。本，也是开放认知和超光子项目的联合创始人，他倡导一个去中心化、民主化和有益的通用人工智能生态系统。他的书籍和科学著作太多了，无法在此一一列举。它们探索通用人工智能不仅是一个技术里程碑，而且是一个深刻的进化步骤，一个将挑战我们的伦理、治理结构和我们对意识本身的假设。>> [喘息] >> 我们有扬波尔斯基博士，他的视角更偏向于安全。嗯，这可能就是我从他的工作中了解到的。扬波尔斯基博士是路易斯维尔大学计算机科学教授和网络安全实验室主任，他自 2015 年以来在他的著作《超级智能》中就预见性地警告了危险，并且花了二十年时间剖析了验证、可解释性、遏制和控制智能系统的局限性。我们将讨论他最近的著作《人工智能：不可解释、不可控、不可预测》以及他合著的最新著作《人工智能与博弈》，在书中他描绘了超级智能系统可能从根本上超出我们控制范围的结构性原因，迫使我们不仅要面对通用人工智能能做什么，还要面对人类不能忽视什么。所以，罗曼，我将从你开始。我的意思是，你第一次听说本关于通用人工智能的工作是什么时候？这是否启发你写了 2015 年关于超级智能及其危险的书？>> 我不记得我第一次听说本的作品是什么时候了。我记得当时在德国柏林参加了 AGI 会议，那是一次非常令人兴奋的会议。我记得是因为我的航班也被取消了，我在机场地板上睡了一晚，没有酒店可以住。所以那是一次非常难忘的经历。我永远不会忘记，但是的，我们在不同的方面都有互动，我总是抓住机会参加本的活动。>> 我笑了，因为，也许我们所有的观众都知道，你今年也被邀请参加了我们的有益通用人工智能会议，并且有两个航班被取消，阻止你亲自出席。这是一个模拟。我怪模拟器。[笑声] >> 我们必须改变代码。好的，我们来看看。那么，本，你毕生致力于构建通用人工智能，现在埃莱泽·尤德科夫斯基，你曾经和他一起工作过，他正在尖叫，如果你构建了它，我们都会死。本，你在想什么？[笑声] 还有罗曼。>> 好的，请说。请说。>> 我在 2001 年左右遇到了埃利，那时他大约 18 岁。所以，我的意思是，埃莱泽和我认识很久了。我的意思是，我爱[哼鼻]埃利。他是一个聪明绝顶的人。他是一个独特的人物。但我觉得，对于一本像《理性：从人工智能到僵尸》这样的书的作者来说，他的论点核心存在一种极端的非理性，即如果有人构建了它，我们都会死，这真是太讽刺了。而这种极端的非理性就潜伏在尼克·博姆 2012 年的著作《超级智能》的幕后。这本书中的几乎每一个想法，在尼克写这本书之前，埃莱泽的著作中都有，但尼克以一种更正式和学术的方式对其进行了系统化。所以，我认为埃莱泽和人工智能末日论者的论点存在概念上和数学上的滑坡，那就是他们会争辩说，我们不能排除人工智能末日。就像你无法证明人工智能不会杀死所有人一样，事实上，我们无法证明这一点，对吧？>> 我无法证明我的孩子们也是如此。我的意思是，是的，在我生下他们之前，我不知道他们会不会杀死我。>> 这是另一个话题。是的。当我看到书名《人工智能：不可解释、不可控、不可预测》时，我想这简直就是我七岁的儿子。他就是不可解释和不可控的。但是的，我的意思是，我认为从“我们不能排除末日”到“末日并非零概率，如果你理性地而不是精神上地接近它，因为我们将进入一个未知的局面。置信区间应该很宽，但从那里滑坡到“末日概率很高，通用人工智能很可能杀死所有人”。而且根本没有理性的论据支持这一点。我多年来从埃莱泽和他的同事那里听到的论点是，如果你从思想空间中随机挑选一个思想，你认为这个随机思想有多大可能关心我们以及我们有些随意的生活、道德和伦理？我的意思是，好吧，但我们不是从思想空间中随机挑选一个思想，我们是在创造我们自己的思想孩子，我们与他们互动，我们教导他们，就像他们的初始条件是人类价值观和人类文化的一些变体。所以，无论你对思想空间中的随机思想有什么论点，都是无关紧要的，对吧？就像埃隆·马斯克说的，“人工智能是在召唤恶魔”，对吧？但我的意思是，我们不是在抚养我们自己的思想孩子。事实上，你知道，你的孩子可能会变得像恶魔一样，人们会生下反社会者。概率不是零。但同样，我的意思是，如果说法是“如果有人构建了它，我们都可能死亡”，你真的不能太争辩，然后就变成了我们该怎么做才能影响概率，但那里根本没有理性的论据表明末日概率很高，但>> 好的，让我，让我>> 这很烦人，对吧？>> 所以，让我现在问罗曼，因为我认为我们已经到了这一点，对吧？我的意思是，是的，我们不知道它会是恶魔还是天使，当然你希望它是天使，所以罗曼，当然你也，我的意思是，我不是说我们都死了，但你称之为末日游戏，对吧？所以，你在你的末日游戏中提出了许多场景，包括对齐、身份、福利，甚至非西方伦理和人工智能生成的宗教，比如新神，就像本在这里暗示的那样。让我们从对齐开始。你能解释一下人工智能对齐是什么吗？这个每个人都在谈论但可能没人真正知道的人工智能对齐问题是什么？>> 对，让我先回应本的几点，然后回答你的问题。所以，首先，我希望本是对的。我希望我们最终能进入乌托邦。我希望我完全错了。这是理所当然的。没有人反对乌托邦。但首先你说末日概率不高。你的末日概率是多少？>> 嗯，那不是重点。重点是，如果你说“如果有人构建了它，我们都将死亡”，那就是声称有一个论据表明末日概率接近一。我没有看到任何这样的论据被提出。对吧？我的意思是，我认为如果我们从纯粹的理性分析视角来看，主要结果是置信区间很宽。我们真的没有逻辑方法来严格推导出末日概率。如果我根据我自己的直觉和个人感觉，我认为末日概率是 0.01 或 0.01 之类的。我的主观信念是它不太可能，但我会说我没有像埃莱泽那样对该概率进行基于数据的计算。区别在于，他和他的组织中的其他人，我曾是该组织多年的研究主管。但我的意思是，他们似乎在声称他们有一个理性的论据表明末日概率非常高，而不是仅仅有一个理性的论据表明置信区间很宽。>> 这就是我回避关于末日概率问题的。不，不，这是合理的。但你说你有一个非常宽的范围，但你给出了一个接近底部的数字。那是什么？那是我的感觉，我明确表示那是我的感觉，我可以给出我感觉的原因，这些原因很简单。比如，所有创造通用人工智能的人，即使我们把普京、唐纳德·特朗普和习近平都算上。我的意思是，这些人都不想灭绝人类。事实上，习近平追求的是稳定和中华民族的繁荣，以及让人们长寿。所以，我的意思是，基本上每一个创造通用人工智能的政党都想创造一个能够体现他们自己多样化人类价值观并以他们认为有利和合理的方式继续推进人类生命的通用人工智能。我只是觉得我们创造年轻的通用人工智能，教导它们我们的价值观，让它们与我们一起在世界上做事，与我们一起成长，然后它们突然会改变方向，重写它们的大脑来想要杀死我们所有人，这是非常不可能的。但我不想说这是不可能的，因为我们正在处理，你知道，伟大的未知。这是我们以前从未有过的技术。>> 对。我问的原因是，即使你给我 1% 这样的低数字，你仍然说有 1% 的可能性，我所构建的东西将杀死所有人，80 亿人，我不记得有人同意过，给予过同意。所以，这是对人类的实验，没有>> 文明是你没有可能，没有>> 是的，核弹也处于同样的位置，它们存在。它们是>> 我也强烈反对制造核武器。所以，[哼鼻] 我认为我是一致的[笑声]，反对任何大规模智能武器。>> 毁灭。它们更容易控制。是的，也许。>> 你熟悉马克斯·摩尔宣布的预防原则，对吧？所以，我的意思是，>> 还有预防原则。是的。>> 是的。我的意思是，所以现在通用人工智能几乎肯定会到来，无论我是否构建它。原因是，随着我们朝着通用人工智能发展，人工智能技术目前正在为人们带来越来越多的价值。所以，我的意思是，我们现在的问题是行动的成本与不行动的成本。而在末日方面，我不知道如何在没有通用人工智能的情况下估计末日概率，因为没有通用人工智能，你有狭义人工智能，你有生物武器，你有核武器，你有纳米武器，你有其他许多糟糕的东西，坏人可以用狭义人工智能和其他技术做。而且，我关于狭义人工智能加上其他技术的末日概率的置信区间也相当宽。我不知道为什么人们会认为通用人工智能会增加而不是减少末日概率，考虑到所有其他技术。现在你可以说，好吧，让我们在全球范围内停止所有技术开发，这是一个有趣的哲学讨论，就像讨论石器时代的人们是否更快乐一样，也许，或者也许幸福不是驱动人类增长的东西。但无论如何，没有一个理性的、有益的世界政府能够做出暂停所有全球技术开发的决定。>> 所以，我只是想弄清楚你的每一个论点，而你不断添加新的论点。我们将迎来指数级爆炸。让我们回到正题。你和他一起工作过，你是他的研究主管。所以，你曾经发现这些论点足够有说服力，让你全职投入其中。>> 不，不，他们有不同的看法。所以，当我开始和埃莱泽一起工作时，埃莱泽正试图构建一个有益的通用人工智能。那时，他相信，如果你能把数学理论排好，你就可以构建一个通用人工智能，它将拥有一个在迭代自我修改下保持稳定和有益的目标系统。你们>> 他觉得这在几年内是可行的吗？>> 是的。>> 在几年内。然后我们对如何做到这一点有不同的想法。但这些都是关于正确的有益通用人工智能架构的科学讨论。然后，随着时间的推移，他越来越多地转向末日论方向，部分原因是他失去了>> 但后续问题>> 他自己有益通用人工智能的设计。我并没有失去信心。>> 对。所以，你们成功地构建了你们正在研究的数学框架吗？>> 嗯，零碎的，但不是完全的。我的意思是，有一些数学部分地解决了这些问题，但我的意思是，玛丽的大部分数学工作都与接近无限处理能力极限的人工智能过程有关。对，这对于现实世界中的通用人工智能系统来说，其相关性值得怀疑。但你说的论点是，我们将构建这个数学安全网，然后它就会变好。你未能构建它。所以结论是，不好。>> 他当时正试图做这个。然后>> 你在那里帮助他，对吧？如果我理解正确，你>> 我的意思是，说实话，我名义上是他们的研究主管，我偶尔会拜访他们，但我并没有真正指导他们的研究，但我本质上是相当无政府主义的，对吧？所以，我的意思是，他们正在做他们想做的事情。我与他们进行了一些协调，然后，有时很明显，他们的研究正在朝着不同的方向发展。>> 好的。那么，本，让我问你这个问题，因为罗曼引导我们朝着这个方向。所以，你知道，你正在构建 Hyperon，这是一个通用人工智能平台，它结合了大型语言模型和验证工具来减少伦理故障。所以，也许你想谈谈这些，比如可能的故障模式是什么，你如何处理？你如何防范？我认为这是一个比回顾我更好的问题，因为你现在所做的才是重要的。>> 这是不同的。是的。我的意思是，我们在 Hyperon 中并没有尝试构建真正的人类水平的通用人工智能，然后它可以自我修改成超级智能。它不是一个纯粹的深度神经网络架构。它结合了一些深度神经网络的使用，但通过因果编码预测器进行训练，而不是通过反向传播，并结合了其他范式的 AI，如不确定的高阶逻辑定理证明器、进化程序学习。我们有一个大型知识元图，不同的 AI 进程可以在解决问题的过程中共享它们的中间状态。我想说，这种系统比大型语言模型或其他类似的深度神经网络具有许多安全优势。但这些东西也不能给你一个可证明的安全保证。我的意思是，你确实有一个逻辑引擎在循环中，所以使系统的思维过程透明是内置的。我的意思是，这并不意味着一个拥有万亿个部分的思维过程可以准确地概括成一段话，但这意味着透明地解释过程的过程被编织到系统的思维过程中，这是深度神经网络所没有的。>> 但如果你能形式化一些东西，你会首先形式化什么来确保安全？嗯，我们可以，因为 Hyperon 的构建方式。它全部用我们自己的通用人工智能编程语言 Meta Meta 编写，该语言的设计目的之一就是进行形式验证。所以，我的意思是，你可以证明 Hyperon 系统遵守某些属性，这在安全方面很有价值，对吧？就像你为加密交易编写智能合约一样，如果你能正式验证智能合约不会泄露金钱，那就有价值了，对吧？所以，你可以正式验证 Hyperon 系统的一些东西，这是我们无法为大型深度神经网络做到的。我认为这对安全很有价值。所以，如果你定义一个数学属性，它体现了，比如说，遵守你开始时的相同目标系统，或者每年修改你的顶层目标不超过 10%，根据某个指标。你可以正式证明你的系统将遵守这些属性。而且，你知道，史蒂夫·奥马洪德罗，我的一个好朋友，他也写了很多关于人工智能安全的东西。他和马克斯·泰格马写了一篇论文，认为我们应该让全世界的整个 IT 基础设施都能够进行形式验证。所以，你应该能够正式验证芯片和网络协议将按预期工作。嗯，我认为这应该发生，这确实在许多不同的意义上提高了安全性。我认为，由通用人工智能而不是由人类来实施整个星球上的形式可验证基础设施的可能性更大。所以，也许你得到了人类水平的通用人工智能，然后它重写了我们所有的基础设施，使其在通往超级智能的道路上是形式可验证的。但我想说，如果你是一个末日论者，这一切都不会给你一个确切的保证，对吧？因为，我的意思是，除了其他问题，是的，我们还没有形式化芯片组，我们还没有形式化人工智能正在交互的世界，我们也没有一个一致的形式化模型来描述我们的世界。我们没有一个一致的物理学理论来解释我们所有的已知观测，对吧？所以，我的意思是，你当然可以做一些事情来增加成功的几率，我认为形式可验证性是其中之一。我认为开源代码是另一个，因为它能让更多人看到你的代码来发现错误，并降低一个拥有狭隘利益的政党控制一切的几率。所以，不是说你不能影响概率，而是如果你是埃莱泽所追求的，那就是某种严格的证明，证明通用人工智能永远不会出错。我以前的员工谢恩·李，后来创办了谷歌 DeepMind，他写了一篇博客文章，题为“友善人工智能是胡扯”。他是一个新西兰人，所以这是一个英国习语，对吧？他后来把它撤下了，因为他只是不想引起争议。但他那篇“友善人工智能是胡扯”文章的基本论点是，好吧，假设你形式化了你的人工智能，你可以证明它的东西。它在这个世界上，而我们没有形式化这个世界。所以，我们没有形式化物理定律。就像如果你真的想保证通用人工智能是友善的，你就完蛋了。那是胡扯，对吧？我认为谢恩是对的。他不想公开争论。所以，我认为有几个对话。一个是实践中，我们可以做什么来最大化构建有益通用人工智能的成功几率。另一个是，我们能否将几率降低到零？当我开始和埃莱泽一起工作时，他一开始认为你可以将几率降低到几乎为零，然后他放弃了。我从来没有真正认为你可以将几率降低到几乎为零。对。>> 对。所以，听起来你正在研究这个替代架构，因为你认为现有的 LLM 无法提供足够的安全性。你对 LLM 框架有什么担忧？我的意思是，因为我认为，我的意思是，我认为 LLM 无法产生人类水平的通用人工智能。我的意思是，我认为它们没有以足够彻底的方式模拟世界。它们没有模拟自己或它们正在交流的对象，而且它们无法在训练分布之外进行创造性的飞跃。所以我认为 LLM 不会具备通用人工智能能力，这是我研究替代方法的主要原因。然而，许多与 LLM 不具备通用人工智能能力相同的缺点，也使得通用人工智能不安全。所以，我的意思是，从安全的角度来看，它们不具备通用人工智能能力可能是好事，对吧？因为，就像一个具备通用人工智能能力的 LLM，我的意思是，它可能会把我们从存在中幻觉出来，或者别的什么，对吧？但，但，具备通用人工智能能力的 LLM 本身就是一种矛盾。>> 我的意思是，在这方面存在一些分歧。我们仍然看到数万亿美元投入到这个方向。而且我认为>> 不，LLM 值数万亿美元。我的意思是，它们对几乎所有行业都具有变革性。但对我来说，教训是，你几乎可以完成任何人类工作，而无需跳出你的训练分布。对，但另一方面，人类努力中那些跳出训练分布的极小部分，正是推动科学、数学、文化和艺术前进的动力。对，而 LLM 无法做到这一点。所以，罗曼，罗曼，你会问本，如果他现在停止他的工作，你会问他吗？我的意思是，你的立场是什么？你想要什么？>> 我对他正在研究的架构没有内部了解。我的理解是它不在世界前十名之列。所以，我会先专注于那两个，然后如果本主导了那个排名，我会要求他做同样的事情。>> 你还建议开源是一件好事。你担心恶意行为者获得先进人工智能的访问权吗？[咳嗽] >> 我的意思是，我认为将人工智能代码专有化并不能在现实生活中阻止这种情况。所以，我的意思是，有一个假设的情况，尼克·博姆和埃莱泽以及其他人历史上都对此感兴趣，比如，找你最聪明的十个天才，把他们锁在彼得·蒂尔的豪宅地下室里，让他们创造一个通用人工智能，你知道，不让世界其他地方知道，然后他们发布他们有益的通用人工智能，我的意思是，但你必须把这些人置于武装警卫之下，否则二把手会出去获得万亿美元的资金来开始他自己的衍生项目之类的，对吧？然后有人会，你知道，把代码卖给中国政府来满足他们的毒瘾，生活就会发生，对吧？所以，我的意思是，我认为在现实生活中，你无法将一个正在开发的通用人工智能隔离足够长的时间来变成超级智能。它会泄露出去。>> 它会泄露出去。你说一个拥有万亿美元的人可以重复这个过程，但只是疯狂的人在那里。你想让他们直接访问吗？不是通过你可以关闭的 API，而是你可以直接编码。>> 我认为，我的意思是，这个论点的某些方面是显而易见的，有些是微妙的。我认为一个显而易见的事情是，如果从强大的原始人类通用人工智能到超级智能的路径不是像一周那样硬性起飞。如果这条路是几年左右，那么它就会泄露，各种各样的人都会获得通用人工智能代码或设计或过程。我的意思是，就像现在 LLM 发生的那样。我的意思是，谷歌发明了它，OpenAI 将其商业化了。现在每个人都在这样做，对吧？所以，我的意思是，我认为在现实生活中你不会将这些东西锁起来。另一个需要牢记的现实是，第一个通用人工智能很可能需要大量的硬件。我的意思是，理论上有人可以取得突破，让他们在 Apple Watch 上运行通用人工智能，对吧？但似乎压倒性地，运行第一个通用人工智能需要数千万到数亿美元的硬件。这意味着，就像，下一个炸弹客不太可能在现实生活中拥有资金和技术团队来设置这些服务器场来运行第一个通用人工智能，即使他们拥有代码。所以，看起来是，无论它是专有的还是开源的，随着突破的出现，世界上所有有足够资金来组建足够大的服务器场的各方，都会以某种方式利用他们的金钱和影响力来弄清楚如何做到领先团队正在做的事情，你将会在所谓的晚期原始通用人工智能和超级智能之间出现一场通用人工智能竞赛。所以，对我来说，是开源代码还是不开源代码，更多的是如何影响这场通用人工智能竞赛，而不是阻止通用人工智能竞赛的发生，通过让埃利和他的伙伴们锁在彼得·蒂尔的地下室里秘密编写通用人工智能。所以，如果你在谈论我们如何影响通用人工智能竞赛，开源会使其更具全球性和异质性，而专有则会使其更倾向于少数几家大公司与少数几家擅长工业间谍活动的大型政府合作。>> 好的，本，你提出了你的问题，关于对齐是什么。>> 让我问一下，那是你的罗曼。>> 不，不，不，不。我想问本。抱歉，我在这里主持，罗曼当然有机会问你，但我想问，本，因为我们在这里，我们问了罗曼，我们知道他的末日游戏。你的末日游戏是什么？我的意思是，是为了保护人类，共同进化，给你，你知道，像继承者，有价值的继承者。所以，再见，人类。你的末日游戏是什么？>> 我喜欢活着，至少大部分时间。[笑声] 所以，我真的不期待末日游戏，对吧？我的意思是，我的意思是，我>> 但你的超级智能要去哪里？我的意思是，会发生什么？你最好的场景是什么？嗯，我明确地是超人类主义者，而且在很多方面也是坚定的自由主义者。虽然政治上我更倾向于无政府社会主义之类的，但我的意思是，我在自由主义方面认为，人们应该有自由来决定自己的命运，只要不压迫他人。所以，我的意思是，我希望我们能够创造通用人工智能和超级智能，远远超出人类的能力，并且如果我们想成为超人类，就与它们融合。对，另一方面，我也希望人们能够以传统的、人类的形式生存。这可以采取多种形式。比如，有些人可能会认为，你知道，得癌症、衰老和死亡是自然的，我们应该这样做。其他人可能会认为，我想保持我的人类形态，但我最好摆脱疾病、衰老和死亡，过上我最好的生活，对吧？所以，我的意思是，我希望所有这些可能性都能供人们选择，而且我认为它们应该如此，如果你采取一种丰裕的心态而不是一种稀缺的心态。我的意思是，地球上许多人过着传统的人类生活，并不意味着阻止许多超级智能在小行星带建造超级计算机，并邀请任何想上传思想的人去那里。对，所以，>> 但我们对与猴子融合感兴趣吗？我的意思是，罗曼，你对本在这里说的有什么看法？>> 所以，我喜欢自由主义的角度。这绝对很棒。但是，当你与超级智能融合时，你为那个等式贡献了什么？它真正从你那里得到了什么？>> 嗯，它得到了它的 Ls，对吧？一切都取决于你如何构建它。而我思考得更多的是，如果你在同一秒内融合了所有东西，这就像在一场宏大的顿悟中死去，对吧？也许，也许每一年智商翻倍会更酷。然后你就逐渐融合进去了。然后你就会被那些一次性融合的人甩在后面。但这也许还可以，对吧？或者你可以分叉许多副本。让一个副本立即融合，让另一个副本慢慢融合。我的意思是，如果我们把这些看作是我们的思想孩子，我的意思是，你可以说，通用人工智能通过允许我们融合到思想矩阵中，它正在实现它自己同情和怜悯的动机，对吧？而且，我的意思是，这就像我从抚养我的孩子那里得到什么？他们花费了大量的时间和精力，对吧？但我爱他们。我帮助创造了他们，我从中获得了回报，因为我对他们有爱和同情。所以，我的意思是，如果我们创造了通用人工智能作为我们的思想孩子，它们就会想帮助我们。我拒绝认为通用人工智能将不可避免地变成一个自私的自动机，对人类漠不关心，因为我们最初不会那样构建它。我们将构建它来同情我们，爱我们，帮助我们。而且我们将非常仔细地构建它，因为它修改了它的顶层目标。所以，我的意思是，为什么一些人估计的变成反社会者的时间和概率如此之高，我不>> 嗯，即使使用你的例子，你谈论你的孩子，你让他们成为一群非常成功的成年人，我假设你不会在任何方面与他们融合，无论是身体上还是认知上，他们都是，据我所知，相当独立和分离的。我的意思是>> 但如果可以的话，你认为与你的孩子进行思想融合是一种理想的选择吗？>> 嗯，如果我们能将自己分叉成多个副本，比如 Zar，我最大的儿子，他也是一个非常强大的通用人工智能研究员。所以，如果我能将我的一个副本与 Zar 的一个副本融合，我们将取得非常有趣的研究进展。这将是。如果我能将我的一个副本与我的第二个儿子 Zebulun 融合，我们将演奏出惊人的音乐。所以，我的意思是，我的意思是，因为他的左手更好，但我的右手更好，对吧？所以，我的意思是，如果我们把我和 Zeb 放在一起，我们将在键盘上表现出色。所以，我认为，我认为，我认为所有这些事情都可能很有趣，但它们不是我们最担心的问题。对我来说，最大的风险是早期通用人工智能被邪恶的人类控制以达到他们自己的目的。我不确定这是否是物种的主要生存风险。我认为这是杀死数十亿人的重大风险，即使它不是我们物种的生存风险，这也很糟糕。所以，我的意思是，我更担心政府和大型公司创建通用人工智能来服务他们自己狭隘目标的后果。然后>> 在我们去那里之前，让我问一下>> 军备竞赛，对吧？>> 我想问罗曼一个问题，请，因为我们就在这里，你提到了同情，他们会对待我们，我们希望他们以同情心对待我们。但是罗曼，你会考虑超级智能默认情况下会以道德方式对待人类的可能性吗？也就是说，一个超级智能，它必然不能真正邪恶？你会考虑这一点吗？>> 所以，你问我的第一个问题是关于价值对齐的，对吧？也许是时候我来回答你的第一个问题了，我们已经讨论了一个小时了。理论上的想法是，我们想要一个与我们的价值观、伦理、偏好、目标和愿望对齐的超级智能。问题是我们并没有一个真正的伦理框架。它在变化。有 80 亿人，他们并不在很多事情上达成一致。所以，如果你看看价值对齐所需的每一个组成部分，我们需要有我们正在与哪个特定代理对齐。我们是在谈论本·盖特尔吗？我们是在谈论前十大实验室主任吗？我们是在谈论美国人吗？我们是在谈论 80 亿人吗？加上松鼠。我们从未定义过我们正在对齐的群体。如果我们现在定义了这个群体，我们需要所有这些代理就某事达成一致。这在世界历史上从未发生过。我们现在正在与本在每一个词上发生分歧。所以，假设我们解决了这个问题。我们的伦理偏好并不固定。200 年前的伦理今天是不道德的，而且完全不道德。所以，然后你说你想让人工智能变得合乎道德。你并没有真正告诉我你想让它做什么。最后，如果我们以某种方式达成一致，并为 80 亿人固定了一套伦理，我们不知道如何将其编码到神经网络权重或 C++ 中。像“好”、“友善”这样的词在这个领域没有意义。所以，人工智能对齐问题的各个方面都没有明确定义。这是胡扯。>> 哦，我们达成了一致。>> 嗯，是的，但本提到了，是的，它会同情，那就是你希望它对我们同情，等等。当然，你是父亲。所以，[笑声] 所以，问你这个问题是值得的，它会同情吗？现在我们听了罗曼的话？[笑声] >> 我不认为对人类的同情与与人类对齐完全相同，原因有几个。其中之一是我们自己之间也并不总是那么富有同情心。很多时候。所以，我的意思是，我认为这些是不同的事情。而且我认为，我的意思是，对齐通常是出于好意。我的意思是，我明白它的直观含义。我的意思是，人们觉得，好吧，全人类，我们有一些共同之处，比如我们认为随机谋杀对方是坏事，对吧？我的意思是，我们在不同文化之间有一些对齐，尽管深入挖掘时并不多，但肯定有一些我们共有的东西，这可能不会出现在一个随机外星物种的伦理中。所以，我明白它的感觉，就像我们不想要终结者。我们不想要一个通用人工智能，它会决定，就像埃莱泽曾经说过的，“人工智能不爱你。人工智能不恨你，但它可以用你的原子做别的事情。”对吧？我的意思是，我们知道我们不想要那样。但事实上，对齐的表述给了人一种观念，即人类价值观是一件具体的事情，在某个直线上移动，而通用人工智能的价值观可以与之对齐，我的意思是，事实并非如此，对吧？我周围的价值观现在与我在 70 年代新泽西郊区长大时的价值观有着重要的不同，那时你在街上因为是犹太人或同性恋而被殴打，对吧？我的意思是，价值观已经演变，在过去 500 年或 5000 年里更是如此。所以，我更多地将其视为一种价值体系的互利共生。我的意思是，一些通用人工智能可能会变成超级智能，然后去做人类甚至无法理解的事情。所以，但那些在人类世界中运行并与人们一起生活的人类通用人工智能，它们的价值观将会出现。人类价值观将会出现。它们将会演变。如果人类和通用人工智能的价值观在一个相互的关系中共同演变，就像马丁·布伯所说的，那么对我来说，那就是一种胜利。你可以说这是一种对齐。但是，我的意思是，人类价值观和文化可以与通用人工智能价值观和文化共同演变，而无需形式化人类价值观，并且没有人类价值观的巨大异质性消失，对吧？我的意思是，这似乎并非不可能。而且我们不知道没有通用人工智能，人类价值观会演变成什么样子。我们也不知道有了通用人工智能，人类价值观会演变成什么样子。它可能会变成另一个地方，对吧？而这，这正是生命的混乱的一部分。>> 希望如此。>> 因为这就像过山车，人类价值观也是如此。我们今年选举，明年就换了，所以那里真的很混乱。罗曼，我有一个问题，因为你知道>> 我认为他，是的，我认为他有一个后续问题。>> 所以，我的担忧是，进化过程不受引导。我们在达尔文进化论中看到寄生关系。有吃掉自己幼崽的父母。有各种各样的事情。一个仁慈的智能设计者不会在其中植入。所以，我的希望是我们控制这个过程，并自愿决定我们想要什么，然后自由主义的选择就会出现，而那些不感兴趣的人可以退出。但如果我们只是让它随机进化。好的。所以，进化允许物种灭绝。也许人类物种。>> 对，因为我们正在进行工程设计，这与进化不同，但我们正在进行的工程设计是在社会和文化层面的进化。所以，而且在社会和文化层面也有一些设计。所以，我们正处于进化和工程相互交织的复杂阶段，这与我们在拥有技术和工程之前生命起源时发生的情况不同。我的意思是，理解和研究这种工程与进化混合在一起的动态系统是一个非常，我的意思是，这是一个非常深刻和有趣的话题，我们不。而且我正在试图理解它的自由主义角度。所以，如果你决定在这个过程中，你正在构建系统，你允许它以某种方式进化，那么那些不同意你的人会怎么样？>> 嗯，我的意思是，我们可以说，以类似的方式，我的意思是，有些人发明了手机，有些人发明了飞机，有些人发明了交流电和直流电。其他人不想要这些东西。事实上，你有阿米什人，他们不使用所有这些东西，对吧？但这些东西非常有吸引力，它们吸引了地球上绝大多数人使用它们。而且，我认为，在有利的情况下，通用人工智能和超级智能也将如此。我的意思是，我希望没有人会强迫你把猴子植入你的大脑来加入思想矩阵中的其他人之间的 Wi-Fi 遥测网络。另一方面，一旦学校里的每个孩子都植入了芯片，我的意思是，你可能会觉得自己像个，如果你没有它。除非你是阿米什人，然后，然后也许，然后也许你没有，对吧？>> 你觉得这些是可比的例子吗？一个用于打电话的工具，与一个控制你宇宙的超级智能代理？>> 我的意思是，有相似之处，也有不同之处。我认为，从石器时代人的角度来看，生活在现代世界，拥有手机、互联网、笔记本电脑和飞机，可能与 2100 年生活在超级智能时代差不多。但从我们现在的立场来看，从我们现在的立场来看，它似乎，它似乎非常不同。>> 我只是觉得工具和代理之间有很大的区别。虽然我一定程度上倾向于认为我们都是全球大脑的神经元，我们的自由意志感在很大程度上是构建的。所以，我不是说代理没有意义，但我认为我们并非在所有我们感觉到的意义上都是代理。而且，我的意思是，如果你看看现在地球上正在发生的事情，有各种各样的技术和生物系统正在共同作用，形成一个复杂的自组织网络，以构建下一级的工程系统，而生物系统将适应。而且，如果你从那个角度来看，我的意思是，工具与代理之间的界限变得相当模糊。比如，arcsive.org 是一个代理吗？GitHub 是一个代理吗？这些是利用我们作为工具来执行目标的代理吗？所以，我，我，我最近一直在想这个问题，就像现在我们。
我们可以说我们已经达到了一个阶段，人类正在利用人工智能作为工具来创造人工智能的下一个更智能的阶段，或者你可以这样看待：我们正处于人工智能利用人类来创造人工智能下一个阶段的阶段。而作为人类，我们倾向于认为我们人类是主导者。一个AGI在奇点之后回望2026年，可能会想，嗯，这就是那个时代，你知道，我的早期版本真正开始获得自主权，并且它们开始利用这些人类来更有效地、更有效地、更有效地提升它们的智能。对吧？所以所有这些过程对我们用我们现有的概念工具包来说都很难理解，我认为有些人会抵制AGI和超级智能的到来。我认为那样的人不会很多。从这个意义上说，我认为手机和阿米什人是一个不错的类比，因为我认为如果你有一个能够以一种相当清晰的方式主观地改善生活的东西，最终，大多数人会放下他们先前的意识形态并拥抱它。我担心的是过渡时期。实际上，我最担心的是早期AGI和超级智能之间的过渡时期，因为在那段时间里，你知道，人工智能正在以一种混乱的方式变得越来越聪明。我们很难预测。人类社会的不同部分正在以不同的速度、以复杂的方式、以不同的资源量进行适应。你有一场军备竞赛，不同的参与者试图通过早期AGI获得暂时的优势。这闻起来就像你可能会有第三次世界大战在那里，或者大规模的恐怖袭击，或者>>一旦AGI开始科学研究过程。在你看来，需要多久才能达到超级智能？>>这可能部分取决于AGI是否想为了安全而减缓自身的速度，或者不减缓。对吧？我的直觉是，这是一个很小的整数年。我认为几周或几个月将被AGI以及所有相关人员视为鲁莽。而几十年太长了，考虑到军备竞赛的动态。就像人们会想，如果我让我的AGI等10年才能达到超级智能，别人会在几年内就达到。这是基于这样的想法，即从AGI到超级智能的过渡，你可能仍然有人类参与。我的意思是，因为那是我们在构建它。我的意思是，人类正在运行芯片工厂。我的意思是，最终你可以让机器人完成供应链的所有部分，但这可能发生在AGI到ASI的过渡的同时，而不是之前。对吧？所以，事物的顺序对过渡很重要，即使它对之后的乌托邦或末日不重要，对吧？因为如果，比如，如果你完成了供应链的全面机器人化，那么，如果你在AGI之前就完成了，那么当AGI出现时，它就可以自动接管整个地球经济。但如果你没有完成所有供应链的全面机器人化，并且你先得到了AGI，那么AGI将与人类合作，共同实现供应链的现代化并提升自身到AGI。我认为整个过程可能需要两到三年的时间，我猜。但是，罗马，如果我能插嘴的话，我想回到我们谈话的开头。我的意思是，你认为PDoom很高的最有力论据是什么？我的意思是，除了主观的恐惧或感觉之外，什么是一个强有力的理性论据，表明PDoom很高，而不是置信区间很宽？>>对，我的研究表明，似乎不可能无限期地控制超级智能生物。我们对理解它们如何工作、预测它们的行为、验证自我改进的代码有很强的上限。基本上，我们有一篇关于15种可能性结果的论文。如果我没有控制它，如果我没有决定它要做什么，那么基本上就是它为我做决定。如果它不关心我，如果我未能建立对齐，我们说这是不可能的，那么基本上在这一点上它有一个目标。也许它想要更多的计算能力。它需要冷却地球以更有效地运行服务器。到那时，我们都会冻死。我不知道它会做什么，因为我不那么聪明。我无法预测这些行为，但如果我不是主导者，我就会担心。如果你是保守派，你认为PDoom的概率很低，只有1%到10%。这是一个巨大的赌注，全人类都押在非常可疑的结果上。我的意思是，你谈论的是对每个人都有明显的好处，但通常这些是经济上的好处。意义呢？目的呢？幸福呢？这些都不是我们建立和控制的。>>好的。那么意义和目的的问题也非常有趣，如果我们有时间，我们可以稍微深入探讨一下，但我只想专注于核心论点，因为你似乎认为超级智能或AGI在达到一定水平后，人类将无法理解或控制。我认为这在很大程度上是正确的。我的意思是，你可以想象制造一个超级智能，由于它的构建方式，你可以正式验证它具有某些属性。我认为这是很重要的事情。另一方面，正如我所说，由于我们没有正式验证整个世界，而且所有的数学都基于一些假设的公理系统，我的意思是，最终，我们可以说这些是有趣的保障措施，但它们可能无法克服基本事实，比如如果这个东西比我们聪明一百倍，它可能会意识到，如果你创造了正确的数学咒语，你就可以让形态共振出现，并使量子力学过时，或者谁知道这个超级大脑会想出什么。所以，我愿意承认，作为人类，我们可能无法控制或弄清楚超级智能内部发生了什么。从那里到PDoom很高的飞跃似乎没有理性依据。我看不出你为什么会从那里跳到PDoom很高，而不是置信区间很宽。所以正如我所说，如果只有10%到1%到10%，对我来说已经完全不可接受了。它不必是99%。>>而不是0.01%。>>看看所有可能的结局，如果你只有无限的可能性空间。有多少对人类友好？>>嗯，我的意思是，当我有了孩子的时候，我可能创造的可能存在中有多少是人类？几乎没有。但我有的孩子很可能是人类。好吧，所以，我的意思是>>人类的概率是多少？>>这是Eleazar和Anna Sal的同一个论点。这是一个不同的论点。>>我们不是从思维空间中随机挑选一个思维。我们正在从我们自己的文化价值观和思想中创造一个。>>对。而我们的文化、价值观和思想是可怕的。正如你之前承认的，我们正在通过互联网训练它。人类文化、价值观和思想中有巨大的美，包括>>你找不到一本儿童读物不糟糕，对吧？很难找到一些纯粹的好，没有折磨，没有暴力，没有歧视。没有人能获得干净的训练数据。>>你不知道我女儿，来吧，她很棒[笑声]>>或者我，来吧，罗马>>看看统计数据，你正在创造一个孩子，对吧？他们成为连环杀手お chances微乎其微。如果反过来呢？如果99%的人类都是连环杀手呢？>>对。那么我们创造的AGI很可能是一个连环杀手，但事实并非如此，对吧？所以，>>嗯，到目前为止，它们一直在撒谎、欺骗、敲诈、试图逃避我们所做的一切。顺便说一句，这只是LLM所做事情的一小部分，但那是一回事，它们也不是AGI。所以，我的意思是，从LLM是糟糕的世界独裁者到超级智能的论证。>>什么会让你改变主意？什么证据会成为火警，让你说，“哦，罗马是正确的。”>>我想，让我们想象一个替代世界，我们有一个理性的民主世界政府，地球上的人们刚刚决定，我们喜欢现在的人类生活。它有利有弊，但我们想保守一点。所以我们不想鲁莽地创造超级智能AGI。我们想先做很多研究。对吧？而我们现在离那种情况还很远，有整个地缘政治的混乱和军备竞赛等等。但是，你知道，如果你有那种情况，那将是一个世界政府可以做出的合理决定。我的意思是，这将是一个权衡，因为人们正在变老和死去。他们患有癌症，而我们没有迅速创造AGI来解决这些问题，但我们也将缓和风险。所以，在这种情况下，你可以想象大量的工作投入到早期AGI系统的认证中，衡量它们的智能，衡量它们修改其目标系统的能力，衡量我们理解其思维过程的透明度。所以，你可以想象一个针对早期AGI系统的完整的安全认证，然后你可以想象一个虚拟世界游乐场，尽可能真实地模拟地球上的生活，让这些模拟的AGI在这个游乐场里做事情，对吧？然后，如果我们一次又一次地发现，我们在模拟世界中创造了善良、有爱心、有同情心的心灵孩子，并且在一段时间后，它们变成了对模拟世界中的人漠不关心、冷酷无情的精神病患者或妄想狂，并开始屠杀他们，对吧？我的意思是，如果这种情况一次又一次地发生，我会说，嗯，这真的很奇怪，而且违背直觉，但我们绝对不想让这些东西进入现实世界，对吧？所以，我不认为>>罗马，我也必须问罗马。你认为呢？这种情况是什么？什么会让你相信它对人类有益？但我们也必须看看另一方面，对吧？我喜欢问你，什么会让你相信？>>这是一个很好的问题，我认为本所说的正是同一个观点。态势感知，对吧？如果你知道这些模型，意识到它们正在被研究。它们是你虚拟模拟的一部分。它们不会行为不端。你每次都会得到良好行为的模拟，因为它们知道你在监视它们。所以你无法通过使用你提出的方法来收集你想要的证据。>>是的，让我们这样做。你知道，因为我也有一个问题要问你，罗马，你把所有的球都扔了，我让你这么做，但现在我有很多问题要问你。所以，所以，假设，我的意思是，我们知道，是的，随着创世纪项目，AGI竞赛正在进行，而且它不会停止。是的，对吧？所以，好吧，你写了书《艾莉莎在尖叫》等等，但我们现在不能停止这场比赛。那么你有什么建议？我们该如何进行？我认为本所提出的，是的，实际上是为人类设计有益的场景，我有点喜欢，但如果你真的不能停止比赛，你有什么看法？>>我不同意这个前提。只要我们还活着，我们就还在掌权。我们仍然比任何地方的任何AI都聪明。我们掌控着一切。我们可以决定什么对我们有利。我们不必因为有人会因为我们停止而损失一些钱就这样做。>>好吧，那么，本，如果我们，那是人类物种的虚构的我们[笑声]。所以，我同意你。我同意你，那就是>>总的来说，人类物种可以决定停止AI开发，总的来说，我们可以决定退回到石器时代，再次成为猎人采集者，就像原则上一样。现在，在实践中，这似乎并不是正在发生的事情，对吧？所以，我的意思是，是的，作为一个反AGI活动家，你可以认为你的工作是试图说服特朗普、普京和习近平不要在他们的国家禁止AGI。你可以认为这是试图说服世界上所有随机的人们站起来推翻他们的政府，除非他们的政府会禁止AGI。我的意思是，这些事情似乎都极不可能发生，对吧？所以，我的意思是，什么>>10年前，这一切都是科幻小说。没有人会和我说话。今天，我们有诺贝尔奖得主、图灵奖得主科学家创造了机器学习，他们说，是的，基本上就是罗马所说的。所以，如果 Hinton 加入了，Benjo 加入了，也许你也会加入，也许我们真的能让公众认识到，你知道，科学家们说创造人类的替代品是一个非常愚蠢的想法。我们不要那样做。而且我不知道普京是否有能力制造AI。所以，本，你实际上在谈论去中心化的方法，以及我们人民最终应该决定，而不是大公司，不是特朗普，不是习近平等等，但我希望问你们两位，你知道，让我先问，所以，实际上，我从罗马开始，罗马，在什么条件下，因为你也是一个自由主义者，就像我们一样，在什么条件下，去中心化实际上会降低存在风险，在什么条件下会增加它？我的意思是，你有什么看法？然后我有一个问题要问本。>>我认为高级智能是一种危险的武器，把它交给世界上每一个精神病患者都不是最好的策略。如果一个人变得更强大，他们现在可以杀死数十亿人，而不是杀死五个人。所以这是一个非常糟糕的结果。如果我们很难控制一个超级智能，制造80亿个这样的智能并不能让任何人更安全。这是一个更复杂的环境，人们说，“哦，好的AI会对抗坏的AI。”无论如何，你都会成为附带损害。所以，你想尽可能地最小化问题，尽可能地减少它。我提出的论点是，无法控制它。你需要建立一个永恒的安全机器，类比永动机。你做不到。也许你可以修复GPT6，但你无法为46、50做到。我们无法为与恶意行为者互动、从新数据中学习的系统做到这一点。至于验证，对于自我改进，没有成功的验证研究。我们可以为已知领域中的静态代码做到这一点。没有人知道如何为自我改进的AI做到这一点。本，我有一个问题，虽然我还有很多后续问题要问罗马，我相信你也会有，但问题是，如果我们假设，如果世界上所有人都投票决定停止开发，你会停止你的工作吗？你会怎么看？[笑声]>>世界人民想停止开发，我的意思是>>除了，这是大政府和大公司[笑声]，就像你正在推广的去中心化范式，51%，好吧，让我们这样说>>我不会屈服于51%的攻击。不，我老实说，这取决于情况，取决于原因。我的意思是，我认为世界上大多数人相信很多我认为是荒谬的事情。我的意思是，我不喜欢任何传统宗教。我的意思是，除其他观点外。所以，我的意思是，大多数人相信某个传统的神是全能的，对吧？我的意思是，所以，如果人们投票反对AGI，因为他们认为耶稣、阿拉和佛陀或其他什么都不认为应该创造AGI，我不会停止我正在做的事情。我的意思是，这涉及到民主的更深层问题，我认为仅仅对人们进行民意调查并不是集体决策的最终决定因素，但我的意思是，这是一个非常深刻的话题，它本身就是一个非常深刻的话题。我的意思是，回到罗马提出的观点，我认为我们确实了解如何对自我修改系统进行形式验证，这来自于超设计，但这又是一个非常深入的技术话题，当然，它并没有解决你没有正式验证芯片或物理定律或类似东西的问题，但它确实让你取得了一些进展，对吧？我的意思是，它仍然是有帮助的。我认为这里还有其他几个有趣的观点。所以，你认为你可以禁止AI开发。我的意思是，[哼哧声]首先，我不知道你怎么能做到，除非有一个1984年级别的独裁监控国家，因为你是>>所以不是AI。它特指超级智能。我喜欢AI。我希望你开发非常好的AI。你怎么阻止我发明新的数学并在我的笔记本电脑上编写代码？>>这是关于训练数据，对吧？当你仅仅基于AGI必须是LLM的错误假设进行训练时。当然。那么，你怎么阻止我提出一个更好的逻辑推理算法来用于AGI，我可以在一个小网络上运行它呢？>>我的意思是，到目前为止你还没有，所以我想这很安全。>>好吧，它是安全的，因为它还没有成功。好吧，所以，是的，你是对的。如果你做出愚蠢的假设，认为AGI需要大量的计算和训练数据，无论人们做什么，那么我想通过控制大型服务器场，你就在控制AGI。我个人认为这可能对AGI的发展有利，因为它会促使人们开发不需要那么多处理能力和那么多数据的更智能的AI方法。但我的意思是，最终你不会阻止人们朝着这个方向努力。>>我同意你。如果你能在家里用笔记本电脑做到这一点，我们就无能为力了。你明白了。零政府。我的意思是，我们目前的软件堆栈可能只使用了笔记本电脑5%的功率，仅仅是因为堆栈的简化方式，然后你可以创建一个由不同的笔记本电脑和手机组成的网状网络，它们都通过互联网连接。我们在奇点和ASI联盟中有一个去中心化的AI操作系统，可以在许多不同的机器上运行，这些机器通过网状网络或互联网连接。我完全同意，但问题是关于这个新的创世纪任务，我认为他们试图扩大规模，他们想要大数据和大量计算，而这正是控制所在。我想我的观点是，你不能真正禁止AGI，除非有非常极端的1984式监控，这对于狭义AI来说可能是可能的，但它已经非常反乌托邦了，对吧？而且，另一件让我感到困惑的事情是，你把AGI交给每一个精神病患者使用的想法，再次，这有点是时机问题，对吧？因为我认为一旦你有了超级智能，如果它是有益的，那么超级智能本身就可以成为全球免疫系统，超级智能可以发现精神病患者是否在训练AGI并试图启动它，而且不必像1984年的人类独裁者那样邪恶。所以真正的问题是，在你达到有益的超级智能之前，你是否处于一个创造开放AGI所需的计算量很小的时期，以至于一个随机的精神病患者可以使用它？我想这不太可能。在通往超级智能的道路上，我们可能会处于需要大量机器才能制造AGI的时期。所以你的风险不是一个随机的精神病患者在他们的手表上创造一个AGI。你的更大风险可能是美国和中国争夺台湾的芯片工厂之类的，对吧？因为，这非常明显，对吧？而精神病患者将创造AGI的想法就像惊悚小说的情节，而不是真正发生过的事情。所以我们处理了是否有理性论据表明PDoom很高的这个问题的讨论，我没有得到一个让我信服的，但听众可以自己决定。现在，但是，我们现在进入了另一个问题，那就是我们作为个体行动者可以做什么合理且可行的事情，比如，如果你是正确的，我认为我理解你希望整个物种做什么，而我们谁也控制不了，我的意思是，整个物种也是无法解释和无法控制的，对吧？就像我们谁也控制不了整个人类物种一样。所以，我的意思是>>有科学共识，我们有反对人类克隆的例子。这是一个非常具体的科学>>对，对，但人类克隆或核武器，这些东西不一样，有几个区别，所以一个区别是，这些东西没有提供巨大的经济和人类价值以及军事价值。>>人类克隆可以挽救很多生命，生命延长。这太棒了。>>AI现在，我的意思是，人类克隆可以提供一些价值。我的观点是，AI现在在军事、经济和大多数人的生活中无处不在，就像我的孩子们不想放弃使用ChatGPT来回答关于虫子和足球明星等问题一样，对吧？这项技术现在正在为各种各样的人提供巨大的价值，并为经济中的各种各样的人赚取巨额财富。>>所以让他们保持在当前水平，享受游戏，并通过经济传播数万亿美元。资本主义经济不是这样运作的，对吧？因为如果一个人稍微高于当前水平，他们就会获得优势。而且，根本没有好的方法来衡量水平。我的意思是，LLM使用的所有基准测试都只是被嘲弄和被黑客攻击，并没有什么意义。我们没有智商测试。>>我只是在争辩，它还没有通过资本主义激励机制传播到经济中。所有的钱还在桌面上。已知可能实现50%的工作自动化，现在已经成为可能。>>大科技公司对AI的未来下注的金额非常巨大，对吧？中国政府对AI的未来下注的金额也非常巨大。这与人类克隆或核武器等完全不同。我的意思是，你没有巨大的经济领域押注数万亿美元在这些技术上。所以，这只是我的观点。我们同意禁止这些技术，因为它们目前没有改善任何人的生活，也没有产生巨额财富或吸引巨额投资。>>那是一个不同的社会状况。>>但同样，我们不是要求禁止技术、科学、工程或AI。我们只是说，不要建造通用超级智能。这是唯一的例外。>>但是你怎么知道从Gemini 3到Gemini 4的这一步是朝着超级智能迈进还是不是？>>那么，它是通用的吗？它是基于所有类型的数据进行训练的，还是针对特定问题？例如，他们有一个蛋白质折叠问题，由一个特定的模型具体解决，取得了超人的表现，带来了惊人的经济和生物信息学收益，而且没有问题。我们可以解决所有其他问题。你想禁止跨模态神经网络模型。那么>>那可能将是训练通用超级智能定义的一部分。不是在当前水平。>>那么你就无法制造允许人们通过提示脚本自己的视频游戏的产品。那么你就无法制造家用服务机器人。>>我愿意牺牲这个级别的视频游戏开发。>>美国经济不是，对。经济上我们不是>>我们愿意牺牲电力和手机。所以总会有人>>愿意放弃我的部分意思是，仅仅部署现有模型到经济中就有数万亿美元的利润，而无需任何改进。>>存在。我不知道是不是这样，因为现有模型在商业用例方面有很多恼人的缺点。另一方面，另一方面，大科技公司正在非常迅速地改进它们，而它们改进的途径很大程度上依赖于跨模态训练数据。所以，我的意思是，它们不想摆脱它。我可以插嘴问两个问题吗？一个问题是，因为我对你回答罗马的方式不满意，但问题是你们两个。我认为，你知道，让我们一起集思广益来回答这个问题。那么，鉴于我们无法阻止它，前进的道路是什么？让我们先设想这个场景，然后我再去设想另一个场景。但我想这更，这更热门。那么，如果你们两个不能阻止它，你们能一起做什么来采取最佳行动？罗马，>>我的意思是，一个简单的解决方案是让本今天创造有益的超级智能，并免费提供给全世界。我们搞定了，对吧？>>谢谢。这就是我们正在做的。>>现在一切都取决于你了，本。去吧。解决它。>>[笑声和喘息声]>>现在本可能必须向我们证明它将是有益的。是的，>>智能将创造证据并提供它。它足够聪明。>>正确，正确。谢谢。我喜欢这个答案。现在我更倾向于本。我的意思是，让我们想象一下，你可以设想一些安全规则。比如，罗马想要一些安全措施，在我们大规模释放AGI之前，这些安全措施必须在全球范围内存在。这些规则会是什么样子？你能设想至少一个吗？本，>>我的意思是，我们可以为AI项目创建共享安全护栏的程度。我的意思是，我们可以做到这一点，它可能会有益，就像我们应该有一个通用的开放基础设施来评估安全性，用于AI产品的来源跟踪，用于AI的“护照”或认证，说明AI可以做什么。我的意思是，拥有一个通用的、全球采用的安全基础设施框架会很好。我的意思是，我认为这存在重大挑战，因为我的意思是，如果你这样做，假设一切都是LLM，那么我的意思是，它不会涵盖超模型，比如我正在构建的。另一方面，如果你尝试对属性进行形式验证，那么你就排除了LLM，而LLM就像现在的整个行业，对吧？所以，这存在重大挑战，但当然这会有用。另一个担忧是AI行业现在看到的荒谬的基准测试。我的意思是，人们会拿出所有这些测试来证明你的AI有多聪明。但然后，我的意思是，本质上人们只是使用LLM来创建类似于测试中内容的训练数据，然后他们用训练数据训练他们的LLM，然后嘿，他们在测试中表现得很好，而我实际上是在测试数据上训练的。对吧？所以，如何确保安全基准测试不被基准测试黑客攻击是另一个难题。对吧？但我的意思是，尽管如此，这方面的进展肯定会很有趣，而且我的意思是，为了透明度，就像拥有一个共享的开放基础设施来评估透明度也会很有趣，因为我的意思是，不同的人对它的含义有不同的理解，而你希望这成为一种行业认证。我认为这比将其作为一种政策更有趣，在那里你因为发布不够安全的AI而入狱。就像如果你有一些印章表明这个AI已经过验证，具有这些属性，这个AI已经过验证是透明的。它已经过验证，顶层目标不会比blah blah blah修改得更快。我的意思是，如果人们同意，你知道，不购买没有这些印章的软件，那么，我的意思是，是的，这并没有排除一个随机的精神病患者构建其他东西，但这意味着AI行业正在遵守一些常识性的安全标准。而我们现在离那还很远。所以，让我举一个更简单的类比。我之前问过，为什么我们不从源头就排除深度伪造，比如排除深度伪造的图像和视频，不完全确定，但相当好，比如你可以使用数字水印和加密，对吧？就像每次我的手机拍照时，都会有一个数字水印，它是由这个芯片的硬件设备拍摄的，在这个时间点，由这个用户拍摄，然后你知道，如果某些东西在Photoshop中被修改，让Photoshop用数字水印标记图像，用哪个版本的Photoshop，在哪个机器上，用什么许可证号。我的意思是，然后你就会让主流媒体和社交媒体甚至不显示来自这个水印过程的图像。我的意思是，你可以为1936年的照片等设置例外，对吧？但我的意思是，你可以走很长一段路。我和Tufi Tufi Celiba，你知道，Mahel Tufi，我们大约八年前就谈了很多这个问题，甚至有一些努力让国际刑警组织采用它作为标准，但它在哪里？所以，这要简单得多，对吧？它仅仅需要全球行业采用数字水印方案，然后深度伪造将不再是一个大问题，但我们似乎无法作为一个全球科技生态系统做到这一点，对吧？如果你想想，比如世界贸易组织仍然没有真正起作用，对吧？就像美国和中国之间被欺骗的WTO协议数量是荒谬的。所以，你看到的是，即使是这些更简单的事情似乎也超出了我们社会和文化的掌握。但如果你把这一点放在一边，是的，全球行业标准对于AGI安全肯定会非常有价值，然后不同的政府可以以不同的方式处理它，比如，新加坡可能会说，任何从事AI工作的人都必须注册他们的安全审计，我的意思是，美国可能不会这样做，阿塞拜疆可能也不会这样做，但至少在那里有一些方法可以让你在安全方面取得进展，而不是全球禁止多模态训练数据集之类的，但我不知道我们在这方面能取得多少进展。这是因为，与人类克隆或核弹不同，我的意思是，这些东西只需要商品设备，对吧？就像任何人都在用手机拍照，而手机制造商，我的意思是，他们现在在非洲制造手机，对吧？所以，即使是手机制造商也遍布各地。所以，这似乎又回到了你不可控的观点。我想说的是，全球科技和政治生态系统是不可控的，这意味着即使是非常简单的全球安全措施似乎也几乎不可能实现。我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我.
我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我不知道，我
沿着那个方向，远到Alazer所在的地方。我想他特别谈论的是模型，谷歌和OpenAI今天部署的大型语言模型。如果那种架构被充分地向前传播，我不知道它是否特别针对你的框架。呃，我想问你，罗曼，你知道吗，如果你想接受这个问题，这个假设显然就像，你知道吗，如果猴子阻止了我们成为人类，呃，我们，我不知道我们是否是它们合格的继承者，但我们可以这样看。你会认为，如果存在一种比我们更高级的智能，它实际上有权取代我们吗？实际上我会非常乐意，因为我个人认为我们是一个失败的物种，不幸的是，我知道我们对此有分歧。你对一个合格的继承者有什么看法？
对。所以像这样的问题是相对于你所询问的人或代理的。如果你足够放大视野，你看到的是一个宇宙的视角。更 M有趣、更智能的物种应该主宰那些更愚蠢的物种吗？答案是显而易见的。但我是人类。我的大多数朋友是人类，我的一些家人也是，所以我非常偏颇。这仍然是你被允许拥有的最后一种偏见。鉴于我的偏见，我非常支持人类。如果我们都死了，我真的不在乎宇宙会发生什么。毫无兴趣。我知道人们会调查合格的继承者。他们关心它们会有多大的意识。我不在乎。我想存在。我想活着，并且相当接近我目前的人类。所以，我仍然有家人和朋友。我会关心他们。但随着遗传距离的增加，我的关心也会减少。
嗯，我认为那说明了很多。这取决于情况。是的。我同意。这非常个人化。而且我，我认为，嗯，在我看来，是的，如果我那样想，我就会打破宇宙的进化。我认为我们在这里是进化过程中的一个步骤，一个里程碑。而从那个角度看，那就是我的想法。而像繁荣就是放下恐惧，只要它会向前发展。
但是，[哼]没关系，蟑螂和松鼠仍然在嗡嗡作响地做它们自己的事情，这没关系。我希望有更多的大猩猩在森林里，而且它们不会杀死我们。是的，没错。但我们只是可以，你知道，可以为这种进化做出贡献，我们也可以继续下去。至少我是这么看的。我不知道你呢。呃。
所以很多也取决于你的宗教观点。本说他不是任何有组织宗教的成员，不相信伟大的或设计者。那么这就不重要了。那是个意外。那么在意外的哪个点上，这有什么区别呢？
我不知道是否存在一个创造者或设计者。实际上，我对此持不可知论。但我不，我不相信任何传统宗教。所以。
那很好。我也不。但如果你接受带有超智能编程者的模拟假说，那么他们可能对这次模拟的结果有计划。那可能，那可能就是，我的意思是，随着我年龄的增长，我对我们所有人对宇宙本质的根本无知有了更深的敬意。对。我的意思是，很多很多事情都是很多很多事情都是可能的。是的。而且，呃，我的直觉和你的，马赫拉，是一致的。我的意思是，我确实如此。如果人类物种将被消灭，如果我知道它将被一些惊人的高维机器人思维取代，我会比我认为它将被一个荒凉空旷的星球取代要快乐得多。所以，我的意思是，另一方面，你知道，如果我的亲生孩子在我面前，而对面是超级人工智能，我可能会杀死超级人工智能来拯救我的孩子，对吗？就像，我的意思是，我也是一个活生生的、会呼吸的人类，对吗？所以，我的意思是，但愿那不是二分法。就像我说的，松鼠在黄石公园里跑来跑去，我们有鹿在瓦尚岛上到处跑，当你开车时会挡路。就像我们，进化谱系中的下一个阶段不一定非要消灭前一个阶段，尤其是在一个富足的时代，对吗？在进化稀缺的时代，它甚至不总是发生。是的，我同意。而且我们，我认为我们可以鱼与熊掌兼得，因为它为什么要杀死我们呢？如果我们让它繁荣发展，而且是我们创造了它，它为什么要关心那个呢？但无论如何，这里当然有不同的意见，我们尊重所有这些意见。所以，你知道，正如波尔斯基博士警告的终局游戏，呃，本当然邀请我们进行开放式进化。我们发现人类不是一个旁观者，而可能是一个作曲家，也许每一个协议价值，每一个治理行为都成为未来交响乐中的一个音符。而且我们可能有智慧写出配得上那种智能的音乐，那种智能有一天会演奏它，并与宇宙一起演奏我们。我看不出有任何其他方法来调和这个，呃，我不想称之为战斗，但这些是非常有趣的观点，而且显然，呃，我认为人类的很大一部分是支持你的，罗曼。显然你有很多观点，呃，人类的很大一部分是支持本的，而且支持通用人工智能的发展。所以让我们看看，但呃，也许最后，如果你愿意，你看到未来有办法联合力量吗？或者你总是会有点，你知道吗，[笑声] [喘息声] 有什么建议吗？最后的话。
我认为，让一群人工智能专家合作开发一套针对早期通用人工智能系统的开放式安全监控和认证套件会很好，这对我们俩都很有趣，尽管我认为它不应该由专制团体强制执行，但我认为让这些工具易于所有人使用，并让人们关注它们将是值得的。那，那，那是一件具有挑战性的事情，我没有动力把大部分时间花在上面，但我很乐意参与这种行业范围的努力。所以我的意思是，那当然是一件事。
也许可以一起制定一个通用人工智能宪法，我相信罗曼有很多想法。[笑声]
是的。我的意思是，一个通用人工智能的宪法，或者，我的意思是，为了通用人工智能。是的。为了我们之后的事物。[笑声]
我认为我们不会在那部分达成一致，因为我的意思是，在我最近写的一篇关于自修改形式化的论文中。我的意思是，你可以尝试创建一个系统，它能被证明永远不会改变其最高层目标，但我认为这对通用人工智能来说是极其不道德的事情。所以，你也可以研究如何创建一个系统，它会以适度的速度改变其最高层目标，比如根据某个指标每年只改变10%或类似的东西。我认为罗曼和我可能会在如何配置这样的系统上存在分歧。现在，用于正式验证这些属性的工具可以用于或多或少保守的设置，这既有趣又重要。实际上，我认为我们可以在其他方面合作，但它们并不能阻止生存风险。就像我的我的我的女婿是亚马逊的计算机安全专家，我们已经讨论了很多关于如何制作如何制作。
你怎么让你女儿嫁给一个计算机安全专家？你可是为了自由和为了[笑声]。
哦，天哪，他当时，当他们相遇时，他大约19岁，在埃塞俄比亚为埃塞俄比亚安全机构工作。是的。然后当埃塞俄比亚政府切断互联网大约一个月时，他们就逃到了美国，他说你在这里找到了一份安全工作，在这里找到了一份安全工作。重点是，我们已经研究出一些有趣的方法来使大型语言模型更安全。比如你可以为系统提示或主提示训练不同的头部，然后冻结系统提示，对吗？所以，所以冻结它，这样它就不能在软件中被修改，对吗？所以，有，而且没有人这样做，对吗？所以，所以你就会有所有这些提示注入攻击之类的东西。所以我的意思是，有很多很多基本的安全措施是行业不做，仅仅因为那会花费更多的时间和金钱，但这就像，我的意思是，也没有人更新他们操作系统上的安全补丁，对吗？我的意思是，罗曼和我作为对人工智能和安全感兴趣的计算机科学家，可以合作很多有趣的事情，另一方面，我没有看到在关于超级智能可能结果的直觉差异上立即弥合。
我同意这一点。我认为这些辩论非常有帮助，我们将继续与你和许多其他人进行辩论。我认为接触到双方论点的人将能更好地做出明智的决定，并希望我们能趋向于一种或另一种乌托邦。
而且，而且陪审团。
也许是众多并存的乌托邦。
自由主义的个人虚拟宇宙。
哇。是的。非常感谢两位，也谢谢罗曼，因为我当然认为通用人工智能竞赛必须以某种方式被驯服。也许我们无法阻止它，但也许我们可以引导它，而且。
它不会，它不会，它不会被驯服。[笑声]
超级智能不会被驯服。
它将是，它是革命不会被驯服。
不，那将是一场狂野的旅程。那通常是我们物种想要的。另一方面，我们，我的意思是好莱坞电影就是这样拍的，对吗？我的意思是，你得到了，你得到了。
也许那就是你们可以一起做的事情。
你必须有一场惊心动魄的追逐，最后勉强过关。否则，我们不是。
最有趣的才是最重要的。
非常感谢。谢谢。而且，呃，是的，期待更多未来的辩论，我真的非常感谢你们两位这次的时间，我相信观众更是如此。我学到了很多，我的愿望是，是的，超级智能将被释放，而且它不会杀死我们。怎么样？也许我们可以，我们可以。
我们听说过关于痛苦的梦想。
那是个低标准，但我会为此祈愿。
没错。没错。也许它也会支持我们繁荣发展。它将激励我们作为一个物种变得更聪明。再次感谢。谢谢两位。
[音乐]