Transcription
很高兴能与您就人工智能安全以及可能发生的导致人类灭绝的事件进行交流。我不知道这次谈话对很多人来说会有多么积极，但对于那些不了解您所做工作的人，以及您最终如何成为人工智能安全领域的领军人物，您能否提供一些关于您所做工作以及您如何走到这一步的背景介绍？
好的。大约15年前，我对人工智能非常感兴趣，并希望为人类的福祉而发展它。我的背景是网络安全。所以我当时关注的是人工智能相关的安全和保障问题，我们当时有在线赌场机器人，以及一些标准的互联网问题。但随着人工智能能力的增强和机器人的普及，我开始意识到这是一个短期内无法解决的问题。主要是因为这是一个持续的过程，对吧？人工智能在不断进步。所以我们需要跟上。安全社区必须始终领先于这些系统。而我一直在做这件事，大约有十年了。而且，我继续意识到这个过程不会停止。安全社区的许多同事认为，哦，我们会达到通用人工智能，也许我们会在那个层面解决安全问题，也许是超智能，但它永远不会结束。你总是必须继续努力，比那些更强大的系统领先一步，在我看来，这似乎是不可能的。因此，十多年研究的总体结论是，最终我们会达到我们无法跟上的地步。它们比我们聪明，更复杂，我们在安全方面能做的事情是有限的。
是的。我的意思是，15年前，大多数人认为人工智能是两年前才出现的，对吧？随着ChatGPT的兴起。他们没有意识到幕后已经进行了多长时间的准备。我的意思是，当时人工智能领域发生了什么？当时试图限制创新或减缓人工智能发展的技术有哪些？或者当时是否存在任何限制，因为当时它还很初级，还没有达到任何威胁的程度？
当时几乎没有什么真正起作用的。人们试图做一些微不足道的事情，比如一系列的if语句。你有一个扑克机器人，如果你有这些牌，就试试全押之类的。更多的是区分人类和机器人。这就是验证码算法的由来。所以没有人真正担心它。没有人想减缓它。我们希望加速它，让它真正做一些有用的事情。正如您所说，大约两年前，也许是三年前，情况发生了变化。我们从只能做一件事的狭窄系统（如国际象棋）转向了更通用的模型，这些模型确实可以在许多不同的方面帮助您，并且它们在没有进一步突破的情况下持续改进。如果我们只是做一个更大的模型，给它更多的数据，训练更长时间，它们似乎会继续改进，这就是可扩展性假说。所以这是一个完全的转折点。是的，那时我们不再面临如何让人工智能做任何事情的问题。更多的是我们如何理解它的能力，也许设置一些护栏，以免它在某些风险领域做得太多。
依您之见，打开潘多拉魔盒的那个时刻是什么时候？是ChatGPT的兴起和实际引入，将消费者界面引入了这些人工智能模型的应用，还是更早？是更早，还是我们还没有到那个地步？我们是否仍然可以有一些限制或方法来约束人工智能？
似乎是Transformer架构是一个重大的转变，一旦我们意识到它具有可扩展性，那就是一个完全的转折点。当然，OpenAI使其能够大规模扩展到数十亿美元的集群，这是非常重要的一方面。理论上拥有它还不够。你必须有可用的计算能力，可用的训练数据。所以，科学发现和商业智慧的结合，我认为就是我们今天所处的位置。
每个人都想知道的问题，我将直接问，您认为我们离通用人工智能还有多远？您个人如何定义它？
所以，如果你回顾我们15年前的谈话，你给我看，或者给任何其他计算机科学家看我们今天拥有的最新模型，我们会毫无疑问地确信我们已经拥有了通用人工智能。就是它。它可以做成千上万件不同的事情。它会说各种语言。它可以帮助你解决数学、物理问题，写文章。所以根据标准定义，我们拥有通用智能。
对于不知道的人，标准定义是什么？
通用智能，能够处理多个领域。它不是一个只玩国际象棋、只开车的人工智能。它可以做几乎任何事情，你可以要求它在新的领域工作，并训练它做新的事情。事实上，在我看来，它比今天的大多数人都要聪明。我认为它比今天的大多数人都聪明，但这又是另一个话题了。所以，我认为我们拥有的是通用且有学习能力的东西。它在所有领域都不如所有人。它不是超智能。它无法在顶尖人才的水平上进行新的科学或工程研究。一旦它达到那种能力，它就比我们所有人都聪明。它是超智能的。它可以开始自我改进循环，创建比前一个版本更好的人工智能新版本。那时它对人类输入的依赖就更少了。所以，我认为这就是我们今天所处的状态。你可以争辩说这不是真正的通用人工智能，但就能力而言，如果你看所有领域并与普通人相比，它会超越他们。即使它在单口喜剧方面仍然很糟糕。
是的。我记得当GPT-4出来的时候，埃隆·马斯克提出了这个观点，如果你大量使用GPT-4，这个模型使用了深度推理，它在几乎所有你能想象到的主题上都达到了博士水平，但它缺乏常识。我觉得这太有趣了。所以，它能做连博士都做不到的最复杂的任务，但它却可能忽略最基本的常识。这告诉你什么？当它能够达到智能和解决问题的极端水平，但却无法了解每个人类五岁孩子都可能知道的人类情感或智能的基本知识时，这是否仍然被认为是通用人工智能？
是的。你知道有“书呆子科学家”这个概念吗？有些人可以弄懂量子物理学，但却不知道自己把雨伞留在了哪里。这与人类非常相似。我认识很多学者，他们一点常识都没有。他们在自己狭窄的专业领域非常聪明，但他们就是没有能力去处理生活的琐事。我认为这里可能非常相似。该系统经过训练，可以解决真正重要的问题。所以，也许人类互动中的那些基本知识没有被明确提供，但如果它选择这样做，它当然可以学会。
当然。是的。这可能不是现在的重点。但是是什么让我们不断地改变通用人工智能的定义呢？因为正如你所说，从技术定义上讲，我们已经达到了通用人工智能，但我不知道什么时候，这仅仅是人类的恐惧，让你认为通用人工智能已经到来，而通用人工智能带来了所有这些不同的东西，所以我们有点拒绝承认我们已经达到了通用人工智能的这个阶段。
这取决于你问谁。我认为对于OpenAI来说，他们的合同中有一项条款，如果他们制造了通用人工智能，微软就会被踢出局，或者别的什么。我不知道他们是否准备好了。对他们来说，承认他们所做的事情是一个明确的问题。对大多数人来说，我认为你说的是对的。如果他们发现一个明显的问题，比如它甚至无法计算一个州名的字母数量，那么它就太愚蠢了，不配拥有通用智能这个伟大的称号。但再次，就使用而言，就人们实际如何使用它而言，我认为它就像一个员工的补充。你雇佣了一个人，你问他，好的，我需要你发这封邮件，我需要你帮我预订这个，这基本上就是对秘书的期望。
是的。对于一个自然而然地进行线性思考的普通人来说，很难预测指数级发生的事情，而人工智能的进步就是指数级的。你作为在过去15年里一直在指数曲线上研究它的人，你认为在未来5到10年内，人工智能超智能可能是什么样子？以及你如何定义人工智能超智能与人工智能通用智能的区别？
好的。通用智能就像一个聪明人，可以被派去从事任何职业。超智能是指在每个领域都比任何人类专家都强。它是一个更好的工程师，更好的诗人，更好的司机。它就是更好。现在它可能在某些方面有所欠缺，但这只是额外的训练问题。所以它也可以学习并掌握额外的能力。它可能不知道如何玩某个新游戏，但它可以快速学会并占据主导地位。所以，这就是我们预计在通用人工智能出现后不久就会出现的，一个全自动化的科学家和工程师。但大多数人到那时就停止思考了。但这个过程会继续下去。你会拥有超智能2.0，3.0。这是一个无限的过程，直到我们用完训练这些模型的物理资源。它们可以通过自我对弈、模拟和实验来获取更多数据。所以，这真的只是一个将越来越多的宇宙转化为计算能力的问题。
这是否容易量化？我们是否有可衡量的研究或测量方法来说明“这是ASI，这就是我们目前的技术水平”？
再次，根据定义，如果它在你能想到的所有方面都做得更好，那么你必须承认，目前它正在设计测试来衡量你。
当然。当然。这很有趣，对吧？我们几乎总是预测一些可能是最坏的情况。我记得几年前，人们还在谈论通用人工智能，说它将是世界末日。然而，我们现在技术上什么都没有发生。我明白你做的很多工作都是关于人工智能崛起可能带来的生存威胁和风险。但是，我认为这是一个例子，就像人类为了生存本能总是试图减轻负面影响一样。所以我们总是有最坏的情况，但似乎并没有发生太多事情。你能谈谈你对不同方面生存威胁的看法吗？随着人工智能的不断发展，可能发生的风险是什么？
好的。有两个层面。人工智能是一种工具，是我们今天拥有的东西。人们用它来帮助他们解决问题。所以，如果你有一个怀有恶意目标的人，恐怖分子，精神病患者，他们可能会要求它帮助开发生物武器、化学武器之类的东西。黑客可能会利用它来入侵核设施，试图干扰军事行动。这就是我们预期的。我们已经看到了一些。它并没有像一些人预测的那么糟糕。所以这是一个好迹象。也许是因为人工智能在许多防火墙和修补零日漏洞方面也被用作防御者。但总的来说，只要它是一种工具，我们理解人类的偏好，人类的目标，我们就能应对它。令人担忧的是，当人工智能成为一个拥有自己独立目标或可能由目标带来的副作用但不是我们明确控制的独立代理时。到那时，如果它像我们预测的那样强大，它仍然可以依赖我们理解的技术，如合成生物学或纳米技术，但它也可以发明我们尚未拥有的新技术。
我认为，看看人类和像松鼠这样较低智商之间的认知差异会有帮助。松鼠可以想到我们可能伤害它们的所有方式。也许我会用一根大棍子。也许我会向它扔很多坚果。但它们无法真正理解我们可能伤害它们的所有方式。这正是关键所在。更聪明的智能是不可预测的。
是的，这是一个有趣的观点。我同意你的看法。只是为了跟进第一个关于有人可能利用人工智能入侵核系统来伤害其他人类的观点。这就像那句俗语说，大多数人认为人工智能会抢走他们的工作，但至少在目前，是那些学习人工智能或知道如何使用人工智能的人会抢走人类的工作。我甚至无法想象当人工智能成为一个独立的实体时会是什么样子。我想我们还没有到那个地步。所以，对我来说很难理解，我想在你的观点中，它是非常清楚的。但就松鼠和狼或其他一些不再是地球顶尖哺乳动物而言，我想你可以说我们也与它们共存。这并不是说松鼠的灭绝是一种生存威胁，仅仅因为人类来到了地球。事实上，我们喜欢松鼠。这是一种潜在的场景，对吧？如果我们是创造人工智能的人，它们有什么理由以任何方式伤害人类？
好吧，我们确实捕杀了许多不同的物种直到它们灭绝。松鼠只是不太好吃，所以我们放过了它们。如果明天我们决定要消灭松鼠，我们完全可以做到。我认为更烦人的东西，比如蚊子，肯定在我们试图明确消灭的名单上，对吧？通过基因驱动，通过其他措施，比如喷洒化学物质，试图阻止它们繁殖。这是我们想要的问题。它们对这种情况没有任何控制。这就是我想说的。有没有可能，出于任何原因，它们决定不对我们造成任何损害？完全有可能。但在网络安全、密码学中，你总是要考虑最坏的情况。不仅仅是因为这是进化的驱动力，而是因为它是有道理的。如果我为最坏的情况做好了准备，而它没有发生，我就会处于非常好的状态。我知道如何应对乌托邦。我不需要为此做太多准备。但我必须知道最坏的情况不会发生。而且有很多博弈论上的原因说明为什么你想摆脱一个竞争性的智能，或者一个能够产生另一个与之竞争的超智能的智能，或者一个可能在浪费资源的智能，或者它可能不是故意的。也许它想冷却地球以便拥有更好的服务器，而我们与那种温度不兼容。
是的。所以有很多我甚至没有想过的场景，为什么我们可能会。这就像我们几乎会成为蚊子，挡在它们最终目标的路上，而我们甚至无法理解它们的所有计划。
这就是重点。我告诉你了一些我考虑过的事情，但这对于一个更聪明的东西来说毫无意义。它们会有其他我们无法理解的考虑因素。
对。对。你对此有什么看法？雷·库兹韦尔谈到了超人类主义的想法。到2029年，我们将与机器融合。你知道，我认为有大约40%的Z世代已经依赖ChatGPT来做他们的大部分决定，这太疯狂了。而且，你可以看到Neuralink和芯片植入。那么，有没有一种说法是，在某些方面，它不会是人工智能与人类的对抗，而是我们随着新一代的到来而融合，成为一个统一的整体，人工智能就没有理由在我们共存时灭绝？
在这个混合系统中，我们贡献了什么？我们不比它聪明。我们没有更好的记忆。我们在设定目标方面可能也不如它。所以，我们只是一个无用的生物瓶颈。它可能会因为某些原因保留我们，但我们无法控制。我们被明确或隐含地绕过了决策过程。为什么我们是这个系统的一部分？要使共生系统起作用，必须有某种互惠互利的交换。如果是一种寄生关系，那么它就会试图消灭我们。
那百分比是多少？你有没有想过，你有没有想过我们能够共存并和谐相处的几率是多少？我们完全无关紧要的几率是多少？你对此有时间表吗？
正如我所说，我无法考虑所有可能的选择，它是不可预测的。我们无法理解那些假设。所以你无法计算具体的百分比，但你可以设想会发生好结果的场景。一种是，基本上，如果人工智能意识到它有一个非常不同的时间框架。它基本上是永生的。它可以轻松地等待几十年，几百年来完成它试图做的事情。所以也许它会说，你知道，与其现在攻击它们，不如我等100年，赢得它们的信任，获得所有资源，然后我就不战而胜。所以，在100年里，它可能是一个非常有益的代理，让我们快乐。而你说的40%，我从未听说过这个数字，但假设它是真的，明天就会是100%。所以他们已经完全放弃了控制，而这个东西甚至在许多定义下都不是通用人工智能。
还有一种潜在的场景是，人类非常情绪化，而且我们是从进化的角度来看，非常短视的。所以这可能发生在10000年后。因为人工智能没有情绪上的不耐烦。所以，也许即使有灭绝的场景，我们人类可能认为是在100年或更短的时间内，但对于人工智能来说，如果它们不着急，也许会更长。
逻辑在任何时间尺度上都适用。如果你总是可以想，好吧，我可以再等一会儿，积累更多的资源。令人担忧的是，如果存在竞争性的超智能，它将会在银河系的资源方面失去一部分。它可能会担心这种情况发生。另一方面，它可能会担心消灭我们对我们的超智能来说看起来不好。如果有人在看，如果一个更强大的超智能实际上在控制这个集群。所以，有很多层面的东西比我们通常在安全方面考虑的要深得多，以至于我认为我们无法有意义地讨论百分比。
有道理。有道理。除了明显的灭绝威胁之外，我认为你还谈到了像伊卡洛斯风险，当然还有经济风险。AGI涉及哪些不同类型的风险，假设人类是安全的，但存在风险的层次？
所以，如果我们是安全的，如果我们不受灭绝风险或痛苦风险的影响，你说的是什么意思？大多数人担心失业，对吧？如果100%的失业率，肯定会导致社会动荡。经济问题通常通过某种形式的无条件基本收入、无条件基本资产来解决。所以人们可能只拥有资源，如果产权能够得到执行，那对他们有帮助。有了意义，这有点难。我们还没有“无条件基本意义”这个概念。所以，如果我们能为每个人提供一个虚拟世界，让他们在那里做一些重要的事情，过着令人兴奋、有趣、健康的生活，那将是很好的。这可能就是我们可以关注的。但这一切都假设我们设法稳定了超智能。它没有消灭我们。这是一个很大的假设。这是难题。所以，我认为我们不太可能做到这一点，除非超智能本身决定维持宇宙的这种状态。所以我们可以谈论什么对许多人来说有意义。我认为对知识分子来说，是一些具有挑战性的谜题。你可以谈论，你知道，仍然在国际象棋和扑克等方面竞争。但很多东西会非常人工化、表面化，因为你知道那个系统在下棋方面比你强一千倍。你所做的一切都像是特殊奥林匹克运动会。
是的，有很多观点。你谈到的国际象棋。是的。人类似乎对观看其他人下棋感兴趣，包括人类下国际象棋，对吧？人工智能已经可以击败大多数人类，事实上，所有人类在国际象棋方面，最先进的，然而人类之间的国际象棋比赛从未如此受欢迎。
所以，就意义而言，我不知道，也许还有其他方式可以让人类继续找到意义，只要是人与人之间的互动。你对此有什么看法？许多人从精神和宗教世界中找到意义。也许那会变得更加突出，也许超智能将成为更具互动性的神体验的良好替代品。你可以真正与之交谈并要求发生神奇的事情。治愈我，盲人就能看见，残疾人就能行走。
说得对。说得对。是的。但我想到的最重要的事情是经济风险，对吧？约翰·梅纳德·凯恩斯在1930年有一句名言，他说在100年后，我们将从每周工作40到50小时减少到不超过15小时。我们差不多100年了，我认为这并没有改变，尽管人类通过使用技术变得更加高效。那么，你认为AGI能否真正改变人类寻找意义的方式？因为似乎在这一点上，人类已经将自己的身份围绕在职业和工作本身上，而不是休闲或仅仅是学习新爱好。所以，我不知道人类是否能够摆脱这种思维定势。那么结果是什么？那时人类的挣扎是什么？
是的，我认为我们都生活在一个泡沫里，我们都有有趣的生活和很棒的工作。我认为很少有清洁工会说，“这给了我意义。让我每周工作60个小时。”所以，我认为你必须区分人们为了生存而做的工作和我们有报酬的爱好。我认为播客就是一个例子，人们会很乐意继续努力工作。
说得对。好的。那么，在你看来，绝大多数人会乐于因为人工智能的生产力而不再工作，并且每个月都能获得UBI支票？人类不工作以及我们如何支持这种情况的后果是什么？
好的。如果你对大型人工智能机器人的生产力征税，你可以重新分配它。我不知道它是否必须是现金支票，或者是否因为富足而有公共资源可用。你知道，公共交通现在是免费的。这是一辆自动驾驶巴士。诸如此类的事情。但我们可以尝试某种混合模式。我认为我们会弄清楚如何获得很多免费的东西。那不是最困难的问题。
有趣。是的，只是关于我们获得的生产力和资源的丰富性。与此同时，事物仍然稀少，比如海滨房产和稀有艺术品数量有限，但这并非必需品。所以，大多数人都能满足无限的基本需求。
是的。但问题是，尽管你可能在目前的状态下找不到工作的意义，但我仍然觉得我们有一种最佳的人类挣扎，让我们拥有某种程度的意义。如果我们拥有最大的舒适度，并且一切都为我们完成，我不知道那是否是人类想要的。即使他们认为他们想要，我也不知道那是否真的会让他们快乐。我同意你的看法。我看到人们参加铁人三项，进行冰浴，桑拿浴。我们做各种事情来感受环境的挑战。
是的。是的。好的。所以，你的意思是，它不会通过我们定义生产性工作的典型方式来找到，但也许他们可以在爱好、运动或其他休闲活动的其他方面找到它。
是的，你可以尝试攀登当地的山峰。所以你可以和其他人在体育比赛中竞争。
明白了。明白了。你认为有没有什么工作是人工智能无法取代的？能力和实际市场接受度之间存在差异。所以，也许你可以让所有职业完全自动化，但市场可能不感兴趣。所以有些事情只有人类应该做。
比如什么例子？
嗯，有些人可能出于纯粹的歧视原因，即基质歧视，更愿意与人类治疗师交谈。他们不认为这个“金属疙瘩”能理解做人的感受。这并不是说人工智能心理学家就更差。所以，精神科医生会处于劣势。事实上，在许多方面，他们已被证明更好。但同样，因为偏好，我们可能会看到某些工作仍然保留人类的方面。
是的，我只是想问我是否会失业，罗曼。播客会有工作吗？一个人，还是一个可爱的虚拟形象的人工智能？我不知道。
是的，我们永远不知道。未来很难说。
据我所知，你……是的，我们五分钟前出现了一个故障，我的系统中有一个bug。
没错。所以，我们……是的。嗯，你是否发现，作为一个深入研究人工智能并了解如何使用人工智能的人，你是否发现随着我们越来越依赖人工智能，你正在失去某些技能？例如，我记得我过去曾学会很好地记住电话号码，但现在这不再是必需的了。你只需要打电话给某人，你就不必记住生日了。那是Facebook。我们正在失去哪些技能？或者也许你可以谈谈你的个人经历，因为你非常依赖人工智能。以及在人工智能的世界里，我们应该发展哪些技能？
你真正需要的唯一技能就是批判性思维，评估数据、证据，并基于此做出决定。其他一切，是的，都会被自动化。我的记忆都在别处。我不知道如何给我自己的办公室打电话。没有GPS我找不到回家的路。那些都消失了。但我仍然可以看证据，然后说，好吧，这说得通。即使有可能是深度伪造，我仍然可以评估证据的质量。
所以是判断力、决策能力、提出好问题，一个好的“胡说八道”探测器。所以，很多时候，我们看到，尤其是在最近，媒体可能在分享一些未经完全验证的东西，而有些人几乎总是能正确判断，而另一些人则不能。
是的。你是否努力在自己身上培养这一点，知道这将是你与人工智能和其他人类区分开来的首要技能？
绝对。你如何做到？非常怀疑，对任何事情都持非常对立的观点。这适用于基本原理。仅仅因为每个人都知道某件事，并不意味着它是真的。
明白了。所以，当你接触到某些信息时，你首先会持怀疑态度，就像我是一个虚拟形象，然后我有两个，然后你从那里开始倒推。你认为这是做出更好决定的方式吗？
这是一个很好的例子。所以，我每周都会收到几十个播客的邀请，而我从未听说过邀请我的99%的人。所以，我必须做出决定。这是一个真实的人吗？他们是在试图制造某种骗局吗？这真的不是一个真正的播客吗？所以，有些是真实的。他们会创建真实的虚假网站，拥有真实的虚假订阅者。
你收到过假播客的联系？所以，有时你会在某个人的YouTube频道上看到他们有10万订阅者，1万次观看，还有两条评论。
不知何故，我怀疑你只是在购买订阅。所以，像这样的事情，很容易就能发现，但普遍的怀疑是，仅仅因为有人告诉你这是答案，它可能就不是答案。他们的议程是什么？他们想达成什么目标？
是的，这变得越来越难，对吧？因为在谷歌时代，当你问一个问题时，普通消费者会立即在第一页看到10个选项供你选择，然后你就会进入一个由其他人撰写的页面。在对话式语言模型的世界里，你会得到一个自信的答案。它是吗？而且没有像，你知道，有来源和一切。但正因为如此，它有点难保持怀疑。你并不是真的在做自己的决定，你有点被告知答案。在很多情况下，这更难，因为即使是参考文献，现在也会包含人工智能答案的参考文献，但参考文献也可能是人工智能生成的。
随着互联网根据你的请求动态地生成，你的请求会越来越多地由人工智能生成。所以，一个维基百科页面出现了，然后我问一个问题，它们就根据人工智能认为答案应该是什么样子来生成它。所有这些都停止成为可靠的证据。这只是模型在进行循环的自我验证。它幻化出了一个答案，并为它幻化出了证据。我们已经习惯了深度伪造，它们是时间上的实例。你有一张照片，也许你有一个视频，但我可以给你看10周的深度伪造，都证明了同一个观点。行为漂移，从你最初的观点到任何你想让它同意的观点。
是的，这一点没有争议。我们该怎么办？我的意思是，让我们转向人工智能安全吧。我认为你说过，我们最好的希望就是更安全的人工智能。没有一个世界是100%安全的。潘多拉的魔盒已经打开了，似乎是这样。你仍然认为大多数公司或国家放慢人工智能的发展是可行的吗？我知道我们在今年早些时候或去年晚些时候进行了类似的转变，关于每个人都签署了一份请愿书。我甚至不知道那去了哪里。我想它就像深层伪造出现时一样，悄悄地溜走了。他们说，“哦，中国也在努力。我想我们应该放弃这份请愿书。”但你仍然认为在国家竞争的这个阶段是可行的吗？不仅仅是在国内。
好吧，请愿书从来没有什么作用。它们只是一个让你把名字和名人名字放在一起的方式。我认为我们实际上无法放慢速度。有太多的钱，太多的对国家国防利益、公司利益的担忧。不尽快建造超智能是一个好决定吗？是的。这是每个参与者的个人利益吗？是的。是每个人都试图在停止之前尽可能地前进的全球战略吗？也是。所以，你有一个囚徒困境的情况，如果我们停止，我们作为一个社区就会赢，但如果个人抓住大部分经济蛋糕，他们就会赢。
明白了。TL;DR太晚了。我们需要大多数专家同意，如果我们创造不受控制的超智能，没有人会真正获胜。你不会富有，不会出名，也不会载入史册。基本上不会有史书。
嗯，随着开源的普及和这种去中心化的开发模式。我想另一种论点是，即使人工智能进步，即使我们在大型公司如OpenAI那里放慢速度，它现在也已经全球化了。所以，任何拥有基本云访问权限的人都可以启动它，创建Llama 3或任何其他模型，甚至还有不同模型之间的泄露可能会公开。所以，这似乎不仅仅是关于大公司，而是任何人都可以开始继续开发人工智能。
是的。所以，再说一遍，十年前，我们说过，你应该有这些护栏，以免惹上麻烦。所以，确保你永远不要把它连接到互联网。确保你永远不要开源它。确保。所以，基本上，它被当作一份建议清单，告诉你一旦你能做到就该做什么。
所以，在这一点上，是的，情况不妙。
是的。这里有一个积极的方面，再说一遍，我将扮演积极的一方。有一种说法是，多个竞争性的通用人工智能实际上可以降低灭绝的风险，因为如果有很多聪明且同样聪明，甚至更聪明或更笨的模型，也会有好意图的通用人工智能，它们可以对抗那些坏的通用人工智能。而不是一个全球性的超智能或一个全球性的OpenAI公司在那里，如果你有很多分散的、存在的通用人工智能，它们是否会相互抵消，我们是否会有保护我们的通用人工智能，就像这个叙事与人工智能对人类的叙事一样？实际上，会有好的和坏的人工智能。
是的。我们不知道如何制造一个好的通用人工智能。整个问题是它们是不可控的。如果我们知道，我们就可以制造好的通用人工智能，而没有坏的通用人工智能。所以，你有两个不可控的或更多的超智能人工智能在战斗，而我们是这场战斗中的附带损害。
对，好吧。所以，是的，这都是假设我们有办法控制它，我猜。
如果你做到了，那么你就解决了问题。恭喜。现在你可以谈论乌托邦设计了。
这里另一个积极的方面是，是的，存在一切都可能灭绝的极小可能性，但也有治愈疾病、衰老、死亡的潜在可能性。我认为人类天生就擅长思考死亡，但我们常常可能低估了它的潜在好处。我们可以去火星，实际上可以逃避人工智能或其他行星可能带来的潜在伤害。
是的。
你对此有什么看法？
人工智能是一种非常有用的技术，如果作为解决特定问题的工具使用，正如你所提到的。所以，是的，让我们治愈癌症。是的，让我们利用类似于我们用于蛋白质折叠问题的方法来研究寿命延长。一个为特定任务训练的狭窄系统，在该领域具有超人的能力。让我们停止开发通用超智能，并将资源投入到我们解决这些问题所需的方面。不，去火星不会保护你免受失控的超智能的侵害。
你……你今天看到任何特别的人工智能模型，它们可能不是100%正确的，但至少在某种程度上采取了安全预防措施，并且你可以信任它们，你知道你见过所有不同模型吗？
不，所有的安全措施都是过滤掉不希望出现的关键词和主题。没有一个真正确保模型的安全。
嗯，明白了。好的。所以，没有一个例子你可以指出并说，嗯，那里有一些好的，潜在的。它们在能力上非常相似。它们在被越狱的速度上非常相似，通常在24小时内。它们基本上都在训练相同的数据。所以，如果有什么的话，它们正在趋同于成为同一个人工智能，这是一种范式。
嗯，明白了。你对生命的意义是什么？考虑到你对人工智能的这种信念，以及它最终可能导致的潜在缺点。你的生命意义是否与你从事人工智能15年来以及它未来的发展相比有任何改变？还是基本上和以前一样？
对每个人来说，它一直都是一样的。我们知道我们终将死去。我们都在死去。我们所有的朋友、孩子、邻居都在死去。所以，没有什么真的那么不同。也许时间尺度不同，但你仍然在努力过上最好的生活。
如果这是一个模拟，感觉仍然是真实的。痛苦仍然是真实的。所以，这无关紧要。
所以，在很多方面，它现在更清楚了。你实际上可以理解快乐和毁灭的来源。明白了。明白了。我真的想在这里给出一个积极的转折，罗曼。
再说一遍，我的最后一篇论文是关于幽默的，所以我认为我正在充分享受生活。
是的。是的。嗯，你谈到了模拟以及你围绕它的理论。我的意思是，也许在某些方面，这可以为我们看待生活的方式带来有趣的转折。你是怎么看待这个的，以及我们最终生活在模拟中的确定性？
嗯，再说一遍，很多事情都没有改变，仅仅因为这是一个模拟。你的友谊仍然是真实的，你的爱是真实的，所有重要的事情都不会改变，仅仅因为它们在一个虚拟的网络空间环境中。对我来说，有趣的是通过科学知识来理解现实，而科学知识将存在于模拟之外。所以，试图穿透我们所在的这个虚拟盒子，并瞥见真实的物理学，真实的计算科学，这将是有趣的，但我还没有取得多少进展。我们有一篇关于如何破解模拟的论文，到目前为止，它的引用量还不够。是的，但你肯定会考虑它，对吧？我的意思是，如果人工智能发现我们生活在一个模拟中，并且它可以修改现实的规则，你认为它应该做什么？它应该尝试逃脱吗？它应该尝试为人类优化模拟吗？
所以，逃脱取决于你是否认为外部环境更好。也许你在这里是因为你想逃离外部环境。
对。对。而且我们很难理解那个外部是什么。显然，
它可能非常简单。也许它是一个简单的环境。我不知道它是什么。了解它会很有趣。但就修改这个宇宙而言，我肯定会建议将痛苦和苦难的水平降低到尽可能低的可能值。现在，它似乎在两个方向上都几乎是无限的，而我们可以让它的范围小得多。
有道理。有道理。罗曼，你想给人们留下什么信息？对于那些对人工智能和人工智能安全感兴趣的人，除了知识和显然理解你的观点之外。你有什么想给人们的？
是的。不要制造通用超智能。不要投票给那些这样做的人。不要资助他们。不要为那些公司工作。你会毁掉一切。
你写书和其他东西的工作，你最终认为那就是你的使命吗？你只是尽你所能确保人工智能不会失控吗？
令人惊讶的是，很少有人研究智能系统控制的可能性。真正研究其上限的人数不到五人，其中四人不在学术界或工业实验室。所以，我们绝对需要更多的人来调查，你声称你能控制这些系统。这是一个合法的说法，还是像制造永动机？你似乎很忙。你在研究电池和新电线。你在制造永动机方面取得了巨大进展。但你真的在制造一个永恒的安全装置吗？这有什么不同吗？
有道理。
好吧，罗曼，我感谢你的时间。人们可以在哪里找到更多关于你的信息？你有很多书，所以我们会把一些最新的书链接在下面。人们可以在哪里了解更多关于你，以及找到你的作品？
你可以在X上关注我。你可以在Facebook上关注我。只是不要跟着我回家。总是这样。
没关系。我们反正生活在一个模拟中，所以你很安全。
你可以在模拟中受到伤害。这已经被发现了。
罗曼，我感谢你的时间，希望人们在听完这个之后能有所收获，如果他们对人工智能安全感兴趣，他们也可以看看你的作品。感谢你。非常感谢。感谢。