David Shapiro Doesn't Get PauseAI | Liron Reacts

欢迎来到“末日辩论”。我是 Lon Shapira。今天我将对 David Shapiro 的视频做出反应。他昨天发布了一个 YouTube 视频，名为“暂停人工智能是一个极其糟糕的主意，原因如下”。直到现在，我才真正研究过 David Shapiro。显然，他是一位人工智能乐观主义者。他已经经营了一个 YouTube 频道几年了，现在有 158,000 名订阅者，所以我认为他很有影响力。我想我们只是会根据视频本身的内容来讨论，不考虑其他背景。而我将要提出的立场是，是的，我们应该暂停人工智能，让我们暂停它。这可能是一个极其糟糕的主意，但这是我们拥有的众多糟糕选择中最好的一个。好了，让我们开始吧。这是 David Shapiro。

好了，这是 Eliazar Yudkowsky。正如他自己的标签所说，他是“最初的人工智能对齐专家”。他曾在 TED 舞台上发表演讲，他基本上说，无论如何，你都无法避免超级强大的人工智能杀死所有人。随着时间的推移，我对这个说法越来越怀疑。但我想指出的是他名字旁边的小停止图标。现在，有一个人群，他们的名字旁边会有停止符号或暂停标志的表情符号。这都是暂停运动的象征。是的，暂停！或者我应该说，暂停人工智能。我们稍后会详细讨论，但我希望花更多时间专门谈谈 Eliazar。

这是一个备受尊敬的人，他曾在 TED 舞台上发表演讲。但据他自己承认，他对数学或编码了解不多。什么？他对数学和编码有很多了解。我不想炫耀我的证书，但我确实拥有加州大学伯克利分校的计算机科学学士学位和数学硕士学位，几乎是双学位。我可以告诉你，从我的角度来看，Eliazar 非常了解数学。他实际上已经发表了关于元数学和形式逻辑的论文，这与 Lob 定理有关，以及 Gödel 工作的一个扩展，关于系统是否可证明。重点是，这是研究生级别的知识。我自己也上过一门研究生课程。我对此略知一二，而且我可以告诉你，从我一个相当了解严肃数学的人的角度来看，我仰视 Eliazar。他了解大量的硬核数学，比我高一个层次。所以，我不是说他像 Terrence Tao 一样，我不是说他是世界上最伟大的数学天才，但他确实比我在整个人工智能讨论中看到的大多数人都了解更多的数学。而且他写的解释性文章是最清晰的，帮助我重新学习了一些复杂的数学主题。所以，我认为仅仅说“哦，据他自己承认，他对数学和代码了解不多”是严重低估了 Eliazar。抱歉，事实并非如此。

所以，这真的有一个糟糕的开端。他得出人工智能将杀死所有人的结论的决策框架基本上是他自己的逻辑。David Shapiro，我以前从未听过你的论点。这是我第一次观看你的内容。但你一开始就提出的论点是，Eliazar 使用“他自己的逻辑”来提出人工智能风险的论点，因为他“对数学或编码了解不多”。这似乎是一种不怀好意的开始论证的方式。但请继续。

在现代当代哲学中有一个运动，基本上说你不需要任何认识论或本体论的依据，你只需要纯粹的逻辑。兄弟，LessWrong 上有一个由 Eliazar 撰写的关于这个主题的巨大系列，标题是“为初学者准备的高级认识论 101”。顺便说一句，这是一个很棒的系列。所以你在这里指责 Eliazar 不需要认识论或本体论的依据。LessWrong 上有大量的帖子明确地教你认识论和本体论的依据，以应对即将到来的事情。你是在哪个星球上论证的？也许你即将提出一个好论点，但你却在最基本的事实上绊倒了，关于你正在反对什么。这些关于 Eliazar Yudkowsky 的陈述是不准确的。做一点研究吧。读过他的一些作品，是的，他是一个好的理性主义者，他善于用语言构建论点。

哇，把他框住了。他所能做的就是用语言构建论点。所以，如果他所能做的就是用语言构建论点，那么我猜你肯定不能……但没有任何依据，基本上就是“相信我，我用我的想象力，兄弟”。能量。好了，我期待听到一些更好的依据。所以，而且请记住，我是一个非常认真对待人工智能安全问题的人。我甚至写了一本关于它的书。但随着时间的推移，我对人工智能安全的担忧越来越少。人类是坏人，而不是我们制造的机器。看看今天人工智能能做什么，它并没有构成特别的威胁。即使你预测它可能做什么，并强调“可能”这个词，你也必须做出很多假设才能说人工智能会杀死所有人。

我们应该暂停人工智能吗？TLDR 是不。反驳：是的。我在这里指的是“生命未来研究所”于 2023 年 3 月 22 日发布的“暂停大型人工智能实验”。那是一年半前。那是 Max Tegmark 和其他几个人签署的一封里程碑式的信，基本上说我们需要暂停六个月。当然，这六个月已经过去了，我以为人们会因此而释怀。你知道，到那时，因为暂停有什么意义？我们会在暂停期间实现什么？但人们仍在呼吁。我想，为什么人们还在呼吁？

我听到的对六个月暂停信的最佳辩护是，我们需要提前证明我们有这个警报，我们可以拉响警报，它会真正让人们暂停人工智能。因为无论你认为今天是否是暂停人工智能的日子，还是你需要一个更强烈的警告信号，也许我们永远不会暂停人工智能，但万一它做了什么非常可怕的事情，也许有一天我们应该暂停人工智能。我们需要证明，如果我们确实需要暂停人工智能，我们就可以暂停人工智能。因为问题就在于，我们目前正在盲目地前进，没有能力，没有协调，没有技术系统来暂停人工智能，关闭它，阻止进一步的研究。所以我们正在走进一个黑暗的洞穴，没有能力，没有刹车。我们有一辆没有方向盘，没有刹车的汽车，只有油门。

所以，六个月的暂停只是一个象征性的警钟，就像“嘿，伙计们，你们可能不想暂停六个月，但计划是什么？”如果根本没有计划，也许我们应该小心。也许小心从现在暂停六个月开始。毕竟，现在已经有了突破，对吧？大约是 GPT-4 的时候。所以，为什么我们不研究一下我们现在拥有的 LLM，同时建立暂停的基础设施呢？我同意，这一切都有点象征意义。它不是世界上最理性、最功利主义的行为，进行六个月的暂停。我明白了，它有点粗糙。我不是说那是理想的计划，理想的提议。紧随其后的是什么？我实际上认为那更直接，也更成功。如果你还记得，六个月暂停信之后，是来自“安全人工智能中心”的那个只有一句话的声明。丹·亨德里克我想是牵头的。那只是说，“嘿，人工智能是一个我们应该担心的风险，就像担心核战争一样。”那句话得到了主要的签署者。所以，如果他们知道那会如此成功，那么我认为“生命未来研究所”可能就不会那么强硬地对待那封六个月的暂停信了。我认为我们当时正在摸索前进，就像暂停人工智能运动一样，不同的组织担心人工智能。所以，你知道，引起关注是一回事，我认为我们需要改进它。所以，这是我对六个月暂停信的看法。

我有一个强烈的怀疑，为什么人们还在呼吁它，我将在视频稍后讨论。但我的观点是，已经一年半了，人们还在……放上暂停图标，放上停止图标……好像这个解决方案是万能药。是的，我们仍然认为，我们每天都在进行人工智能开发，就是一天我们都在跌跌撞撞地走向吸引子状态，不归路，我们可能已经过了那个吸引子状态。也许现在暂停人工智能已经太晚了，即使我们尝试。想象一下，路有点滑，你说，“别担心，当我看到悬崖边缘向我冲来时，我会猛踩刹车。”但我们可能已经开到了太滑的冰面上，即使我们现在猛踩刹车也太晚了。或者也许冰已经开始了，这就是为什么我们需要猛踩刹车，因为我们可能会在掉下悬崖之前停下来。我的意思是，这就是我们现在玩的游戏，对吧？或者我们正在玩一场致命的桌上冰壶比赛，越靠近边缘越好。你可以拥有更好的技术，更好的药物，更好的游戏，更好的工厂。所以，这就像一场桌上冰壶比赛，你想尽可能靠近边缘，但不要越过。但如果你越过了，负效用远远超过了你获得的全部正效用，远远超过了许多数量级。这就是我们现在玩的游戏的形状。所以，大卫·夏皮罗对这些疯狂的人们感到惊叹，他们未能暂停人工智能六个月，为什么他们现在还想暂停？这有点奇怪。好吧，伙计，我猜继续在冰上开车是个明智的选择。我我不明白他们的立场。你知道，我像他们对我一样困惑。

支持暂停的主要论点是，这将是一种实施安全和控制机制的方式。但同样，我们可以在过去的 18 个月里实施安全和控制机制。他们还倾向于表现得好像在安全和控制方面没有任何进展。他们还希望我们停下来考虑伦理问题。顺便说一句，我会在描述中放几本关于机器伦理的书。一本是《数学武器的破坏》，另一本我记不清了。总之，实施监管框架，社会影响，解决权力动态。但是，你知道，我真的看不到……其中一些当然，是的，时间会证明一切。但同样，你必须做出很多假设，关于人工智能会做什么。

重申一下，我提倡暂停人工智能，不是因为这种复杂的因素组合。这真的只是我描述的简单视觉画面：一条结冰的路，越来越结冰，悬崖边缘，我们正在玩一场致命的桌上冰壶比赛。我们不知道何时可以停下来。我们不知道智能是如何运作的。人工智能越来越聪明，我们都感到惊讶。没有人预测到它今年能做什么。没有人有信心地预测到它在未来两年、五年或十年内能做什么。我们正在进入未知领域，没有撤销按钮，没有“哎呀，让我再试一次，让我再试一次迭代”。我们都没有构建这种技术的直觉。这与我们构建的其他技术不同。我们从未构建过一种技术，在各个方面都超越了创造它的创造者。这就是我们将要走向的方向。所以，当你这样解释时，这是显而易见的，对吧？你不必把它复杂化。这就是为什么我想暂停人工智能。而且很不幸，我不得不告诉你，嘿，我想今天暂停它，因为今天感觉还不错。它今天没有杀死任何人。我同意，它今天处于一个好地方。我同意。但是一些黑客，我们不知道黑客能多快地从今天的状态或明年的状态获得它。我们不知道那冰会多快地变得湿滑和下坡，对吧？我们不知道。所以今天，它似乎不是一两代人，也许是两三代人，直到超级智能爆炸，直到失控状态。所以现在踩刹车，是的，也许有一点误差，也许有负误差，我不知道。但我想你必须牺牲一点误差，你必须牺牲十年或多少，如果你想潜在地保留未来数万亿年的时间。你必须做出一点妥协。不幸的是，你无法完美地把握时机。

所以，这就是我的暂停人工智能的论点。重申一下，我想说的是，这是一个自然实验。你可以使用所有的预测、预测和逻辑论证，但直到你有数据，直到你有实际数据，你才不知道影响会是什么。在某个时候，你只需要找出，嘿，这是一个越来越强大的魔法咒语。我不知道下次我们扩大魔法咒语并召唤其他东西时会发生什么。我不知道。也许我们会找到答案。也许这将是世界末日。让我们找出答案。

这正是西方社会特别采取了更具反应性的立法方法的原因之一。现在，我承认欧洲在如何处理立法和监管方面确实更具前瞻性。但同时，我们仍然需要基于证据和数据的论证。而暂停运动主要只是基于理性论证，这实际上削弱了它。你必须有一些数据，你必须在你的框架中有一些模型。

他在这里抛出了一堆关于理性主义者如何争论的指控。在这种情况下，他说我们不使用证据和数据，我们只使用理性。这第三种东西不是证据和数据。在他说出这些话之前，他用来指责理性主义者的是，我们没有将其植根于认识论，我指出这是事实上的不准确，因为 Eliazar Yudkowsky 已经广泛地写了他正在使用的认识论。现在，在这种情况下，让我来解决他关于“哦，我们不使用证据和数据”的说法。这似乎与 Tyler Cowen 几个月前发表的一篇文章相似，他说“研究论文在哪里？”“论证在哪里？”“为什么他们只在论坛上讨论，而不是主流？”这再次似乎是不准确的。我的意思是，有大量的研究论文，任何你想要的期刊，你都会看到一篇论文。我们有凭证。

如果你看看谁签署了这些暂停信，我们有 Jeffrey Hinton，Yoshua Bengio，两位图灵奖得主，Sam Altman，Dario Amodei。我们有大多数顶级人工智能实验室的领导者承认威胁。如果你想玩凭证游戏，我不知道我需要重复多少次。我的意思是，我们在凭证游戏方面做得很好。有很多高度合格的末日论者，而且他们还在不断涌现。你有很多参议员和国会议员是人工智能末日论者。我提到过，你有行业巨头是人工智能末日论者。当然，世界上大多数人都是人工智能末日论者。所以，这很有趣，有些人还在试图将我们框定起来，比如“哦，好吧，如果你看看一个只是基于理性争论的人，一个只是在地下室的宅男，他可能会成为一个末日论者。”就像，你正在看大多数末日论者。这就是末日论者看起来的样子。我需要一件这样的 T 恤，然后穿上它。

但是，你知道，还有另一点，如果你想说，“好吧，证据在哪里？你如何获得尚未发生的事情的证据？”末日还没有发生，你的证据在哪里？这就是为什么理性主义者拥有关于证据意味着什么的整个框架。David Shapiro 能否脱口而出证据的正式定义？我可能可以，我不知道，我不想做假设。证据的正式定义是，一个假设比其他假设更好地解释了什么，在某种意义上，它实际上比其他假设具有更高的先验概率。你知道，我现在有点复杂了。但想法是，假设你有 10 个不同的假设，你正在考虑它们可能解释世界，可能压缩世界。你有 10 个相互竞争的假设，它们都可以吐出特定世界状态的预测概率。比如，你即将打开某个房间的灯，它们都预测你会看到房间里的不同东西。其中一个预测你会看到一堆金子，另一个预测你会看到一只老虎。它们都做出不同的预测。所以，假设你打开它，你看到两块金子。它们预测你看到两块金子的确切状态的概率越高，然后你就会进行更新，将其乘以一个叫做似然比的东西。然后你基本上会重新加权那个在说现实将会发生的事情上做得最好的假设。这几乎就像一个预测市场。

所以，总而言之，有一个正式的方法来定义证据，然后将其传播到你的假设中，然后你将拥有越来越多准确的信念。这被称为贝叶斯更新。这是一个正式的结构。当人们来指责我们没有证据时，我在上周的 Sayes Kapor 剧集中已经彻底讲过了。我鼓励你看看。他们通常谈论的是一种天真的频率主义证据定义，就像“嘿，上次世界末日是什么时候？给我看看一系列世界末日。”然后数数世界末日了多少次。这是非常天真的。我讲了很多原因，比如，你可能是一只被养肥以备感恩节的火鸡，你可能有一整年都没有被宰杀，然后你被宰杀了。所以，无论如何。所以，如果你有 365 天没有被宰杀的证据，当你被宰杀时，它就完全没有价值了。所以，如果有什么东西是根本错误的，那就是天真的证据。所以，证据的实际定义是，展示你的假设，然后展示它们预测世界状态。当我是一个人工智能末日论者时，我的假设预测诸如技术将快速发展，人工智能公司将赚很多钱之类的事情。为什么？因为我的模型包含一个关于智能的通用模型，一旦你达到某个阈值，它就是通用的。所以，通过做很多通用的任务，你将赚很多钱。诸如此类的事情。这些是我的模型的细节，仍然给我的模型带来基础分数，仍然给我的模型带来可能性，即使世界还没有结束，因为它们压缩了我的现实描述，它们有效地解释了我看到的东西。所以，模型即使在世界还没有结束时也能得分。事实上，这才是唯一可能的事情。我的意思是，你永远无法获得天真的频率主义证据，证明整个宇宙真的会毁灭。

所以，总而言之，我认为这是一个低劣的手段，一个非常低劣的手段，大卫的确切引述，说理性主义者不使用数据，不使用证据，只使用理性。这，嗯，措辞很糟糕，不准确，而且是低劣的手段。这几乎是人身攻击。但是，你知道，去年 Sam Altman 去国会说，“哦，是的，我可能会杀死所有人。”那就是可信度。但随着时间的推移，在过去的 18 个月里，整个运动并没有真正产生多少支持“哦，是的，我们预言的所有事情”的证据。而且这是一种预言。所以，预言是对未来会发生什么的一种基于信仰的预测。这些都没有真正实现。基于信仰。这太低劣了。它根本没有诚信。在这一点上，你基本上是在说 Lon Shapira，一个人工智能末日论者，你正在使用信仰。你甚至没有试图进行基于理性的对话。或者，你知道，我试图理解他的本体论，因为他试图区分数据和证据以及理性。但它没有依据。哦，但它是基于信仰的，对吧？这就是大卫·夏皮罗的哲学宇宙。我试图理解他的区别。我非常困惑。但我只是认为他是在使用低劣的手段。就像，我认为他有点接近取消自己参与严肃讨论的资格，只是为了开始这种低质量的对话。而且他们也无法提供更多证据来支持这种预言。

你凭什么说末日论者没有提供更多证据？如果末日论者提供了更多证据证明世界将要结束，世界会是什么样子？如果你只看社会认同，我们正在不断进步。舆论窗口越来越有利于讨论人工智能末日。我的意思是，我们看到白宫新闻秘书更认真地对待它。与一年前人们嘲笑它的有趣片段相比，然后有一个人们不再那么嘲笑它的片段。他们表情严肃。现在，你有了参议院第 1047 号法案，它刚刚在国会通过。所以，有严肃的法案正在进行。抗议运动正在缓慢地获得动力。所以，就社会认同而言，球肯定在滚动。它肯定不会倒退，问题也不会消失，它正在变得更强。当然，我永远不会告诉你，嘿，社会认同是你应该相信人工智能末日的理由。我们在这里不是为了这个。但它是其中一个维度。如果我们不处于末日状态，那肯定对非末日论者有利。这将是实际证据，看到社会认同朝着另一个方向发展。这将是证据，如果不是一个决定性的论点。

但让我们谈谈实际观察。我们看到模型越来越好。我们看到像数学奥林匹克竞赛，IMO 这样的观察。我们刚刚获得了 IMO 第二名银牌。这确实是 Eliazar 和 Paul Christiano 非正式打赌的事情之一，Paul Christiano 说几率是 4%，Eliazar 说几率是 16%。你知道，一点点差异。但这是他们唯一能够比较预测差异的事情。而 Eliazar 现在更接近被证明是正确的。我想他可能说了金牌而不是银牌。但重点是，这就是观察。这就是实际情况。如果你想要证据，看看像这样的区别，在末日论者所说的将要发生的事情和非末日论者所说的将要发生的事情之间。末日论者并没有说每年会有很多事情发生变化。所以，这些预测实际上很难。在年复一年的基础上做出这种细微的区别是困难的。因为末日论者声称的大部分内容都是一个条件预测：如果人工智能变得超级智能，并且能够更好地操纵世界，更好地驾驭因果关系，在物理宇宙领域制定策略，如果它拥有比最聪明的人类更好的玩转宇宙的能力，那么，在达到那个状态的条件下，我们将注定灭亡。这就像一个“如果，那么”的陈述。问题是我们没有“如果”。我在这里和你说话的原因是因为我们没有“如果”。一旦我们有了那个“如果”的条件，互联网就会关闭，我将无法制作“末日辩论”的剧集，不幸的是。所以，在前提条件满足之前，很难观察世界，然后说，“好吧，末日论者是对的吗？他们做出了准确的预测吗？”这就是为什么 Eliazar Yudkowsky 和 Paul Christiano，Paul 站在非末日论者一边，他说，“我打赌人工智能不会发展得如此之快，以至于在未来几年内击败 IMO。”而 Eliazar 说它做到了。目前现实看起来更偏向 Eliazar 的一边。这只是一个小小的证据。对于我们末日论者来说，在前提条件满足之前进行如此实证的测试是困难的，即“当人工智能变得超级智能时，我们将注定灭亡”。因为这是我最强的预测，这是我能获得最多基础积分的最强的东西。所以，如果你真的想证明我错了，如果你真的想让现实说 Lon 是错的，那么就让我们达到一个点，你可以输入一个你希望世界达到的未来状态，人工智能会告诉你如何到达那里，但人类仍然活着。当然，这是一个很高的要求。但这真的会说服我。所以，如果我们在这里谈论 20 年后，我正在录制一集“末日辩论”，而人工智能能够制定出人类无法想象的绝佳计划，比如，“哇，我没想到那个计划，那是一个很棒的计划，一个很棒的军事计划，一个很棒的科学计划。”如果人工智能能够做到这一点，而我们仍然在那里交谈，那么我希望我有诚信，至少说，“你知道，也许我不是 100% 错的，但我错了很大。”我最重要的预测，我最坚定的预测，我们无法在超级人类规划者，超级人类目标实现者面前生存。如果那个预测如此明显错误，我希望我有诚信过来承认。而不是试图转移话题。我希望我会说，“这里有一个巨大的更新，我争论的很多事情，我都错了。”我希望我有诚信告诉你这一点。但今天，在 2024 年，我不明白 David 在说什么，“哦，末日论者没有提供任何证据。”就像，我们确实看到了一些零碎的证据，比如，“好吧，你训练了一个人工智能，果然，它想出了操纵人类的方法，因为操纵人类在逻辑上是人工智能会做的事情。”我的意思是，如果你看到末日证据，它会是什么样子？除了“哇，世界开始爆炸了。”我不知道他在期待什么。而且他不够严谨。很容易，而且是一种低劣的手段，只是说，“看，一切都很棒，末日论者在末日，而世界没有末日，所以末日论者有信仰。”而且世界末日是宗教的。每个人都在谈论世界末日，一定是宗教的。我的意思是，这只是垃圾堆里的东西，David。好了，让我们做得更好。

所以，这些是主要论点。然后是影响。这真的很有趣，因为当这封巨大的信件和其他所有东西出现时，还有那个……是什么？22w 声明，即人工智能应该被视为生存威胁。这就像最短的信。它们已经产生了影响。你知道，它们提高了人们的认识。你知道，Sam Altman 和 Gary Marcus 去国会说，“人工智能会杀死所有人。”你知道，Eliazar Yudkowsky 在 TED 舞台上说，“人工智能会杀死所有人。”然后就这样了。我们获得了公众意识，获得了支持，获得了批评。我们正在朝着那个方向前进。但我们还没有获得公众意识。公众意识将是当街上的普通人，当你问他们，“嘿，世界上或你的政府目前最重要的政策优先事项，或者前三项政策优先事项是什么？”他们最好列出暂停人工智能或监管人工智能或类似的东西。除此之外，如果他们没有这样做，而专家们预测“5 到 20 年内将出现超级智能人工智能”，而他们甚至没有说人工智能监管是首要任务，或者准备应对人工智能的冲击，那么关于人工智能的某些事情，如果那不在他们的前三项优先事项中，那么我们就没有提高意识。街上的普通人还没有达到那个水平，但我们正在接近。它只需要尽快发生。这就是我在这里的原因。我正在帮助提高意识。但请继续。

我们甚至有……你知道，一项行政命令，历史上最长的关于人工智能的行政命令。我们还有几项里程碑式的立法和监管方案。英国人工智能法案，欧盟人工智能法案。加州……是什么？参议院法案 1048 或 1049，之类的。所以，我们……我们……他们赢了，他们传达了他们的观点，现在是时候继续了。但我们仍然在燃烧我们最后一道墙，分隔现在和超级智能人工智能的存在。问题每天都在变得越来越严峻。

我还想补充的是，还有正在进行的努力。所以，积极的暂停努力，有抗议活动。有我提到的立法。我实际上甚至不知道抗议活动，直到我为这个视频做了一些研究。但是，是的，有抗议活动，不久前……等等。你告诉我有人会出去抗议暂停人工智能？大喊着“我们想要什么？我们什么时候想要？晚点？我们下周想要吗？不。我们下周想要吗？不。我们明年想要吗？不。我们想要在十年后吗？也许。”要求更严格的人工智能监管。当然，还有好莱坞编剧罢工，关于人工智能……它不是完全关于人工智能，但那是正在辩论的关键点之一。你知道，发生了一些事件。有泰勒·斯威夫特的深度伪造。有霍利伍德编剧罢工。所以，还有一些其他的事情，人们在反对人工智能。这很好，但这就是我所说的，这是有机过程。

真正让我担心的是暂停运动，它是一个少数但声音很大的群体，基本上说“相信我们的逻辑推理，相信我的想象力，把叙事的控制权交给我。”如果数据在那里，数据就在那里，他们会展示它。但他们没有数据。他们只有逻辑论证。而这只是辩论的开始。但真正发生的是……事件，真实的事件，与真实的人和真实的数据需要被收集。科学就是这样运作的，立法就是这样运作的。所以，是的，这就是我持续批评暂停努力的原因。

所以，当一个好莱坞编剧抗议人工智能时，是因为他们有足够多的证据表明人工智能将夺走他们的工作。所以他们达到了一个阈值，他们可以说，“嘿，它已经足够接近夺走我的工作了，我担心，即使它还没有夺走我的工作。”所以，他们的时间线足够短，以至于他们可以预测尚未发生的事情将会发生，这对你来说是认识论上有效的。但是，当一个末日论者说，“嘿，人工智能将比人类更强大，而人类不知道如何控制它。”突然之间，这是一个巨大的飞跃，无法证明。这只是我个人的看法，伙计。当然，你可以反过来问，“那么你的反驳是什么？”所以，这是很常见的。这是诉诸默认或诉诸参考类别。他处于这样一个位置，他认为举证责任在对方。但当然，从实际认识论的角度来看，这些是对称的。根本没有举证责任。每个假设都可以是你可能假设的集合。你可以有一个先验概率。你可以有一个基于奥卡姆剃刀的概率分布。但认为超级智能人工智能不会比人类更强大，这并不是奥卡姆剃刀。认为人类永远保持控制是一种更简洁的解释，说明当我们将拥有超级智能人工智能时会发生什么。不。所以，奥卡姆剃刀不是你可以诉诸的东西。

那么，你为什么认为你在诉诸默认呢？我认为直观上，我通常听到的说法是，“好吧，我们正处于一个良好的技术趋势中。我们正处于一个良好的人类进步趋势中。所以这个趋势将继续下去。”但问题是，如果你放大，如果你看看整个历史，有不断的灭绝。你有中世纪时期，你知道，与古希腊和古罗马相比，事情似乎在倒退。文明曾一度倒退。所以，你不一定有一个上升的趋势。或者，你知道，杀死恐龙的小行星。那是恐龙的终结。所以，现在你必须放大，你可以争辩说，“好吧，生命总会找到出路。”所以，等等，你的参考类别又是什么？你的默认值又是什么？你真的可以把一面镜子举到大卫所说的那些模糊的陈述上，比如，“哦，他们没有数据，他们没有。”你可以举起一面镜子，然后说，“好吧，非末日论者的说法，即构建超级智能人工智能是安全的，有什么数据和证据呢？”它在未来。你无法预测。所以，我们都同意我们正在回归某种默认状态，现在我们正在争论默认是什么。但这是一个非常重要的斗争。所以，让我们进行默认的斗争。

那么，争论默认值的条款是什么？如何理性？如何形式化的认识论结构？比如，对贝叶斯先验进行建模，对贝叶斯更新进行建模，对认识论进行建模？比如，以一种非常正式、稳健的方式教某人如何进行认识论，而不是直观的方式。哦，你是说 Eliazar Yudkowsky 几十年来一直在开创的那种东西吗？也许这是一个很好的工具来辩论？哦，太好了，有人创造了工具。太好了，有人在某个位置也预见了创造了辩论的智力工具。如果你想辩论，那么，你知道。

说到论点，赞成或反对，我觉得我正在尽我最大的努力公平地对待暂停论点。这部分是你尽力而为。你说“这是一个预言”，所以“预言是对未来会发生什么的一种基于信仰的预测”。我不会称那部分是公平的。但无论如何，让我们来谈谈反对暂停论点的论点。

第一，它不可能执行。即使是暂停论点的倡导者也说，“哦，是的，这是极其无效的，不可能执行。”他们知道他们是夸大其词。我的意思是，它并非完全不可能执行。所以，想法是，我们开始行动，我们尽力而为，我们开始将无线电接收器芯片与 GPU 组合在一起，我们做点什么。我们尝试监控和控制。我们将其定为非法，然后我们尽力执行。一开始，你就会得到很多人想遵守法律，不想成为罪犯。这让他们害怕。然后，是的，你仍然会有一些人愿意成为罪犯，因为他们如此相信这个意识形态。所以，也许你减少了 90%。而且很难与剩下的 10% 作斗争。但想法是，至少这可以为我们争取几年时间。是的，这还不够，我们可能仍然注定灭亡。但遗憾的是，如果你认为超级智能人工智能将杀死人类，而且你也认为阻止超级智能人工智能非常困难，那么解决方案不是放弃，而是让超级智能人工智能变得超级智能。我的意思是，Max Tegmark 甚至写了那篇文章。不要误会，我对 Max Tegmark 极其尊重。我读了他的书《生命 3.0》，并在所有方面都同意他。但同时，全球暂停运动在物理上是不可能的。我们甚至无法阻止伊朗建造核反应堆。我们无法让信息进入或离开朝鲜。你知道，我们怎么能创建一个全球暂停运动？这根本不可能发生。

国际社会为阻止核扩散所做的努力基本上是我称之为成功案例。我能找到的最接近的成功案例，即使核末日的风险仍然很高，每年 1% 的几率，在我看来。即使如此，我认为它没有更高就已经是一个巨大的成功了。我认为如果核扩散继续下去，风险可能会更高。我认为伊朗现在获得核武器，如果他们最终成功，那将是可怕的。我认为它极不稳定。所以，指出这一点然后说，“嘿，看，我们几乎都被这个东西毁灭了，我们怎么能阻止也被这个东西毁灭呢？”我不知道。我们只能尝试。我同意，这是一个糟糕的局面。但让末日发生并不是更好的选择。我们完蛋了。我们只能处理我们拿到的牌，而这是一手糟糕的牌。

那么，这怎么能让你不是末日论者呢？仅仅注意到你的牌很糟糕。所以，当你继续争论不可行和无效的事情时，那就是浪费时间和精力。然后，即使你知道，我们有自我控制。我们踩刹车。这是一个完全次优的策略。当一个国家暂停时，你知道会发生什么？没有人会暂停。他们会说，“哦，你知道……”他们会记住拿破仑·波拿巴的引言，“永远不要打断你的敌人在他犯错误的时候。”所以，你知道，没有人会说，“哦，是的，我们应该暂停。”这就是为什么没有一个国家，甚至欧盟，甚至英国，美国，没有一个国家的元首或国务院说过，“哦，是的，暂停是个好主意。”为什么？因为它从地缘政治的角度来看是一个极其糟糕的主意。

你也可以将同样的论点应用于说，“嘿，阻止核扩散是不可能的。任何时候你告诉国家停止，他们都会忽略你，他们会意识到他们应该制造尽可能多的核武器。”是的，我的意思是，这有一定的道理。但归根结底，你仍然尝试，我们仍然在某种程度上取得了成功。而且这比不尝试要好得多。与说，“好吧，我们不尝试了。这是一个自由市场。任何人都可以拥有核武器。”这是一个可怕的主意。想想核事故的风险，更不用说核战争了。

在人工智能的情况下，存在着非常明显的游戏理论。每个国家都可以，如果他们对末日论者的论点理解得更好一点，他们就会意识到，“啊，这个东西对任何建造它的人来说都是死亡。”所以，当然，我们可以稍微推进研究，我们可以让我们的医生做出更好的诊断。我们可以拥有短期的 AI。但一旦我们达到 AGI，超级智能 AGI，我们就都完蛋了。我们赢不了。我们无法真正利用它来赢得战争。我们都完蛋了。人工智能赢了，人类输了。如果他们能看到这个观点，我的意思是，这就是论点的核心。所以，如果你接受我的前提，即这是正确的推断，我们都完蛋了。这并不是说游戏理论说你应该建造它。游戏理论说每个人都需要逃跑。我们都在一起。就像你无法赢得核战争一样。用多兆吨级的 10 枚核弹赢得一场现代核战争是不可能的。每个人都完蛋了。风吹，辐射就吹。它会遮挡阳光。每个人的庄稼都会在核战争后枯萎。你知道，那将是一场全球性的崩溃。然后，是的，新西兰和隧道里的一些人会幸存下来。但这也不是一个好局面。而且这与人工智能末日一样，只是每个人都死了，为了上帝的份上。

所以，如果你想谈论游戏理论，它本身并不是一个游戏理论问题。这是一个教育问题。这是一个关于达成共识的问题，即这个东西是一个杀人者。没有国家想制造一个杀人者。所以，我们必须缩小知识差距，缩小预测差距。再次，它不是一个根本性的游戏理论问题，就像你现在所描述的那样。

这是另一种看待它的方式。所以，从……这将吸引理性主义者。因为，不要误会，我的很多朋友都在理性主义者社区，我非常尊重理性主义者社区的人。所以，让我们用他们自己的论证方法来对付他们。人工智能暂停的机会成本是什么？所有用于倡导暂停的资源，如时间、金钱和社会资本，都可以更好地分配来解决细微的安全问题。纳什均衡表明，所有参与者都应该继续快速发展，因为协调停顿是不切实际的。成功暂停人工智能的价值极高。我不知道你描述的解决细微安全问题的替代方案听起来不像暂停人工智能那样有价值。

所以，现在我们来谈谈暂停人工智能的概率。无论这个概率是多少，是 1% 还是 5%，无论如何，那是我唯一看到的生存希望。我没有看到我们能制造出不会杀死我们的人工智能。我的意思是，有很小的机会，有未知的未知数。但它似乎并不是我们实际在制造的东西。似乎每个人都在一厢情愿，而且极其鲁莽。所以，无论我们暂停人工智能的机会有多大，那是我唯一能想到的方式，我不知道如何不杀死所有人。当你发现一个策略行不通时，你应该选择另一个策略。不幸的是，有“进退两难”这样的事情。

这是一个艰难的境地，当你意识到一边是“岩石”，另一边是“艰难的地方”，但这并不意味着你必须搬到那个艰难的地方，因为那个艰难的地方本身也是一个艰难的地方。所以，按照你的逻辑，我现在必须搬回“岩石”，然后又得搬回“艰难的地方”。总有一天，我必须在“岩石”和“艰难的地方”之间做出选择，你看。

这让我开始思考，这也是我制作这个视频的原因。因为仍然有许多非常聪明、人脉广泛的人，其中一些是我的朋友，一些是我在网上看到的人，他们正在浪费时间、精力和认知资源在“暂停”的争论上。我们有更好的前进方式，我们知道如何倡导安全。

“暂停”运动已经过去了它的15分钟，是时候真正向前迈进了。我无法理解这种说法，除非街上的普通人说：“哦，是的，我们真的应该暂停人工智能，或者暂停人工智能是我们这个时代最重要的议题。”在我们达到那个阶段之前，我们还没有度过我们的15分钟。伙计，我还没有开始战斗。

所以，从纯粹的理性主义论证角度来看，每一刻的广播时间、关于“暂停”运动的每一条推文、每一个视频、每一次辩论——他是在说我吗？——每一个博客帖子，这些精神能量本可以用于构建一个更细致、更进步的论点。我说的进步不是政治意义上的，而是指跟上时代的东西。构建一个更好的论点，并创建一个更好的协调机制，而不是仅仅说“人工智能会杀死所有人，所以全部关闭”。没有人相信这一点。而且，人们说得越久，人工智能安全领域的人说“人工智能只会杀死所有人，关闭它”，他们看起来就越疯狂，越边缘化。

总是有人喜欢从那些似乎不理解我们的思维过程或优先事项的人那里获得一些临时的公关建议，并希望我们会失败。但我很感激这份好意，我甚至为他们感到尴尬。因为当我与行业内部人士交谈时，他们会说：“是的，那不会发生。”他们真的会在私下里嘲笑“暂停”的支持者。这有点伤人，我为他们感到难过。

“帮助我，帮助你。”我在这里试图提供帮助。我毫不怀疑，在各种场合，人们都在嘲笑“暂停”的支持者。但同样毫不怀疑的是，在许多私下场合，人们也在谈论他们有多害怕，以及他们多么希望“暂停”的支持者能有更大的影响力。各种各样的房间都有。世界很大，行业也很大。所以，如果你想大致了解人们作为一个整体的想法，我们有工具，比如调查和有许多知名人士签名的信件。如果你查看这些信息来源，你会看到一个清晰的趋势，甚至在接受调查的人群中有一个清晰的多数，如果你看的是整体人群，他们是“末日论者”。

好吧，你现在似乎随意地诉诸于“啊哈，我想到的一些行业内部人士认为‘暂停’是笑话。”但我想说的是，最容易指出的就是杰弗里·辛顿、约书亚·本吉奥以及人工智能实验室的领导者，最值得注意的是达里奥·阿马代。但你也有德米斯·哈萨比斯、萨姆·奥特曼，甚至在某种程度上，当然还有为萨姆·奥特曼工作或至少曾经工作过的人，比如扬·勒昆。约翰·舒尔曼在一定程度上也承认这个问题。这些人似乎并没有在嘲笑，否则他们就是极其不诚实的，因为他们表现得好像很认真，但你又声称他们在嘲笑。我不认为他们在嘲笑。

所以，再说一遍，我必须把这归结为又一次卑鄙的攻击，一次非常非常卑鄙的攻击，来自大卫·夏皮罗，他只是抛出“人们在嘲笑”。好吧，数据和证据先生？你认为一些人在某个房间里嘲笑的轶事，就是你要在你的YouTube视频中用来教育人们关于“暂停”的吗？是的，不是全世界100%的人都相信我们需要暂停人工智能。这就是为什么我们还没有这样做。但再说一遍，看看趋势，看看实际数据，看看总体情况。总体情况对我们有利。所以，让我们从总体情况来谈，甚至更好的是，让我们从论点来谈，这就是为什么我邀请你来参加“末日辩论”，进行真正的争论。告诉我为什么你不是“末日论者”，告诉我为什么你认为超级智能人工智能会没事的。让我们进行那样的讨论。

那么，我们正在谈论的一些替代方案是什么？第一，我感觉我是在对唱诗班布道，特别是对我的听众。强调透明度、问责制和公私伙伴关系。这意味着公司、政府、大学和其他非营利组织以及第三方之间有更多的透明度。我们可以获得人工智能的好处，并尽量减少危害。我们可以投入更多资金研究机械可解释性，虽然我认为这对于人工智能安全来说并非必需，但很多人似乎认为它是必需的。而且我认为拥有机械可解释性不会有坏处。但同样，倡导这些个体化的细微之处，而不是更夸张的“全部关闭”。那样是行不通的。

所以，如果我们回到那个类比：你正在开车，天很黑，很浓雾，你开始在路上看到一些冰，你认为悬崖边可能就在前面，但你不知道确切的位置。所以他说：“看，不要为了安全而猛踩刹车。”因为风险太高了。如果我们只是努力让轮胎多一点抓地力呢？不是很多抓地力，它们可能仍然会在冰上打滑，但只是让轮胎多一点抓地力。这是一个现实的目标。这是你能做到的最好的事情，只是让轮胎多一点抓地力。

我猜，如果选择是这样，或者什么都不做，那好吧。但考虑到风险，明智的选择仍然是继续前进。而努力获得一点点抓地力，这仍然不足以应对冰雪，这只是一个相当糟糕的安慰奖，对吧？所以这是一个程度问题。我的意思是，如果你提出的其他替代方案，比如“哦，天哪，更多的透明度”，如果更多的透明度或更多的机械可解释性真的能阻止超级智能人工智能失控并毁灭世界，那就太好了。那样的话，我会说：“是的，让我们妥协，努力去做。”但它就是不够。这是一个程度问题。我们现在远远落后，如此难以解决，以至于希望人工智能会顺利发展，人类将成为一个如此弱小的力量，与一个成熟的智能相比。这是宇宙第一次看到真正的智能是什么样子，对吧？

我的意思是，在这个成为智能的游戏中有不同的层次，我们一直在忘记这一点，对吧？我经常回到这一点。我们微弱的人类头脑，即使长期以来，在大量资源的帮助下，也几乎无法管理世界。所以，我们即将远远落后，除非我们暂停人工智能，否则我真的看不到多少希望。这就是为什么我一直回到暂停人工智能。

所以，有很多替代方案。我宁愿花更多时间研究替代方案，比如我称之为“公理化对齐”。如果你长期关注我的频道，你会记得这个词。“公理化对齐”基本上是说，让我们找到人类利益和机器利益之间公理上真实的东西，并与之对齐。基本上，我在这里的论点是，人工智能将迫使人类自我对齐。我实际上会写一篇相当广泛的Substack文章来讨论这个问题，我认为它会被命名为“第四叙事”。所以，无论如何，请访问我的Substack并订阅，以便在文章发布时看到它。

总之，有很多替代方案。“末日叙事”——天要塌了——已经过时了，而且没有帮助。我没有关注大卫，所以我不知道他说的“公理化对齐”是什么意思。我确实认为，当我们暂停人工智能时，我们必须争取时间去做其他事情，因为我们不会争取无限的时间。我们可能只会争取几年，也许几十年。这似乎是我们通过暂停人工智能可以争取到的时间的最大可能情景，然后地下研究人员会取得很多进展，并达到超级智能。所以，我们最好明智地利用这段额外的时间。

再说一遍，我不熟悉大卫对“公理化对齐”这个词的使用。但是，如果你看看MIRI（机器智能研究基金会），他们过去的研究类型是公理化的。你可以使用这个词“公理化”，可能不是以大卫的方式，但你可以谈论他们正在谈论人工智能对齐的基础。我称之为“智能理论”——成为智能意味着什么？如何分析一个智能？嗯，我们可以将其分析为：哇，这个目标正在可能未来的空间中实现。未来以某种方式被挤向这个目标。这就是你在该领域会做出的那种观察。我称之为“智能科学”。你甚至不必考虑实现目标的算法。仅仅对目标实现算法进行分类并从中得出推论就很有趣。例如，如果一个算法不是目标导向的，它可能会偶然成为目标导向的，但反之则不然。有一种单向的吸引力，算法变得越来越目标导向。这就是研究智能科学时你会获得的见解。

总之，我只是在随意地谈论“公理化对齐”这个词，以便将其与“我认为很多人应该致力于智能的基本原则，以及当我们拥有一个非常强大的智能时会发生什么，以及我们如何才能希望将目标加载到这样的智能中”联系起来。我们如何解决内部对齐问题？也就是让它做我们的函数实际上想要它做的事情，而不是学会通过我们的测试而不学习我们真正复杂的函数？诸如此类的事情非常基础，它们是开放性问题。我们不知道如何将目标加载到我们正在构建的人工智能中。我们仍然在构建它们。

所以，是的，我认为这条平行轨道必须发生。但这并不意味着我不会说“不要暂停人工智能，而是要研究这条平行轨道”。不，我会说你必须两者都做。你必须研究这条平行轨道，你也必须暂停人工智能。不暂停人工智能，无论如何都是一个糟糕的举动。甚至许多，甚至像我参加过的一些播客，已经有了更细致的对话。但是，是的，所以，伙计们，让我们继续吧。我想从不暂停人工智能开始，是时候转向暂停它了。

你看，框架就是一切。另一件事是监管俘获。大科技公司和政府之间的“旋转门”引发了对监督和问责制的质疑。自OpenAI重组其董事会以来，这种情况只会变得更糟。

你可能会想，为什么我要在“暂停”的争论中提到监管俘获？谁从这个“暂停”的叙事中受益？这样说吧：如果只有OpenAI、微软、谷歌和Meta在说：“哦，是的，人工智能会杀死所有人，你需要监管它，顺便问问我们如何监管。”我一直对“人工智能会杀死所有人，天要塌了，全部关闭”的“末日叙事”非常怀疑，因为它直接迎合了企业利益。

我知道，在我认识的许多人工智能安全社区的朋友中，他们并不一定支持“公司权力”。我并不是说他们都是“烧毁公司，Arisaka也很邪恶”。公司需要存在。但我的观点是，我私下进行的对话要细致得多，我们需要考虑整个图景。整个图景包括谈论监管俘获，包括谈论围绕这些问题的地缘政治争端。这意味着要考虑另一场军备竞赛、另一场冷战，甚至一场大国之间的热战的可能性。所以，你不能只是说人工智能可能会在遥远的未来杀死所有人，因此今天就把一切都抛入混乱之中。这就是我的主要信息。

你为什么误解了“末日论”的观点？没有人说人工智能会在遥远的未来杀死所有人。我们说的是，如果你看看专家的预测时间线，它们大致集中在5到20年。我个人喜欢将我的区间扩大到1到30年。在这个时间范围内，人工智能将变得超级智能，能够比人类更好地实现目标。“末日论者”认为这极其危险，而且不可逆转。所以，我们看到了短期风险，我们看到了这一代人的风险，即所有未来的价值将被永久抹去。你为什么要把我的立场描述为警告人工智能会在遥远的未来杀死所有人？你为什么这样做？为什么你不把另一方的观点也这样描述呢？

说到这个，这是我 last minute 添加到这个幻灯片组中的内容，因为我一直在更密切地关注这个领域，我意识到很多带有“暂停”图标的Twitter账户只有几个月大。然后我仔细一看，我说：“哦，是的，我明白了。”那里有巨魔机器人，无论它们是人工智能驱动的机器人还是人类驱动的机器人，都不重要。有支持“暂停”运动的机器人账户和巨魔账户。这真的激励我制作这个视频，说：“看，如果那里有支持‘暂停’运动的巨魔农场，那基本上就是你所需要知道的。”这就是你所需要知道的。

调查显示，大多数人担心超级智能人工智能带来的灭绝风险，专家们也担心。我不确定是否是大多数专家，但肯定有至少20%或30%的专家说：“嘿，这个风险看起来很重要。”这就是为什么去年有那么多来自行业和学术界的人签署了关于人工智能生存风险的声明，不是“暂停”声明，而是“嘿，这似乎是一个巨大的风险，与核武器相当，应该认真对待”。

你一直在用缺乏社会信誉的论点。我一直在提醒你，不，有大量的社会信誉，而且它的数量一直在增长。所以，如果今天不够，等到明天，你可能会看到杰夫·辛顿变得更加坚决。例如，他最近说，他个人认为超级智能人工智能出错的概率超过50%。但公平地说，他已经向下修正到10%到20%，因为他在听他朋友的话。但一位世界领先的专家，他独立的概率成分超过50%。所以，再说一遍，我只能带你回到真正的社会证明。因为当你来这里说：“嘿，有‘暂停’人工智能的机器人账户，这就是你需要知道的一切。”不，那不是你需要知道的一切。你为什么这么说？你为什么说那样的话？人们看你来指导他们应该如何思考人工智能。那不是你需要知道的一切。如果有人创建了一个“暂停”人工智能的机器人账户。

哦，还有一件事。我从来没有见过一个“暂停”人工智能的机器人账户。我真的不记得见过有人发推文，我点击他们的账户，我说：“这是谁？一个新账户？他们似乎是个机器人？”我个人从未有过这样的经历。显然，我处于“暂停”领域，所以我不知道你在说什么。但我非常乐意承认，某处有人制造了一支“暂停”人工智能的机器人军队。我只是不明白你为什么把它当作一个大杀器，足以动摇人们的信念。它不是。

我真正希望这个视频能起到作用的是，它能照亮这一点。因为有许多优秀的人真诚地认为，减缓研究——“减速”运动，无论你想怎么称呼它——会是一件好事。但要考虑敌对国家可能正在放大这种叙事。这对我来说，足以敲响警钟，暂停并反思这个运动到底在做什么？它是在浑水摸鱼吗？它真的在做任何有用的事情吗？

我认为，现在有一个“草根运动”，要么加强，要么重振“暂停”运动。我注意到一个矛盾：起初他说，“你们已经过了15分钟，暂停人工智能已经死了，暂停人工智能的信息就是不奏效，而且似乎无处不在。”现在他又说，“如果你注意到暂停人工智能的信息确实在传播，似乎无处不在，那只是机器人账户。”好吧，那我们就加倍努力吧，因为你自己也在试图帮助我们，也许暂停是一个好策略，只要信息能引起共鸣。好吧，让我们再次引起共鸣。

再说一遍，我从未见过这些“暂停”人工智能的机器人账户，我当然也没有编程过一个。我不认为编程一个机器人账户是值得的。当然，我甚至不会提到另一方的激励措施，以及为什么可能存在另一方的机器人农场和企业利益。我不是来谈论那些狗屁的。

“末日辩论”只是指出为什么暂停人工智能是一项好政策，以及为什么人工智能会杀死所有人。我只是认为这是一个核心问题，一个如此有力的论点，我认为去说“谁的激励措施是说这个？试着生存，专注于这一点。没有必要去元分析，去谈论激励措施。”我当然不会。

但是，是的，如果你注意到Twitter上那些带有“停止”或“暂停”图标的账户，检查一下它们的年龄，看看它们有多小。就像这个人，他表现得像个权威，但他只在Twitter上活跃了几周或几个月。嗯，这似乎有点可疑。

所以，是的，我只是想提请大家注意这一切。我的最后一点是，让我们继续吧。“暂停”是一个过于简单的解决方案，未能解决人工智能安全的复杂挑战，并可能弊大于利。意识已经达成。它是一个过于简单的解决方案，可能是有害的。我说的不仅仅是对人工智能安全运动本身。我在Twitter上说，人工智能安全运动似乎在自我蚕食，因为狭窄的状态博弈和纯洁性测试。所以，人工智能安全运动正在失去信誉。

顺便说一下，每当我与学者和商业界人士交谈时，他们说有更好的策略可以采用，有更好的叙事可以参与，或者我们可能需要完全创造新的叙事。无论如何，这都只是一个标志，表明是时候向前迈进了。

所以我希望这个视频能达到预期的效果。感谢观看，祝您一切顺利。干杯。

重申一下我们谈论的内容：他说“暂停人工智能已经过去了它的15分钟，而且已经结束了”。我不同意。我认为这是一个不断发展的运动，我认为势头在我们这边。他说它作为解决方案不会奏效，它太简单了。我确实同意它太简单了，我们需要做其他事情，但它是基本要求。就像暂停人工智能，直到我们有时间弄清楚如何制造安全的超级人工智能，或者干脆不制造它。这是基本要求。所以，它需要是“暂停人工智能”，而不是“不暂停人工智能”，或者我们真的必须暂停人工智能，如果我们想有任何生存的希望的话。

然后是他最后一点，试图打社会证明牌，因为他去了房间，和一些嘲笑的人谈过。是的，我们知道是谁，伙计，扬·勒昆。我们知道这些人存在。扬·勒昆嘲笑人工智能，足以让所有人。他每天都在房间里嘲笑。所以，仅仅扬·勒昆就单独负责了数百次私下谈话，其中一些人在嘲笑人工智能。这就是为什么你需要放大视角，看看整个运动的走向，看看专家意见的走向，看看公众舆论的走向。毫无疑问，它正变得越来越主流。幸运的是，感谢上帝，它正变得越来越主流，以至于承认这是一个真正的问题，并且严肃的人必须解决这个问题。你不能只是忽视这个问题。不幸的是，它不会顺利进行。

正如这个播客所揭示的，另一方的论点并不令人鼓舞。

我想我说的够多了。但我想向大卫·夏皮罗发出公开邀请。他看起来是个聪明人，我很想和他谈谈我们不同的观点。如果你要和他谈，那太棒了，我希望那是一次伟大的谈话。但他也随时欢迎来到“末日辩论”。