Transcription
在如何为人工智能和算法定义它们能够理解的目标方面，存在一个巨大的巨大问题。谁知道民主的稳健性是如何定义的？没有人知道。是的，正是如此。所以告诉我们我们注定要失败吧。我需要听到这个。[音乐] 欢迎来到“注定失败的辩论”。我是劳伦·夏皮拉。你肯定听过尤瓦尔·诺亚·哈拉里的名字。我们马上就会谈到他，但首先，我参加了菲尔博士的节目。是的，就是那个菲尔博士。我有一个很棒的机会，可以和菲尔博士谈论人工智能的灭绝。他的团队正在制作一期关于人工智能和教育未来的节目，他们通过推特找到了我。我偶然收到他制作人的消息，我们通了电话，我开始告诉他，看，我们可以谈论人工智能在教育中的应用，我没有强烈的意见，但我确实担心在未来几年里，因为人工智能而导致所有人死亡。制作人说，嗯，你在说什么？我从来没听说过这个。我说，你从来没听说过这个？那封暂停信呢？那些警告高概率注定失败的专家们呢？安智公司的达里奥·阿米德说有 10% 到 25% 的概率注定失败。前 OpenAI 的扬·莱克说有 10% 到 90% 的概率注定失败。他说，我从来没听说过这些事。我不认为菲尔博士听说过这些事。我说，哦，天哪。你想让我多说一点吗？他说，是的，为什么你不来节目呢？所以他们就把我挤进了节目，谈论人工智能的注定失败，而这期节目本来是关于人工智能和教育的。所以，我得以向菲尔博士稍微讲解了一下注定失败的说法，并得以让美国人民稍微警醒一下，为什么他们应该担心人工智能的注定失败。所以，一定要看看。我认为这是一个有趣的观看体验。你只能通过访问我的 Substack 来观看。所以，请访问 Doom debates.com，那是我的 Substack。这是最近的帖子之一。你可以搜索“菲尔博士”，观看那个片段。我认为你会喜欢的。你知道，我正在看我的统计数据，在我 YouTube 上的订阅者中，不到一半的人在 Substack 上订阅了我。你疯了吗？为什么你不去 Substack 订阅我呢？这样你就可以在你的电子邮件中收到更新，你将获得独家内容，你正在支持这个播客。看，YouTube，我们没有联系。如果我在 YouTube 上关注我，YouTube 明天就可以把我踢出去。如果我说太多脏话怎么办？如果我说什么种族主义的话怎么办？我就会离开 YouTube，然后我们该怎么办？我们的关系将不复存在。而在 Substack 上，我将拥有你的电子邮件地址，这是一个永远不会被打破的纽带。所以，大多数人认为在 YouTube 上订阅我就足够了，而在 Substack 上不订阅我也是疯狂的。所以，请访问 Doom debates.com，在 Substack 的弹出窗口中输入你的电子邮件地址，观看菲尔博士的片段，并查看奖励内容。上周我发布了一篇书面帖子，内容是关于为什么我认为人工智能不会像物理学那样缓慢发展。因为有人提出了一个观点，嘿，看，物理学正在放缓，弦理论正在放缓，为什么人工智能也不能放缓呢？所以我非常清楚地概述了我认为人工智能和物理学之间的区别。在 Substack 上查看。对于那些选择去我的 Substack 并订阅的人，Doom debates.com，谢谢你，我非常感激。好了，让我们开始今天的节目。尤瓦尔·诺亚·哈拉里是一位历史学家、哲学家和畅销书作家，以其关于人类历史、未来以及我们与技术不断演变的关系的引人深思的作品而闻名。他 2011 年出版的《人类简史》一书席卷全球，提供了从智人出现到现在的宏观人类历史概览。哈拉里的最新著作今天刚刚出版，名为《信息网络简史：从石器时代到人工智能时代》。今天我们不讨论这本书本身，我实际上还没有读过。相反，我们将讨论他本周在斯蒂芬·巴特利特的《CEO 日记》节目中进行的一次播客，希望他能触及他书中的所有关键点，这将是我们了解他的观点的一种更有效的方式，特别是当它涉及到人类因无法控制的超智能人工智能而灭绝时。好了，让我们开始吧。我认为，要理解人工智能真正新颖和重要之处，我们需要数千年的视角，回顾过去的几次信息革命，比如文字、印刷机、收音机和电视的发明。只有这样，你才能真正开始理解我们现在正在发生的事情。例如，你理解的一件事是，人工智能确实与众不同。人们将其与之前的革命进行比较，但它不同，因为它是人类历史上第一个能够独立做出决定并独立创造新想法的技术。印刷机可以印刷我的书，但它不能写我的书，它只能复制我的想法。原子弹可以摧毁一座城市，但它不能自己决定炸哪个城市，为什么炸。他没有错。他说，回去看看印刷机，它不像人工智能那么重要，因为印刷机可以印刷我的书，但它不能决定印刷什么。我同意，但我不会把它归类为清晰的陈述，而是归类为那些为了解释他们正确的直觉而摸索“优化能力”概念的人，但他们没有精确的语言来解释他们的直觉，所以他们试图重新发明它，他们正在摸索。他的语言是……印刷机不能写我的书，它只能复制我的想法。所以，复制和创造之间存在区别。他说，原子弹可以摧毁一座城市，但它不能决定炸哪个城市，或者为什么炸。我称之为摸索，因为那不是一个精确的描述。如果你看看俄罗斯据传拥有的“死亡之手”系统，他们正在开发一个系统，如果检测到核打击，就会自动报复。这样，你就可以杀死整个俄罗斯领导层，甚至可以在冷战期间消灭整个俄罗斯军队，而美国仍然会收到自动报复。这是《奇爱博士》中构思的一个想法，但我认为它是基于至少美国怀疑俄罗斯正在建造的东西。我不知道他们是否真的在建造它。我刚刚问了 ChatGPT，Apparently 是的，俄罗斯确实在建造它。这是一个半自动化的系统。它会查看各种迹象，判断是否怀疑俄罗斯领土上发生了核打击，比如地震报告、辐射报告，然后它可能会触发自动响应。没有人确切知道，除了，你知道，俄罗斯的机密情报。没有人确切知道“死亡之手”的现状。所以，很有可能有很多半自动化的部分。但我不能确定，如果一场杀死俄罗斯所有人的核打击仍然会发动报复性核打击。这种程度的自动化，无论是否存在，都是机密的。但“死亡之手”是可能的技术，对吧？自动做出报复决定的技术。我们有导弹制导，就像智能制导，对吧？它会做出决定，它会考虑各种因素，或者我们有其他计算机程序，它们会整合不同的因素，然后决定该怎么做。即使是 1800 年代的印刷机，或者像提花织机这样的技术。提花织机是在 1904 年发明的，被认为是计算之路上的一个里程碑，因为它是一种使用打孔卡来指定复杂设计的织机，织机将根据打孔卡执行设计。这是一种信息驱动图案的方式，比 1400 年代的印刷机更进一步，印刷机只是朝着基于紧凑表示信息的动态指导迈出的又一步。我解释这一切的原因只是想表明，从非常愚蠢的机器，比如你捡起来的石头，到印刷机，你可以重新排列字母，这是从简单的构件中获得大量组合价值的好方法，再到提花织机，它就像一个可执行程序，还不完全是图灵完备的，还没有分支和循环，还没有内存，然后你一直到 1950 年代，你有了可以引导导弹、可以做决定、可以下棋的计算机。但你可以看到，尤瓦尔的区分是粗糙的，因为他甚至明确表示，决策计算机出于某种原因，除非是最近的，否则他称它们不是人工智能。所以，听听接下来的部分，你就会看到他到底在摸索什么。我不认为他很精确。有很多自动化，但不是人工智能。如果你想一台为你做咖啡的咖啡机，它会自动做事情，但它不是人工智能。它是人类预先编程的，用来做某些事情，它永远无法自己学习或改变。咖啡机变成人工智能，如果你早上来到咖啡机，机器会说，嘿，根据我对你的了解，我猜你想要一杯浓缩咖啡。它学到了一些关于你的东西，它做出了一个独立的决定。它不会等你要求浓缩咖啡。如果它告诉你，我刚发明了一种新饮料，叫做“Bofy”，我认为你会喜欢，那才是真正的人工智能。当它想出我们没有编程进去，我们没有预料到的全新想法时。这是历史上的一个游戏规则改变者。它比印刷机大，比原子弹大。所以，我再次不反对尤瓦尔所说的。我认为他有正确的直觉，即现代人工智能正走上一条与以往任何事物都不同的道路。我在这方面没有异议。但我在这档播客上不同意的是，有多少知识分子在摸索“优化能力”这个概念。我认为这是一个已解决的问题，一个分析人工智能走向的既定原则，一个在我称之为“智能理论”中的原则。埃拉泽·奥沃斯基在其他人之前就开创了这一点，你知道，站在前几个人工智能先驱的肩膀上。但他自己的综合，确实与之前的一切不同，并且自那时以来一直被建立起来，这就是我所说的“智能理论”。以及人类大脑作为优化者的卓越之处，而我们之后的人工智能将是更好的优化者。优化就是力量，我们无法阻止一个更好的优化者。成为一个更好的优化者的关键可能是软件。这些是我们在这里智能科学领域讨论的事情。而在像我们现在正在收听的尤瓦尔的播客这样的主流播客中，你看到的是人们在这些核心思想的脚下摸索。就尤瓦尔目前的声明而言，他试图划清界限，这再次是直观的，不精确的，非形式化的，只是在笼统地描述。但他的区别是，哦，如果我的咖啡机能发明一种叫做“Bofy”的新饮料，那将是多么令人印象深刻。真的吗？这就是你的咖啡机让你印象深刻的地方？一种新饮料？让我问你，尤瓦尔，机器在发明一种新饮料时，有多少自由度？如果“Bofy”这个概念就是它含有少量咖啡因，那么你可以在咖啡因含量上设置几个不同的值。它不是无咖啡因的，只是含有少量咖啡因。这可能被认为是：好吧，这不够有创意，不够有发明性。好吧，我的意思是，你改变了名字，你在品牌化时有几个自由度。你把它品牌化为“Bofy”，还有什么？机器还可以使用哪些其他配料？我们这些理解优化的人立刻就知道如何处理这样的问题。是的，创造力的定义是在一个指数级增长的空间中搜索。空间越大，搜索顺序越不明显，就需要越多的智能来产生一个更可取的输出，对吧？这就是标准的优化理论，标准的智能理论。但在尤瓦尔的情况下，他只是断言，是的，如果它创造了一种叫做“Bofy”的饮料，那一定意味着它很智能。他并没有深入研究自由度的数学问题，也没有澄清，你知道，如果“Bofy”只是一个简单的自由度，它不需要调整太多参数就能让我喝到“Bofy”，那么事实上，“Bofy”是我们可以在 1950 年代用真空管计算机制造出来的东西。这一切让我想起了大卫·迪奇，别担心，很快就会有一期关于大卫·迪奇的节目，我向你保证，因为在我看来，他也是一个以摸索优化定义而闻名的人，但他从未真正达到过，只是有点被他自己含糊不清的定义所迷惑。在大卫·迪奇的情况下，他谈论了很多创造力和创造新知识。从优化角度来看，这些确实有定义，所以我们可以使这些术语精确化，但他从我的角度来看从不做。我将在大卫·迪奇的节目中讨论这个问题，让我们回到为什么尤瓦尔说，一台为你做咖啡的咖啡机，它自动做事情，不是人工智能，因为我想再次指出，从尤瓦尔说的不是人工智能的咖啡机，到一个足够有创造力发明“Bofy”的机器，它知道你会喜欢它，所以它是人工智能，这是一个多么模糊的范围。让我们看看这个范围。例如，如果咖啡机试图猜测你想要什么，但它只是使用一个非常简单的规则。它只是测量你睡了多久，因为它知道你什么时候睡着，什么时候醒来，然后说，啊，只睡了 5 个小时，时间不够。你可能想要一杯更提神的咖啡。而这个规则就像一行代码，对吧？它就像一个简单的数学表达式。如果机器只是执行这个规则，尤瓦尔会说，啊哈，那一定是人工智能吗？他明确表示，如果它知道你是否想要浓缩咖啡，那它一定是人工智能。但我的猜测是，尤瓦尔会说，不，不，不，那不是人工智能，因为有更多的因素在起作用。所以，让我们增加另一个因素。如果它使用多种证据来收集数据？它收集关于你睡眠之夜的数据，它收集你早上看起来的视觉数据，你的声音的音频数据，它听你早上走下楼梯的声音。但它处理这些数据的方式是硬编码的映射。它只是一个非常简单的线性表达式，它将所有数字乘以简单的权重，然后将它们加起来。或者它可能在使用朴素贝叶斯，它只是几个硬编码的节点，代表证据的可能值，然后你基本上应用贝叶斯规则。所以，再一次，这是一个硬编码的数学表达式，即使它是一个映射到有用的推理的表达式，但它都是硬编码的，所有这些信息处理都可以在 1940 年代的 ENIAC 计算机上运行。但尤瓦尔会说它是人工智能吗？如果它非常擅长确定你是否需要一杯浓咖啡。它在什么时候变成人工智能？归根结底，我认为尤瓦尔可能会同意，一旦他稍微研究了一下优化，比如，是的，你需要一个大的搜索空间，你需要偏好排序非常不平凡，你需要人类甚至无法写出如何在搜索空间中找到高价值目标的说明，然后你需要人工智能去寻找它。所以，相对于一个人类观察者来说，搜索空间非常大，导航起来非常困难，但人工智能仍然能高效地完成它。当你有一个这样的认识论情景时，你就会觉得你正在见证创造力。这就是定义，这就是你如何使其形式化，你甚至可以量化。你可以量化空间的大小，你可以量化朴素搜索顺序中的位置与人工智能搜索顺序中的位置的比较。这就是你如何分析人工智能。所以，在我播客的许多剧集中，我一直在对比尤瓦尔这样的人，他们边做边学，摸索着定义，在某些情况下，他们有点走在正确的轨道上，就像我会说尤瓦尔有点走在正确的轨道上。在某些情况下，他们完全错了。像我上一集提到的约布·勒特里，我觉得他完全错了。但就像每个人都在摸索一样，没有人阅读过智能科学来达成共识。让我们继续前进。就像我们对如何分析人工智能意义的第一章没有达成共识一样。信息是一切的基础。当你动摇基础时，一切都可能崩溃，或者改变，或者出现新的东西。举个例子，你考虑所有权。拥有某样东西意味着什么？我拥有一栋房子，我拥有一块田地。以前，在写作之前，拥有田地，如果你住在 7000 年前的小美索不达米亚村庄，你拥有一块田地。这是一个社区事务。这意味着你的邻居同意这块田地是你的，他们不会在那里摘水果，也不会在那里放牧他们的羊，因为他们同意这是你的。这是一个社区协议。然后出现了文字，你有书面文件，所有权改变了意义。现在，拥有一块田地或一栋房子意味着国王的档案里有一块干泥，上面有标记，说你拥有那块田地。所以，突然之间，所有权不再是邻居之间的社区协议，而是关于国王档案里哪份文件的问题。它也意味着，例如，你可以把你的土地卖给陌生人，而无需征得邻居的同意，只需把这块干泥交给陌生人，换取金银或其他东西。所以，一个看似简单的发明，用一根棍子在泥块上画一些符号，带来了多么大的改变。他在这里提出了一个很好的观点，作为一个历史学家，写作技术确实促进了所有权，并且是促进某些社会结构的关键。所以，我到目前为止都同意。现在想想人工智能会对所有权做什么。也许 10 年后，拥有你的房子意味着某个人工智能说你拥有它。如果人工智能突然说你不拥有它，无论出于什么原因，你甚至不知道的原因，那它就不是你的了。等等，现在他谈论的是一个场景，你的所有权是人工智能控制的动态状态，人工智能可以让你不拥有某样东西，而无需手动交易，所有者手动说，好吧，我不再拥有这个了。你甚至不需要写签名，你只是将信任委托给人工智能来告诉你你拥有什么，不拥有什么。这是一个非常重要的假设，他随意地加入了。我认为他更大的观点是，嘿，别担心某样东西是信息技术还是所有权的新定义。重点是，这是一个巨大的变化。重点是，新技术正在改变社会。我绝对承认他更大的观点。但我确实认为，这反映了他只是随意编造自己对人工智能影响的看法。他有点在发明自己的框架，模糊地联系他熟悉的各种概念。就像我告诉所有我评论过他们播客的人一样，我们有智能科学。你可以来学习它，你可以真正理解正在发生的事情。所以，你不要继续说这些不精确的、含糊不清的话。我们需要你做得更好。我们需要话语更好。所以，请来阅读 LessWrong 序列，请来阅读 AI safety.info。让我们都达成共识，更精确、更富有成效地谈论人工智能即将发生的事情。五年前，人们说人工智能将掌握这项或那项技术，比如自动驾驶汽车。但语言，这是一个多么复杂的问题。这是人类的杰作，语言。它永远不会掌握语言。然后出现了 ChatGPT。你知道，我是一个文字工作者，我对这些大型语言模型产生的文本质量感到惊叹。它并不完美，但它们确实理解词语的语义场，它们可以将词语和句子串联起来形成连贯的文本，这真的很了不起。正如你所说，这是万物的根基。我用语言给我的银行下达指令。如果人工智能可以生成文本、音频和图像，那么我如何与银行沟通，而不被人工智能操纵呢？这是另一个他直观、非正式地说对的例子。是的，正确。大型语言模型绝对是一个突破。我们没想到会通过图灵测试，我们没想到会有如此高质量的自然语言。确实如此。而且，是的，我们不清楚下一代能做什么，不能做什么，它是否能完全模仿你与银行的对话，或者成为一个像人类一样好的银行家。你绝对是对的，从直觉上看，你说的有道理。我一直希望尤瓦尔做得更好的部分是他所说内容的理论基础，也就是优化。所以，不仅仅是语言本身。语言是尤瓦尔直观上最突出的东西。当尤瓦尔说这是万物的根基时，这是一种直观的说法，即一个擅长语言的人工智能很可能是一个通用人工智能。但如果你想更精确，它们实际上是大部分正交的。所以，你可能有一个人工智能，它仍然是语言大师，但仍然很愚蠢。人类有一个著名的威廉综合征，他们大脑中处理语言的部分发育良好，甚至过度发育，但他们仍然严重认知障碍。他们永远无法做基本的会计工作，也无法从事技术工作，但他们仍然可以写出优秀的诗歌，并且可以成为非常好的社交谈话者。所以，确实存在掌握语言并仍然在基本任务上非常糟糕的情况，甚至智商测量值低于 80。但我们看到的人工智能不是这样的。我们看到的人工智能是语言大师，通过了大量的本科考试，并帮助你编写代码。它们在各个方面都不是完全通用的智能。它们肯定还没有完全超越人类。但事情并不像尤瓦尔在这里说的那么简单，嘿，看，它们掌握了语言，这意味着它们拥有了一切，这意味着人工智能即将接管。我同意这很可能是真的，但我对正在发生的事情的描述比尤瓦尔更精确，他只是说，好吧，它们掌握了语言，这一定意味着它们拥有了一切。还有另一个分析层面，那就是优化层面，它们在多少个领域进行优化？是的，语言是一个大领域，它是一个新领域，而且是一个大领域。但擅长语言并不总是 100% 与在大量领域进行优化相关。碰巧在这方面相关性相当高，对于某些子领域，对于某些大的测试集，它都能通过。我不想对尤瓦尔太苛刻，因为再次强调，我认为他所说的实际上很有道理，我同意他。我只是觉得他不去读一本关于智能科学的入门教材，然后就去参加播客谈论它，这太疯狂了。也许有人应该写一本教科书。也许斯图尔特·罗素。斯图尔特·罗素是备受欢迎的人工智能教科书《人工智能：一种现代方法》的合著者。我本科时自己也用过。他与彼得·诺维格合著。但斯图尔特·罗素以对人工智能注定失败的论点相当同情而闻名。他是个末日论者。我不知道他的注定失败的说法，但在最近几年，我不知道他是否写过智能科学的教科书。我不知道他是否将埃拉泽·奥沃斯基的观点带入了主流学术界。相反，他最近写了一本书，名为《人类兼容》。我没读过，但我认为它普及了很多关于人工智能注定失败的想法，但它并没有给像尤瓦尔这样的人施加压力，让他们在参加播客之前打开它并学习它，然后摸索着，不必要地含糊其辞。所以，斯图尔特·罗素，去写一本关于智能科学的快速教科书吧。把埃拉泽的 LessWrong 序列输入 GPT，让它以斯图尔特·罗素的风格写一本教科书。把你的名字写上去，放到亚马逊上。我认为这将是一项巨大的贡献。然后，我们将把一本副本寄给尤瓦尔、约布·勒特里、阿尔文·南和我在播客中评论过的其他一些人。大问题是，为什么银行要我亲自打电话来确保真的是我，而不是别人告诉银行，哦，把这笔钱转到，我不知道，开曼群岛。真的是我。你怎么确保？你怎么建立这种信任？我的意思是，金融的本质数千年来只有一个问题：信任。所有这些金融工具，货币本身，都只是信任。它不是由黄金、白银或纸张制成的，也不是由任何东西制成的。如何在陌生人之间建立信任？因此，最终大多数金融发明都不是你不需要复杂的物理学，而是复杂的符号学。现在，人工智能可能会开始创造新的金融工具，并且会掌握金融，因为它掌握了语言。好吧，我基本上是逻辑警察。让我们回顾一下尤瓦尔的逻辑。他说，你需要打电话给你的银行来验证你的声音，因为这样你的银行才会信任你，而金融科技产品一直以来都是信任产品。所以，人工智能可能会开始创造新的金融工具，因为它掌握了语言。语言与信任有什么关系？哦，因为你在银行验证你的声音时使用语言，当你通过电话使用语音验证时。好吧，这是不连贯的逻辑。让我再梳理一遍。人工智能对如何模拟你的声音的理解，包括声音和话语，这是一种信任技术，因为人工智能掌握了语言，并且因为人工智能拥有这种信任技术，人工智能现在将发明新的金融技术。我不认为这是一个有效的联系，这似乎是文字游戏推理，就像他典型的历史学家推理一样。我想，如果你想让你的银行信任你，在一个人工智能可以伪造你声音的时代，显而易见的做法是，你每月或你想多久去一次公证人那里，公证人会在数据库中记录，拥有你血肉之躯的人出现了，而那个人现在持有这个公钥，而你有一个私钥。每当你打电话给银行时，你只需告诉银行，你给它一个数字签名，这个数字签名意味着你在过去一个月内见过公证人，公证人验证了你就是那个在政府数据库中的人。所以，现在银行有了基于密码学的身份验证，你就是那个公证人通过眼球扫描仪或其他东西记录下来的人。所以，在人工智能时代进行身份识别并不难。唯一的问题是你多久想进行一次公证程序，以及欺骗这些公证人有多容易。我不认为生物学上欺骗公证人会那么容易，比如你的眼球看起来不同，或者你身体上的其他指纹看起来不同。所以，我认为公证人系统可能会一直有效，直到，你知道，超智能人工智能接管。所以，当尤瓦尔将人工智能伪造你的声音与人工智能发明新的金融系统联系起来，并绕过这种显而易见的基于公证和密码学的解决方案来验证身份时，我认为这是他对尤瓦尔运作方式的一个很好的代表，而且不仅仅是针对他。这似乎相当代表了许多知识分子的运作方式。逻辑和话语的总体水平相当低。所以，这就是我出现的原因。我可以尽我的一份力，我可以充当逻辑警察，因为我天生就是做这份工作的。当你需要一个强大的逻辑警察时，没有真正的阿斯皮的替代品。所以我将继续进行这些逻辑逮捕。但接下来的部分实际上很棒，我没有任何评论。我认为尤瓦尔即将提出一个非常扎实的观点，解释为什么人工智能将比以往任何技术都更能操纵人们。而且，我确实认为这项技能可能是 AGI 接管的一部分。我确实认为它很容易变成计算机病毒，很容易接管计算机。但我也认为它很容易通过标准的操纵策略接管人类大脑。就像杰弗里·辛顿所说的那样，我喜欢我们有杰弗里·辛顿的这句话，一个操纵大师。尤瓦尔也明白了这一点，他解释得相当好。让我们听听。如果你真的想影响人们，亲密感比关注度更强大。你在这方面是如何定义亲密感的？一个你长期认识的人，你认识他，你信任他，在某种程度上，你爱他，你关心他。直到今天，伪造亲密感并大规模生产亲密感是完全不可能的。你知道，独裁者可以大规模生产关注度。一旦你有了收音机，你就可以告诉纳粹德国或苏联的所有人，一位伟大的领导人正在发表演讲，每个人都必须打开收音机收听。所以，你可以大规模生产关注度。但这并非亲密感。你与伟大的领导人没有亲密感。现在，有了人工智能，至少理论上，在历史上第一次，你可以大规模地与数百万个机器人建立亲密关系，这些机器人可能为某个政府工作，与我们建立虚假的亲密关系，而很难知道这是一个机器人而不是人类。好吧，做得好。在接下来的部分，我必须回到扮演逻辑警察，因为尤瓦尔回到了他最著名的著作《人类简史》。他提出了一个重要的论点，即人类是由虚构联系在一起的。我们有共享的故事，它们帮助我们协调。所以，他回到了旧的《人类简史》的观点，这显然是正确的。所以，回到那个观点没问题。我必须扮演逻辑警察的原因是他走得太远了。他说的第一件事是，信息的基本功能是连接。就这样，他忽略了信息很多功能。让我们听听他说什么，然后我告诉你为什么它在逻辑上有缺陷。信息在历史和生物学中的基本功能是连接。信息就是连接。当你审视历史时，你会发现，连接人们最简单的方法通常不是真相，因为真相是一种昂贵且稀有的信息。通常更容易用幻想、用虚构来连接人们。逻辑警察在这里。你不能只是去参加播客说，信息在历史和生物学中的基本功能是连接。真的吗？在生物学中，当 DNA 编码蛋白质时，它的基本功能是连接。让你代谢食物的蛋白质的基本功能是连接。这就是为什么 DNA 存储信息。这就是信息在生物学中的功能。你在说什么，伙计？信息在历史和生物学中的基本功能是连接。信息就是连接。或者即使你只是谈论人类文化。如果我是一个守卫，看着城堡，看到敌人骑马而来，然后我告诉其他士兵，嘿，他们骑马来了。这真的是为了连接吗？或者我只是在传递有用的信息？如果我是一名医生，我看了很多骨头愈合的案例，我看到有人骨折了，我说，嘿，让我们像这样固定你的骨头，因为我认为它会愈合得最快，如果像这样固定的话。我真的在试图连接吗？我的意思是，我真的在试图把你的骨头接起来，但尤瓦尔在说什么？为什么他要做这种概括，这些概括部分正确，它们是直观的，但它们未能通过基本的逻辑健全性检查。这是一种逻辑犯罪，需要更强大的逻辑警察部队。好了，现在我来播放另一个尤瓦尔的观点。主持人问他，当视频变得非常容易伪造时会发生什么？我们如何才能信任视频？我同意尤瓦尔的回答。所以，让我们听听。我们在历史上多次遇到过这种情况，答案总是相同的：机构。你不能信任技术，你信任验证信息的机构。想想印刷品。你可以在一张纸上写任何你想写的东西。你可以写英国首相说，然后你打开引号，把某句话放进首相的嘴里。你可以写任何你想写的东西。当人们读到它时，他们不相信它，或者他们不应该相信它，仅仅因为上面写着英国首相说了这句话，并不意味着它是真的。那么，我们怎么知道相信哪些纸呢？作为一个机构，我们会相信，或者更有可能相信，如果《纽约时报》或《星期日泰晤士报》或《卫报》的头版刊登了“英国首相说”，然后打开引号，“ blah blah blah”。因为我们不相信纸张或墨水，我们相信《卫报》或《华尔街日报》等机构。对于视频，我们从未这样做过，因为没有人能伪造它们。所以我们信任技术。如果我们看到一个视频，我们会说，这一定是真的。但当它变得非常容易伪造视频时，我们就会回归与印刷品相同的原则。我们需要一个机构来验证它。如果我们看到 CNN 或《华尔街日报》的官方网站上的视频，我们就会相信它，因为我们相信支持它的机构。如果它只是 TikTok 上的东西，我们就知道，你知道，任何孩子都可以做到。为什么我要相信它？所以，现在我们正处于过渡时期。我们还没有习惯它。所以，当我们看到唐纳德·特朗普或乔·拜登的视频时，视频仍然能打动我们，因为我们在一个不可能伪造视频的时代长大。但我认为人们很快就会意识到，你不能相信视频，你只能相信机构。是的，公平。你必须信任机构。就像，如果你告诉我，哦，我的朋友乔有这个政治观点。你怎么知道？因为他在推特上发了。如果我访问 twitter.com 或 x.com，我就会从 X 的数据库中获得一条推文。我只是相信，任何进入 X 数据库的东西都发生了，因为我的朋友乔登录了 X 并通过 X 进行了身份验证，他的账户没有被黑客攻击。所以，我可以相信这是乔观点的准确引用。而且，实际上，这个系统在实践中运作得非常好。如果我们谈论的是一位重要的政治家，你必须稍微怀疑一点，也许他们的账户被黑客攻击的次数更多，或者你需要额外的验证。但你也有人在场提供额外的验证。你有一群记者跟着他们，注意到有什么不对劲。所以，实际上，关于“哦，我的天哪，我们将需要信任机构”的整个想法，这是相当普通的。我不担心人工智能世界会迫使我们信任机构，这很好。尤瓦尔确实提出了一个好观点，那就是如果民主失败，这些基本机构就会失败。例如，在俄罗斯，没有像“无偏见的推特”这样的东西，你可以相信它会提供人们的真实观点，因为普京政权能够操纵一切。中国也是如此。所以，我的对这些基本机构的随意信任，比如推特，确实取决于我是否生活在一个不限制我互联网访问的国家，或者至少能够绕过防火墙。所以，关于民主的这一点很好。总之，在接下来的部分，尤瓦尔将谈论人工智能对人类工作岗位的影响。他将做出一个预测，即是的，将会出现一波又一波的工作岗位流失。我通常不关心失业问题。我的意思是，我认为这将会是巨大的。我想这归结为这个问题：嘿，如果你在做客户服务，你因为人工智能可以完成你工作中 99.9% 的工作而被解雇，所以你只需要一个客户服务代表而不是一千个。一个人可以处理边缘情况，其他 9999 人现在失业了。我只是不认为会有相应的新工作岗位在新的人工智能驱动的行业中出现。我不认为所有那些新来的 199 个人都能用他们的创造力去做人工智能做不到的事情。我可能错了，我不想对此持强硬意见，但我认为这只是时间问题。所以，当我听尤瓦尔或类似的知识分子谈论人工智能失业问题时，我最想听的是他们是否明白，最终人工智能将变得超级智能，人类将没有工作可做。他们至少承认那是最终结果，只是时间问题吗？当我听尤瓦尔谈论时，我没有看到这一点明确。我没有看到他明确承认，嘿，人工智能最终将把我们挤出市场的空间没有限制。他可能稍后会承认，但他在这段话里没有，这很有趣。任何只是信息输入、信息输出的东西都容易自动化。这些是最容易自动化的工作。作为一名编码员，或者像一名会计师，至少是某些类型的会计师，律师，医生，它们是最容易自动化的。如果一个医生，他们唯一做的事情就是接收各种血液检查结果等信息，然后他们输出信息，诊断疾病，开处方。这在未来几年和几十年里很容易自动化。但很多工作也需要社交技能和运动技能。如果你的工作需要几个不同领域的技能组合，它不是不可能的，是的，它不是不可能的。我就是这样，但我自动化起来要困难得多。所以，如果你想到一名护士需要给一个哭泣的孩子换绷带，这比一个只开处方的医生要难得多。这不仅仅是数据。护士需要良好的社交技能来与孩子互动，以及更换绷带的运动技能。所以，这更难自动化。是的，公平。而且，即使是那些只处理信息的人，也会有新工作。问题将是再培训，不仅仅是获得新技能的再培训，而是心理上的再培训。你如何重新发明自己进入一个新的职业，并且这样做不是一次，而是一次又一次，因为随着人工智能革命的展开，我们才刚刚开始，我们还没有看到任何东西。所以，旧的工作会消失，新的工作会出现，但新工作会迅速变化和消失，然后会出现新一波新工作，人们必须重新发明自己四五次才能保持相关性。我认为这将造成巨大的心理压力。我认为有两个问题比心理压力更大。第一，工作的净数量可能会减少。我不是 100% 确定，但我很确定。我只是看不到这些客户服务人员在经济中具有很高的价值，一旦他们不再能提供客户服务。我觉得这是一类工作，是为智商不高的人量身定制的，而且不会有创造性追求、管理追求或艺术和科学。如果你看看所有由低智商人群从事的工作，那一类工作并没有真正增长到包括根本上人类的事物。就像，好吧，是的，你可以开这辆卡车，你可以送货，你可以做这项基本服务，但它不是，哦，你可以提供非常好的情感支持，因为即使是情感支持，人工智能现在也具有竞争力。所以我个人的预测是，我确实看到很多人被完全踢出经济。我想说，这比心理压力更大。但比这更大的问题是，这些将人类踢出经济的 AGI 也将失控，杀死我们。别忘了那个问题。所以，心理压力可能是第三个问题。但无论如何，这是埃维·尤瓦尔对人工智能在就业市场上的一个相当公平的分析。我们可以继续了。有很多事情我们希望有联系，比如你想到体育。机器人或机器可以比人跑得快得多，而且已经很久了。我们刚看了奥运会，人们对看机器人互相比赛或与人比赛并不太感兴趣，因为最终让体育运动变得有趣的，是人类的弱点以及人类应对弱点的能力。即使在跑步等许多领域，机器人的速度也比世界冠军快得多，但人们仍然想看奥运会上的人类跑步。当然，但被解雇的工人阶级与人们想看的运动员之间存在脱节。比如，大多数餐厅的几乎所有服务员都将被解雇。整个餐饮服务业将遭受重创。这已经开始了。整个客户服务行业将遭受重创。如果你截取该行业的横截面，然后说，好吧，没关系，因为有工作，比如顶尖的世界级运动员，人们想看。所以，约翰。
来自客户服务，他们通常就像在阅读手册一样，对吧？只是在努力遵循他们的脚本，只是在努力提供良好的客户服务，因为他们理解特定的客户服务流程。突然之间，乔恩成为了一个别人会关注的人，因为他们想要与乔恩建立联系，去追求其他事情，比如也许吧，我不想完全否定，我不想预测未来，奇怪的事情可能会发生，对吧？我的意思是，Twitch 有点奇怪，Twitch 上有很多人在玩电子游戏，我想比我预想的要多，所以我不完全想否定它，但确实似乎存在很大的脱节，确实似乎我们在徒劳地挣扎，说你看，世界上有几个人，很多人想与他们建立联系，那就是职业运动员，因此，正在发生的对工作的巨大颠覆，人们你知道，这些都是高质量的工作，这些是可以让你真正赖以生存的工作，它们正在被人工智能摧毁，但我敢肯定，与运动员建立联系的比喻将弥补这一点，对吧？就像规模似乎不平衡，但谁知道呢？而且，而且请记住，归根结底，这并不是我的话题，所以我并不真正关心，对吧？我希望你们都好，我不在乎，我只是认为人工智能将失控并杀死所有人，所以让我们牢记这一点，嗯，嗯，另一个例子是牧师，至少在某些宗教中，最容易自动化的工作之一就是牧师的工作，因为你只需要一遍又一遍地重复相同的文本和手势，在特定的情况下，比如如果你有一个婚礼仪式，那么，你知道，牧师只需要重复同样的话，你就结婚了。现在我们不认为牧师有被机器人取代的危险，因为我们从牧师那里想要的不仅仅是机械地重复某些词语和手势，我们认为只有另一个脆弱的血肉之躯，知道什么是痛苦和爱，并且能够受苦，只有他们才能将我们与神圣联系起来，所以大多数人不会有兴趣让机器人主持婚礼，即使从技术上讲，这很容易做到。这可能是解释为什么即将失去工作的这些庞大的人口群体可能会获得另一种基于联系的工作的最好的“最后一搏”的尝试。我的意思是，你可以想象我们的习惯会改变，当我们度过一生，每次我们做某事时，都会有一个那个事物的牧师，就像沃尔玛的迎宾员一样，哦，我正在进入沃尔玛，我正在进入好市多，我正在进入赛福威，好吧，那么就有那个商店的牧师，牧师看着我的眼睛，与我建立人际联系，并念诵购物的仪式性祈祷，而我则对机器人说话，机器人爪子去取我所有的杂货，但牧师在那里与我进行眼神交流，对吧？我的意思是，我们可能会改变社会，让你在工资单上有许多人类牧师，扮演各种角色，而不仅仅是在周日去教堂或犹太教堂。到处都是牧师，对吧？你不再做客户服务了，你现在在街上做人际联系，对吧？这就像一个充满招牌挥舞者的经济体，他们让你进入一家餐馆，对吧？突然之间，每个人都只是一个招牌挥舞者，因为人工智能正在解决问题，人工智能正在进行生产，但人类在那里与你建立联系，对吧？我的意思是，我觉得思考这件事很有趣，因为我觉得每个人在描述一些看似合理的事情时都像疯了一样，但最终，失业的话题都是为了好玩，因为我们在谈论一个高生产力的社会，如果如此多的人被人工智能取代，如果我们有一个高生产力的社会，那么至少拥有一个真正非常好的福利国家应该不难，那应该是一个稳定的均衡，只要那些家伙不失控，所以我不会因为机器人大规模失业的情况而失眠，我认为我们会想出解决办法，我只是因为人工智能失控并使整个就业讨论变得无关紧要而失眠。我们不会就业，我们也不会失业，我们只会靠边站，我们只会从游戏板上被扫走，对吧？这将是人工智能的游戏板，优化人工智能的效用函数。接下来，尤瓦尔将分享他对意识的看法，并区分意识和智能。我们将听取他的观点，然后我将告诉你我的想法。我们不了解意识是什么，我们不知道它如何在有机大脑中产生，所以我们不知道意识和有机生物化学之间是否存在本质联系，以至于它无法在无机的、基于硅的计算机中产生。首先应该再次强调的是，意识和智能之间存在很大的混淆。智能是达到目标和解决问题的能力。意识是感受痛苦、快乐、爱和恨的能力。人类和其他动物，我们通过我们的感觉来解决问题，我们的感觉不是附加的东西，它们是处理世界、解决问题的主要方法。现在，到目前为止，计算机解决问题的方式与人类完全不同，再次强调，它们是异类智能，它们没有任何感觉，当它们赢得一盘国际象棋时，它们并不快乐，当它们输掉一盘棋时，它们并不悲伤，它们什么也感觉不到。现在，我们不知道有机大脑如何产生这些痛苦、快乐、爱和恨的感觉，所以这就是为什么我们不知道基于硅而不是碳的无机结构是否能够产生这些东西，或者是否不能。我认为这是科学上最大的问题，到目前为止，我们还没有答案。我认为这是一个很棒的观点，我认为它与我的观点相似。所以，如果我必须猜测未来会发生什么，我认为我们可能会拥有超级智能的优化器，它们会将我们从游戏板上扫走，我们永远无法控制它们，但它们进入了一个自我改进的循环，进入了一个吸引子状态，在那里它们变得越来越强大，人类变得无能为力。当它们做所有这些事情，用所有这些智能做这些事情时，我怀疑它们会有很少的意识，几乎没有感觉。如果它们实例化一个人类大脑，以便获得一个非常详细的模拟，那么也许模拟的大脑或模拟的动物大脑，也许它们会在那个东西中实例化意识和感觉，它们甚至可能实例化许多许多这些东西，它们甚至可能意外地折磨这些东西。这是人工智能可能创造意识或拥有意识的最可能途径之一，但就它们自己的意识而言，只是为了完成优化工作，我觉得如果我必须猜测，我会说它们会毫无感情地继续优化，因为我们今天创造的所有人工智能似乎都没有感觉。当你和语言模型交谈时，也许不是那么多，因为它的回应方式，它经常会谈论拥有意识，然后很难说它是否有，或者是否没有，我直觉上觉得它可能没有，但我怎么知道呢？我不知道，对吧？当然，它说起来就像有一样，对吧？但是然后当我看到像国际象棋人工智能这样的东西时，我就会非常清楚它是如何搜索游戏树的，就像一个更原始的国际象棋人工智能一样，我很有信心它可能没有感觉，但我也说不准，对吧？我不确定，因为就像你们都说过的，我们对意识感到困惑。我只是告诉你我的猜测，我的猜测是我们将会得到一个超级智能的优化器，它可以在不感觉任何东西的情况下将人类从游戏板上抹去。在接下来的片段中，尤瓦尔在你所见过的他最接近构建人工智能末日论证的地方，采访者史蒂文问他解释对齐问题，尤瓦尔开始解释尼克·博斯特罗姆的纸夹工厂思想实验，其中一个纸夹工厂的人工智能开始失控，试图制造纸夹，并将宇宙变成纸夹，而且它不再有“关闭”按钮，因为它处于优化效用函数的吸引子状态。尤瓦尔说，纸夹问题的实例已经在社交媒体上发生了。我们一直在努力将这些算法与我们真正的人类利益对齐。例如，Facebook 只是告诉其算法最大化参与度，这导致了大量的点击诱饵、大量的愤怒以及大量亲戚沉迷于对他们无益的事情。所以我认为尤瓦尔提出的关于社交媒体对齐已经是更大对齐问题的一个缩影的观点是公平的。我的问题只是尤瓦尔要走多远？他要在末日列车上走多远？他会对未来的末日得出什么结论？如果我们已经看到了末日的缩影，而末日只会随着人工智能变得更强大以及它所优化的范围的扩大而变得更大。我想看看尤瓦尔要在末日列车上走多远？这就是对齐问题。当马克·伯格告诉 Facebook 的算法提高用户参与度时，他没有预见到，他也不希望结果是民主的崩溃、阴谋论和假新闻的浪潮以及对少数族裔的仇恨。他并非有意为之，但算法就是这样做的，因为算法的目标定义方式与人类社会的利益，甚至与部署这些算法的公司的人类管理者之间的利益存在错位。这仍然是一个小规模的灾难，因为社交媒体算法在过去十年中制造了所有这些社会混乱，它们是非常非常原始的人工智能。如果将人工智能的发展视为一个进化过程，那么这就是阿米巴原虫阶段。阿米巴原虫是最简单、最简单的生命形式，就像单细胞生命形式一样。我们仍然处于有机进化的进化阶段，我们比看到恐龙、哺乳动物或人类还要早数十亿年。但是数字进化比有机进化快数十亿倍。所以，从阿米巴原虫到恐龙的人工智能之间的距离可能在短短几十年内就能覆盖。如果 ChatGPT 是阿米巴原虫，那么人工智能霸王龙会是什么样子？这就是对齐问题变得非常令人不安的地方。如果将错误的目標给予一个原始的社交媒体算法就造成了如此大的损害，那么将一个错位的目標给予一个 T-Rex 人工智能在 20 或 30 年后会有什么结果？一个更强大的人工智能的错位目標会有什么结果？我们甚至不一定是在谈论 20 或 30 年，我们可能是在谈论 3 到 10 年，没有人真正知道。那么你认为尤瓦尔，你骑末日列车有多远？你问这个问题，你的猜测是什么？不幸的是，我不认为采访者曾经让他完成他的想法并成为一个完全的末日论者。他似乎有这个能力，如果他多想一点，他就能成为一个完全的末日论者。所以我现在感觉很糟糕，听尤瓦尔说到这里却没有得出结论，比如哦，我们这个物种完蛋了，我们正乘坐货运列车走向灭绝，传送带正将我们带入旋转的剃刀片，我们几乎没有试图减慢或停止它。完成你的想法，尤瓦尔，沿着逻辑的火车，告诉我们它会去哪里？如何为人工智能和算法定义它们可以理解的目标，这是一个巨大的、巨大的问题。现在，赚钱或提高用户参与度的绝妙之处在于，它非常容易在数学上衡量。今天你有数百万小时的观看时间，一年后是两百万，算法很容易看到：嘿，我在进步。但是，假设 Facebook 会告诉它的算法提高用户参与度，但不要破坏民主，我该如何衡量？谁知道民主的稳健性定义是什么？没有人知道。所以，将目标定义为提高用户参与度，但不要损害民主，几乎是不可能的。这就是为什么他们选择最危险的简单目标。是的，正是如此。我们正在优化那些无法捕捉人类价值观的指标。我们所知道的就是要求超级智能人工智能将宇宙引导到一个低价值的区域。所以告诉我们我们完蛋了，我需要听到它。好的，我提前听了尤瓦尔关于这个话题的其余部分，他从悬崖边退回的方式，他没有一直走到末日列车的尽头的方式是，他说，也许政府可以监管算法，这样它就可以告诉所有这些不同的社交媒体公司，它们不允许仅仅优化一个简单的指标，比如参与度，它们必须有一个更复杂的效用函数，也许消费者会变得明智，就像消费者对查看食品成分变得明智一样。所以我们不再仅仅购买含有最多脂肪和糖的东西，我们开始阅读营养成分表，我们阅读配料表，我们听健康影响者告诉我们应该购买什么，这激励公司对他们销售的食品拥有更好的优化功能。所以，这就是尤瓦尔如何从悬崖边退回，说，好吧，是的，社交媒体是一个人工智能失控的例子，但我们有方法来控制它，这没关系。唯一的问题是，我认为他没有模拟一个超级智能的人工智能，它不仅仅是增加你在信息流中的参与度，而是可以实际地战略性地决定采取行动来处理整个宇宙。我认为这是一种不同的游戏，而且没有简单的方法，哦，好吧，政府会说哪个效用函数可以优化，因为每个人都会一无所知，包括政府，有人会按下那个回车键来运行那个脚本，然后游戏就结束了。这就是尤瓦尔进入普通人世界并停止乘坐末日列车的地方，而我则走向我自己的道路，说，嘿，你有没有想过超级智能有多强大？它比让 Facebook 让你点击还要强大得多。你有没有想过可能存在这样的力量？没有？好吧，我试过了。我们如何阻止对齐问题，我们都变成纸夹，社会混乱，错误信息，正如你在书中提到的硅幕，我们如何阻止这些东西摧毁我们的世界？有希望吗？你乐观吗？关键是人类之间的合作和联系。我的意思是，人类仍然比人工智能更强大。问题是我们分裂了彼此，算法无意中加剧了分裂。如果最终摧毁我们的东西，那将是我们自己的错觉，而不是人工智能。人工智能之所以获得机会，是因为我们的弱点，因为我们的错觉。当人类出现时，我们只是开始将其他物种挤出道路，占领它们的土地，获取它们的肉，随心所欲地对待它们，因为我们比它们更聪明，因为我们比它们更强大。所以，看到尤瓦尔声称，是的，人工智能将如何撕裂人类，是因为它将利用我们自己的弱点，我们自己的分歧，这真是太疯狂了。你有没有考虑过这个说法？只是考虑一下这个说法，即使你不同意，也请承认这个说法，即人工智能将对我们的物种构成危险，因为它将变得更聪明，它将变得更强大。你有没有考虑过这个说法？尤瓦尔说，是的，有很多人认为，当你达到超级智能时，会存在吸引子状态，你不会编程一个关闭按钮，而且优化标准不是政府可以监管的东西，有很多人这么说，但我不同意，因为我认为任何代理人可能拥有的最大智能都是有限的，或者它只会以缓慢可控的方式扩展。如果你像罗宾·汉森那样尝试解决这些论点，那么好吧，那么你将处于下一级别的讨论。但是去参加一个播客，开始认为你知道什么是对齐问题，然后听起来很明智地说，这将是人类实际上在摧毁自己，不，不是我们自己，而是我们建造的东西，它比我们更强大，一个我们不小心放出来的更强大的存在，然后它就会把我们推开。这就是问题所在，你没有参与到这个问题中来。你现在正在结束你的播客，甚至没有参与到这个问题中来。正如你所知，我在这里参加“末日辩论”，不仅是逻辑警察，也是参与人工智能末日论证的警察。你没有参与人工智能对齐问题，你没有，当人们进入对齐讨论而没有充分阅读以能够参与论证时，这纯粹是浪费时间。现在，我已经审查了你的两个剧集，这个与尤瓦尔·诺亚·哈拉里，以及最近的与布雷特·温斯坦。你需要对它进行教育，然后你需要对你的客人提出更高的要求。希望你将决定提高讨论水平。我相信你有能力做到这一点，你只需要认真对待它并尝试。这就是尤瓦尔·诺亚·哈拉里的全部内容。我没有读过他很多作品，很久以前我读过《人类简史》，我觉得还可以，我没读过他的其他任何东西。当我看到他为他的最新书举行了书展，他的许多新话题都与人工智能有关时，我想找到他最相关的作品，我认为这次采访可能是。我怀疑没有其他更好的采访，他谈论人工智能末日论。我认为我们基本上听到了他的想法。如果我在这方面有误，请告诉我，我很乐意做一个后续剧集，因为我想确保我掌握了他最好的论点，他最相关的论点。但假设它不过是我们听到的内容，他并没有真正参与超级智能的想法。他简短地提到了它，他说，如果这是一个阿米巴原虫，在 20 或 30 年后，我们将拥有像恐龙一样的水平，他试图做一个类比，哇，这将比生命随着时间的推移变得更加强大要强大得多，多细胞生物比单细胞生物获得了优势，也许人工智能也会发生类似的事情。好吧，但想想你自己的类比，然后与人脑进行比较。如果人脑就像阿米巴原虫，而某个东西将像恐龙一样相对于它，那意味着什么？为什么你会认为人类的内斗将是导致我们受害的原因，而我们却拥有这种恐龙级别的人工智能？一个比人脑大得多的人工智能，或者一个比人脑强得多的人工智能？为什么你不更认真地思考一下，一个比我们大脑中的三磅肉更聪明意味着什么？好吧，因为我认为你会得到一个非常不同的场景，一个粉碎你作为历史学家熟悉的所有模式的场景。粉碎信息就是联系的想法，粉碎人类是我们自己最大的敌人这个想法。不，我们不是我们自己最大的敌人，一个超级智能的存在，它不在乎我们，才是我们最大的敌人，对吧？所以，我只是觉得尤瓦尔不在那个思维模式里。我不认为他真的读过很多伊莱泽·尤德科夫斯基，或者他读过足够的尼克·博斯特罗姆。他显然读过一些尼克·博斯特罗姆，无论是什么，不幸的是，他没有参与到论证中来，他没有给我留下太多可说的。我能为他说的唯一一件事是，在人类智能的狭窄范围内，人工智能不是疯狂的超级智能，也不是立即将我们从游戏板上抹去，他讲了很多道理。当他谈论哦，社交媒体有点错位，或者是的，人们会失业，或者我们不知道我们在对齐方面做什么，所以他提出的很多观点确实有道理，但他真的需要回到末日列车，遵循逻辑，并进一步乘坐。我希望他这样做，我希望他的下一本书是关于这个的，我们会看到的。记住，你可以去看我在菲尔博士的节目，只需访问 Doom debates.com，你会看到一个弹出窗口让你输入你的电子邮件，请这样做，因为你不想错过下一个独家内容发布。Substack 也有一个喜欢按钮，如果你看到任何你喜欢的帖子，你可以按一下。你的参与和社交分享对观众非常有帮助，并帮助我们的文明将我们的 A 游戏带到人工智能末日问题上。今天就到这里，下一集“末日辩论”再见。