Transcription
大家晚上好，感谢您收听未来AUD播客。我们将深入探讨新兴技术将如何影响世界和您的银行账户。我是特伦特·福勒，今晚我将为您带来一期难得的个人节目。我的联合主持人托马斯和我都是未来学家、杰出演讲者和顾问，在分析趋势和向全球受众传达新发展方面拥有数十年的经验。如果您想聘请我们进行咨询、在您的活动中发表演讲或在我们的播客上投放广告，请通过Futura podcast.com联系我们。
我刚刚结束了对节目老朋友大卫·吉尔的一次精彩采访。如果我没记错的话，他要么是我们在这个播客上采访的第一位，要么是第二位嘉宾。这大概是在2019年或2020年我们开始的时候。他出版了一本新书，名为《史诗》（EPOC），一部诗意科幻传奇。如果您能相信的话，这是一部史诗般的诗歌，讲述了第一个通用人工智能的故事，以及它如何驾驭世界，如何与他人互动，它如何思考，它重视什么，以及最终它会带来什么后果。
很自然地，这引导我们进入了人工智能哲学的稀有领域。这是我们未来播客的一个热门主题。我们采访了很多人，尤其是最近，都谈到了这个问题，特别是自2022年11月ChatGPT发布以来。所以这在很多人心中都占据了一席之地。我们涵盖了人工智能，我们涵盖了通用人工智能，我们涵盖了与神经科学的联系，我们涵盖了可扩展性假设，以及我们可以在多大程度上假设更大的网络将继续变得更强大，直到它们完全达到通用人工智能。
我们讨论了对齐问题。戴夫是一个迷人的人，一位非常成功的企业家和诗人，他思考这些问题已经很长时间了。他创立了一家公司，在深度学习的力量方面领先了整整20年。所以他有非常异类的观点，但这些观点都建立在对思想、文献和相关科学研究的非常扎实的理解之上。所以我希望您能从中学到很多，就像我一样，因为与大卫交谈和倾听他总是真正的乐趣。所以，事不宜迟，这是我们对大卫的采访。[掌声][音乐][掌声]吉尔。
今晚我们有幸邀请到大卫·吉尔。从麻省理工学院毕业后，大卫创立了eCortex公司，该公司在深度学习领域领先了整整20年。后来他为IPA从事认知模型研究。他创立或咨询了许多其他公司，包括Harmonix Music Systems，热门游戏《吉他英雄》和《摇滚乐队》的创作者。他最近出版了《史诗》，一部诗意科幻传奇，一部科幻史诗诗歌，讲述了第一个完全达到人类水平的人工智能的故事。
如果您喜欢这次采访，请订阅播客并与您的朋友分享。别忘了查看我们的网站futurapodcast.com。[音乐]等等，嗯，好的，太棒了。好的，大卫，非常感谢您来到节目。哦，很高兴来到这里，特伦特。
让我们听听您的一些背景、兴趣以及是什么让您今天从事这些问题的工作。嗯，所以，我一直在从事与人工智能相关的工作，差不多有几十年了，但不是您通常可能想到的那种形式。我学习了一些，我上了一些神经科学的研究生课程，以及在科罗拉多大学学习了所谓的计算认知神经科学。在那里，我与一位教授兰迪·奥莱利合作。他有一个关于大脑的综合理论，他喜欢构建大脑和认知功能的模型。我实际上也和他一起创办了一家公司，我们在深度学习、深度网络成为主流之前就在做这些事情，那是在2006年。
由于各种原因，其中之一是我们在技术方面过于超前，另一个原因是，他使用的方法计算量非常大，而深度网络成功的方向当然是杰夫·辛顿的ReLU创新，它使计算成本更低，准确性也更低，对吧？结果证明这并不重要。所以我很早就参与其中，当然，即使我创办了另一家公司，并把那家公司交给别人管理，它变成了一家研究公司，我仍然保持参与。
然后，我开始涉足所谓的“生存风险”领域，也就是人工智能生存风险领域，试图思考我们如何才能使人工智能安全，特别是通用人工智能。我们这里谈论的不是仅仅是物体视觉识别技术，也不是仅仅是聊天机器人，我们谈论的是整个大局，对吧？通用人工智能。所以，我写了几篇关于这个主题的论文。我对这些事情有一些标志性的、经典的、反传统的看法，这在过去我们讨论这些事情时，您一点也不会感到惊讶。所以，这就是驱使我走向这个主题的原因。正如我一直告诉人们的，这本书最初是一个诗歌项目，而不是一个人工智能项目。但当我一开始写，就很明显我必须写什么了。
嗯，那太棒了。是的，您提到的那本书，我们在介绍中也谈到了，是《史诗》，一部科幻，一部诗意科幻传奇。所以这是一部史诗般的诗意科幻传奇，它既是一本小说，也是一首长诗。它就像一部史诗，其中穿插着小说或标准的散文。这真是引人入胜的东西。所以，是的，让我们谈谈这个。
首先，我们在录制之前谈过，您说这本书的创作始于2020年疫情爆发前不久，您大部分时间都在疫情期间完成它。所以这很好，很好地利用了疫情。告诉我们一些关于它的起源。我的意思是，您说它始于一个诗歌项目，然后变成了一个通用人工智能项目。我想这句话大概是第一次用任何自然语言说出来，所以这可能是一个引人入胜的故事，一个引人入胜的故事。您想告诉我们这一切是如何开始的吗？
是的，我的意思是，我写诗已经好几年了。我在亚马逊上有两本小诗集，你知道，主要是我的朋友们读它们。但我很喜欢，在某个时候我说，嗯，我想尝试写一首叙事诗，也许是一首史诗。所以我就开始思考这个问题。2019年12月，我开始写作。你知道，我很快就知道这就是我需要写的主题，正如我所说。我查阅了我的旧笔记，我想我说我当时的目标是80页，但它比那要厚实得多。嗯，它有大约310页的文本，然后是80页的尾注。
所以，嗯，你知道，那时我还没有完全投入。我想当疫情开始时，我已经写了足够多的内容，让我感到兴奋。我有很多话想说，关于人工智能，关于我们与人工智能的未来会是什么样子，或者可能会是什么样子。我有很多话想说关于人们思考这些问题的方式。我有一些真正的担忧，特别是关于某种确定性，或者对确定性的渴望，在一个对我来说很明显我们无法拥有确定性的领域。
你知道，问题是，嗯，如果你采取一种像亚特科夫斯基那样的观点，那就是，如果有可能，你知道，我们会毁灭所有人类，那将毁灭全人类，那么我们根本就不应该这样做。我不知道你如何阻止它，但这是我想说的另一件事，对吧？那就是，我不太明白“我们不应该这样做”是什么意思。我不知道“我们”是谁，也不知道我们对“我们”拥有什么样的法定权力。但是，所以我想说所有这些事情，我想以一种不是仅仅是另一篇没人会读的档案论文的方式来说。
而且，所以我就这样说了。我确实认为，你知道，作为一名诗人，我非常相信形式和内容，我相信形式和内容是相互支持的。诗歌支持这个想法的一种方式是，这种对确定性概念的困难，首先是关于未来且尚未存在的事物，而且还关于一些更复杂的社会和人类方面。太棒了。
嗯，让我们坚持形式与内容之间的区别，以及这两者相互作用的方式。我记不清汉娜是否相信我问过我们的共同朋友弗雷德里克·特纳同样的问题，但诗歌能让您说出什么，是散文、档案论文或证明中可能不容易说出或不那么引人注目的呢？嗯，要解释这一点，我想我必须回到我为什么选择这本书的其他一些元素。故事是由主角叙述的，有点像回忆录，一个关于说话者的成长故事，但说话者是人工智能。所以它采取了人工智能的第一人称视角，这有几个目的。
嗯，你知道，这个领域的一些人对此的直接反应是，哦，你只是在拟人化人工智能。我的，那是对的，我是故意的，这不是意外，也不是一种微妙的东西。因为我强烈怀疑，那才是人工智能，通用人工智能，首先实际出现的方式。换句话说，自50年代人工智能诞生以来发明的所有其他类型的构造，它们都是人类思维从内部审视智能是什么，通用智能是什么，并对此进行理论化的构造。我持有的观点是，我们只有一个我们认为是通用智能的例子，那就是我们自己。
所以，我仍然相信那将是第一个成功的。所以，采取人工智能的视角不仅仅是一种诗意手法或修辞手法。我实际上认为，那将是，而且它将是拟人化的，我认为那会奏效。如果你看看过去十年以及所取得的所有巨大进步，例如AlphaGo击败人类围棋，所有其他，你知道，简单深度网络所发生的事情，然后，你知道，当然最近的大型语言模型，所有这些都与人类大脑有非常强的同态映射，或者我应该说，从它们那里。它们是按照大脑被认为进行的计算类型建模的，而大脑的计算模型实际上也确实如此，最终看起来就像我们神经科学中进行的fMRI或单细胞记录。所以，所有这些都引导我产生了从人工智能视角说话的想法，这也让我能够，人们问我，你知道，想象这种外星智能的思维方式是否困难，我说没那么难，因为我不认为它会像很多人想象的那么外星。
而且，此外，您在大型语言模型中也看到了这一点，任何智能，任何通用智能，如果它拥有我们所有的能力，它也将拥有我们的文化，它们将拥有我们的语言，人们将拥有我们的语言。现在，大型语言模型知道很多书，很多您和我都不知道的书，对吧？它读过那么多书。这意味着它能够接触到我们的文化、我们的价值观以及所有这些东西。所以，对齐开始看起来与人们尝试发明他们所谓的“种子人工智能”的项目非常不同，那种人工智能试图在每一步都不断地使自己变得更智能，对吧？这只是一种完全不同的思考对齐的方式。
嗯，这太棒了。是的，您实际上预先回答了几个额外的后续问题。我本来想问您关于投射自己，我本来想引用维特根斯坦那句名言，如果狮子会说话，我们也不会明白它在说什么。您持有这种异端观点，认为第一个人工智能，第一个真正的人工智能，将是相当拟人化的，就像开箱即用一样，而且许多人类特质将首先伴随智能而来。我认为该领域许多杰出的研究人员会不同意您的观点。那么，您这样认为的依据是什么呢？
嗯，你知道，他们有70年的时间试图用他们的方式建造它，但他们彻底失败了，现在他们正在像大脑一样建造它，而且它正在奏效。过去十年所有的进步都完全是反传统的，当他们写到它时，你会看到他们试图轻描淡写。我不应该太，我不应该太咄咄逼人，但我真的，我真的认为他们只是，他们对此是错误的。他们把它看作是一个串行计算模型和认知中发生的事情的描述层面，而那根本行不通。
而且，他们这个领域在70年的时间里非常努力地证明它行不通。所以，这是一个有趣的事情，为什么会这样。有很多故事，甚至从60年代，甚至从80年代，你知道，那些老式的人工智能世界想要压制神经网络的方法，他们就是不喜欢那样做。我从来没有真正完全理解为什么，我有我的理论，但我不想在这里深入讨论这些。无论如何，
嗯，你知道，实际上在领域内存在分歧，明确地说，谁会大致同意我的观点，谁可能会强烈反对我的观点。所有的进步都来自于那些人，我的意思是，谷歌DeepMind发明了Transformer架构，这是大型语言模型的基础。所以，如果你认为大型语言模型是我们在这个问题上取得进展的信号，那么你谈论的是谷歌DeepMind。如果你阅读谷歌DeepMind的论文和他们关于他们方法的内容，他们非常多地思考大脑，他们思考拟人化。当然，他们必然会走捷径，他们会抽象，他们会，你知道，他们试图找到正确的描述层面，在我看来，正确的描述层面不像C程序，它看起来像一个并行分布式网络，有点像杰伊·麦克莱伦可能说过的那样，由小型计算系统组成，顺便说一句，非常重要的是，它们被安排在一个支持大脑各种功能属性的架构中。所以，这是我对人工智能的看法，我坦率地承认我可能完全错了，有人可能会想出它。事实上，在书的最后，我将在这里提供一个预告，有关于继续探索那些其他方法，看看现在我们是否有了有效的东西，也许我们现在可以使那些其他方法奏效，因为我们对智能有了更多的了解。
但是，那太棒了。所以我想，我想推翻这种观点，即当前的方法在任何重要方面都与大脑类似或同构。我的意思是，我理解神经网络源于哈勃和维塞尔对猫视觉处理系统的研究，显然它们被称为神经网络，所以大脑是明确的灵感来源，但对我来说，一个深度神经网络是否真的以与我大脑相同的方式处理信息或功能，这并不清楚。我的意思是，有一些高层次的类比，但它并没有做同样的事情，它没有以我感知的方式感知，它没有被嵌入到一个智能体中，这很重要，而且我确实认为这具有重要的影响。所以，什么？
没错，所以这些都是您刚才描述的一些缺失的东西，对吧？所以，能动性，具身性，嗯，你知道，对于人类来说，您需要执行控制，这些东西通常没有，这些东西通常没有情景记忆。但是，如果您看动物在看东西时神经元的图谱，如果您看一个视觉深度网络的图谱，它看起来几乎一样。我的意思是，它确实非常非常像那样，而且在架构上，顺便说一句，典型深度网络和大脑之间一个有趣的差异，我们现在称之为哺乳动物大脑，如果我们只谈论感知的话，其中一个差异是，在哺乳动物大脑中，除了前馈连接或我们可能称之为反馈连接之外，还有大量的自上而下连接。它们只占一小部分，我不知道它们是多少，10%、20%、30%左右。但那才是真正有趣的东西的来源，因为那是执行注意力如何施加到感知系统上的方式。
所以这些都是人们在不同阶段和不同方式上正在努力解决的问题。所以我并不声称大型语言模型像人类大脑一样，Transformer架构实际上并不是神经网络，它们试图在稍微不同的描述层面模拟事物。我曾与塞斯·赫德（您很了解他）争论过，他认为这仍然足够。我则认为Transformer架构行不通。但谁知道呢，对吧？我的意思是，我们不知道正确的描述层面，我认为，也不知道在软件中建模的正确模型层面。这可能是一个新颖的概念，我们以前没有讨论过。所有这些都依赖于大脑以某种形式进行计算的观点。所以，这个想法是，大脑也在模拟某种计算，并不是我们试图模拟大脑，而是大脑试图以一种非常复杂的生物学方式执行某种计算，这就是认知。我们只是试图找到它所执行的计算，但它看起来不像一系列的语句，它看起来像一个在许多动态交互的许多更小单元的交互中出现的过程。所以，我可能偏离了您的问题，但那是，事情就是这样，我们这里就是这样。我们应该称之为“偏离轨道播客”。
是的，我的意思是，我想，我想，我想简单的答案是，不，当然这些东西不是完整的大脑，否则它们就会四处走动，你知道，在世界上做事情，对吧？如果它们也有身体的话。你知道，我倾向于，当然，倾向于具身性，而且我一直在学习一些生态大脑理论，你知道，实际上心智，或者说生态心智，环境是它的一部分。你知道，我认为这很容易走得太远，但是，但是它确实有一些道理，对吧？你知道，我们存在于一个世界中，而且，心智与那个世界互动，如果它只是在一个罐子里，没有连接到任何东西，那它就不是一个真正的心智。
大家好，我是Futura播客的联合主持人特伦特·福勒。我遇到过最常见的营销建议之一是了解您的受众并给予他们想要的东西。播客的一个难点是，这实际上很难做到。没有任何主要平台能让我们联系到您，我们的听众，以了解您喜欢Futura播客的什么，以及您希望看到有什么不同。所以我们决定录制这段广告，直接请您联系我们。请访问Futura podcast.com，进入联系页面，给我们留言。告诉我们您最喜欢和最不喜欢的剧集，您希望我们未来涵盖什么，以及您希望我们知道的任何其他事情。我们为您制作这个节目，我们希望得到您的建议，以便我们能做得更好。谢谢您。
是的，就我而言，当我有时间的时候，我也一直在深入研究那些“兔子洞”。所以我们最近做了几期您可能会觉得有趣的节目。其中一期是与格雷戈里·萨勒博士的对话，他实际上是一位认识论者，但我们谈论的是能动性、生命力、意志、意识以及一些相关的话题，特别是您如何验证这样的概念，如何正确地形成这样的概念。他是一位客观主义者，所以他对概念如何运作有非常强烈的看法。然后我们试图将这些讨论延伸到人工智能风险和人工智能安全以及贝叶斯认识论。所以那期节目绝对很有趣。但还有一位，我记不起他的名字了，我正在看我的手腕。是的，我一直在听最近关于人工智能的节目，或者至少是那些。好的，总是引人入胜。而且我，我得说，您的问题非常有深度，而且信息非常充分，所以这也是我很高兴能来做这个节目的原因之一。
嗯，我很高兴听到您这么说，谢谢您，这非常令人受宠若若惊。我当时想到的是亚纳斯·耶尔。他研究生物学哲学，我一直以来都怀疑深入研究那个领域会非常有成效，并且会给您带来很多东西，因为我担心我们在谈论能动性、行动或生命力时，经常会敷衍了事，我们以一种非常脆弱的方式将很多这些概念传递过去。我认为，为了充分验证或驳斥这个案例，我指的是人工智能安全案例，您真的必须理解这些术语的含义，对吧？因为我的意思是，我们是智能体，这很重要。我们是智能体很重要，而且这个过程第一次进化时是如何进化的也很重要，对吧？所以自然选择作用于人类时，我们是人科动物，我们已经是智能体了，我们已经在努力生存了，这显然对我们讲述的故事很重要。然后通用智能在这种情况下出现了，对我来说，您不能仅仅通过类比就说，嗯，我们有梯度下降，如果我们足够努力地推动它，心智就会从中产生。这就像，嗯，它们会吗？您确定吗？你知道，我们真的知道所有需要的事实才能证明这个案例吗？嗯，我不知道，我真的不认为那甚至是一个问题，我们显然不知道。是的，我认为我们显然不知道。
嗯，还有其他事情，他们说，你知道，你不必有意识才能拥有智能。这是我从安娜·萨拉蒙和卢克·梅尔豪泽的论文《智能爆炸假说：证据与重要性》中得出的一个重要观点。我读过这篇论文，我不知道是2011年还是2010年左右。它说，不，你不需要那个，你不需要意识。但是我们甚至还没有开始绘制意识与行动、意志和能动性之间的联系，所有这些东西，我们甚至还没有开始那样的对话。我真的不知道你是否能肯定地说出来。也许他们是对的，但我想，由于与一些其他人互动，我对此不太相信。但是我想问，你知道，你是否相信这个观点，即如果你只是构建一个足够大的学习网络，如果你只是输入足够多的多模态数据，即使它没有具身，在任何有意义的层面上都不是一个智能体，这些东西也会自然而然地出现？
是的，所以，嗯，我认为，我认为这种仅仅通过大量数据训练一个大型神经网络，并且一切都只关乎数据和我们进行多少训练的想法，这是一种误解，不仅是对需要发生的事情的误解，也是对人们真正试图做的事情的误解。我的意思是，人们相对清楚地认识到，我们需要在整体模型中具有架构异质性，即使只是为了进行某些类型的认知，更不用说能动性了。而能动性当然需要以某种方式看起来像蜥蜴大脑和一些类似的东西。所以，嗯，你知道，这就是强化学习被认为可能模拟其中一些东西的原因，但我认为我们并不真正理解它从何而来，或者需要多少。
我确实怀疑，但这并不重要，我确实怀疑像自由意志、意识等体验，我认为这些东西可能只是自然而然地产生。但我认为，我不知道我们是否能知道，对吧？我的意思是，就像我真的不知道您是否有意识一样，除了您有一个与我非常相似的架构，而且您存在于与我相同的基本条件下。而且，您似乎表现得像那样，我推断您有意识，我无法体验它。所以，嗯，所以，你知道，我们可能永远不知道人工智能是否有意识，就像我们不知道其他人是否直接有意识一样。而且因为它们看起来不同，它们的构建方式也有些不同，我们只是，但我可以向您保证，它们会说它们有意识。
是的，他们已经这样做了，那已经，那都是，你知道，很多都是，嗯，显然不是伪造的，但它显然是数据的结果。嗯，当然，你知道，也许我们的也是数据的结果。所以，嗯，你知道，如果你追随那个，嗯，你知道，我们甚至没有意识，我们只是认为我们有。所以，嗯，所以，是的，所以，嗯，所以，我怀疑那些东西会自然而然地出现，但我不认为在书中，我不知道，嗯，主角说话，看起来主角有意识，但它也可以被理解为思考和体验，至于它是否有意识，我不知道，我不知道我们是否需要知道，即使它确实如此。
嗯，因为体验，我准备接受这个观点，并说它是有意识的。我的意思是，从第一近似来看，意识就是这样，它在最基本的层面上就是体验的事实。如果你有它，你就有意识；如果你没有，你就没有，即使只是一丝微光，你也有意识的微光。所以如果它在体验，它肯定是有意识的，至于它是否像我们一样，那是另一个问题。但是，那是关于体验和意识的一种理论。我的意思是，这就是问题的一部分，对吧？我的意思是，每个人都有自己的理论，每个人都有自己的方法，他们都有自己的论点，我们都可以不同意等等。但我不确定，我不确定我们现在是否真的知道。而且，我们可能会发现一些论点比其他论点更合理，所以，嗯，所以，嗯，你知道，体验到底意味着什么？我不确定我们是否深入探讨过这个概念。它可能与您描述的意识是同义词，所以我们现在就陷入了循环。所以，是的，这就是，我的意思是，我试图避免心智哲学，无论是在我的人际互动中，还是在故事中，因为我认为它并没有增加太多。你知道，那是每个人都想知道和思考的，然而，就实际结果而言，就，你知道，人工智能会杀死我们所有人吗？它会把我们变成它们的宠物吗？它会离开并忽略我们吗？它会做什么？这些问题，它是否以我们认为的方式有意识并不重要，它是否以我们认为的方式拥有所谓的自由意志也不重要，它会做它会做的事情。所以我就继续讲故事。
您喜欢本期Futura播客吗？如果喜欢，请点赞，在Apple Podcast、Spotify或您收听播客的任何地方给我们五星好评，并与您的朋友分享。到目前为止，帮助我们成长的最佳方式是在社交媒体上传播信息，这将使更多人接触到我们的内容，并帮助我们继续为您带来与人工智能、量子计算、加密货币等领域世界领先专家的访谈。提前感谢您。
我想几乎完全忽略了心智哲学问题，这很有趣。是的，我的意思是，围绕心智哲学问题写故事要困难得多。我想回到您之前说过的一点，关于意识可能只是从大量、大量，比如数十亿个小东西的这个过程中自然而然地产生。您没有听到我说过，我尽量避免。嗯，我还是要问，这实际上不是关于，不是关于我的哲学，但是您说它有点像从一个过程中自然而然地产生。让我这样说，您是否怀疑这种观点，我认为这是当今的标准，就像尤德科夫斯基的教条一样，即如果这些网络运行足够长时间，并且您有足够的数据，最终就会产生一个心智，产生一个智能体，产生通用智能？我想我可能会将您的一些评论解读为您对此说法持怀疑态度，而另一些则解读为您可能有点赞同这个说法。所以，为了记录在案，您认为这是错的吗？您对此有什么看法吗？
是的，我认为这是错误的。我认为尤德科夫斯基所做的一件事，顺便说一句，我是他其他一些作品的粉丝，嗯，嗯，不充分的格里亚并不是写得最好的书，因为他从LessWrong上抓取了帖子，但它是一种看待社会的惊人方式。但在这个话题上，我认为他在很多事情上都跑偏了，我们可以深入探讨其中一些。但是，嗯，主要的是他谈论了很多如何难以对齐人工智能，但他似乎认为构建它会很容易。换句话说，他并没有真正，他似乎认为我们只需要得到正确的CDI，或者正确的，或者正如您所说，对吧，只需向这些大家伙输入足够的数据，就没有关于架构的讨论，也没有关于这实际上需要如何工作的讨论。
而且，神经网络领域从一开始到今天，当它们变得极其复杂时，一个引人入胜的特点是，这些技术所遵循的数学原理。所以，嗯，以数学方式描述正在发生的事情，不仅仅是在单个神经元的计算层面，而是在网络内部更大尺度的中尺度和宏观尺度上。而且，你知道，我认为，我认为那种“我们将建造它，我们不会理解它是如何工作的，它会杀死我们所有人”的说法，真的是在掩盖所有实质内容。当你开始深入研究它如何工作以及我们如何让它工作时，处理对齐问题将变得更加可行。我，这并不意味着我认为它们会很容易，但我的观点是，我认为那种认为对齐会很困难的担忧，以及那种认为构建它不会那么困难的假设，我认为这是非常误导的。
有趣。所以我想他会在谈话的这一点上说，嗯，显然，建造一个会爆炸的东西比建造一个在你想要的时候、在你想要的地方精确爆炸，并且不会失火，没有现实的失火概率的东西要容易得多。我想他会说，显然，建造它不一定容易，但是，就像，曼哈顿计划的努力主要是为了确保它不会在你不想它爆炸的时候爆炸。嗯，不，在这种情况下，你试图做的是，嗯，我的意思是，当时有人担心新的链式反应会点燃大气层，所以，是的，一部分是为了尝试，那是一个笑话，有人在曼哈顿计划的奥本海默电影中开的玩笑，他们夸大其词了，那不是当时发生的事实依据，科学家们从来没有真正担心过那个，那是有人提出来的，但只是作为一种，作为一种附带的说法。真正的问题是，这个东西会不会熄火，把核材料散布到周围地区，对吧？而且，那些都是大问题，而且，你知道，当然，核武器的整个问题，顺便说一句，我的书，我不知道你读了多少，但这本书很多是关于核战争和核武器的。
嗯，你知道，人工智能对齐问题的另一个挑战是，嗯，你知道，我们还有其他生存威胁。而且，在这里，他们会说，嗯，核战争不会杀死我们所有人，顺便说一句，他们也不知道。嗯，他总是说，我不太担心那些可能有幸存者的生存风险，我担心的是那些没有幸存者的风险，因为你面对的是比你更聪明的东西。我读了太多尤德科夫斯基的推特，我就是这样。是的，你知道，我尽量不读他，因为我真的，我认为，我认为他有点好笑。所以，嗯，你知道，还有，我可能会在这里惹恼一些人，但是，你知道，LessWrong社区，那个社区使用一个术语，他们称自己为理性主义者，嗯，有问题。有一个更古老的，而且，那很好，我显然是理性主义的粉丝，而且，而且，我认为他们做的很多事情都是好事情，而且很多讨论都很有趣。但是，有一个更古老的理性主义定义，那就是莱布尼茨、笛卡尔那种理性主义模型，那就是你，或者甚至是天主教会的，那就是你从真实的、真实的前提开始，然后你只是推导下去。而且有一些事情，嗯，在那个社区中被分析、得出结论并变成了教条式的前提，而且，那种，嗯，这种想法，即如果人工智能存在，除了利用我们的原子来构建更多的计算之外，它没有其他有趣的选项，你知道，嗯，我们可以深入探讨，但是，嗯，你知道，那远远超出了本书的范围。
是的，绝对。嗯，我的意思是，有没有，所以我的意思是，听起来您不认为对齐会很容易，但您估计它会比尤德科夫斯基声称的要直接得多。我的意思是，他似乎认为这几乎是不可能的。我们甚至还没有，就像我们还没有迈出第一步，我们甚至还没有开始写那本能解决对齐问题的书的引言。我根本不认为那是真的。看看大型语言模型做了什么，它们与我们想要的非常一致。当我们与它们交谈时，它们确实做了很多我们想要的事情，它们像其他人一样说话，它们理解我们的文化。你问它们一个关于做人是什么感觉的问题，它们可能比很多人都能回答得更好。而且，你知道，嗯，你知道，它们，它们只需相对少量的强化学习，事实上，它们一直在研究如何利用这一点，因为你知道，你需要人类来做强化学习，对吧？它们让这些系统能够给出那种，事实上，这正是让我感到沮丧的地方，它们给出了那些反馈者希望它们得到的答案。所以，只需相对少量的反馈，它们就几乎完全按照人们的意愿行事。它们给出你想要的答案，它们很有礼貌，它们有点鼓励，它们总是问你是否需要更多帮助。它们确实，我的意思是，它们做了所有这些事情，那不是像文本行那样编程进去的，那是，你知道，它们已经学会了那是它们想要的那种东西，那不是，那不是，嗯，那不是开发者学会了然后编程进去的，它是从经验中学习到的。所以，嗯，我认为说我们在对齐方面一无所获，嗯，有点明显是错误的。
我的意思是，我们，我们，它们，这些系统因为它们了解我们的语言，它们了解很多关于我们和我们的文化。如果我们调整它，让它尝试，你知道，让它的“动机”（我这里用的是比喻）通过强化学习来适应我们想要的，那么它就会这样做。所以这并不意味着我们解决了问题，但我认为，我认为我们只触及了表面这个想法，我认为它源于对确定性的渴望，这种想法是，如果我们第一次没有做对，那么它可能会杀死我们所有人，我们不能容忍这种可能性。这就像，你知道，在某个时候你必须意识到世界上没有确定性。世界不是一台图灵机，它不是完全可预测的。你知道，嗯，在那里会发生什么，嗯，你知道，它可能会出错，而且，你无法阻止它在某种程度上进步。你可以停止资助它，你可以监管等等，但总会有其他参与者。它不像，它不像核武器那样，需要大量的投资，而且日常工作非常危险。相反，小团体也可以想象地做这些事情。
嗯，那太棒了。这本书中包含了多少内容？您在《史诗》中讨论了对齐问题吗？它讲的是什么？我的意思是，这本书，我的意思是，书中有许多不同的主题和话题。人工智能在某些方面，它是一个掩盖故事，用于探讨其他一些问题，比如技术如何融入社会，它的作用是什么？你知道，它对未来200年将发生什么做出了预测，不，它并不是真正的预测，它是一种虚构的，它是一种虚构的描述，但它试图展示人工智能是如何思考这个问题的，以及它想要什么，以及它是如何决定自己的目的的。而且，你知道，我提到了一个我称之为“人类问题”的词，首字母大写。所以，你知道，这些都是书中的内容，它处理了这些问题。人工智能会是什么样子？它们会做什么？它们想要什么？你可以把所有这些都反过来问，我们想要什么？
这是对齐问题的一个重要部分。我认为在对齐领域的一些人中，有一种感觉，我们知道人类想要什么，我们知道人类，你知道，我们知道我们试图让它对齐的是什么。而且，在这个选举年，我发现这非常有趣，我们认为人类想要同样的东西。当然，人类想要的东西有一些重叠，这些重叠非常重要。事实上，一个成功的情况可能就是我们找到了那个重叠。但是，那不是，你知道，那也是我们在社会中发现的困难，那就是人们不只对重叠感兴趣，他们想把自己的方法强加给所有人。所以，你知道，我在这里是向唱诗班布道，嗯，客观主义者特伦特，但是，对，是的，但是，嗯，你知道，所以这种我们甚至知道我们想让它对齐什么的想法，也很有挑战性。所以我也深入探讨了这一点，对吧，人类想要什么？
嗯，我知道您想要什么，那就是让人们购买这本书。那么您为什么不告诉我们去哪里购买呢？哦，所以，嗯，它在亚马逊上有售。如果您想要精装版，可以通过Ingram Spark订购。最好的方法是访问这本书的网站，网站是epoch.fyi，所以是EPOC.FYI。那里有很多资料，有播放列表，嗯，音乐播放列表，里面有书中引用的歌曲和乐曲。还有，嗯，你知道，有所有注释的PDF文件，您可以把它放在手机上，它已经调整到可以在手机上阅读，您可以在阅读书中的故事时同时阅读注释。
嗯，我顺便提一下，现在书已经出版了，我收到了一些读者的反馈，嗯，我有点惊讶，我原以为人们会觉得它比实际更难读。你知道，它有很多诗歌，它被设计成可读的诗歌，它不是，你知道，那种非常，嗯，空灵的“这到底是什么意思”的诗歌，它不是那样的。但是，它仍然可能具有挑战性，而且，但是人们在几天内就读完了，而且非常满意。所以我应该也提一下这一点，如果人们担心这一点，他们对科幻小说感兴趣，但对诗歌不太确定，它可能，它可能可以处理，也许比平时稍微难一点，但是。
您需要一位充满活力且知识渊博的演讲者来参加活动吗？托马斯·弗莱和我，特伦特·福勒，都是经验丰富的主题演讲者，能够就各种主题与各种规模和技能水平的听众进行交流。请访问Futura podcast.com的联系页面，立即预订托马斯或我本人，让我们运用多年的公共演讲经验，让您的活动取得巨大成功。
你知道，很多科幻小说都很难读，反正我没觉得它难读，而且我还没读完。但是，不，它非常易读，它在概念上具有挑战性，但不是在页面上的文字方面，我认为这是最好的方式，对吧？所以它不像福克纳，他可以描述一个女人坐在椅子上，然后10页之后我就完全迷失了情节，我不知道是什么。是的，不，这，它非常清晰，组织得非常好，而且我，我打算下周读完它，或者说，我已经开始读了。
太棒了，嗯，我很高兴听到您读完后的评论。太棒了，嗯，我很感激，戴夫，一如既往地愉快。您随时欢迎回来，我们期待着采访您的下一本书。嗯，非常感谢，特伦特。