所以，从根本上说，人工智能系统是基于数学的，对吧？嗯，所以你需要创建一个系统，这个系统不应该是由无生命的物质构成的，理论上也可以由有生命的物质构成，通过使用生物体等来创造一个人工智能系统，但你必须有一个关于如何做这件事的模型。好吧，这正迅速脱离正轨。欢迎来到“末日辩论”。我是 Lon Shapira。今天我将对 Yobst Landree 在“地缘政治与帝国”播客上的一次近期采访做出反应。Yobst，顺便说一下，他的名字拼写是 J-O-B-S-T，是一位德国数学家、计算机科学家和企业家，以他对人工智能的批判性观点而闻名。他是哲学家 Barry Smith 的合著者，共同撰写了 2022 年的书《机器永远不会统治世界：无畏的人工智能》，该书反对人工智能将永远达到类似人类的智能或意识的观点。Lon G 的工作涵盖数学、计算机科学和哲学领域，他在这些领域探索机器学习和人工智能的理论极限。Lre 在学术界和工业界都有背景，曾在实际人工智能应用方面进行了大量工作。除了写作，他还为关于人工智能对社会、技术和伦理的潜在影响的辩论做出了贡献。当我们深入研究这次采访时，你会发现他很快就提出了他的核心论点，这与构建一个能够低级别、精细地复制人脑的软件系统在物理上的难度有关。这是他在书中写到的，并在这次播客采访中谈到的一个巨大的症结所在。我不认为你会对 Yobst 的观点非常信服，但我和他意见不合的具体原因可能很有趣。所以，让我们开始吧。你谈到了人工智能通用智能 AGI，以及为什么出于数学原因，它是不可能的。像埃隆·马斯克之流的人告诉我们的这些事情，关于机器统治世界、变得有意识的想法，对吧？所以，请告诉我们你一直在研究的论点，以及为什么我们可以稍微放松一下，为什么天网不会像我喜欢说的那样变得有自我意识。是的，所以，基本上，当我开始从事人工智能工作时，我只是把它看作是一种应用数学，它确实是。你知道，它基本上是一种处理数据、在数据中寻找模式并为了某些目的利用这些模式的形式。一个原因是寻找新的模式，就像在天体物理学中那样，例如，几十年来一直使用基于人工智能的方法。另一种用途是自动化重复性过程。所以，当你有一个具有规律模式的过程时，你可以用人工智能来识别模式并自动化它。这是那些试图低估人工智能潜在力量的人们常做的一种举动。他们基本上说，看，它只是在推断一个模式，仅此而已。这有点像人们说，看，它只是在说英语。就大型语言模型而言，它只是给你一个听起来不错或流行的句子。它只是在做统计，它只是给你一些统计上可能的东西，它在进行插值。当他们发表这样的声明时，具有误导性的是，他们定义了一类事物，而这一类事物实际上包含强大的、可怕的超级智能。例如，如果它只是在说英语，那么，如果它是一个超级天才，用英语告诉你统治世界的计划呢？那只是在说英语。同样，在 Martin Cado 的那一集里，当他说“是的，这只是统计推断”时，他的主持人 Nathan Leben 评论了超级智能地设计细胞行为的想法，这是一个极其复杂的系统，设计细胞行为。但 Martin 的回应是，“哦，是的，设计细胞行为，你知道，那也是统计推断，只是更多的统计推断。”所以，这是很多人用来低估人工智能的一种非常狡猾的手段，当他们说它只是属于这一类时，但这一类可能变得极其强大，而他们似乎并没有明确承认这一点。他们认为他们通过将人工智能归入这一类来成功地低估了人工智能的能力，或者就 Yobst 在这里所说的而言，它只是在推断用于天体物理学的模式。好吧，那么，如果解决天体物理学是它能做到的事情，那是否符合你的定义？解决天体物理学难道不是一种超人的能力吗？是的，它没有这种能力，但不是因为你对推断天体物理学模式的定义对它能做什么有任何有意义的限制。你只是偷偷地引入了它有限的这个想法。你的意思是，哦，它非常有限，它并不可怕。但你说的是，它只是在推断模式，就像你不是在承认一个超级智能的模式推断者将能够做什么。你只是在沟通不准确，你试图沟通人工智能不是什么大问题。这就是人工智能，这就是我从 1998 年开始的，当我开始我的第一个博士后职位的时候。从那时起，它一直在不断发展。我想那是在第二次人工智能寒冬期间，现在我们正处于第三次人工智能浪潮，它始于 2012 年，当时谷歌发布了一个算法，他们说该算法可以自己识别猫的脸，这是错误的。但尽管如此，它还是引起了相当大的轰动，然后发生了许多其他轰动事件，以创造我们目前正处于的人工智能浪潮。人工智能的狂热，相信人工智能系统将发展出意识和智能。我实际上并没有对人工智能发展出意识做出任何声明。我认为意识和智能之间的关系有点模糊。我怀疑它们是正交的。我怀疑你可以获得非常高水平的智能，同时避免意识，无论那意味着什么。但我对这个话题感到困惑。它们有可能携手并进，但我认为更精确的说法是，我的主张以及我认识的许多人的主张是，人工智能的智能即将到来，而且很快就会到来，不一定是意识。那么，为什么这是错的呢？所以，从根本上说，人工智能系统是基于数学的，对吧？嗯，所以你需要创建一个系统，这个系统不应该是由无生命的物质构成的。理论上也可以由有生命的物质构成，通过使用生物体等来创造一个人工智能系统，但你必须有一个关于如何做这件事的模型。好吧，这正迅速脱离正轨。人工智能系统是基于数学的，对吧？嗯，是的，还有什么呢？整个宇宙都有一个巨大的数学模型，对吧？当我们理解宇宙时，我们就是在理解宇宙的数学。所以，每当有人出来说“但它是用数学构成的”时，就像，嗯，是的，我们不是在谈论认识论本身是如何运作的吗？我们不是在谈论用数学来谈论我们正在谈论的事物意味着什么吗？然后他继续说，它不应该是无生命的物质构成的。我的意思是，我们几百年前就发现，像动物这样的有生命的东西，或者像你身体的器官、你的手响应你的意愿，当你深入到足够低的层面时，你不会只得到有生命的东西，然后又是有生命的东西，对吧？在足够低的层面，突然你会得到无生命的物质，对吧？所以，整个生命力或精神或泛灵论或任何你想称之为的概念，都是一种高层现象。它不是内置于物理定律中的。你不会在原子或怪癖或低层面看到它。你只会看到它作为某些无生命低层配置的属性。所以我还不知道 Yop 的想法是什么。这是我第一次听到 Yobs Lre 的声音，这是我第一次接触他，但这是一个非常糟糕的开端，如果他已经开始谈论无生命的物质和数学的话。所以，你基本上必须知道你想做什么，你想采取哪些步骤来设计人工智能。这意味着最终你需要描述人工智能的方程，以及数学方程。我们可以有很多，它们非常有用，但它们的范围是有限的。所以，数学是一门范围有限的科学。这非常非常难以理解，因为对我们的大多数同代人来说，数学和基于数学的科学似乎已经彻底改变了一切。就像自工业化以来的现代物理学，已经彻底改变了我们之前生活的自然生物圈，变成了技术圈。而且这是如此令人印象深刻，我们可以通过 Zoom 进行这次谈话，你可以乘坐飞机，我可以在 10 小时内拜访你，我可以去墨西哥见你等等。这真是太令人印象深刻了，而 200 年前需要五六个星期。而且，医学进步也同样令人印象深刻，人们相信对自然的建模没有限制。没错，这正是我相信的。我认为我们已经看到了极其有力的证据证明了这一点。但继续说。实际上并非如此。实际上，在物理学的应用中，我们已经用完了 1925 年量子物理学被 Schrödinger 或 26 年正式化的伟大发明。我们已经用完了很多，而且在物理学领域已经停滞了 100 年。我们发现的发现越来越少。但我们仍然在技术上应用 1926 年之前的发现。所以，我们现在面临技术进步的放缓。但对同代人来说，这还看不出来。他们对过去 20 年的狂热，我的意思是社交媒体等等。他们不能，因为他们不知道物理学中发生了什么，他们无法预料到我已经看到的东西，即我们现在进步有限。即使你假设我们对物理学的理解永远不会再好转，我们只是在物理学上受阻，这仍然允许大量的进步。因为大多数技术进步都是从物理定律中抽象出来的。例如，如果我想构建另一个软件算法，我不必担心我的计算硬件的细节。这是软件方面的创新。如果我们能更好地理解物理学，也许我们可以制造更快的计算机芯片，但这不会影响我的软件创新。我的意思是，它可能会为我的软件创新效率增加一个乘数，但我的软件创新即使没有这个乘数，也可能已经呈指数级增长了。所以，我认为物理学是所有创新的瓶颈的观点被大大夸大了。我认为物理学是我们应该做得更好的一个领域。是的，确实有一些停滞，但这是因为边际收益递减。如果我们了解了万物理论，并完全理解了物理学，那么很有可能这实际上并不会极大地改善我们技术进步的总和。很有可能我们已经获得了我们这个物种从物理学进步中获得的绝大部分回报，而之后的所有进步都将通过工程来实现，而这些工程大多使用我们今天（2024 年）已经理解的物理学水平。所以，这里又有一个来自 Yobs 的令人费解的地方。我认为我们在一些非常基础的信念上很快就会分道扬镳，但让我们继续追随他的思路。我为什么要这么说？因为我想让你和观众理解这种对数学的狂热从何而来。它来自于我们在过去两三代人中看到的这种快速发展，人们现在只是线性地推断它，好像它会继续这样下去。但事实并非如此。是的，它正在发生。为什么会这样，这非常有趣。这主要是来自物理学的论点。所以，当我们谈论物理学和技术时，我们总是想到物理学的积极成果。当然，一个非常积极的成果是核裂变，因为我们可以拥有核电站。我们也可以拥有原子弹，这不太好，但我们可以取消它们的计划。然后还有许多其他成果，比如量子力学也带来了非常积极的成果，比如激光和晶体管等等。但物理学也有负面成果。主要的负面成果是在热力学中取得的。热力学是物理学的一个分支，它主要是关于……你知道的，它有主要的定律，热力学第一定律和第二定律。很多人在学校里都听说过，但大多数人没有意识到，热力学也限制了统计力学，限制了物理学。这是一个来自物理学的负面结果，而且这种负面结果并没有得到充分的重视，尤其是在这种关于进步的狂热中。我对“积极物理学”和“消极物理学”之间的区别持怀疑态度。确实，物理学、计算机科学和各种领域的某些见解是关于什么更难或不可能做到的。但我不会轻易地将其标记为“消极物理学”，因为如果你开始获得关于你不能做什么的见解，你可能会成为一个更好的工程师。因为工程过程就是搜索设计空间的过程，如果你通过“消极物理学”获得了一定的见解，告诉你，嘿，别费力搜索这个设计空间了，因为它行不通，比如它违反了能量守恒。如果你开始划掉你搜索指数级大小的搜索空间的大部分，当你试图搜索设计时，你就会成为一个更好的工程师，因为你将能够更容易地缩小到好的设计空间。所以，我不会轻易地称限制定理，比如光速、能量守恒、热力学第二定律为“消极物理学”。它们只是更多的物理学，是的，它们是界限，但它们可能是积极的，因为它们有助于提高你的工程能力。这种负面结果表明，自然界存在一些系统，它们具有本质属性，这些属性与它们的本质密切相关，阻碍了对这些系统的数学建模。这就是我们提出的核心论点：人脑是一个复杂的系统，这样的复杂系统，在热力学的意义上，由于数学的结构原因，无法进行数学建模，它们与我们用数学建模现实的方法不兼容。我认为没有任何已知的定理会显著阻止对人脑等系统的建模能力。热力学第二定律说，建模它将非常困难，可能需要大量资源并产生大量废热，或者它可能说我们无法在非常低的层面上进行实际建模。同样，如果你认为大脑是一个量子计算机，虽然它显然不是，但有些人是这么认为的，那么量子理论告诉你，你无法完美地复制一个量子态。这是一个限制定理。但我们有更强的定理告诉我们，你可以拥有一个计算系统（如大脑）的副本，并且在计算目的上具有任意高的保真度，而不必担心任何这些低级约束，因为从根本上说，大脑是数字化的工作。当神经元放电时，它们只需要达到某个阈值就能使其他神经元放电，这与计算机内部的数字逻辑工作方式类似。如果你没有达到完美的阈值，那也没关系。大脑并不是在这些放电极限的百分之百小数位上编码信息。它在计算方式上是一个根本上数字化的系统。我不能百分之百确定地说，但我认为这压倒性地可能是正确的，就好像为什么它不是那样一样。为什么进化会选择最简单的方式，让大脑数字化，这与我对大脑是量子计算机的怀疑是一样的。就像，为什么进化会这样做？人类所做的任何事情都不需要我们成为量子计算机。就像你真的在用量子理论来让人们摸索基本的认识论，基本的笨拙的科学，就像你不需要这种复杂性一样。你不需要这种过度设计的模拟热力学计算机架构，你只需要一个简单的数字计算机就可以做到。所以，这是我为什么认为大脑的架构就是一个经典的数字计算机的证据之一。另一件证据就是看看所有其他动物，我们正在越来越好地模拟它们，我们没有遇到任何重大问题。所以，当它涉及到人类时，这种我们模拟起来没有问题的基本架构突然发生了一个巨大的转折，这会很奇怪，就像在过去一百万年里有什么东西进化得如此不同于其他一切一样，不像……你知道的，最多只有一兆字节的基因差异。这只是……我不能完全排除它，但与一个相当自信的假设相比，这似乎是疯狂的猜测，即它只是一个运行特定算法的经典计算机。所以，Yobs 声称不能用数学来模拟人脑，这似乎是深深的困惑。不是我百分之百确定，只是我看到的所有证据都指向一个方向。我几乎没有看到任何证据可以怀疑大脑的任何东西。我想我看到的唯一证据就是我们还没有完美地证明我们可以拥有一个超级人工智能或大脑的完美副本。所以，直到被决定性地证明我们可以工程化一个大脑副本或大脑的完美扫描，那么他仍然有机会说他的论点是合理的。所以，这就是为什么我不能百分之百确定，但我认为这是一个薄弱的论点。这是这本书的核心论点，现在我给你机会提问，然后我可能会详细说明一下。是的，我认为你刚才做的最后一个论点，这有点说服了我，关于你说的他们不能，因为他们谈论的是，你知道的，雷·库兹韦尔之流的人，基本上获得了我们灵魂的访问权。他们谈论奇点，并说他们能够复制你的灵魂并上传你的意识，对我来说，这与你的灵魂、意识、你的感觉是同义的，然后将其放入数字计算机并永生。我不认为这是可能的。我觉得只有上帝才能访问你的灵魂。没有任何技术能够拥有这种能力。这有点呼应你所说的，他们不能建模，他们必须首先建模，比如心灵和灵魂，而他们做不到。好吧，我们已经完全陷入了人工智能怀疑论者的滑坡，来到了你说的“只有上帝才能访问你的灵魂”的最低点。我不会争论上帝，但我会注意到，人类似乎正在获得对你灵魂越来越深的访问权，因为今天我们有 AI 辅助技术，可以扫描你的大脑并检测你正在看到的心理意象。所以，你甚至可以尝试在你的脑海中描绘一些东西，你甚至可以在电脑屏幕上粗略地读出你的脑海中正在描绘的东西。所以，也许你的灵魂在那之下，但你灵魂的脑海现在是可以被人工智能访问和阅读的。所以，这似乎是你的灵魂必须退缩，然后说，好吧，我所拥有的情感感觉是我的灵魂。但我们可以开始扫描你的情感感觉。但你可能会说，我所拥有的自由意志，它产生了那些东西，是我的灵魂。好吧，但我们可以找到与你自由意志将要做出的决定之间的强相关性。所以，似乎你灵魂的那个部分现在也正在从我们扫描技术的感知能力中退缩。你知道，这非常像“上帝的缝隙”，但我明白，只要人工智能不能完美地、百分之百地复制每个人的大脑的输入输出行为，那么说“只有上帝才能访问你的灵魂”的说法就会一直很有吸引力，并且技术无法模拟大脑，大脑是无限特殊的，因此永远不会有超级智能。因为最终，这一切的回报对许多人来说是，他们可以在晚上坐在房间里，焦虑感会悄悄袭来，他们可以驱散这种焦虑，因为他们可以这样说：嘿，我所信仰的上帝，我们还没有达到人类水平的人工智能，这是我信仰的一个很好的支撑点，也是我关于一切都会好起来的信念，因为我将死去并进入天堂，因为我拥有这个宗教信仰的织锦。只要超级智能人工智能没有被证明是真实存在的东西，那么我的宗教就更有可能是正确的。话虽如此，我来这里不是因为我想对某些人进行特定的心理分析指控。所以，也许她的声音的接线方式完全不同，他正在进行完全理性的分析，他完全愿意放弃上帝可以访问你灵魂的信念。他只是想听到证据。我们可以善意地对待他，给他一个好处，相信他就是这样的人。我想从你的书里读一段话：引述“人工智能最显著地体现在现在所谓的‘超人类主义’中，即增强人类能力的技术将导致一种新的‘后人类’的出现。一种情景是，人类本身将变得不朽，因为他们将能够放弃他们目前的生物身体，并在数字形式中永生。”所以，你知道，你为什么认为，你认为他们在做什么？因为你提到了灵魂，而我们在书中不这样做。我私下里这样做，因为我是基督徒，但作为一个科学家，我不这样做，因为它不是科学的一部分，它是神学的一部分。而今天，我的意思是，几个世纪以来，我们一直有这种区分，自 18 世纪以来，我们将其分为神学和科学。所以，我既不使用神学论证，也不使用存在主义论证，在海德格尔的传统中，这是某些批评者所做的。但我的论点，或者我的合著者 Barry Smith 和我的论点，确实是针对这些复杂系统的属性。所以，Yobst 是一个基督徒，但他会小心翼翼地不使用神学论证来支持他的信仰。他将提出一个旨在说服像我这样的无神论者的论点。好吧，那么复杂系统的属性……复杂系统具有演化特征，这意味着它们的属性会出乎意料地改变。它们不仅可以获得新的元素，还可以获得新的元素类型，比如细菌。它们也可以获得以前没有的新遗传元素，以意想不到的方式增强它们的属性。这就是它们获得抗生素耐药性的方式，例如。而简单系统不能这样做。复杂系统，它们还……非常非常重要的是，它们具有非遍历相空间。这意味着，当你从它们的行为中采样事件时，你永远不会得到相同的模式。而在遍历空间中，当你从中采样时，你可以确保随着时间的推移，每个样本都有相同的可能性和相同的分布，或者是从一个整体分布中抽取的。就像，例如，如果你从这个玻璃杯中取水，而这个玻璃杯完全不动，那么它在化学成分上到处都是相同的。这是一个遍历系统。但当你开始摇晃它，就像我现在这样，它就变成了非遍历的，因为……如果，如果我现在用力摇晃，空气进入其中，那么空气分子和水分子在每个空间中的分布都不同。而且，每当我采样时，它总会不同。我找不到模式了。这就是所谓的非遍历性。例如，每一滴水都是非遍历的。这就是为什么我们的书封上也有波浪，因为波浪是非遍历系统。所以，如果你永远采样波浪的成分，你永远无法预测下一个波浪。所以，这些系统是不可预测的，它们在某种意义上是无模式的。而数学模型，它们总是需要重复的模式。等等，等等，等等。数学模型总是导致重复的模式？拜托，这太容易了。制作一个如此简单的系统的数学模型，比如一个非常简单的细胞自动机，比如 Conway 的生命游戏，它是超级混乱的，并且是任意复杂的。它被认为是图灵完备的，所以你实际上可以拥有任何任意复杂度的模式，在像 Conway 的生命游戏这样的简单二维离散细胞自动机中演化。同样，你可以有一个运行经典计算机程序的经典计算机，它可能能够模拟人脑。但无论它是否能模拟人脑，它都可以模拟我们知道的任意混乱、任意非遍历、任意复杂的系统。我确信 Yobs 知道这一点，但一个陈述脱口而出，比如“数学模型总是需要重复的模式”，他充其量只是非常不精确和具有误导性。我已经感觉到他的模式，这很常见，就是模糊组织层次，没有意识到高层组织可以与它们构建的低层组织在质量上有所不同。因为它又回到了你之前说过的，关于无生命物质的想法。所以，对他来说，很难想象这些有生命的生物，它们的低层组成部分是无生命的。似乎这就是他现在所说的。他无法想象一个混乱的系统，如果你深入研究规则，哦，它就像一个简单的生命游戏规则，它是一个简单的自动机规则。他似乎无法在无生命和经典计算中可视化复杂性从简单规则中涌现出来。所以，我可能对他的解读是错误的。他可能还有更微妙的论点，我们将在播客稍后听到。但到目前为止，我只是感到困惑和沮丧。这是他们无法用数学正确地对它们进行建模的一个艰难原因。另外，顺便说一句，这种演化特征也意味着数学，你总是有笛卡尔系统，一个向量空间，你在其中投射数据点。如果你突然可以给这个坐标系添加一个新的坐标，数据点就无法适应了。这就是用通俗易懂的语言来说。而这就是为什么他的术语不够通俗易懂，因为我对他在使用笛卡尔点来构建他的平面方面的使用方式感到非常困惑。但我明白了要点，它很复杂，难以建模。是的，而且复杂系统是驱动的，所以它们有能量流过它们。所以，细菌从物质中产生能量。我们也这样做。你知道，我们消耗二氧化碳并呼出二氧化碳，这是因为我们使用氧气来从柠檬酸循环和线粒体中的营养物质中产生能量。所以，能量不断地流经复杂系统。这种能量流会产生湍流和许多其他无法用数学建模的现象。不，不，不。流经人脑细胞的能量是人脑运行所抽象出来的。神经元放电的方式只受到这些神经元当前能量水平的轻微影响。就像，当然，这些神经元可能会耗尽能量或氧气而死亡并关闭，这类似于计算机。如果你切断电源，也许电源即将断开，它在完全断开之前以略低于正常电压的电压运行。所以，是的，计算机将在工作和不工作之间有一个过渡。但像数字系统这样的东西，它倾向于正常工作，或者关闭。而这基本上就是人脑的情况。它通常只是做好它的工作，或者由于能量和其他操作参数不足而无法做好它的工作。所以，这种“哦，你必须对能量流经的进行建模，如果你想准确了解人脑”的想法，我的意思是，是的，如果你深入到最低级别。这又回到了之前的问题。你必须对每一个怪癖进行建模吗？你必须对每一个能量流进行建模吗？答案几乎可以肯定是“否”。我们有如此多的不同系统的经验，它们是任意复杂的，但却不需要在最低级别进行建模。但海森堡说，当他死后与彼得或天堂里的上帝交谈时，上帝一定会向他解释广义相对论是如何工作的，以及它是由什么引起的，但不是湍流。上帝无法解释湍流。湍流是复杂系统的基本现象。所以，最终，你知道，现代物理学知道我们无法用数学来建模复杂系统。但我们的头脑是复杂的，其中的过程是复杂的。我们不知道它是如何工作的，这就是为什么我们无法建模它。这一点非常非常重要，要理解。这就是为什么我花了又几分钟来再次解释这一点。一只鸟的翅膀在空气中飞翔，尽管有所有这些空气粒子的湍流，但你仍然可以有一个相当不错的计算机模拟器，对吧？不是百分之百完美，但足够好用于工程，并且可以随着计算时间、时间和空间资源的增加而变得越来越精确。但我们对这些权衡非常熟悉，并且我们获得了我们需要的精度水平。你可能会说，不，不，不，流体动力学是一个如此复杂、混乱的系统，一旦你让它进展几个时间步，它就无可救药了。不准确性会增长。你也可以对人脑说同样的话。你可以说，你怎么知道模拟质量不会在你运行它更长时间时就从你的掌握中溜走？但事情是这样的，这些系统，这些工程系统或这些自然选择的系统，比如鸟的翅膀或飞机的翅膀，或人脑，或人工智能，这些系统只有在它们可预测的程度上才能被工程化或被自然选择。所以，当我们去模拟它们时，比如当我们去模拟人脑时，是的，我们不会在每一个层面上都做到完美，但我们能够模拟它的程度至少是自然选择能够根据其基因进行选择的程度。所以，我们可以模拟基因所做的、自然选择认为适合复制的工作。自然选择决定“是的，这是一个好的大脑架构，让我把它复制到下一代”。在它拥有足够的信息来做出生存概率决策的程度上，我们也可以拥有类似的保真度来预测大脑是否会做出那种相关的行为，就像下一代的基因有效地做出这种预测一样。在某种程度上，事情是混乱的，那没关系。我们无法预测每一个微小的原子，但这与大脑中被选择存在的那个部分无关。大脑是由 DNA 构建的。如果大脑出现任何新的行为，值得在 DNA 中添加新的碱基对，以便在下一代中保留，那么这种行为必须足够一致和可预测，跨代传播。因此，它将是可建模的。所以，基因能够自然选择的几乎肯定是一个人类可以注意到并建模的属性。自然选择并没有说这些应该是你大脑的基因，基于对大脑将要做什么的无限精确的模拟。它是基于注意到“哦，这个大脑在运行这些算法方面做得很好”。那么你可能会说，但是会有其他属性不会被编码并复制到基因中。它们只是基因构建大脑时的副产品。它们是大脑的一部分，但不是直接基因编码的，但它会受到环境的影响。是的，你总是可以试图做出那些声称事情将无法工程化、事情将过于复杂、混乱将战胜工程的说法。我想你可能是对的，最强烈的时候可能是天气预报五年后的情况。所以，即使是超级智能人工智能也可能难以预测五年后的天气。这可能是一个混乱真正战胜秩序的好例子。但大多数时候，工程似乎总是能赢。自然选择似乎总是能制造出非常稳健且可预测的大脑，以完成它们生存和繁殖所需的工作。同样，人类似乎也能够构建像飞机这样的系统，它们非常可靠，尽管流体动力学是一场噩梦。事实上，我们有飞机数百万英里没有发生事故。这就是实际情况。所以，Yops 基本上只是否认这一点，当涉及到人脑时，他基本上说“不，不，不，这会崩溃成混乱”。而这似乎并非如此，至少对于人脑来说是这样。现在，现在，这些技术精英想要做什么？为什么会有像尤瓦尔·赫拉利这样的例子？他是一位历史学家，他对数学一无所知，他不理解物理学、生物化学、化学、生物学。他真的不理解，但他相信，我们现在可以通过科学完全改变人类。所以，他相信数字永生、超人类主义，我们可以创造赛博格，我们可以通过基因操纵人类来创造更高的智能，以及所有这些。而这些人错在哪里？所以，他们为什么相信这个？因为他们推断，就像 18 世纪的拉普拉斯等人一样，这位法国启蒙运动哲学家，他们相信自然可以通过数学完美地建模。我的意思是，如果你想通过基因工程来提高人类的智力，一个天真的选择性繁殖计划，基本上是培育你能找到的最聪明的人，这很可能奏效，对吧？我的意思是，它从未真正认真地尝试过这么多代。为什么它不应该奏效？我相当乐观地认为，它将产生比有史以来最聪明的人更聪明的人，比如智商 200 的人。因为我认为我们将消除许多限制。比如，如果他们有许多与培育高智商相关的疾病，我们现在有技术可以治愈或管理许多这些疾病。而且，如果他们的头真的很大，那是一个限制，自然选择遇到了这个限制，它无法让你的头变得太大，尽管它确实尝试过。好吧，现在我们有了剖腹产，所以头实际上可以变得更大。所以，即使没有这些额外的奖励，即使你保留了所有传统的进化限制，而不使用现代医学和剖腹产，甚至不使用这些，仅仅进行繁殖计划也应该奏效。所以，有趣的是，Yob 反对“哦，我的天，基因工程智力，这太难了，太混乱了，我们怎么才能做到呢？”这就像，拜托，这很容易。拉普拉斯相信，如果你能测量宇宙或地球上的每一个运动，并将它们放入一个巨大的微分方程系统中，你就可以完美地预测未来。他称之为拉普拉斯妖。妖能够预测一切。我认为在某种深刻的意义上，这是真的。我认为宇宙可能有一个数学模型，可以写下来。在一个更大的宇宙中，没有特别的理由说明为什么不能如此。人们会说，“那量子不确定性呢？”但如果你相信量子多世界，就像我一样，你只需写下所有世界的信息，突然你就回到了一个确定性系统。所以我确实认为，能够说“在某个更大的宇宙中，有一个白板，上面写满了关于我们宇宙的一切知识”，并且如果你把它放在一个足够大的计算机里，你就可以确定地演化它，并说出关于我们宇宙的一切，这是有用的。但我也很乐意承认，在我们的宇宙中，很多事情使得这完全不切实际。所以，我们确实需要花很多时间思考，在我们宇宙中的知识极限是什么？我们被允许知道什么，不被允许知道什么，关于那个更大宇宙中的大白板上写着什么。所以，拉普拉斯妖基本上是认识论的好工具，但在工程实践中，你知道，早在 18 世纪末，康德就认识到这是胡说八道，我们无法用数学来建模自然系统。他已经在他的三本最重要的书之一《判断力批判》中写了这一点，我认为英文版就叫这个名字，他在其中描述了对于自然系统，数学模型不起作用。拜托，我们无法用数学来建模自然系统。所有有用的工程都是通过数学建模自然系统来完成的。似乎你对你的模型要求像小数点后 100 位精度一样严格，但我们似乎总是有足够好的模型，不是吗？这就是为什么我们享有高生活水平，因为那些建造了所有我们享受的美好事物的人拥有足够好的数学模型来完成工作。这似乎是智能生命的状态，即它们拥有由数学模型驱动的工程，这些模型在技术上并不完美，但足以完成工作。足以完成工作。然后在热力学中，这得到了彻底的证明。但像赫拉利和埃隆·马斯这样的人不知道这一点，他们也不欣赏这一点。所以，他们相信所有这些都可以做到。为什么是错的？因为所有这些都需要我们能够建模正在发生的事情，拥有描述它的方程。热力学只是说，任何时候你增加你对周围世界的知识表示的元素，任何时候你增加你的知识，使宇宙对你来说看起来更规律，你都是以牺牲附近宇宙区域为代价的，使其对你来说更未知，更混乱，更热，因为显然你的知识状态的不确定性与温度之间存在深刻的关系。疯狂的事情。但无论如何，热力学并没有说你不能工程化极其精确的系统，这些系统对你来说是可预测的。它只是说你不能真正知道宇宙中每一个原子在任何时候的位置。但没有人尝试过。只要我们愿意泵出大量原子废气，我们不了解它们的精确配置，而我们确实如此，我们有大量的原子可以射入太空，这不是问题。只要我们愿意做出这种牺牲，我们就可以对我们正在进行的工程系统有任意好的理解。再次，在实践中，我们都熟悉在亚马逊上选择数百万种产品，它们都经过了足够好的工程设计，能够完成工作。所以，工程确实有效。例如，智力。智力是一种全基因控制的属性。大多数基因组，880,000 个基因座在基因组中，至少是这样，或者更多，才能解释个体之间智力差异的 70%。如果你用遗传方法来衡量这一点，那么有成千上万、数十万个因素构成了智力。所以，智力不是……你知道的，不是两三个基因导致智力，而是一个超级复杂的属性。因为它是如此复杂，我们不知道基因组中的什么需要改变才能使某人更聪明。在人类大脑的基因代码的自然选择部分与人类和其他猿类的共同祖先之间，这种差异可能只有一兆字节的信息。所以，有一兆字节的基因代码编码了不同的蛋白质，使人脑以不同的方式发育，并具有我们与其他猿类相比的智商提升。所以，如果其他猿类的智商是 50（随便你怎么称呼），而我们有 100 甚至 150 的智商，没有猿类接近 150 的智商。如此巨大、有意义的差异可能只有一兆字节的基因差异。所以，当 Yop 说“哦，我的天，你将如何解开 80,000 个基因？”好吧，是的，这并不容易。但一兆字节产生了如此多的有用功能，我认为我们可以尝试一下。我认为我们有机会。这并不算多，尤其是因为大脑有很多规律性。它不像是一兆字节的，你知道的，最压缩的代码。很多是这样的，好吧，制作这些皮层单元，然后多次制作它们，然后让它们从你获得的信息中学习。有很多重复，有很多规律性。所以，这是一个可行的工程问题。我们中的许多人，比如 Geoffrey Hinton，比如许多人工智能专家，认为我们正在通过构建我们正在构建的大型语言模型和人工智能系统来解决其中的许多问题。我们中的许多人认为我们正在接近人类大脑所做的事情。我们中的许多人认为我们已经解决了高维嵌入问题。我们中的许多人认为我们已经解决了人类大脑如何解决简单的基础问题。这可能是正确的，也可能不是正确的。但至少我可以肯定地说，有很多规律性，没有太多的高熵。肯定不是热力学阻止我们学习的东西。那不是问题。我们有足够的负熵。我们不会在这里产生过多的混乱。那不是问题。即使是对于更简单的属性，比如身高，也是如此。身高也是由数万个基因座编码的属性。所以，我们不知道它是如何产生的。所以，我们无法操纵人类基因，甚至如果我们能在技术上操纵它，而不伤害个体，我们甚至无法做到这一点。即使我们能做到，我们也无法在基因上改变它，因为我们没有数学模型来做到这一点。拜托，我们可以完全让人变得更高一些。我不知道目前的最新进展是什么，但如果你告诉世界上最好的遗传学家，让他们聚在一起做一个资金充足的项目，去创造一个身高 7 英尺或 8 英尺的种族，或者每代人有一些渐进的改进，他们很可能能够做到。这些基因并不比我们目前理解的范围远。这似乎是一个非常容易解决的问题。我能有一代人突然所有人都长到 12 英尺高，仍然健康吗？不，但这不是因为某种根本性的混乱限制，这只是一个艰难的工程项目。所以，工程项目的难度有一个谱系。去火星是一个非常非常困难的工程项目，但不是因为世界是混乱的，混乱让一切都不可能。它只是很难。有些项目比其他项目更难。但我们正在努力，对吧？做这些项目不是根本问题。对于一些疾病，我们已经有了，这些是非常简单的疾病，称为孟德尔氏病，比如血友病，你知道，这是因子 8 疾病，因子 8 基因功能失调。所以，如果你可以，例如，你可以选择胚胎。

可以进行体外受精，直到你和你的伴侣能够选择没有遗传缺陷的胚胎，然后你可以将这个胚胎植入母亲体内，这样孩子就会被治愈。你可以这样做，因为只有一个基因位点导致了疾病，而且已知有大约1000到2000种这样的疾病，它们被称为孟德尔遗传病。它们可以被操纵，理论上可以通过基因工程来治愈，但这些是单基因疾病。然而，对于大多数疾病，有成千上万的因素导致它们，而你并不理解它们。我们不理解它们如何相互作用，但这并不是说我们现在还不理解，很快就会理解。而是我们永远无法理解，因为我们可以用数学模型模拟的东西是极其有限的。所以，我再次理解，如果某件事依赖于一千个基因，那么建模就很困难，但这是不可能的吗？不，它有很大的可预测性。我们正在朝着这个方向前进。五年前，你可能会在这个播客上说：“哦，天哪，蛋白质折叠太难了，有太多的混乱。”而现在我们有了 AlphaFold 3，它可以预测很多关于蛋白质折叠的你需要知道的信息。并非100%准确，还有很长的路要走，但其预测的量级是很多人认为可能需要数十年才能达到的。当我们投入我们最好的工程资源来解决一个问题，并等待10年、20年，我们在这些问题上取得了巨大的进步。我认为 Yop 很有选择性地指出今天仍然看起来非常困难的事情，而他没有拉开距离，从更广阔的视角来看。就像如果我们100年前站在这里，我可以向你展示飞行模拟器的概念，并问你模拟驾驶飞机有多难？你每秒需要做多少次计算才能真实地给某人飞行模拟器的体验？而现在，我们确实拥有使用大量计算和大量算法捷径的计算机，并为你提供非常引人入胜的飞行模拟器体验，而测试表明，飞行模拟器训练飞行员的效果与真实飞机一样好。所以，有些事情似乎是可能的，或者像“我的天哪，将高质量视频快速传输到地球”这样的想法。你知道需要建造什么样的技术才能传输这样的信号吗？就像，好吧，我们做到了。或者，你知道，去月球，让火箭自己着陆。SpaceX 完成了这件事。你知道要让火箭自己着陆，在空气如此混乱的情况下，导航需要多么困难吗？我的意思是，这些事情在距离实现还有几十年的时候看起来都像奇迹。就 SpaceX 而言，在距离实现还有一年的时候，它看起来像个奇迹。但这只是要给人类工程师一些赞誉。你必须从根本上区分你是在看一个由于根本原因而无法解决的问题，以至于几个世纪后他们仍然无法解决，还是你在看一个我们的工程师在几十年内就能解决的问题。你必须尝试区分，不要把所有事情都放在同一个篮子里。我不认为 Yop 说过的任何话，在涉及系统动力学和复杂系统理论方面，会超出我们工程能力一到二十年的范围。从这一点我们知道，这就是为什么“人类增强主义”、“数字永生”和“人工智能”的梦想行不通，而我们实际能实现的要温和得多。如果你理解这一点，而这正是我赖以为生的，那么你就可以真正地让事情运转起来，改进很多事情，并获得伟大的发明。你知道，如果你知道数学是如何工作的以及它的局限性是什么，那么应用数学就真的很有趣。但是这些基本上高估了数学能做什么的梦想是行不通的。我喜欢 Yop 基本上做出了一个经验性预测，即基因工程基本上遇到了瓶颈，因为我真的不认为我们看到了这方面的证据。我认为基因工程正在稳步前进，我认为我们在粮食的基因工程方面看到了越来越多的成功。例如，我认为我们将看到越来越多的胚胎选择在单基因疾病以外的疾病方面取得成功。所以，这是我的经验性预测。当然，我也可能出错，但我认为我对趋势的走向有一个相当准确的认识，而且我不认为热力学或混沌设置了一个无法逾越的障碍。我认为它设置了一个斜坡，而我们的技术正在攀登这个斜坡，而且我认为这就是人类工程一直以来的运作方式。我们只是攀登斜坡来解决下一个更难的问题。对我来说，这似乎归结为世界观，他们宣扬的是一种唯物主义世界观，而“唯物主义”这个词在哲学上有两个定义。它意味着除了物质及其运动和变化之外，什么都不存在。所以，是的，你抓到我了，我是一个物理唯物主义者，我认为每个人都应该是。它还有一个更常见的定义，即倾向于认为物质财富和身体舒适比精神价值更重要。好吧，我不是一个精神主义者，所以我想我技术上是另一种唯物主义者，但实际上我不是，因为我不是那种痴迷于物质商品的人。我同样痴迷于人际关系，比如我的家人快乐。所以，我认为我实际上不是普通意义上的唯物主义者。但我觉得，当人们像 Yop 和 Hervé 给他们的哲学对手贴上标签时，比如“是的，我们是好基督徒，但这些唯物主义者只关心拥有最快的汽车和最漂亮的豪宅，并且把一切都建模为原子的随机运动”，这种“只关心商品而不关心精神”的唯物主义者的负面含义就会被悄悄地带入。他们永远不会拥有我们所拥有的东西，那就是充满爱的圣诞节，而不是玩具，以及对本体论的更好理解。我本来想问你，那么奇点是不是一种异教徒的幻想？你知道，然后我看到你一年前做了一个演讲，你说它是一种新异教的伪宗教。所以，在我看到你说这句话之前，我脑子里就觉得这有点像一种异教徒的幻想，这种人类增强主义。因为你看看他们谈论的事情，他们拒绝了像雷·库兹韦尔这样的概念，以尤瓦尔·赫拉利为例，他们驳斥了上帝的概念，或者这个生物黑客，这个富有的布莱恩·约翰逊，我想是他的名字，他最近上了塔克·卡尔森的节目。他所说的话在我看来是亵渎神明的，是反对上帝的，说我们可以成为上帝。我认为这回到了他们世界观的核心，那就是异教徒，它是诺斯替主义的，它是新时代的。它回到了伊甸园，蛇说你们可以成为上帝。而这些就是他们今天公开谈论的事情。那么，关于这种“异教徒的幻想”或者你称之为“新异教的伪宗教”的想法，还有什么进一步的思考吗？有很多非末日论者，比如马克·安德森，他们喜欢指责人工智能末日论者是宗教狂热者，他们只是在创立自己的宗教邪教。所以，看到 Hervé 和 Yop 也持相同观点也就不足为奇了，他们说：“看看这些新异教徒，他们试图创造自己的上帝版本。”有趣的是，他们接着说：“这都是关于伊甸园的，男人，这都是关于上帝无法接触你的灵魂的，这就是真相。我们知道是怎么回事，不是这些其他宗教人士，而是我们这种宗教人士。”所以，在他们看来，宗教不是一个贬义词，它只是一个宗教争论，就像“我们现在是异教徒了”。当然，你知道，更好的方法是把宗教标签都去掉，直接在客观层面争论，看在上帝的份上。但我认为我们已经过了指望 Yop 提出有力论证的阶段了。我担心这开始变成一种嘲讽，但让我们看看他的其他观点。所以，所以他们基本上没有宗教了，因为你知道，自从 V 和 David Y 说没有上帝以来，这在西方变得非常时髦，而现在我们基督徒在西方都成了少数。我认为在所有西方国家，包括你家乡卡蒂亚，我们都只是少数，真正意义上的基督徒只有几个百分点。我是说，在天主教徒中，正式的比例要高一些，但那些真正理解例如钉十字架和复活意义的人，我们现在只有几个百分点。所以，我们已经变成了少数，就像公元一世纪和二世纪初那样，我们也是少数。所以，大部分精英现在都是彻底的不可知论者或无神论者。是的，因为他们已经超越了他们真正的论点，那就是关于混乱和热力学的空泛之词，他们已经到了他们的载体，面具被摘下，他们只是在谈论他们的宗教如何比科学更有见地。我想知道，他们的论点是否有一个版本是他们真正的论点？因为一开始 Yop 提到他想做一个非神学的论证，一个能让无神论者信服的论证。我想知道他的神学论证是什么？他真正的论证是什么让他信服？也许是一样的，也许不一样，我不知道。但无论如何，让我们听听这个投射的练习，他指责末日论者秘密地拥有宗教，并填补了他这样的人需要填补的同一个空缺。人类对宗教的需求不会消失。Scha 发现了这一点，他写了一本非常重要的关于人类对宗教基本需求的书。所以，如果你剥离了传统宗教，就需要一个替代宗教。而法国是第一个创造这种替代宗教的国家，他们创造了社会主义和唯物主义。所以，我在1753年创造了社会主义，我总是混淆是 Cod 还是 C，一个是 Don be，另一个是他。我总是混淆他们，但在1750年代，他创造了第一个《社会主义宣言》，然后 Lamri 创造了这个顽固的唯物主义者。他们这样做是因为他们认为没有上帝，所以他们取代了它。好吧，等等，唯物主义还有第三个定义，Lamri 的顽固唯物主义。我查了一下，原来 Lamri 是18世纪的法国哲学家，他写了一本名为《人是一台机器》的书，它确实是基本的物理唯物主义思想，就像“嘿，人是由无生命的较小组成部分构成的，它们遵循物理定律，并且像机器一样共同创造了你从人身上看到的全部生命行为”。在这本书中，他说人没有灵魂，因为它只是一台机器。作为一个现代唯物主义者，我不确定我是否会立即同意。当然，人没有灵魂。我的意思是，从本体论的基本意义上说，这绝对是真的。如果你用宇宙的积木做一个乐高套件，你不会在乐高套件里放一个灵魂。你不会有一个本体论上基本的精神实体，你不会有二元论。所以，我认为 Lamri 在这一点上是正确的，没有本体论上基本的灵魂。但我可以想象，我没有读过这本书，我可以想象他可能把这个概念推得太远了，然后说，“哦，好吧，没有灵魂，所以就像，伤害别人是可以的，或者你真的感觉不到任何东西。”我无法确认 Lamri 是否能够在这个原则之上叠加多层次涌现的概念，因为这是关键。一旦你承认宇宙只是由基本粒子和物理原理组成的，并且是一台大机器，一旦你承认这一点，你也必须确保承认在更高层次上涌现出动态的、质的区别的事物。所以，你不能只是说，“哦，没有感觉，没有情感，没有感受，没有灵魂。”就像，等等，等等，这仍然可以从较低的层次涌现出来。你所说的只是没有本体论上基本的灵魂。所以，我想澄清一下，因为我不知道 Yop 是否意识到，像我这样的无情唯物主义者，或者也许是 Lamri，我不知道他是否意识到，我们仍然欣赏作为人的体验，作为人的丰富性。我们只是不认为它是本体论上基本的。我们认为它是一种通过还原论涌现的更高层次的现象。这是另一个与唯物主义相伴的词，对吧？我们对人类体验有一种还原论的看法，但还原论并不意味着坏事。还原论并不意味着从生活中抽走好东西，它只是以一种优雅的方式来解释它。然后，Mat Sta 在他的关于“唯一拥有这种财产”的书中创造了甚至可以说是自私的利己主义唯物主义，他说人类的目标是完美地实现自己，并且只实现自己，成为自己的上帝，他们自己的上帝。所以，这些就是，这些就是启蒙运动之后出现的，摆脱了上帝的唯物主义宗教，它们现在基本上主导着我们的文化。我不知道他引用的书的作者，我从未听说过，我不知道这在多大程度上影响了人们今天的态度。也许他只是说，人们今天的态度是这种随机的书籍的传统，通过许多其他思想家来传递。我不知道。所以，现在的问题是，你用什么来取代上帝？我不太喜欢这个问题，因为很多人天生就不怎么想上帝，也不一定渴望取代上帝。所以，我的大儿子现在五岁了，我还没看到他渴望取代上帝。所以，也许他会有青少年时期的痛苦，他会希望我为他取代上帝，但这还没有发生。也许永远不会发生，对吧？所以，我有点拒绝“取代上帝”这个问题。我认为人类不一定需要取代上帝，如果人们根本不知道它的存在。这是一种糟糕的想法，它没有多大意义，我们不必重新创造这个想法，只是为了取代它。我们可以忽略这个想法，就像我们忽略各种坏主意一样。我们从未取代过人类祭祀，我们只是忽略了这个想法，因为它是个坏主意。所以我认为上帝是个坏主意。所以，在精神上，在神秘的精神主义中，它有时被魔鬼取代，就像海伦娜·布拉瓦茨基和整个基于古典神秘主义的传统。然后是另一条线索，它使用技术作为诱饵，海德格尔清楚地认为，他称技术为20世纪的形而上学。我不太喜欢海德格尔，但他在这一点上是正确的。他说他拒绝了形而上学，他说，现在技术已经成为我们的新形而上学，甚至更进一步，一种新的宗教，他没有说，但它现在就是。所以，对他们来说，他们现在以一种非理性的、超验的、近乎超验的方式相信技术。而这些人的超验需求现在被投射到技术上。所以，他们使用技术来基本上满足这种超验的需求。这就是它的运作方式。那么，我实际上用技术做什么呢？我是个超人类主义者，不是因为我需要填补宗教的空缺，而是因为我有偏好。我生活在这个宇宙中，我宁愿宇宙更能适应我的喜好。我的意思是，如果他告诉我，“嘿，宇宙就是这样，你不能改变它”，我会说，“好吧，没关系，我仍然很高兴活着，我会接受我能得到的一切。”但如果你告诉我，“嘿，你想让宇宙变成什么样？”我会说，“嗯，让我想想，我们可以创造智力挑战吗？我们可以创造非常舒适的区域，让你拥有终极的水疗体验吗？你能创造更酷的极限运动吗？”我只会为我想尝试的事情提供想法，而不是现在什么都不能尝试。Yop 可以进来这里说，“哦，你在填补你的宗教空缺，或者你只是把创造体验的能力当作你的新上帝。”我会说，“好吧，好吧，伙计，我不是这么看的。”我宁愿不被指控做那种事情。我只是没有更好的主意，如果我被允许做事情的话。我只是想做事情。然后如果你说，“嘿，怎么样？如果宇宙只是回形针呢？”我会说，“嗯，我实际上会给它打很低的分，比根本不改变宇宙还要低。”我实际上会花很多钱，我会付出很多努力来避免我们所有几代人都变成回形针，并且没有人类的未来。这似乎是一个糟糕的结果。然后，当然，Yop 会进来，说，“哦，所以那就是你的上帝，不是变成回形针。”这是什么？别再谈论上帝了，我只是想确定宇宙会变成什么状态。不，不，他们弄错了，他们不理解技术，因为它基于数学，而数学是有限的，只能做这么多。他们高估了技术能做什么，而且他们对此是非理性的。这很可惜，因为如果你开始非理性地使用技术，你就会造成损害。所以，我们现在在许多领域都看到技术不再被最优地使用，因为他们没有一个现实的图景，关于科学能取得什么成就，以及它不能取得什么成就。我非常确定，Yop 的立场在这里可以完美地转化为500年前。你可以回到1524年，你可以对当时的人们说 Yop 的同样论点，他们会说，“是的，Yop 说得对，我们不应该仅仅依赖技术，因为数学是有限的，它只能做这么多。所以我们不应该试图利用化石能源，我们不应该试图建造空调，我们不应该试图建造摩天大楼，我们不应该试图去月球，因为数学是有限的。我们为什么希望做到所有这些事情呢？”所以，Yop 需要更精确地说明，我们现实上可以期望通过工程实现什么，以及什么不能，或者不幸的是，人工智能可以期望实现什么，而不是工程。我的意思是，我做这个播客的原因不仅仅是为了论证我们作为一个物种可以工程化很多东西，而是为了论证人工智能可以比我们工程化得好得多，以至于我们即将被剥夺权力。这通常是我在这里花费时间提出的论点。所以，很有趣，因为我从技术悲观主义的立场与技术乐观主义的立场与 Yop 争论。但通常我必须从技术乐观主义翻回技术悲观主义，当我看到，“哦，我们就像伊卡洛斯，我们飞得离太阳太近了，我们即将被我们自己的创造物剥夺权力，因为工程的力量有多大。”这很有趣。那么，机器学习、人工智能、AGI，我不知道，它到底能做什么呢？是的，是的，它是工业革命的一部分。它是一项基于数学的伟大技术，可以取得很多成就。所以， wherever you have repetitive patterns you can identify them and use them to create something to to create some automation. 让我们举几个例子。例如，在战争中，非常重要的任务是探测敌人的行动和一切。在乌克兰战争中，双方都在完全使用人工智能，没有它，无法使用人工智能的一方就无法再看到敌人的行动，因为如今战场上部署了大量的传感器，光学传感器、振动传感器、声学传感器、压力传感器，大量的传感器被部署，而且数量众多，成千上万。它们还获取卫星信号，所以传感器产生了大量的感官材料，需要处理。所有这些都由人工智能完成。人工智能聚合所有这些信号，然后为负责规划攻击和防御的军官创建一个战场视图。没有它，现代战争是不可想象的。所以，这是人工智能被大量用于进攻性武器的一个例子。它要难得多，因为基本上要成为进攻性武器，你需要主动感知。巴里·史密斯和我相信，主动感知无法用数学建模，因为主动感知是像智能这样的复杂系统的极其复杂的属性。所以，主动感知意味着运动和感知之间存在持续的相互作用。就像当你听到什么东西时，你会把头转向它，然后你调整你的动作来欣赏它。你在狩猎动物身上看到这一点，它们是如何表现的。你知道，这叫做主动感知，这是一个非常复杂的现象，我们无法很好地在机器人身上建模，或者说很难建模。我们可以一定程度上近似它，但非常差。这就是为什么技术武器使用较少的人工智能，它们使用一些高级功能，但更原始。所以，这是战争的一个例子。哇，好吧，我喜欢这个，因为他做出了一个非常清晰的、可检验的预测，说人工智能不能也不会被用作战争攻击武器。你开玩笑吗？我们正在看到来自俄罗斯和乌克兰的无人机，它们在飞越目标、追逐目标然后杀死目标方面越来越好。这不是主动感知。你只能防御，不能进攻。我的意思是，我再次喜欢他足够具体，我们可以证明他是错的，在几天之内。我甚至会说他已经被证明是错的了。但两年后，你不认为会有“屠杀机器人”吗？你不认为会有机器人能够像人类士兵甚至狗一样在战场上追捕你并杀死你吗？我的意思是，他可能是对的，他可能是对的，有百分之几的可能性。但这似乎是他如此接近被彻底客观地证伪。所以我只是希望一旦他被证明是错的，他会睁开眼睛说，“哦，也许人工智能可以做很多我们认为理所当然的事情，就像人类大脑可以做的有生命的物质一样。也许分隔的界限远没有我想象的那么近。也许我需要进行一次严肃的更新，然后翻转我的立场180度，成为一个末日论者。”我只是，我不知道他会被客观地证明是错的时候需要做出多大的更新。当然，情况也可能相反。如果我们谈论的是两年后、五年后、十年后，而出于某种原因，没有人会在战场上使用人工智能进行进攻，他们总是需要一个人在无线电上使用视频信号来控制这些设备。如果出于某种原因，情况是这样，好吧，那么我就错了。那么我必须弄清楚，哇，Yop 怎么会有这个伟大的见解？但我只是非常非常怀疑事情会这样发展。我觉得他显然是错的，但我试图公平地对待， wherever you have regular patterns AI can be used to to can leveraged to to do the work and but it cannot be creative it cannot become conscious it cannot become intelligent it can just automate repetitiveness and this we will see more and more and so I estimate the potential of automation that in the in the blue color work is still quite high so there's still a lot of blue color work where there's manual labor involved so we can use Ai and robots to automate more but in white color work the type of work we are doing the the potential is is below 10% so I think people like like um like all these you know Doom profits that say Ohi will take up up so much work of humans that's wrong because they believe that AGI which is general intelligence can be done but in the end what you only have is very narrow AI that can solve efficiently some limited tasks this will continue to to evolve but it will not revolutionize the workspace for white color jobs this is normally where I would would reply okay you seem to be overconfident so let me challenge you give me a prediction of 2 years from now the least impressive thing that AI still won't be able to do with 90% confidence so if you're so sure that AI is so limited then fast forward two years and just give me the least impressive thing that AI still won't be able to do in y's case he already said he doesn't think AI can be used for attacking so that's such a good answer that's such a bold sticking your neck out prediction that I'm happy to say okay he said it he met the challenge that's actually worthy of respect of his side so let's just wait a year or two or let's just check the news today and let's see if AI is suddenly being used for attack and let's let yobs update his mental model based off that okay now I'm going to skip ahead to a random part where he starts saying that AIS can't understand text and video which just seems super outdated to me in the wake of the multimodal models we're seeing today let's listen digitization allows to acquire data about individuals and the masses in a much more comprehensive and thorough way and to especially store them so that you can go back and look up however this is the critical point now because AI cannot think you can't use AI to digest the material so Ani that would that would that you would put on onto this conversation that we have now could only use some keywords to gather some very very very Superior superficial patterns or you know phrases but it's very superficial it doesn't really understand what we're doing it you never will so machines cannot understand texts neither does jgpt nor wind machines and never anytime understand text and and and and and even and videos are even harder to understand because videos also contain not only you know text pragmatics but also visual pragmatics which means the meaning of of events and that are visual and ver and and how they interact it's super complicated I mean if you watch a scene in a movie and you and and you think about what lets you understand the scene it's not only what's being said but also what the people do while they interact with the environment so you cannot automate this and so therefore machine interpretation of videos and text is impossible so that means that those organizations that are the equivalent of the stazzi you know like secret Services um let's take China yeah which has of course such a but in the west you have also such Services um uh though they are a bit different but still they can store a lot more about us but but mining it and interpreting it still is human work and so AI like in Minority Report can perfectly predict the behavior and then Target the individual you know that this is just this is just an illusion because it supposes that I understands what humans say and how they act but it really doesn't and it never will and so therefore the the dangers of the abuse of of Technology um come more from digitization than from AI if yops had said this like 5 years ago I'd be like yeah makes sense humans can talk in a way that's like lightly encoded in a way that's going to fool the AI where the AI is not going to notice that they're actually plotting to sabotage the government that would have made sense back when AI wasn't very good at talking and understanding language but have you tried it today today this idea of taking meaning out of sentences or of noticing what frames in a video might mean like explaining a scene explaining a joke explaining all the different elements these are some of the strongest points of the modern AI that we have like if you just go play with these chat Bots just drag into them files and ask them to explain them and analyze them and find different properties of them even a cheap model even Llama Or gbt 3.5 some of the smallest cheapest models still do a really excellent job at that and they can index a search based on uh very deep embedding vectors so this idea where yop is saying oh no no no you're going to need a human to review that kind of content if you ever want to control Society if you ever want to do effective surveillance on all this data you're going to need a human watching all that data what are you talking about that is just so not true about modern AI never mind super intelligence 10 years from now I'm just talking about today's AI it seems like y's clip is from 5 years ago but it's not it's from 2024 in this next part yobst makes a pretty long speech about how science is so hard it's like pushing a boulder up a hill you have to have so much modesty so how could anybody claim to be a scientist and hype up such a crazy claim like super intelligent AI is coming and we might all be doomed and it's going to extinct Humanity how does everybody have the confidence to say something so wild when science generally proceeds with small insights out of and you have to be modest let's listen uh for for AI um we shouldn't be afraid of it but we should use the the real science the sober science the modest science real science is very modest you know and it's because if you do science for a living every day you know how hard it is to get replicable result you're not wanting to HDE anything you just want to do this very hard work that requires a lot of patience and endurance and resilience to to pursue this over so many years and then you are just modest because you know it's so hard to get so little done you know and sometimes Geniuses come around like Einstein but even he had to suffer enormously to come to his the you know it was very a long and hard way for him especially to get from the special to the general the of Relativity he needed to work with a lot of mathematicians was super hard and so this is how science works and so when people when politicians economists or or people from Humanities talk about science you can already immediately tell that they haven't been through this experience of creating science and being in it that's why they can talk in this insane way about it that is detached from it like Harari he has never ever done an experiment of thought in his whole life you know but if you have done experiment or if you have tried to prove a mathematical theorem it can take such a long time and it it has nothing to do with with with with anything you know uh um it's not as great an experience as it looks then afterwards but it's just a hard process and so when you are when you have gone through this all your life or even just 10 years you know you start as a PhD student and then you do a fusive postto then you know that that how it really is and and that that the Hypes don't make sense and I think the worst are scientists who know this and who still nevertheless participate in the hype because they are basically undermining what science really is and what is it is about it's true that science on average is a slow and incremental process and most discoveries have a bunch of little discoveries leading up to them and usually you don't make a single discovery that makes you think uhoh Extinction is happening in our lifetime so I agree that this is rare but it's not unprecedented I mean there's so many Eureka moments in science right I mean he mentioned Einstein he mentioned the Breakthrough that was special relativity like hey what if light really is just the same speed in every reference frame H how about that okay that's kind of a Eureka moment there's the original Eureka moment right comdes in the bathtub when he realizes that displacement of water is one way that you can measure the volume of something that's pretty good another Eureka moment happened in 1980 when some geologists were digging in Italy and they were like wait a minute this part of the soil represents 66 million years ago what is iridium metal doing here why was that in the atmosphere normally that only comes when there's an asteroid impact what's going on and then slowly one thing led to another and they're like wait a minute was there a giant meteor impact 66 million years ago is that maybe what killed the dinosaurs and they're like wait a minute where's the impact crater oh it's kind of under our nose here in the Yucatan Peninsula it's just kind of buried but now we can we can detect it there's actually this giant crater oh wow so that was like a a major event equivalent to 10 billion Hiroshima bombs oh okay I guess the dinosaurs got wiped out by an astroid and it wasn't just like a slow dying off oh interesting right so these Eureka moments do happen and they rewrite your understanding of the world pretty significantly so it's not that surprising that people like Alazar owski who opened up a book when he was a teenager and read about AI was like oh hey what do you know this is going to drastically change the future of humanity that AI is about to get smarter than us or Jeffrey hinton's Eureka moment apparently happened just a couple years ago and he's like wow I'm so surprised by how rapidly gpt3 and gbt 4 are progressing that I am now kind of turning white because this isn't the future I was hoping for or expecting this is something much scarier so having your prediction of the future Dawn on you to be something different than you thought before it's just not uncommon right it's not the most common case but it happens all the time and just to throw in another one I guess I really like talking about this but Robin Hansen's 2021 paper about grabby aliens I mean just a year ago I'd heard Robin Hansen talking on a podcast speculating about the fmy Paradox not really having a good answer next thing you know 2021 he has very compelling evidence a very compelling model of like oh it's just a big land grab we're early aliens are on their way at like 10% of the speed of light or something like that and we're going to see them in a billion years and that's how the universe works that's that's how cosmology works it's a land grab among aliens that is a huge huge Insight I always say on this show that it's underappreciated but it's an absolute Eureka moment so I don't know why yobst is basically saying science has to proceed incrementally so don't believe the hype that people are telling you hey we might all be about to go extinct sorry that is actually the Beauty and the power of science that it can have these moments I would frame it that way except in this case it's like the worst news ever but it's exciting I think science is a p is is about finding out knowledge for the benefit of mankind and and when you basically use signs to tell people how dangerous everything is and how catastrophic everything is that that is politicized science and that's very dangerous and it's it's basically destroying sign imagine that the non- Doomer side is is using good scientific methodology and then they arrive at their conclusion that we're not doomed that's great that's good for them that's good for everybody but then to turn around and say don't use science to reach the conclusion that we're doomed that makes a mockery of their own methodology that they used to conclude that we're not doomed because if they used a good methodology to conclude that they're not doomed then it had to have been a methodology that was open to concluding that we're doomed you can't come out and say you know we're not doomed because you never considered the possibility that we're doomed you see what I'm saying so it's such a huge red flag if a non Doomer comes out here and says it's bad to say we're doomed science doesn't mean saying that we're doomed because that just shows that they've been closed-minded the whole time about their idea that we're doomed you have to come out here and say hey it's absolutely true that we might have been doomed but I'm happy to tell you that the evidence says that we're not doomed not because I had a restriction on ever Bel beling that we're doomed I have to be able to believe that we're doomed you know what I'm saying that's that's science your ability to believe something rationally is dependent on your ability to also believe the opposite and for the evidence to be what guides you one way rather than the other way you have to be able to conceive of the possibility that you actually live in the other universe so in other words yop what I'm trying to say is when you just come out here and rant about that you're right and we're not doomed unfortunately I think that that assumption is incorrect I think that we are doomed and so unfortunately given that we are doomed the best thing you can do is fearmonger about how doomed we are until PE until people get the right level of fear because right now the level the level of fear that people have about AI the average person actually does have a significant amount of fear but unfortunately it's too low there is a major miscalibration of the amount of fear that the average person feels about Ai and It's just sad it's sad to be sleepwalking into the whirling razor blades of our entire species of our loved ones in the year 2024 when we ought to know better the fear of AI comes from the erroneous view that a I can become conscious and have a will that's totally impossible mathematically and from also from the perspective of physics and biology and and when you remove this irrational fear of a I having its own will and Consciousness then it it's just a normal tool that's such an inaccurate character as ation of what doomers claim it's not loadbearing to the Doomer claim to say AI can become conscious if you look at the attack drones that are being used in the Ukraine war right now they're just good at tracking somebody so that they can't escape and then firing they're good at targeting and from the perspective of the person being targeted there's no off button it's not controllable to that person so imagine that for some reason they become uncontrollable to their creator or they become self- sustaining kind kind of like a virus on the internet where it starts manipulating hundreds or thousands or millions of people at once and it becomes really hard to turn off maybe it'll never turn off right it'll just live in our software ecosystem forever like some viruses from the early 2000s are still alive and they're still causing a billion dollars a year of damage we know that software systems can be self-sustaining it's all just a matter of degree we're not positing some kind of fundamentally new thing here we're just saying you take a virus you add the ability to outsmart humanity in more and more ways to greater and greater degrees and where do you end up where is this going without some sort of breakthrough and control or you know research that we don't have right now so it doesn't really need a will per se it needs the level of optimization power the level of goal orientedness that we're already seeing in other systems like it's not that hard to just architect a softer system saying Hey try to work backwards from this goal try to take actions that are helping you get this goal in if that's the sense that he means of having a will then okay yeah it needs to that kind of trivially definable will but it doesn't need to be conscious and then yob additionally says hey that's mathematically impossible that's impossible from the perspective of physics and biology which is totally false we're not saying anything fundamentally impossible here so he's not even giving us basic credit for what our actual argument is now you might wonder why am I even doing an episode on yob when his argument is significantly weaker than the average argument that I'm here pushing against well I see my contribution to the discourse as maximizing the convex hole of people with the best arguments and people with the biggest audience and he has a reasonable size audience from what I gather so I think I'm adding value by just adding this to my comprehensive list of episodes where I show you the non- dumer position the different types of non-er position that people take seriously and I do think there's value in just showing you the spectrum of ways in which they're wrong there's so many different ways to be wrong as a non- Doomer it's it's pretty tough right it's why the discussion is so hard to have it's why we need to bring together top people to debate as a society we need this kind of conflict resolution technology we need the social infrastructure of debate that is the Viewpoint of Doom debates and as I mentioned before when you're supporting Doom debates you're not just supporting a guy like me who's yelling that we're doomed you're also supporting the social infrastructure of being able to debate a topic like whether we're doing from super intelligent AI which is a complex topic okay that's all we got from this particular appearance of yobst L essentially his whole argument of why we're not doomed comes down to the Crux that it's physically impossible that we're ever going to get a super intelligence that's beyond human level because it would require Building A system that could be like a low-level physical simulation of a human brain but we can't do that because that would require such fine grained uh information modeling and that's just impossible because of thermodynamics so we can only have these cruder systems that will never match what the human brain can do because chaos prevents us from seeing what the human brain can do it's a common type of argument but it's just very clearly obviously wrong unless you're hellbent on making like a quk for quork copy then maybe you can't but the idea that that's the bottleneck to making a super intelligent system we just have so much evidence that that's not the case I'm willing to die on this hill that we're not going to stop super intelligence because of the chaos of doing a low-level model of the human brain I'm sorry that's just not going to stop it which is why I think you're not going to see yobs have predictive accuracy and anything he says I mean he did actually stick his neck out and make a prediction he said you're not going to see AI being useful for attacks that's a very bold prediction that I think is already falsified or if not it'll be falsified next month or next year yob seems to be kind of stuck at an intellectual dead end where he's not really participating in the current discourse of serious doomers versus more serious non- doomers I guess the most serious group of non- doomers are the people at the AI companies or the people with their own AI research organizations who are saying okay yes it's a problem but here are all the ways we fighting it and the ways we're fighting it are going to be good enough matches to the difficulty of the problem and we're going to pull through that way I disagree with them from my perspective I think it's very likely that the problem is much harder than the quality of the solution that they're bringing to bear on it and I think that they it's a very wishful thinking to think that their caliber of solution is up to the caliber of the problem but of course I hold out hope that they're right because I don't have anything better to Hope on besides pausing AI besides that I thought it was interesting that yobst is very open about being a devout Christian and he clearly connects his View on AI and Technology futurism with the many different views that he has about being a Christian which I don't really know but I could just tell that he thinks about it a lot right he brought it up a bunch of times in the interview including sometimes that I didn't clip in my edit if you want to see the rest of the interview I really don't think you're missing much I think I clipped everything that was relevant to the Doom argument but there's a few more things he says so feel free to check it out on the geopolitics and Empire podcast yops you're more than welcome to come on and debate me I think it could be a great conversation to compare our views in more detail because I do admit that when I do these reaction episodes it is one-sided that's totally fair and I would love for you to come on just email me Wiseguy gmail.com besides that we got a lot of good stuff coming up on Doom debates there's a handful of other things that I want to react to especially uh doing a review of some prominent people's positions that I think is wrong in interesting ways so that'll be fun to go through uh I've got more debates coming up I've got some episodes coming up where I just try to explain a concept see if you guys like me doing things that way I guess if I do it that way it becomes more similar to Rob miles's YouTube channel so go to YouTube and search Rob Miles he's got a lot of really great stuff where he just explains Concepts and AI safety really really well all right if you want to support the channel it's always welcome we are Marching our way to 1,000 subscribers so please do your part we got to get four digigit subscribers here it's a little ridiculous that our subscriber count is three digits when objectively this is clearly like a four five or even dare I say six digigit podcast objectively in terms of number of subscribers that it should have before the world ends thanks for watching thanks for all your feedback and contributions some of you have also written in with fact checks and push backs which I think is great so keep that coming and let's keep triangulating what kind of content is the most valuable for me to bring to the mainstream because I see myself as kind of a messenger uh somebody who's been marinating in the AI Doom scene for like 15 years and now trying to communicate to the mainstream I feel like I have a lot of different stuff that I can bring forth and I want to see what works so hit me up in the YouTube comments or shoot me an email wisy gmail.com let me know that's it for today I'll see you next time on Doom debates if you turn to God every day then you you get the confidence to lead a meaningful life and to find the solution

Get Our Mobile App

Jobst Landgrebe Doesn't Believe In AGI | Liron Reacts

Transcription