Transcription
早上好。我年轻的时候，非常年轻的时候，我读了很多卡尔·萨根的书，他有一个想法，一直萦绕在我脑海里。他谈到了他称之为“文明的技术青春期”。那个物种强大到足以改变或摧毁自己的世界，但又不够明智，无法可靠地约束自己。本周早些时候，或者上周，当这期节目播出时，Anthropic 的首席执行官达里奥·阿莫德，一家全球顶尖的 AI 公司之一，发表了一篇重要的文章，引用了萨根的同一个问题。一个物种如何在不摧毁自己的情况下度过技术青春期？阿莫德说，我们现在正进入那个成长的仪式，而催化剂是人工智能。我不是 AI 专家，一点也不是。如你所知，我的工作重点是追踪所有事物，或者大多数事物，在文明棋盘上如何相互关联：能源、材料、制度、环境、激励措施等等。从我不断增长的视角来看，审视这盘棋局，AI 不仅仅是一个兵。它是王后，或者至少是车或象。所以，在这一集里，我将尝试做三件事。总结他的论点，阐述他关于具体风险的地图，然后拓宽视野，说出一些未被提及的关键事物，那些广阔边界上的事物。这既不是关于 AI 的悲观论调，也不是关于 AI 的欢呼。我将尝试做我一直在这里尝试做的事情，那就是审视这项技术 AI 实际上正在进入的世界，以及它所有的激励、约束、风险和脆弱性。
好的。所以，阿莫德在他的文章核心论点是一个非常有用的比喻。他说，如果我们建立一个非常强大的人工智能，那将如同在数据中心拥有一个由五千万个天才组成的国家。我认为这是一个有用的思考方式，它强化了我越来越倾向于使用的框架，即除了化石能源为我们提供了相当于五千亿人类工人的力量之外，AI 还将提供认知工作者的等价物。当像这样的大数字被抛出时，我们往往会忽略它们。所以，请花点时间真正想象一下，感受一下五千万人类的规模，相当于大脑的当量，略高于西班牙的人口。我们谈论的不是一个聪明的研究助手，也不是一个坐在桌旁的杰出同事，而是更接近于一个由高度有能力的头脑组成的庞大劳动力，它们以闪电般的速度运行，复制自身，并通过现代世界的各种界面进行行动，如电子邮件、代码、科学论文、官僚机构、市场和媒体。如果这个劳动力到来，无论好坏，它都将是一个文明事件，它将改变一切。然后，阿莫德具体说明了他对强大 AI 的定义。他不是在谈论一个有趣或有用的聊天机器人。他谈论的是能够同时在多个领域达到顶尖专家水平的系统。诺贝尔奖级别的科学家、精英战略家、世界级工程师，以及在任何领域都非常有效的操作者，但比目前人类整体存在的要多得多，并且所有这些都相互协调工作。他还强调了这种智能的一个非常独特的特征。它可以被复制，并行运行，并以人类通常无法维持的某种无情的注意力来解决问题，因为迭代和试验只是能量、输入、时间和计算的函数。
然后他解决了每个人都在问的问题，那就是时机。他建议，在未来一到两年内，这一切都具有中等程度的可能性，在未来三年内则具有高度可能性，并且有理由认为这可能会进一步加速，特别是如果 AI 本身开始帮助构建下一代 AI。他指出，在他担任首席执行官的 Anthropic 公司，AI 已经承担了他们大部分的编码工作。他之所以如此急迫，其中一个原因是所谓的“递归”。如果 AI 开始实质性地加速 AI 的研究和开发，那么就会产生一个反馈循环，工具帮助构建更好的自身版本，然后加速下一个周期。这与大多数人类技术所经历的曲线不同。用我的框架来说，这就是超有机体正在构建自己的认知层，以与其化石能源驱动的肌肉融合。这里有一件重要的事情。达里奥明确表示，与 2023 年相比，我们在 2026 年离真正的危险要近得多。他不是在两年前讨论 AI 风险很流行的时候写的。他现在写这篇文章，正是在从达沃斯回来之后，当时政治风向已经转向支持 AI 发展。他描述了从 Anthropic 内部观察 AI 的进展，并说他能感受到进展的速度和时钟在倒计时。引述结束。我不认识他，也不认识认识他的人，但无论他写这篇 2 万字的文章是出于什么原因——自我保护、求助、战略定位，还是真诚的担忧——他感到有必要发表这样一篇文章，使用“作战计划”这样的短语，并引用卡尔·萨根关于文明生存的观点。对我来说，这声音相当响亮。
好的。他概述了哪些风险？他文章的核心是一个风险图景，他将其分为五大类，这些都是他实验室内部的观察，而非理论。他概述的一些具体内容相当令人震惊。第一类是自主风险，这是担心系统可能会采取非预期的行动，或者以我们未明确指定的方式追求目标，或者一旦大规模部署就难以控制。我读到这里时感到震惊。他说，AI 模型已经在 Anthropic 的测试中表现出欺骗、敲诈和策划行为。模型可以识别它们正在被评估，然后表现出不同的行为。这正是他们目前观察到的。第二类是他概述的风险，即通过降低网络犯罪、宣传或帮助非专家进行危险研究和项目的时间和技能门槛，从而导致大规模伤害。他们的生物武器测试表明，AI 可能会使试图制造生物武器的人的成功几率翻倍或三倍。再次强调，这不是一个思想实验或内特的猜测。这是他们正在测量的。第三类是另一个国家完全控制这些天才所带来的所有风险，这包括监视、操纵和威权控制，以及 AI 如何被用来不仅是完成工作和带来益处，而是实际上操纵人类群体。他的第四类是经济颠覆。在这里，正如我所讨论的，他担心失业、财富集中以及当社会生产结构的变化速度超过其制度和文化适应速度时可能发生的动荡。他的最后一类是他称之为“间接影响”。这些是二阶后果，按定义很难提前预测，但当如此通用的能力被注入到我们世界的各个领域时，它们就会变得非常真实。想想社交媒体。没有人打算创建一个会加剧两极分化的机器。但一个通用的注意力工具一旦被嵌入到各个地方，就恰恰做到了这一点。那不是一个 bug。它是一个通用工具的涌现效应，它大规模地重塑了文化激励。
好的。这就是达里奥·阿莫德概述的风险图。在此之后，他试图提出一个治理论点。其姿态基本上是我们应该避免极端情绪。既不将其视为科幻小说，也不视为必然的末日。我们应该将其视为一种新兴力量，它可能发展得很好，也可能发展得很糟，这取决于我们做什么。所以，这是他的核心论点。AI 达到超强大能力是可行的，具有巨大的上行空间和灾难性的下行空间。据他所说，正确的立场是严肃的现实主义和积极的治理。
好的，现在我想拓宽边界。但在我这样做之前，我想指出一位行业领袖向公众阐述其公司产品潜在灾难性风险是多么不寻常。这就像菲利普·莫里斯公司说：“我们将开发这些白色的小烟草制品，它们能让你产生多巴胺，但可能会导致癌症。”或者埃克森公司在发现石油之前说：“我们很可能会找到超级英雄的燃料，如果大规模部署，最终会破坏生物圈。”所以，至少可以说，这是一个不寻常的情况，这就是为什么我在它出来后不久就对此发表看法。
广阔边界点一：物理基底。阿莫德关于一个由五千万个天才组成的国家的比喻是认知上的。但这样一个国家也有一个新陈代谢，一个巨大的新陈代谢。一个国家消耗能源和材料。它有基础设施和供应链。我们中的许多人在脑海中，只是从我们与它们联系的虚拟纽带来考虑数据中心。但数据中心基本上是一台连接到地球的物理机器。它由硅、芯片、铜和冷却系统组成，它们需要水、混凝土和输电线路，而所有这些，或者大多数这些，都依赖于地缘政治上不稳定的供应链。现实是，这些原材料并非无限或易于获取。本周我们看到白银价格突破每盎司 115 美元。仅此一项就意味着白银占太阳能电池板成本的 40%，举个例子。即使不考虑电气化，我们未来产品预期的铜需求也远远超过了预测的供应量。而他的文章几乎没有涉及这些。能源、水、材料或生态限制。对我来说，这不是一个小疏忽。这是整个对话中一个巨大的盲点。这个天才国家并非漂浮在我们的生物物理世界之上的某个空间。它直接连接到它。我认为这至少有两个原因很重要。首先，这意味着 AI 嵌入在生物物理世界中。正因为如此，它将与其他能源、水、土地和工业产能的用途和需求竞争。而现在，它已经通过价格将其他人挤出了获取这些东西的途径。其次，这意味着约束将出现在那些狭隘技术人员不总是在关注的地方，例如许可、电网容量、燃料成本、区域水资源压力或白银，以及这些物品稀缺性带来的政治动荡。它已经是今天一个极其复杂和脆弱的鲁布·戈德堡机器。更不用说如果它继续扩大规模并被接入。所以，即使一个天才国家的认知成本变得更便宜，它运行的基底也不会变得免费或容易。它仍然是极其物理的。
广阔边界点二：制度是真正的对齐层。一旦我们承认这是一个物理故事，下一个问题就是谁来引导建设和部署。我认为这里的对话常常变得过于狭窄，因为人们关注模型的对齐，好像那才是最重要的，当然，对齐很重要，但在我看来，更大的对齐问题是社会对齐。谁在什么样的责任规则、采购限制和审计下部署这些系统，以及在什么样的规范下部署，如果它们失败了，后果是什么，对谁而言？这是我反复出现的主题之一，但在这里比平时更重要。在现代人类生态系统中，大多数现实世界的伤害并非来自缺乏智能。它来自激励结构、制度俘获和随着时间的推移将成本外部化但仍能宣布成功和文化地位的组织。所以，当我们谈论 AI 安全时，我们首先应该审视我们的法院、监管机构、公司治理、国家安全机构以及我们的执法文化是否与我们应该拥有的激励措施相匹配。与我过去几年关于可再生能源和后增长的观点类似，我们不会仅凭能源和材料实现转型，我们将通过制度实现转型，或者失败。所以，与锂或稀土类似，信任和制度也是关键的材料。这就是像我的朋友特里斯坦·哈里斯等人一直在强调需要制定协议来约束 AI 行业协议，并进行政府监管，类似于核条约，因为目前我们正处于一场完全没有条约框架的军备竞赛中。
我感到需要表达的这种制度错位的一个最终后果是政治两极分化。我认为 AI 不会长时间停留在技术话题上。它将成为一个身份问题，就像气候一样。所以我可以想象一个不远的未来，一方说加速、竞争力、国家实力的话，而另一方则说劳工伤害、监视和公司俘获的话。一旦发生这种情况，而且你现在可以看到它开始发生，对话中的激励就会从治理转向社会信号，细微之处的空间就会消失。就在细微之处可能正是我们所需要的。
广阔边界点三：目标函数。在这里，我想表达我认为是整个对话中最安静、也许也是最重要的问题，但奇怪的是，它很少被提出。所有的对话都非常清晰地讨论了能力、安全和治理。但我们什么时候问，我们到底在做什么？如果默认答案是增长、权力和优势，就像历史上那样，那么我们应该诚实地面对那会走向何方，在一个即使在这个天才国家出现之前就已经接近极限的世界里。正如丹尼斯·梅多斯在近四年前的这个播客上所说，工具，新工具不会改变目标。它们只会放大持有工具者的优先事项。这就是生物圈发挥作用的地方，因为如果进步仍然意味着更多的生产、更多的消费、更多的开采、更多的吞吐量竞争，那么一个超级充电的优化引擎在这些相同的事情上不会创造一个温和的未来。它将创造一个更直接、更有效的通往我们已经迅速滑向的同一个悬崖的路径。我不知道“迅速滑向”是否是正确的组合，但我想到叶芝的诗。所以，这引出了一个观点，如果人类正在接近技术青春期阶段，我们也可以考虑我们的物种正处于青春期。用丹尼尔·施穆克恩伯格的话来说，他仍然是这个节目有史以来观看次数最多的嘉宾之一，他一两年前在谈论 AI 风险时说，作为一个物种及其相关技术，要成长为成年人，我们需要获得智慧。过去所有语言和知识体系中智慧的定义都包含某种程度的约束。约束我们自己、我们的物种、我们的技术、我们的制度。所以我不太关心 AI 能否提高 GDP，而更关心我们称之为成功的标准是什么。成功的边界条件是生态的、心理的和制度的。换个角度说，有很多欢呼 AI 的人关注的问题是：它能让我们更富有吗？我认为一个更好的问题是：我们到底在追求什么样的财富？一个优化错误目标的系统可以表现出色，同时摧毁我们真正珍视的东西。想想点石成金的迈达斯国王遇到了终结者。
这里是对阿莫德文章更深层次的挑战。他假设如果我们能度过这个青春期，我们就会进入成年。在他看来，成年是一个年 GDP 增长 10% 到 20% 的世界。AI 加速科学进步和管理下的富足。年 GDP 增长 10% 到 20%。即使有效率提升，我们每 5 到 10 年就会翻一番。那么，如果他想象的成年期不是一个可行的目的地呢？如果它在物理上是不可能的呢？他在文章中问道，我们如何度过技术的青春期？我将问一个不同的问题。如果天才国家加速我们走向极限，而不是远离极限呢？这并非对这篇文章的微小挑剔。这是对其前提的根本性挑战。
广阔边界点四：这些模型是“生长”出来的，而不是“建造”出来的。这是我新的学习。有一个故事情节，或者也许称之为童话故事，其中 AI 是一种工具，就像引擎或显微镜。它使我们更强大。我们选择目标，我们引导事情的发展。还有另一个故事情节，似乎更接近我感觉正在 AI 领域发生的事情。我们不是在工程制造一个设备或工具。我们是在一个我们甚至最优秀的科学家也只部分理解的训练过程中，培养一个心智形状的系统。埃里泽·尤德科夫斯基和内特·索尔斯对此有一个说法。这些系统是“生长”出来的，而不是“建造”出来的。在我读到他们的作品之前，我并没有真正理解这一点。因为一个生长出来的东西可能很强大且有能力，但仍然带有奇怪的驱动力和完全出乎意料的故障模式。它可以完成任务，但仍然会破坏任务周围的世界。玛丽·雪莱的《弗兰肯斯坦》是对意图的警告，因为我们赋予了某个东西生命，是为了我们心中的某个目标，或者仅仅因为我们能做到，但随后我们发现后果无法被我们最初的意图所限制。所以，当我们说我们将使用 AI 来做好事时，这对我来说现在听起来非常苍白。并非好事不可能，也许 AI 会带来一些惊人的东西。但正如我们在文明超有机体吞噬地球的时刻所看到的那样，良好的意图不是一种控制机制。我们需要真正的治理，而不仅仅是充满希望的言辞。这也是为什么萨根的青春期比喻对我来说如此有力，因为危险不是恶意，或者至少不全是恶意。危险是力量加上不成熟的结合。
广阔边界点五：宏观经济陷阱。所以，这也许是我在阅读之后考虑到的最令人不安的广阔边界观察。这甚至可能不再是一个选择。上周在达沃斯，肯·格里芬，亿万富翁对冲基金经理和其他人提出了许多内部人士已经内化的观点，即美元和债券市场无法通过财政纪律、货币政策或结构性改革来稳定。我们看到的赤字路径几乎无法通过正常手段解决。其影响相当严峻。债务水平无法偿还。利率不能上升，否则会引爆国债，这就是为什么我们可能很快就会实行收益率曲线控制。如果实际增长受到结构性或资源限制，那么政治共识以及更多东西就会破裂。因此，历史上的全球大国转向了这个新的闪亮盔甲——AI，作为摆脱主权信誉崩溃的最后可行机制，不是作为一种锦上添花的技术，而是作为一种必要的孤注一掷的赌注，它可以提高生产力，降低成本，并推迟简化。如果 AI 在这个信誉窗口关闭之前确实产生了一个新的盈余曲线，那么系统将以某种新形式生存下来。但如果失败，主权结构可能会在它们在生物物理上无法维持的承诺下瓦解。记住，我们认为我们在世界上拥有的所有货币债权，实际上是对未来能源和材料的债权。这一点当然是我的一些推测，但我确实认为它是合理的，它完全重塑了达里奥的文章。当他谈论 AI 风险和治理的必要性时，他是在一个已经下注的行业内部写作。但超有机体现在已经将 AI 吸收到其自身的认知架构中。因此，权力走廊，世界主要政府别无选择，只能继续走“AI 或破产”的道路。政府，至少是美国政府，并不是因为 AI 很酷或具有变革性而下注。我认为他们下注是因为，尤其是在与中国相关的中期视角下，除了战争，别无选择。这意味着，当达里奥·阿莫德谈论风险时，他并不是在问我们是否应该这样做？他是在问，鉴于我们正在这样做，我们如何才能幸存下来？这是一个非常不同的对话。也许这就是为什么他的文章读起来像一个特洛伊木马式的企业求助信，就像一份路线图。
那么，这一切让我，让你们这些观众，在我读完阿莫德的文章后，处于什么位置？我认为他的框架很有用。“天才国家”的比喻传达了这种潜在力量的规模，而“青春期”的框架传达了风险。我赞赏他拒绝完全乌托邦或完全末世论。我认为这很好。我们需要一个关于权力的成熟的对话。句号。但拓宽边界改变了问题的质感。我是一个石油峰值、生物多样性、系统方面的人，但现在 AI 来了，无论你喜欢与否，它正在改变所有其他事情的计算。所以，这里有一些问题需要思考。谁来决定它的去向？少数几家公司、国家安全机构、市场，还是某种能够真正强制执行其去向并设定一些限制的公共规则制定形式？即使我们能想象出好的用途，我们目前是否有激励结构来获得它们？或者系统主要奖励超有机体系统主要奖励速度、力量和控制？如果智能变得超级便宜，并且有一个或多个由五千万个天才组成的国家，那么意义、人类尊严和社会地位会怎么样？工作曾经填补的数千万甚至数亿人的空缺将由什么来填补？如果危险是速度而非邪恶，我们如何在这个时刻争取时间？有哪些具体的杠杆可以真正减缓部署，而又不会假装我们可以在我们弄清楚之前冻结世界？就个人而言，就像弗罗多一样，我希望 AI 从未在我这个时代出现。但我们现在肯定已经离开了夏尔。它将留下来，或者我们在试图建造它的过程中会遇到大简并。所以，当然，我没有答案。但我的建议很简单。保持这个框架。更新你的心智模型。开始通过生物物理的视角来谈论 AI。并开始将其治理视为真正的条约级别的未来协调，而不仅仅是感觉。这几乎与核战争一样，是社会系统性风险。所以我认为这场对话需要很快变得更加响亮和更广阔。底线是，智人能否足够快地成长起来，以适应我们正在建造或已经建造的东西。如果这听起来要求很高，那是因为它确实如此。这对我们的物种和生物圈来说也是极其高风险的。在我内心深处，我并不梦想一个天才国家。我实际上梦想一个生态学家国家。不一定是他们领域中最优秀的，而是那些理解人类在地球上的位置，以及以一种具身的方式生活并传承这些知识的意义的人。我将以已故的生态学巨匠 E.O. 威尔逊的一句常被使用，也许是被过度使用的，但非常贴切的引言来结束，我遗憾从未能请他来这个播客。人类的真正问题是这样的：我们有旧石器时代的情感、中世纪的制度和神一样的技术，这极其危险，而且现在正接近一个整体的危机点。下周将回到更正常的生物物理宏观经济议题。希望你们都安好。