Transcription
今天，我正在与塔迈·贝西罗格鲁和埃格·埃尔迪尔聊天。他们之前运营着Epoch AI，现在正在推出Mechanize，这是一家致力于自动化所有工作的公司。塔迈，你最近提出的一个有趣观点是，智能爆炸的整个想法是错误的或具有误导性的。你为什么不解释一下你所说的内容呢？
是的，我认为这不是一个非常有用的概念。这有点像把工业革命称为“马力爆炸”。当然，在工业革命期间，我们看到了原始物理力量的急剧加速，但还有许多其他因素，可能在解释我们在工业革命期间看到的增长和技术变革的加速方面同样重要。
有什么方法可以描述“马力”视角会错过的关于工业革命的更广泛的事物呢？我认为就工业革命而言，它是经济中许多不同部门的一系列互补性变化。所以，你有了农业，你有了交通运输，你有了法律和金融，你有了城市化以及从农村地区向城市的迁移。当时有许多不同的创新同时发生，这些创新导致了我们社会经济组织方式的改变。这不仅仅是因为我们拥有了更多的马力。我的意思是，那是其中一部分，但那不是思考工业革命时需要关注的核心内容。
我认为类似地，对于人工智能的发展，当然，我们会得到许多非常智能的人工智能系统，但这将是解释我们为何期待这种转变、这种加速以及增长和技术变革的众多不同组成部分之一。我想更好地理解你如何看待这种更广泛的转型。在此之前，你世界观中另一个真正有趣的部分是，你认为实现通用人工智能（AGI）所需的时间比旧金山大多数思考人工智能的人要长。你预计何时会出现“即插即用”的远程工作者替代品？也许对我来说，那会在2045年左右。哇。等等，你呢？再说一次，我有点更乐观。我的意思是，这取决于你所说的“即插即用远程工作者”是什么意思，以及它是否能够真正完成所有可以远程完成的工作，还是只完成大部分工作。我说的是真正的一切。对于真正的一切。把埃格的预测推迟五年或20%左右。为什么？因为即使在过去几年里，我们也看到了如此多的进步。两年前我们有了ChatGPT，现在我们有了能够真正进行推理的模型，它们比我这个在大学里学软件工程的人编码能力更强。我的意思是，我确实成了一名播客，我不是说我是世界上最好的程序员。但是，如果你在过去两年取得了如此大的进步，为什么还需要30年才能实现远程工作的完全自动化呢？
所以我认为很多人都有这种直觉，认为进步非常快。他们看着趋势线，然后直接推断；显然，它会在，我不知道，2027年或2030年或任何时候发生。他们只是非常乐观。显然，这不是你能真正做到的事情。没有一个你可以真正推断的“我们何时能实现完全自动化”的趋势。因为如果你看看经济中实际由人工智能自动化的部分，它非常小。所以如果你只是推断那个趋势，比如说罗宾·汉森喜欢做的那样，你就会说，“嗯，那需要几个世纪”之类的。现在，我们不同意这种观点。但我认为思考这个问题的一种方式是，有多少大事情？人工智能系统需要擅长多少核心能力、多少核心竞争力，才能产生这种非常广泛的经济影响，也许是10倍的加速和增长之类的？在过去的10年、15年里，你取得了多少成就？而且我们也有这种以计算为中心的观点……
所以，再深入一点，我认为埃格指的是，如果你看看过去10年人工智能的进步，我们经历了大约9到10个数量级的计算量增长，并解锁了各种能力。在早期，人们在特定游戏、非常复杂的游戏上解决游戏玩法问题。这发生在2015年至2020年，围棋、国际象棋、Dota和其他游戏。然后，你可能有了通过这些大型语言模型解锁的复杂语言能力，以及可能的高级抽象推理、编码和数学能力。这可能是另一个被解锁的重要能力。因此，在过去10年里可能发生了几次这样的重大解锁，但大约每三年发生一次，或者大约每三个数量级的计算扩展发生一次。然后你可能会问，“我们还需要解锁多少这样的能力，才能拥有一个能够全面匹配人类能力的人工智能系统？”也许具体到远程工作任务。然后你可能会问，嗯，也许你需要非常长期的连贯性，或者你需要能动性和自主性，或者你可能需要像人类一样的全面多模态理解。然后你问，“好吧，那可能需要多长时间？”所以你可以这样想，就日历年而言，之前的解锁大约每三年发生一次。但当然，之前的时期恰逢我们用于训练的计算量快速增长。因此，自AlexNet以来，与我们今天拥有的最大模型相比，我们经历了大约9到10个数量级的增长。我们正在达到一个计算扩展变得越来越困难的水平。我们已经做了一些推断和分析，研究了特定的限制，比如能源或GPU生产。基于此，看起来我们可能还剩下大约三到四个数量级的扩展空间。然后你真的会把世界产出的相当大一部分或不可忽视的一部分用于建设数据中心、能源基础设施、晶圆厂等等。这已经占GDP的2%左右了，对吧？我的意思是，目前还不到2%。是的，但目前大部分实际上也没有用于人工智能芯片。但即使是台积电目前的大部分产能也用于手机芯片之类的，对吧？即使是尖端技术。大约占尖端技术的5%。是的，即使是尖端技术也相当小。但是的，这表明我们可能需要更多的计算扩展才能解锁这些额外的能力。然后问题是，作为一个经济体，我们是否真的有能力维持这种扩展？
但你似乎有一种直觉，认为智能还有很多未开发之处。当你使用这些模型时，它们几乎已经达到了。你常常会忘记你正在与一个人工智能对话。你说的“几乎达到了”是什么意思？我不知道。我不能让Claude拿起这个杯子放到那边。远程工作，你知道吗？好吧。但即使是远程工作，我也不能让Claude……我认为目前的电脑使用系统甚至不能正确预订航班。如果到2026年底，它们能够预订航班，那会是多大的进步呢？我可能认为到今年年底，它们就能做到这一点。但那是一个非常简单的……没有人会因为预订航班而获得一份工作。那不是一项任务。我认为有些人会。如果它真的只是一份预订航班的工作，而且没有——但我认为这是一个重要的观点，因为很多人看待经济中的工作时，他们会说，“哦，那个人，他们的工作就是做X”。但那不是真的。那是他们在工作中做的事情。但如果你看看他们在工作中花在做那件事上的时间比例，那只是他们实际工作的一小部分。这只是人们普遍持有的观念。或者旅行社，他们只是预订酒店和航班。但这实际上并不是他们工作的大部分。所以自动化那一部分实际上并不会自动化他们的工作，也不会对经济产生那么大的影响。所以我认为这实际上是一件重要的事情，这种重要的世界观差异将我们与那些更乐观的人区分开来，因为他们认为经济中的工作在某种程度上要简单得多，并且需要更少的能力才能真正完全自动化。
所以我们的朋友利奥波德有这种所谓的“解缚”的观点，其特点可能是，它们基本上已经是“婴儿通用人工智能”了。然后，由于我们人为地对它们施加限制，例如，只用文本训练它们，不给它们理解Slack环境或Gmail环境所需的训练数据，或者以前在推理时间扩展之前，不给它们机会思考它们所说的话并真正想清楚，也不给它们关于这项工作实际涉及的背景，只在提示中给它们零碎的、几分钟的上下文，我们正在阻碍本质上的一点智能发挥其应有的生产力，这意味着“解缚”似乎比完全新的智能能力更容易解决。你如何看待这个框架？
我的意思是，我想你五年前也可以提出类似的观点，说“你看看AlphaZero，那里有一个迷你通用人工智能，如果你只是通过用文本训练它并给它所有上下文来解缚它”，等等，那实际上是行不通的。我认为你确实需要重新思考如何训练这些模型才能获得这些能力。但我认为过去几年令人惊讶的是，你可以从这个预训练的互联网语料库开始，而且实际上相当容易。ChatGPT就是这种“解缚”的一个例子，其中额外花费1%的计算量用于通过后期训练使其以聊天机器人般的方式进行对话，就足以使其在该能力上变得胜任——真正胜任。推理是另一个例子，目前这些模型中用于强化学习的计算量似乎只占总计算量的一小部分。再说一次，推理看起来很复杂，然后你只需花费1%的计算量就能实现它。为什么不认为计算机使用，或者计算机使用的长期代理能力，也是类似的事情呢？
所以当你谈到“推理很容易”、“只用了这么多计算量”、“并不多”，也许“你看看令牌的总数，并不多，所以看起来很容易”时，从我们今天的立场来看，这是真的。但我认为，如果你在2015年要求某人构建一个推理模型，那看起来会是不可逾越的。你必须在数万个GPU上训练一个模型，你必须解决那个问题，而且从他们当时所处的位置每扩展一个数量级都会带来他们需要解决的新挑战。你需要生成互联网规模的，或者说数万亿个令牌的数据，才能真正训练一个拥有知识的模型，然后通过将其训练成推理模型来解锁和访问这些知识。你可能需要让模型在进行推理时更高效，也许还需要对其进行蒸馏，因为如果它非常慢，那么你得到的推理模型就不是特别有用，所以你还需要进行各种创新来蒸馏模型，以便更快地训练它，因为这些推出需要很长时间。如果它每秒能处理几个令牌，它实际上就成为一个有价值的产品，而作为一个推理模型，这在当时会非常难以实现。所以从某种意义上说，从我们今天所处的位置，站在过去五年左右我们积累的巨大技术堆栈上，它看起来很容易，但在当时，它会非常困难。所以我的主张是这样的：我认为代理部分可能在类似的意义上是容易的，即在五年或三年后，或者无论何时，我们都会看到是什么解锁了代理能力，它看起来会相当简单。但是，就那些使模型能够学习如何成为一个有能力的代理的互补性创新而言，所需的工作量可能非常困难，需要多年的创新以及硬件、扩展和各种其他方面的许多改进。
是的，我觉得2015年和现在不同之处在于……2015年如果你想解决推理问题，你根本没有基础可以开始。也许你尝试了形式证明方法之类的，但没有立足之地，而现在你实际上拥有了——你有了预训练的基础模型，你有了支架、后期训练、强化学习这些技术。所以你似乎认为这些在未来会像AlphaGo现在对我们来说是更广泛智能的基础一样。我很好奇你有没有直觉，为什么不认为我们现在拥有的语言模型就像是，我们找到了缺失的大块拼图，现在我们只是在上面插入东西？
嗯，我的意思是，我想相信这一点的原因是什么？我的意思是，你可能看过AlphaGo或AlphaGo Zero、AlphaZero，它们当时看起来非常令人印象深刻。我的意思是，你只是在没有任何人类知识的情况下学习玩这个游戏，你只是从头开始学习。我认为当时它确实给很多人留下了深刻印象。但后来人们试图将其应用于数学，他们试图将其应用于其他领域，但效果不佳，他们无法在数学方面获得有能力的代理。所以很有可能这些模型，至少是我们现在拥有的这些模型，你会尝试做人们对推理所做的事情，但对于代理能力，它不会很好地工作。然后你不会——抱歉，你是说到2026年底，我们将拥有代理式的计算机使用。我认为埃格说你将能够预订航班，这与拥有完全代理式的计算机使用非常不同。我的意思是，你在计算机上需要做的其他事情只是由预订航班之类的东西组成的。我的意思是，当然，但它们不是不相关的任务。那就像说你在世界上所做的一切都只是你移动身体的各个部分，然后你移动你的嘴巴和舌头，然后你转动你的头。是的，单独来看这些事情很简单，但你如何将它们组合起来呢，对吧？是的。好的。
所以你有两个相当不同的证据。第一个是METR评估，我们私下一直在谈论它，它显示在某些类型的任务上——我看到你已经准备好了。人工智能完成人类需要10分钟、1小时或4小时才能完成的任务的能力，即对应人类任务所需的时间长度，这些模型似乎每七个月就能将其任务长度翻倍。其想法是，如果推断这条曲线，到2030年，它们可以完成人类需要一个月或一年才能完成的任务。而这种在执行任务上的长期连贯性，从根本上说就是智能。所以这条曲线表明我们正在接近。另一个证据——我感觉我自己的思维方式就是这样。我很容易分心，很难同时在脑海中保持一个长期计划。我在这方面比这些模型稍微好一点。但它们对我来说并没有那么不同。我本来会认为推理是一件非常复杂的事情，然后它看起来就像是，“哦，它只是学习10个令牌的蒙特卡洛树搜索（MCTS）”的“等等，让我们回去，换个方式思考”。仅仅是思维链就能给你带来这种提升。而且智能似乎比我们想象的要简单。也许代理能力也以这种方式更简单。是的。
我的意思是，我认为有理由预期复杂推理不会像人们可能预想的那样困难，即使是提前预想，因为人工智能很早解决的许多任务都是各种复杂的推理任务。所以它不是人类解决数学问题时那种推理。但如果你看看自1950年以来主要的AI里程碑，很多都与复杂推理有关。比如国际象棋，你可以说它是一个复杂的推理任务。围棋，你也可以说它是一个复杂的推理任务。但我认为也有长期代理能力的例子。比如在星际争霸中获胜，就是一个在有意义的时间段内具有代理能力的例子。没错。所以那种情况下的问题是，它是一个非常具体、狭窄的环境。你可以说下围棋或下国际象棋，那也需要一定程度的代理能力。这是真的。但它是一个非常狭窄的任务。所以这就像是说，如果你构建一个能够对非常特定、非常特殊类型的图像，或非常特定的视频流等做出反应的软件系统，那么你就接近通用感觉运动技能自动化了。但通用技能是非常不同的。我认为我们正在看到这一点。我们似乎离一个能够从Steam上玩任何通用游戏的人工智能模型还很远。比如说你刚刚下载了一个今年发布的游戏。你不知道怎么玩这个游戏。然后你就必须玩它。而且大多数游戏对人类来说实际上并不那么困难。我的意思是，Claude玩宝可梦怎么样？我认为它没有在宝可梦上进行训练。对，这是一个有趣的例子。首先，我觉得这个例子非常有趣，因为是的，它没有明确地进行训练。他们没有在玩《宝可梦红》上做任何强化学习。但显然，模型知道它应该如何玩《宝可梦红》，因为互联网上有很多关于《宝可梦红》的资料。事实上，如果你在玩《宝可梦红》，并且在某个地方卡住了，你不知道该怎么办，你可能可以去问Claude，“我卡在月见山了，我该怎么办？”然后它很可能能够给你一个相当不错的答案。但这并不能阻止它在月见山卡住48小时。所以这是一个非常有趣的事情，它拥有明确的知识，但当它实际玩游戏时，它的行为方式并没有反映出它拥有这些知识。它所要做的就是将明确的知识与它的行动联系起来。是的，但这容易吗？好吧，如果你可以利用你从预训练中获得的关于这些游戏的知识，以便在它们方面有所能力，好吧，它们将利用不同的技能基础。但凭借同样的杠杆作用，它们将拥有相似的能力范围。如果你已经阅读了人类所见过的所有技能的一切。很多人拥有的技能，他们并没有很好的训练数据。没错。
在接下来的几年里，你希望看到什么会让你觉得，“哦，不，我实际上错了，这是最后一次解锁，现在只是修修补补的问题了”。然后我们就会得到那个，我敢说，会引发智能爆炸的东西。我认为，如果它能展现出处理非常长上下文事物的能力，以有意义的方式使用多模态能力，并将其与推理和其他类型的系统整合。还有代理能力，能够在很长的时间范围内采取行动，完成人类需要很长时间才能完成的一些任务，不仅仅是在特定的软件环境中，而是非常广泛地；比如说从Steam下载一个任意的游戏，一个它从未见过的游戏，它没有多少训练数据，也许它是在训练截止日期之后发布的，所以没有教程，或者互联网上没有讨论过这个游戏的早期版本，然后完成这个游戏，并实际玩到最后，完成这些对人类来说具有挑战性的各种里程碑。那将是一个实质性的更新。我的意思是，还有其他事情也会让我更新我的看法，比如OpenAI的收入比现在多得多。根据他们的合同，一百亿美元的收入足以将其标记为通用人工智能吗？我认为如果发生这种情况，对我来说这不是一个巨大的更新。所以我认为，如果它的收入实际上是5000亿美元左右，那才会是一个更新。但那样我肯定会更新很多。但一百亿美元，对我来说似乎很有可能。我可能会给它分配40%的几率。如果你有一个系统，从生产者剩余的角度来看，价值一百亿美元。这与AlphaZero的区别在于，AlphaZero永远不会在市场上赚到一百亿美元。那么智能到底是什么？它就像是能够有效地实现其目标，或者你的目标的东西。如果人们愿意为此支付一百亿美元，那是一个很好的证据，表明它正在实现一些目标。我的意思是，人们为各种各样的事情支付一百亿美元。我认为，这本身并不是一个非常强有力的证据，表明它将具有变革性。人们为石油支付数万亿美元。我不知道，这似乎是一个非常基本的观点。但人们为某物支付大量金钱的事实，并不意味着如果我们设法解开它的束缚，它就会改变世界经济。那是一个非常不同的主张。
所以这就把我们带到了智能爆炸。这是智能爆炸的论点：你说得对，某些事情可能需要更长时间才能实现，但所需的软件研发核心循环，如果你只看需要什么样的进步才能制造出更通用的智能，你可能说得对，它需要更多的实验计算，但正如你们所记录的，在接下来的几年里，我们每年都会获得大量的计算资源。所以你可以想象在未来几年内会发生智能爆炸，到2027年，人工智能的计算量将是现在的10倍。你将看到这样的效果：从事软件研发的人工智能正在寻找方法，使其自身的运行副本更高效，这会产生两个效果。第一，你增加了从事这项研究的人工智能的数量，因此更多的并行人工智能可以找到这些不同的优化。他们在这里经常提出的一个微妙观点是，人工智能中的软件研发不仅仅是伊利亚那种提出新的类似Transformer架构的工作。就你的观点而言，它实际上有很多——我的意思是，我不是人工智能研究员，但我假设从最低级的库到内核，到创建强化学习环境，到找到最佳优化器，到……有太多的事情要做，你可以并行地做所有这些事情，或者在它们之间找到优化。所以你有两个效果，回到这一点。第一个是，如果你比较最初的GPT-4和当前的GPT-4o，我认为，运行它便宜了多少？对于相同的功能，它可能便宜了100倍左右。没错。所以他们正在寻找方法，以便宜100倍左右的价格运行更多的副本，这意味着它们的数量正在增加，而更高的数量正在帮助你找到更多的效率。这不仅意味着你有更多的研究人员，而且在互补输入是实验计算的情况下，它不是计算本身，而是实验。运行一个副本或开发一个副本越高效，你就可以运行越多的并行实验，因为现在你可以以比2024年或2023年便宜得多的价格进行GPT-4规模的训练运行。因此，出于这个原因，这种纯软件的奇点也看到了更多的研究人员副本，他们可以以更便宜的价格运行实验，等等。他们最初可能在某些方面受到你提到的限制，但通过这个过程，他们正在迅速变得更加强大。这种逻辑有什么问题？
所以我认为这个逻辑看起来没问题。我认为这是一种思考这个问题的不错方式，但我认为借鉴经济学家在研究研发回报方面所做的大量工作是很有用的，例如如果你将投入增加10倍，研究人员数量增加10倍，创新或创新率会发生什么。在那里，他们指出了这两种效应：当你进行更多创新时，你能够站在巨人的肩膀上，从过去的发现中受益，这使你作为科学家更具生产力。但同时，也存在收益递减的情况，即唾手可得的成果已经被摘取，取得进展变得更加困难。总的来说，你可以将这些估计总结为思考研究投入的回报类型。
我们已经深入研究了软件领域中对研究的投入回报。我们考察了传统软件或线性整数求解器或 SAT 求解器等领域的许多领域，以及人工智能领域；计算机视觉、强化学习和语言建模。在那里，如果这个模型是正确的，即你所需要的只是认知努力，那么关于这是否会导致这种加速，还是仅仅导致指数级增长的估计似乎有些模糊。然后你可能还会想到，你必须扩大规模的不仅仅是你的研究投入才能做出这些创新，因为你可能有互补的投入。所以正如你所提到的，实验可能会成为你的瓶颈。我认为有大量证据表明，事实上，这些实验和硬件的扩展对于算法、架构等的进步至关重要。
所以在人工智能领域——这对于软件来说普遍如此——如果你观察软件的进步，它通常与我们看到的硬件进步的速度非常吻合。因此，对于传统软件，我们每年看到大约 30% 的增长，这基本上与摩尔定律相匹配。而在人工智能领域，我们看到了同样的情况，直到深度学习时代，然后出现了加速，这实际上与我们看到的计算扩展的加速同时发生，这暗示着计算扩展可能非常重要。
除了这种巧合的进步速度之外，还有其他证据，例如算法和架构的创新往往集中在 GPU 丰富的实验室，而不是世界上的 GPU 贫乏地区，比如学术界或小型研究机构。这也表明拥有大量硬件非常重要。如果你观察过去五年中一些非常重要的创新，其中许多都与某种规模化或硬件相关的动机有关。因此，你可能会考虑 Transformer 本身是如何利用更多的并行计算的。像 Flash Attention 这样的东西字面上就是关于如何更有效地实现注意力机制，或者像 Chinchilla 规模定律这样的东西。因此，许多这些重大创新都只是关于如何更有效地利用你的计算能力。这也告诉你，计算的规模化可能非常重要。我认为有许多证据都指向这种互补性。
因此，我想说，即使你假设实验并不特别重要，我们拥有的证据，无论是来自人工智能的估计还是其他软件——尽管数据并不理想——都表明你可能无法获得这种超指数级的、比指数级更快的系统整体算法效率的增长。我不确定我是否相信这个论点，即因为计算和人工智能的进步如此同步，这是一种因果关系。
总的来说，整个行业获得了更多的计算能力，并因此取得了更大的进步。但如果你看看顶尖公司，有很多例子是一家计算能力少得多的公司，但拥有更清晰的愿景、更集中的研究投入，却能够击败拥有更多计算能力的现有公司。例如，OpenAI 最初击败了 Google DeepMind。如果你还记得，埃隆和萨姆之间曾有过这样的电子邮件，比如“我们必须创办这家公司，因为他们在计算方面存在瓶颈”，以及“看看 Google DeepMind 拥有多少计算能力”。然后 OpenAI 取得了巨大进步。同样，现在 OpenAI 对抗 Anthropic 等公司也是如此。
然后我认为，总的来说，你的论点过于“外部视角”。而且我们确实对这个宏观经济论点有很多了解，我心想，为什么我们不直接问问人工智能研究人员呢？我的意思是，人工智能研究人员通常会夸大认知努力和进行研究对于推动这些创新的重要性，因为这通常很方便或有用。他们会说，这种见解源于统计力学的一个很好的想法，或者物理学中的一个很好的方程，说明我们应该这样做。但通常那是一个临时的故事，他们为了让评审员觉得更有说服力而编造的。
因此，丹尼尔·科科塔伊洛提到了他进行的一项调查，他问了一群人工智能研究人员：“如果你只有计算能力的三十七分之一——他之所以选择三十七分之一是因为他认为人工智能会快 30 倍——‘如果你只有计算能力的三十七分之一，你的进步会慢多少？’”他们说：“我的进步只有我通常的进步的三分之一。”所以这只是一个很好的替代效应，你得到十分之一的计算能力，你的进步只下降了三分之一。
然后我前几天和一位人工智能研究人员聊天，他是一位顶尖人才，年薪可能数千万美元。我们问他，人工智能模型在人工智能研究中对你有多大帮助。他说：“在我已经很熟悉的领域，更接近于自动补全，它每周为我节省四到八个小时。”然后他说：“但在我不太熟悉的领域，我需要建立新的联系，我需要理解这些不同的部分是如何相互关联的，等等。它每周为我节省近 24 到 36 个小时。”而这只是目前的模型。我心想：“他没有获得更多的计算能力，但它仍然为他节省了大量时间。”将这一点推而广之。这是一个疯狂的含义或疯狂的趋势，对吧？我的意思是，我对我们实际上在研发过程中看到了如此大的加速的说法持怀疑态度。这些说法在我看来，并没有得到我实际看到的数据的支持。所以我不太确定该相信多少。
我的意思是，关于认知努力本身就能带来大量人工智能进步的普遍直觉，实验室所做的重要工作似乎是深度学习的科学。规模定律……我的意思是，它最终在实验中得到了验证，但实验是由认知努力驱动的。所以，就其价值而言，当你认为 A 和 B 是互补的时，你并不是说，就像 A 会成为你的瓶颈一样，B 也会成为你的瓶颈。所以当你认为你需要计算、实验和数据，但你也需要认知努力时，这并不意味着拥有最多计算能力的实验室会获胜，对吧？这是一个非常简单的观点，任何一个都可能是瓶颈。我的意思是，如果你有一个非常糟糕的文化，你实际上并不优先考虑很好地利用你的计算能力，而只是浪费它，那么你就不会取得很大进步，对吧？所以这并不与这样一个图景相矛盾：一个拥有更好愿景、更好团队、更好优先级的人，如果其他人只是在方程的那个部分受到严重瓶颈，他就能更好地利用他的计算能力。
这里的问题是，一旦你获得了这些自动人工智能研究人员并开始了你的软件奇点，你的软件效率将提高许多数量级，而你的计算存量，至少在短期内，将保持相当固定。那么在成为第二个优先方程的瓶颈之前，你能获得多少数量级的改进？一旦你真正考虑了这一点，你应该期望取得多大的进步？我认为人们没有想到这个问题。我认为人们很难对此有好的直觉，因为人们通常不进行实验。所以你无法在公司层面或行业层面看到，如果整个行业拥有少 30 倍的计算能力会发生什么。也许作为个人，如果你拥有少 30 倍的计算能力会发生什么？你可能对此有更好的了解，但这只是一个非常局部的实验，你可能会从拥有更多计算能力的其他人的溢出效应中受益很多。因此，由于这个实验从未进行过，因此很难获得关于互补性强度的直接证据。
实际上，你认为我们生活在 2027 年获得通用人工智能的世界里，会发生软件独角兽奇点的可能性有多大？相当高，因为你是在计算能力不是很大的前提下进行推断的。所以一定会有大量的软件进步。是的，没错。就像你在那个世界里会获得大量的算法进步的杠杆一样。好的，没错。所以也许，因为我当时认为这些是独立的问题——我认为我想说的是，我知道一些实验室有多个预训练团队，他们为人们提供不同数量的资源进行训练，以及不同数量的认知努力，不同规模的团队。但我认为，这些都没有被发表过。我很想看到这些实验的结果。我认为即使那样也不会让你有很强的更新，因为通常非常不平衡地扩展你的因子投入是非常低效的。而且为了真正估计这些互补性有多强，你需要观察这些非常不平衡的规模化。而这种情况很少发生。因此，我认为支持这一点的证据非常差。而且人们的直觉似乎也与重要的事情不符，即如果你进行这种非常不平衡的规模化，并且最终结果如何。
我有一个问题，如果有人能举个例子，那将非常有趣：也许在历史上，由于战争或其他某种供应冲击，你不得不增加产量或增加一些人们真正关心的关键产出，但由于某种奇怪的历史原因，许多关键投入无法获得，但你可以增加一种关键投入。我说的非常抽象。你明白我的意思吗？你需要制造更多的轰炸机，但你用完了铝，你需要想办法做别的事情。而这些努力的成功程度如何，或者你是否会一直受到瓶颈的限制？
嗯，我认为那不是正确的方法。因为如果你谈论的是材料，那么我认为在很多方面，不同的材料可以相互替代。你可以使用铝。我的意思是，铝是制造飞机的绝佳金属，因为它轻便耐用等等。但你可以想象，你用较差的金属制造飞机，然后它只需要更多的燃料，飞行效率更低。所以有一种感觉，你可以补偿，只是成本更高。我认为如果你谈论的是劳动力和资本之间的互补性，远程工作和面对面工作之间的互补性，或者技术工人和非技术工人之间的互补性，那就困难得多。有一些投入对，我预计会困难得多。例如，你正在考虑军队领导质量与其士兵数量之间的互补性。这有一些影响，但如果你只是扩大规模，你有出色的领导力，但你的军队只有 100 人。你不会走多远。
列奥尼达斯国王和温泉关？嗯，他们输了，对吧？如果我们正在构建模型和纯软件奇点，并且我们说，“温泉关到底发生了什么？”这有点相关，那会很有趣。
我实际上可以谈谈那个，但我们可能不应该。好的，当然。所以听众应该知道，我最受欢迎的嘉宾是莎拉·佩恩。她不仅是我最受欢迎的嘉宾，也是我最受欢迎的四位嘉宾。因为我与她合作的四个剧集，从观众分钟数调整的基础上来看，我主持莎拉·佩恩播客，偶尔会谈论人工智能。总之，我们进行了这个三部分讲座系列，其中一个讲座是关于印度-巴基斯坦战争的历史。其中一个讲座是关于第二次世界大战前的日本文化。第三个讲座是关于中国内战。对于所有这些，我的历史老师是埃吉。而且，他为什么对那些该死的随机 20 世纪冲突如此了解？但他确实知道，他提出了一些我问她的好问题。我们稍后会谈到。埃吉，那里有什么情况？我不知道。我的意思是，我没有一个真正好的问题。我认为这很有趣。我的意思是，我读了很多东西，但这是一个有点无聊的答案。我不知道。想象一下你问一位顶尖的人工智能研究人员，“发生了什么？你为什么这么厉害？”然后他们可能会给你一个无聊的答案。比如，我不知道。这本身就很有趣，因为这些问题通常会引起无聊的答案。这告诉你这项技能的性质。
你是怎么找到他的？我们在 Metaculus 的 Discord 上联系的，这是一个预测平台。当时我还在剑桥大学读研究生，从事经济学研究。我与那里的同行进行了交谈。我偶尔也与埃吉交谈。我当时想，“这个人比我的同行们更了解经济学”。当时他还是安卡拉的一名计算机科学本科生。他对经济学以及经济增长和经济史的重大趋势的了解比我大学里几乎所有的同行都多。所以，这到底是怎么回事？然后我们开始频繁合作，最终聘请了埃吉加入 Epoch，因为他显然应该处理这些类型的问题。
而且，似乎在 Epoch，你已经聚集了一群互联网上的不合群者和怪人。是的，没错。你是如何开始 Epoch 的？然后你是如何完成这个的？我当时在麻省理工学院做更多的研究，我对那里的官僚主义非常不满，因为我很难扩大项目规模、招聘人员。我对我的一些 PI 不感兴趣的工作感到非常兴奋，因为它们可能很难发表，或者不具有相同的声望。所以我和联合创始人之一的 Jaime Sevilla 聊天，我们一起合作项目，然后认为我们应该自己成立一个组织，因为我们可以招聘人员并从事我们感兴趣的项目。然后我雇佣了一群有见地的怪人，他们喜欢……
但是这个理论是，“哦，有很多未被充分利用的互联网怪人，因此这个组织才成功”吗？还是你成立了组织，然后你就……我认为是后者。所以更像是我们可以取得很多进步，因为显然学术界和工业界都在回避一些学术界无法发表有趣论文的重要问题。工业界并不真正专注于产生有用的见解。所以，对我们来说，仅仅这样做似乎非常好。而且时机也非常好。我们在 ChatGPT 之前就开始了，我们想对人工智能的未来进行更扎实的讨论。我对互联网上关于人工智能未来的讨论质量感到沮丧。在某种程度上，或者在很大程度上，我仍然是。这在很大程度上是我做这件事的动力。它源于对关于人工智能将走向何方的糟糕思考和争论的沮丧。
好的，那么我来问你一个问题：所以，为了给观众设定场景，我们将讨论爆炸性经济增长和超过 30% 的经济增长率的可能性。所以我想从“也许这不够激进，因为它可能太宽泛了”的角度来挑战你，然后我将从更正常的角度来挑战你，即“嘿，这他妈太疯狂了”。我猜你很难做到后者。
不，我的意思是，我认为这可能他妈很疯狂，让我们看看。关于这种广泛自动化，我有一个大问题，我明白你说的关于工业革命的意思，但在这种情况下，我们可以争辩说，你获得了这种智能，然后你下一步就是去沙漠，建造一个深圳式的机器人工厂，这些工厂正在制造更多的机器人工厂，这些工厂正在制造……如果你需要做实验，那么你就建造生物实验室，建造化学实验室，等等。或者你可以在沙漠里建造深圳。我同意这看起来比纯软件奇点更可行。但你的说法听起来就像麦当劳、家得宝和该死的其他所有公司也以每年 30% 的速度增长。
经济体的外星人视角是，沙漠里有一个机器人经济体，以每年 10,000% 的速度增长，而其他一切都和以前一样，还是……？
不，我的意思是，有一个关于什么可能、什么在物理上可能，以及什么将是有效的问题。所以可能是这样，而且，再次，一旦你扩展了方程的硬件部分以及软件部分，那么我认为这种反馈循环的论证就更强了。如果你也扩展了数据收集，我认为它会更强，通过部署等进行真实世界的数据收集。但是在沙漠里建造深圳……如果你考虑一下流程；到目前为止，我们一直依赖整个半导体供应链。该行业依赖大量投入和材料。而且它可能来自世界各地的大量随机地点。而创建这种基础设施，翻倍，或三倍，无论如何，整个基础设施。这是一项非常艰巨的工作。所以你可能甚至无法做到，即使你只是在沙漠里有一个深圳，那也会比这更昂贵。
除此之外，到目前为止，我们一直在大量利用过去 30 年左右在互联网上积累的海量数据。想象一下，如果你要训练一个最先进的模型，但你只有 1000 亿个 token 来训练。那将非常困难。所以从某种意义上说，我们的整个经济体产生了大量的互联网数据，我们现在正在用它来训练模型。未来，当你需要为这些系统添加新的能力时，最有效的方法可能是尝试利用类似的数据模式，这也需要……你会希望广泛部署这些系统，因为那会给你更多的数据。而且也许你可以在没有它的情况下达到你的目标，但与收集大量数据相比，从头开始会效率低下得多。
我认为这实际上是实验室希望他们的 LLM 被广泛部署的一个动机，因为有时当你与 ChatGPT 对话时，它会给你两个响应，然后说，哪个更好？或者它会给你一个响应，然后问你，这个好还是不好？嗯，他们为什么要这样做，对吧？这是他们通过这种极其广泛的部署获取用户数据的一种方式。所以我认为你应该想象这种情况会继续下去，并且在未来会继续提高效率，因为它是有意义的。
然后还有一个独立的问题是，好吧，假设你什么都没做。假设你只是试图想象最基本、最狭窄的基础设施建设和部署，足以获得这种正反馈循环，从而导致更有效率的人工智能。我同意这个循环原则上可以比整个世界小得多。我认为它可能不像深圳在沙漠里那么小，但它可能比整个世界小得多。
但随后还有一个独立的问题是，你真的会这样做吗？这会有效率吗？我认为有些人认为存在极其强大的限制，可能是监管限制，可能是社会政治限制，阻碍了这种广泛的部署。他们只是认为这会非常困难。所以我认为这是他们想象这些更狭窄的场景的原因之一，因为他们认为这会更容易。但我认为这被夸大了。我认为人们对这种部署有多难的直觉来自于部署技术不会那么有价值的情况。这可能来自住房。我们对住房有很多规定。也许它来自核能。也许它来自超音速飞行。我的意思是，这些都是有用的技术，如果它们可能受到的监管较少的话。但它们不会翻倍。
我认为这里的核心观点是，人工智能自动化和部署的价值极其巨大，即使只是对工人而言。可能会有一些失业，也可能需要一些过渡才能找到适合你的工作，但否则，至少在一段时间内，工资仍然可能非常高。而且，拥有资本的收益可能非常巨大。事实上，美国人口的很大一部分将受益……他们受益，他们拥有住房，他们有 401k。当你有这种广泛的自动化和人工智能部署过程时，这些会做得更好。因此，我认为可能会有非常深厚的基础来支持其中一些，即使它完全改变了劳动力市场的性质以及需求中的技能和职业。
所以我想说这很复杂。我认为政治上对此的反应将是，当这种情况真正开始发生时，我认为容易的说法是，是的，这将成为一个大问题，然后它可能会有争议或什么的。但不同国家实际的反应是什么？我认为这很难预测。我认为默认的观点是，“嗯，人们会失业，所以它会非常不受欢迎”。我认为这远非显而易见。而且我预计不同国家的回应会有差异。其中一些国家将对这个问题更加开放，并将进行更广泛的部署。而那些国家可能会做得更好。就像工业革命期间一样，一些国家就是比其他国家领先。我的意思是，最终几乎整个世界都在某种程度上采纳了工业革命的规范、文化和价值观。
而且，你可能会说他们在这方面会更自由，但实际上他们可能在许多方面不那么自由。事实上，在这个广泛部署人工智能的世界里，这可能更有效。我们可能会采纳像阿联酋这样的地方发展出的价值观和规范，它可能更侧重于创造一个非常有利于人工智能部署的环境。我们可能会开始模仿和采纳各种类似的规范。它们可能不是古典自由主义的规范，而是更有利于人工智能发挥作用并产生大量价值的规范。这并非旨在做出强有力的预测，这只是一个说明。在经济中部署人工智能和大规模建造大量实体物品的自由，也许这在未来会更重要。也许这仍然缺少一些东西，也许还有其他一些东西也很重要。
你认为普遍的预测是，你应该预期存在差异，一些国家做得比其他国家好，我认为这比预测哪些国家最终会做得更好要容易得多。是的。或者那个国家想要的规范。没错。
我感到困惑的一件事是，如果你看看今天的世界与 1750 年的世界，最大的区别是我们拥有他们当时没有的疯狂技术。我们有这些相机，我们有这些屏幕，我们有火箭等等。这似乎是技术增长和研发的结果。这是资本积累。嗯，向我解释一下，因为你只是在谈论基础设施建设等等。我想，但他们为什么不发明人类在 2050 年之前就会发明的那种东西呢？生产这些东西需要大量的基础设施建设。但一旦你制造了技术，这种基础设施就会建立起来，对吧？
我不认为那是对的。没有这种时间上的差异，即首先你进行发明……通常存在实际资本积累和创新之间的相互作用。学习曲线就是关于这个的，对吧，根本上？过去 20、30 年来太阳能电池板效率提高的驱动力是什么？并不是人们有了 2025 年太阳能电池板的想法。20 年前没有人有 2025 年太阳能电池板的设计图。这是想法、建造、学习、生产之间的相互作用，以及……
其他互补性投入也同时变得更有效率，例如你可能会获得更好的材料。例如，19 世纪末冶炼工艺的改进，使得加工金属变得容易得多，也许这是飞机技术后来变得更受欢迎的关键原因。并不是有人想出了“哦，你只需要使用有翅膀且推力很大的东西，然后它就能飞”这个想法。这个基本想法并不难，但那么，你如何才能真正实现它呢？嗯，那要困难得多。
你见过那个两个海狸互相说话的表情包吗？他们看着胡佛大坝。其中一个说：“好吧，我没建那个，但它是基于我的想法。”你提出的观点是，这种以发明为中心的对科技史的看法，低估了使特定创新可行并广泛部署所需的工作。这很难，我认为。
假设你想写一本关于这个的历史，你想写灯泡是如何被开发的。这真的很难。因为要理解为什么特定事情发生在特定时间，你可能需要了解当时的经济状况。例如，爱迪生花了大量时间试验不同的灯丝来使用灯泡。基本想法非常简单。你让某样东西变热，它就会发光，但什么灯丝在产品中效果最好？什么经久耐用？什么具有最高的光输出与热量比，这样浪费就更少，效率更高。即使你有了产品，你也会面临这个问题，好吧，现在是 1880 年左右，美国的家庭没有电，所以没有人可以使用它。所以你现在必须建造发电厂，并将电线铺设到房屋，这样人们才能在家中使用你创造的新灯泡。他就是这么做的，但人们把它呈现得好像是，“好吧，他只是想出了这个主意”，就像“这是一个灯泡”。
我想人们会说的是，你关于如果我们是人类为人类世界部署技术，技术将如何发展的说法是正确的。但你没有计算的是，将会有这个人工智能经济，也许它们需要进行这种创新和边做边学，当它们弄清楚如何，“我想制造更多的机器人，因为它们很有用，所以我们将建造更多的机器人工厂，我们将学习，然后我们将制造更好的机器人”等等。但从地理上看，这只是世界上发生的一小部分。你明白我的意思吗？这不像，“然后他们走进你的大楼，然后你与 Lunar Society podcast LLC 进行业务交易，然后”，你明白我的意思吗？
就其价值而言，如果你看看世界总表面积，那么经历这种非常快速增长的地方可能只占世界表面积的一小部分。我认为工业革命也是如此，它并没有什么不同。
这个爆炸性增长具体看起来是什么样的？如果我看看全球增长率的热力图，是否会有一个区域是耀眼的炽热，那就是沙漠里的工厂，里面有所有这些实验，还有……？
我会说我们的想法是，它会比那更广泛，但可能最初……所以最终它可能会覆盖世界的大部分地区。但正如我所说，由于这种异质性，因为我认为一些国家在采用方面会更快，一些城市在采用方面会更快，这意味着会有差异，一些国家可能比其他国家增长得更快。但我预计在司法管辖区层面，它会更加同质化。例如，我预计主要障碍将来自监管等问题。所以我只是认为它将更多地由监管管辖区边界来划分，而不是其他任何东西。
明白了。所以你可能是对的，基础设施建设、资本深化以及使技术变得实用的任何东西都是必要的，但……甚至是被发现。有一个方面是你通过规模化、边做边学来发现某些东西，这就是 [?] 学习曲线。还有一个独立的方面是，假设你变得更富有，那么你可以将增加的财富投资于，你用它来积累更多的资本，但你也可以投资于研发和其他方面。你让爱因斯坦离开专利局。你需要一定的资源才能做到这一点。而且你需要经济达到一定的规模。你还需要对你正在建造的产品有需求。所以，你可能有一个想法，但如果经济太小，以至于你无法专门生产半导体或任何东西，因为没有足够的需求，那么它就没有意义。
更大规模的经济在许多方面都有助于实现互补性创新和通过偶然性发生的发现，生产，有消费者愿意支付足够多的钱来收回你进行所有实验和发明的固定成本。你需要存在供应链来提供你需要的锗晶体来生长半导体。你需要大量劳动力来帮助你进行所有实验等等。
我认为你说明的观点是，“看，你是否可以通过第一性原理推理来弄清楚宇宙大爆炸？”也许吧。但实际发生的是，我们经历了第二次世界大战，我们发现了无线电通信，以便在战争期间进行战斗和有效沟通。然后这项技术帮助我们建造了射电望远镜。然后我们发现了宇宙微波背景辐射。然后我们必须为宇宙微波背景辐射找到一个解释。然后我们发现了宇宙大爆炸，这是第二次世界大战的结果。人们低估了建立所有相关资本、所有相关供应链和技术所需的巨大努力。我的意思是，你之前也发表过类似的评论，你说过，“哦，事后看来，推理模型看起来相当简单”，但然后你忽略了在此之前发生的、花了五到十年的技术栈的巨大升级。因此，我认为人们只是低估了来自整体技术升级、供应链、对该技术重要的各个领域所提供的支持。而人们只关注像爱因斯坦这样的特定个人，他有一个天才的见解，并且他是导致这些发现的因果链中至关重要的环节。或者牛顿在发现微积分方面非常重要，而没有考虑到，还有许多其他因素生产了透镜，生产了望远镜，获得了正确的数据，并促使人们提出关于动力学等问题，这些问题激发了一些问题。这些对于科学和技术创新也非常重要。
然后，正如你所说，征服法则之一是，你对一个话题了解得越多，你对那个话题就越保守。所以这里可能有一个类似的法则，你对一个行业了解得越多，你就越……显然，我只是一个评论员或播客，但我比我了解的任何其他行业都更了解人工智能。而且我从与你这样的人交谈中得知，“哦，为了让人工智能发展到今天的水平，付出了很多努力”。而当我与记者谈论人工智能时，他们说：“好吧，我们应该报道哪个关键人物？”他们说：“我们应该联系杰弗里·辛顿吗？我们应该联系伊利亚吗？”我只是觉得，“你有点错过了重点”。但然后你应该对你……或者这可能是一种类似吉尔-莫尔遗忘症的现象，我们应该对其他行业持类似的看法。
罗宾·汉森有一个关于近模式与远模式的抽象概念。我认为，如果你对一个话题了解不多，那么你就会以远模式看待它，并简化事物，你会看到更多的细节。总的来说，我认为我想说的是，这也是我为什么相信抽象推理、演绎推理甚至贝叶斯推理本身并不足够强大，或者不如许多人认为的那么强大，因为我认为现实世界中存在着巨大的丰富性和细节，你无法仅仅通过推理来理解它。你需要亲眼看到。显然，这并不是人工智能具有巨大变革性的障碍，因为正如我所说，你可以扩大你的数据收集规模，你可以扩大你在人工智能行业本身以及更广泛的经济中进行的实验，所以你会发现更多东西。更多的经济活动意味着我们有更多的暴露面积来发现更多东西。所有这些都是我们过去发生的事情，所以没有理由它们不能加速。
根本的问题是，经济增长不可能比现在快得多。就像它现在可能已经非常先进了，只是因为人类是一个如此重要的瓶颈。他们既提供了劳动力。他们在各种生产力增长的发现过程中发挥着至关重要的作用。在某种程度上，他们与资本存在很强的互补性，你无法很好地用机器等替代人类。因此，经济和生产力的增长最终会被人口增长所瓶颈。
那么我问一个相关的Нужный вопрос。你如何描述中国过去 50 年发生的事情，原则上，与你预期的人工智能的爆炸性增长相同？因为有大量的劳动力使得资本的边际产量非常高，这使得你能够实现 10% 以上的经济增长率。这基本上是基于人工智能的吗？
我想说，在某些方面是相似的，在某些方面则不然。可能最重要的一点是，在中国，你看到了大规模的资本积累，大量采用新技术，可能还有一定程度的人力资本积累。但你没有看到劳动力的大规模扩大。而对于人工智能，你应该期望看到劳动力的大规模扩大，不是人类劳动力，而是人工智能劳动力。而且我认为你确实看到了，也许不是连续的劳动力增加……这里的关键是这两者的同步规模化。所以你可能会问，“这不就是人工智能将要发生的事情的一半吗？你扩大了中国的资本积累？”但实际上，如果你让这两者都扩大规模，那将使你的增长速度更快，并带来截然不同的图景。但同时，如果你只是想知道 30% 的年增长率会是什么样子，如果你只是想具体地了解它的变革性，那么我认为看看中国也不是一个坏例子。尤其是在 2000 年代或 90 年代末，这似乎比我们预测的要慢。
对。我认为看看工业革命也相当不错。嗯，工业革命非常缓慢。但就我们取得进步的幅度而言，就产品而言。所以工业革命期间没有发生的事情是，我们只是生产了比工业革命前人们生产的更多的东西，比如生产更多的农作物，也许还有更多农场里的工业革命风格的房屋。相反，我们所得到的是，在几乎经济的每一个主要领域，我们都有许多与之前消费的产品完全不同的产品。例如在交通运输、食品方面。我的意思是，医疗保健是一个非常重要的问题，还有抗生素。
那么另一个问题是，因为我不确定我是否理解你如何定义边做边学与明确的研发，因为有公司根据税收说他们称之为研发。但然后有对研发的直观理解。所以如果你考虑人工智能如何提高全要素生产率，你可以说，现在，如果你只是用人工智能取代了台积电的工艺工程师，他们正在寻找不同的方法来改进工艺，提高效率，提高产量，我称之为研发。另一方面，你强调了全要素生产率的另一部分，比如更好的管理之类的。边做边学可以是，你可以……但是你能获得多少“动力”？就像你通过更好的管理就能达到该死的戴森球吗？但那不是论点，对吧？
重点是，有所有这些不同的东西，其中一些可能比其他更具互补性。重点不是你可以通过简单地扩大劳动力和资本来达到戴森球。那不是重点。你需要同时扩大一切。所以就像你不能仅仅通过扩大劳动力和资本来达到戴森球一样，你也不能仅仅通过扩大全要素生产率来达到它。那行不通。
我认为在什么对于达到这个戴森球世界是必要的，以及什么重要的是之间有一个非常重要的区别。就像在某种意义上，生产食物是必要的。但当然，生产食物并不能让你达到戴森球，对吧？所以我认为研发是必要的，但它本身并不足够。扩大经济规模也是必要的。它本身并不足够。然后你可以问这个问题，每个的重要性如何？所以我认为我们的观点非常相似。它与我们对软件研发的看法非常相关，我们只是说存在这些瓶颈，所以你需要同时扩大一切。这是一个普遍的观点。但我认为人们有时误解我们，认为研发不重要。不，我们不是那个意思。我们说它很重要。它在相对方面不如其他一些事情重要，而这些事情本身都无法实现这种增长。
那么问题是，如何进行信用归因？我在经济学中的一个任务是考察产出对不同因素的弹性。资本的重要性低于劳动力，因为劳动力弹性产出约为 0.6，而资本约为 0.3。但两者本身都不足够。如果你只扩大其中一个而另一个保持不变，那么两者本身都无法无限期地扩大产出。
丹尼尔问我的一个问题是，因为我提出了关于万物相互关联的观点，当时你正在谈论……人们经常提出的另一个例子是，在公元 1000 年建造一部 iPhone 需要什么？而且不清楚你如何实际做到这一点，而不复制几乎所有中间技术或大多数中间技术。然后他提出了一个观点，比如，好吧，随便。纳米机器人不是关键。关键，至少对他关心的事情，也就是人类控制而言，只是机器人经济体或人工智能经济体，无论是由于资本深化还是由于研发，到什么时候他们会有机器人？而且他们拥有更多的累积物理力量？对吧？但他想象的是一个叫做人工智能经济的独立事物。
嗯，你为什么要想象那个？我认为这很可能是他关于纯软件奇点的观点的下游。但同样，这些是我们不认同的观点。所以人工智能在我们经济中运作并受益于现有供应链和现有市场，而不是在某个岛上安营扎寨做自己的事情，这要有效率得多。然后就不清楚了，例如人们可能有直觉——我之前提到过——什么是获得这种反馈循环运行所需的最低可能建设量与最高效的实现方式之间的区别？这两个问题并不相同。但然后人们有这样的观点，哦，原则上最高效的东西，我们做不到，因为……我认为他可能会举的例子是，当征服者抵达新大陆时，或者当东印度公司抵达印度时，他们确实融入了现有的经济。在许多情况下，这取决于你如何定义“整合”，但西班牙人严重依赖新大陆的劳动力来从事银矿开采等工作。东印度公司只是英国人和印度人的比例，这并不高。所以他们不得不依赖现有的劳动力。但他们仍然能够接管，因为……我不知道这里的类比是什么，但你明白我的意思。
所以他担心的是，到什么时候，即使他们从阿里巴巴订购零部件，或者无论如何——抱歉，我有点陈词滥调，但你明白我的意思。即使他们要进入供应链，到什么时候他们会处于这样一个位置，因为经济的这一部分增长得更快，他们就可以接管政府或者……如果他们愿意的话？没错，是的。
好吧。所以我认为最终你会期望人工智能系统驱动大部分经济。除非有一些非常奇怪的巧合，人类能够以某种方式提升自己，并能够通过停止成为生物人类或其他什么来与人工智能竞争，这在早期似乎非常不可能，那么人工智能将变得强大得多。我同意，在那个世界里，如果人工智能只是以某种方式协调并决定，“好吧，我们应该像接管”或者什么的，他们只是以某种方式协调来实现这个目标，那么他们很可能做到。但是，在我们这个世界里，这也很可能。在我们这个世界里，如果美国想入侵哨兵岛，那么他们很可能做到。我认为没有人能阻止他们。但它实际上意味着什么？存在这种巨大的力量不平衡，但这并不意味着……这并不能告诉你将要发生什么，对吧？美国为什么不入侵危地马拉之类的？他们为什么不这样做？似乎他们很容易做到。因为美国……的价值不高，对吧？是的。
所以我同意，对于人工智能来说，这可能是真的，因为大部分东西都在太空里。而且你想在火星和太阳表面进行资本深化，而不是像纽约市那样。我认为这更深层次。所以它更深层次。还有这样一个事实，如果人工智能要融入我们的经济……所以基本上它们开始时是我们经济或劳动力的一小部分，随着时间的推移它们会增长，随着时间的推移它们会成为经济中实际工作力量的绝大多数。但它们是在我们现有的框架内增长的，我们有规范和规则来更好地协调，而破坏这些东西是有成本的。所以，如果得到那些让人类比以前更富有、更舒适的东西，是的，如果你能从他们那里得到这些东西，你可能会过得更好。但对你来说，如果你已经获得了经济中几乎所有的收入，那么收益将相当小。
我觉得哨兵岛的事情，有一个参考类别包括它。但历史上，有一个巨大的参考类别包括；东印度公司本可以继续与莫卧儿帝国进行贸易，他们只是接管了，对吧？他们本可以继续与前殖民时期印度 50 个不同的城邦进行贸易。但是的。没错。我的意思是，他们最初就是这样做的。然后无论如何。我不会深入那个话题。但那是参考类别……我同意。我同意。
所以，如果问题是，如果他们拥有完全不同的价值观，并且他们代表了经济的大部分，那么他们会接管吗？我仍然不知道，因为我不确定人工智能这个阶级在多大程度上是一个自然阶级。这有点像，为什么经济中的年轻人不协调？我同意，有时这些阶级的论点会被滥用。例如，当马克思主义者说，“
“为什么这一阶层不起来反抗其他阶层呢？”丹尼尔提出了一个有趣的论点，他说如果你看看征服者的历史，当科尔特斯在新世界开辟道路时，他实际上不得不回去击退一支被派来逮捕他的西班牙舰队，然后再回去。所以你可以在这些征服性人工智能内部发生这种斗争，但最终结果仍然是美洲原住民被剥夺权力。
但特别是对于人工智能来说，它们只是彼此的复制品。在许多其他方面，当它们彼此交易或互动时，它们的交易成本更低。还有其他理由预期它们彼此协调会比与人类世界协调更具兼容性。当然。如果问题仅仅是“这可能发生吗？”，这是一个较弱的主张，那么是的，这似乎是可能的。但我认为，有很多论点反对这一点。
实际上，最大的一个原因可能是人工智能的偏好根本不是……看看我们今天拥有的人工智能。你能想象它们会那样做吗？我认为人们只是不太重视这一点，因为他们认为一旦我们有足够的优化压力，一旦它们变得超级智能，它们就会变得失调。但我就是看不到这方面的证据。我同意有一些证据表明它们是“好孩子”。不，不仅仅是一些证据。不，但也有一些证据……有一篇新的OpenAI论文指出，在思维链中，奖励黑客行为是一个如此强大的吸引子，以至于如果你说：“嘿，我们去解决这个编程问题”，在思维链中，它们就会说：“好的，我们来破解它，然后找出如何破解它。”所以想象一下，你给学校的学生一次考试，然后答案就在背面。对，但人类的参考类别确实包括科尔特斯和东印度贸易公司。
当然。所以我认为这里的一个问题是，人们正在进行一种非常部分的均衡分析，或者类似的东西，他们在一个人工智能系统占主导地位的世界中思考人工智能系统的这些原始能力，而人类文明在整合自身方面做得很少，人工智能正在将自身整合到人类世界中。只要它在与人工智能沟通和协调方面表现不佳，就应该解决这些缺陷并加以改进。只要这构成风险，或造成低效率，因为它无法从协调和交易中受益，那么它就应该有巨大的动力去解决这个问题。只要从主导和接管人类中可以获得很多价值，你可能会得到一个更具谈判性的解决方案。如果情况确实如此，那么战争就只是低效的。因此，你会希望通过谈判达成某种解决方案，从而产生一些互利的结果。
与反事实相比，而不是与……相比。鸦片战争中清朝和英国之间有过互利贸易，对吧？但它可能比工业化前的中国与大英帝国开战要好，但它不如一开始就从未与大英帝国互动。所以我认为人们犯的一个错误是，他们对冲突的产生原因进行了非常天真的分析。我认为我们的同事马修对此有所著述，他们说存在失调。然后这就产生了冲突。但那实际上并不是关于冲突原因的文献所说的产生冲突的原因。它不仅仅是失调，还有其他问题，比如对你的军队和他们的军队的相对实力有错误的理解，或者可能有这些非常强烈的承诺，你认为某些领土是神圣的，所以你不愿意进行任何交易来放弃其中一部分以获得其他东西。所以你必须假设一些除了基本价值失调部分之外的额外因素。
我认为你提出了一个很好的论点，反对“人类拿起长矛和砍刀，与人工智能数据中心开战”，因为也许不存在历史上经常导致冲突的那种不对称信息。但这个论点根本没有解决被接管的风险，这可能是和平谈判的结果，或者人类社会会说：“看，我们完全不是对手。我们宁愿接受这些微薄的让步，也不愿开战。”但只要它更和平，那么我认为就没什么好担心的了。
我认为可能存在这样一种趋势，我们确实会经历一个渐进的过程，人工智能在世界经济中变得越来越重要，并实际决定和影响世界上发生的事情。但这对人类可能是有益的，因为我们正在获得这个庞大得多、规模大得多的经济和更先进的技术储备。是的。所以我认为重要的是要明确你真正担心的是什么。因为我认为有些人只是说：“哦，人类将失去对未来的控制，我们不再是做出重要决定的人。然而，我们承认”，这也有点模糊。但这值得担心吗？如果你只是认为生物人类应该永远负责所有重要的决定，那么我同意，人工智能的发展似乎对此构成问题。但实际上，其他事情似乎也对此构成问题，我只是不期望它普遍成立。比如从现在起一百万年后，即使你不发展人工智能，我们今天所认识的生物人类仍然在做出所有重要的决定，并且他们拥有某种我们今天能从自己身上辨认出的文化。我会对此感到非常惊讶。
我认为罗宾·汉森再次谈到了这一点，他说人们对人工智能的许多恐惧，只是他们对变化和快速变化的恐惧。所以不同之处在于，人工智能有可能加速这种变化，使其在更短的时间内发生。我认为这不仅仅是那种会从，比如说，基因改造人类等等所发生的变化，而是发生在压缩的时间内。我认为担忧更多地来自于，不仅仅是变化被压缩了。它是一个非常不同的变化向量。是的，但对此有什么论据呢？我从未见过一个好的论据。如果你也加速人类自身的变化，你应该会预期到很多变化。你可能会预期不同的价值观变得更加主导。你可能会预期那些不太看轻未来的人会更有影响力，因为他们储蓄更多，进行良好的投资，从而获得更多控制权。风险承受能力更高的人。风险承受能力更高。因为他们更愿意进行最大化预期价值的押注，从而获得更大的影响力。所以总的来说，加速人类变化也会导致许多你可能关心的事情的丧失。
我认为这个论点是，也许变化的速度决定了现有的人口或利益相关者或任何其他群体中，有多少比例对未来具有某种因果影响力。也许你关心的是，看，会有变化，但它不会像一个人按下一个按钮那样。那就像软件奇点极端情况。它更像是随着时间的推移规范会改变等等。所以如果你看软件奇点的图景，我同意那个图景看起来不同。我再次回到这一点，因为显然丹尼尔，也许斯科特在某种程度上，他们可能认为纯软件奇点更具合理性。然后一个人，我们可能会陷入这样一种境地，他们的特殊偏好或某些东西最终会更有影响力。我同意这使得情况看起来与你只是拥有这种更广泛的自动化过程不同。但即使在那个世界里，我认为很多人对价值锁定等事情持有这种观点，他们认为这一刻是历史上的一个关键时刻。然后某人将获得这个人工智能，它因为纯软件奇点而非常强大。然后他们将锁定一些价值观。然后这些价值观将稳定数百万年。我认为这看起来与过去发生过的任何事情都非常不同。所以我有点困惑为什么人们认为它非常合理。
我认为人们的论点是，他们看待未来，在我看来，是处于一种“远距离模式”。他们认为将有一个人工智能。它将拥有某种效用函数。那个效用函数将随着时间非常稳定，所以它不会改变，不会出现不同人工智能之间缺乏协调的混乱，也不会因为各种原因（也许是因为它们在某个环境中功能减弱，也许是因为其他原因）而导致价值观随时间漂移。所以他们根本不设想那种情况。他们说：“嗯，效用函数，我们可以永远保存它们。我们有技术做到这一点。所以它就会发生。”我就想：“嗯，这对我来说似乎是一个非常薄弱的论点。”通常的想法是，因为这是数字化的，你可以更好地保存信息，并以更高的保真度复制它等等。但实际上，即使你只看互联网上的信息，你也会遇到所谓的链接失效，它发生得非常快。实际上，数字信息根本无法保存很长时间。马修提出的观点是，信息数字化这一事实导致了——也许不是直接导致，但至少与——更快的文化变革相关。文化变革，没错。我的意思是，基本上技术变革可以为文化变革创造激励，就像它们使得保存……
我认为我听过两个关键论点。一个是我们很快会达到所谓的“技术成熟期”。而社会最近变化的一个关键方式是——也许实际上它的文化会改变得更多。实际上，不，我认为你提出的这个论点是错误的，因为我们确实知道语言实际上变化了很多。我们可以阅读19世纪以后，当识字率变得更普遍时所写的一切。但再往前推几百年，你读的是古英语，很难理解。而那是识字和语言编码的结果。嗯，那些信息保存得更好。其他类型的文化习俗呢？但我认为这个论点会是，变化是普遍技术变革的结果，而不是信息数字化的结果。也许如果信息没有保存得那么好，或者技术继续发展，文化实际上会改变更多。而这个论点是，未来我们将达到某个点，届时你已经完成了所有的技术，想法变得太难找到，你需要建造一个星系大小的欧洲核子研究中心才能让物理学向前推进一英寸。在那个时候，技术的增长，仅仅是文明的更迭就会消失。然后你就只有数字化的东西，这确实意味着锁定更具合理性。所以关于技术成熟期，我同意它会导致这种减速、变化和增长等等，某些事物相对于其之前的情况可能会被更牢固地锁定。但我们今天对此能做些什么呢？
那么，根据我们的看法，你能做些什么来产生积极影响呢？罗宾·汉森曾提出这样一个问题：16世纪的人，以他们当时所知的一切，能做些什么来对今天的世界产生积极影响？我认为这个问题甚至比那更糟糕，因为我认为今天和技术成熟期之间发生的变化量，比16世纪和今天之间发生的任何变化都要大几个数量级。所以这比16世纪的人思考他们能做些什么来产生预期中的积极影响，比如今天可预测的积极影响，情况还要糟糕。因此我认为这相当绝望。我不知道我们是否能做任何事情，或者找到任何可能在锁定后改善情况的行动方案。我的意思是，那是假设锁定会发生，而这并非……
在18世纪，一群英国废奴主义者提出了反对奴隶制的论点。我不认为有什么原则上的理由可以解释为什么我们今天不能是一个奴隶社会，或者世界上更多的地方不能有奴隶制。我认为发生的事情只是说服了英国人民奴隶制是错误的，大英帝国倾尽全力废除奴隶制并使其成为一种规范。我认为另一个例子是基督教，以及耶稣拥有这些理想的事实，你可以谈论这些理想。我认为世界是一个更基督教化的地方。它确实是一个更基督教化的地方，当然。而且它也更像那种——我不是说耶稣基督会认可今天世界上发生的一切。我只是说他更认可这个时间线，而不是一个他不存在且根本不传教的时间线。我不知道，实际上。我不确定那是否是真的。这似乎是一个难题。但我认为从基督教的角度来看，对西方有利的文化发展。我的意思是，你不知道反事实。我同意这总是真的。我只是认为世界上确实有人阅读圣经，并说：“我受到这些理想的启发去做某些事情。”而且这似乎更有可能导致……所以这就是我所说的“遗产效应”或类似的东西。你也可以对语言说同样的话，一些文化可能变得更加突出，它们的语言可能被说得更多，或者一些符号可能变得更加突出。但还有一些事情，比如城市看起来怎么样，汽车看起来怎么样，人们一天中大部分时间在做什么，以及他们把钱花在哪里？而这些问题似乎更多地取决于你的价值观如何随着环境变化而变化。那可能是真的，但对于未来，我所处的位置是，我预期很多事情会不同，而且我接受它们的不同。我更关心奴隶制的等价物，在这种情况下，它就是字面意义上的奴隶制。最后一点，我真正关心的是将有数万亿的数字生命。我希望它们不会被折磨，也不会被置于它们不想工作的条件下等等。我不希望有星系般的痛苦。这似乎更接近英国废奴主义者所说的：“让我们倾尽帝国之力反对奴隶制。”
我同意。但我会区分基督教的情况和奴隶制终结的情况，因为我认为奴隶制的终结……我同意你可以想象一个社会，从技术上讲，拥有奴隶制是可行的。但我认为那并不是导致其终结的相关因素。相关因素是与工业革命相关的价值观变化，使得奴隶制在许多方面变得难以维持，效率低下。许多国家在不同时期逐步淘汰了你可以称之为奴隶制的各种事物。例如，俄罗斯在19世纪60年代废除了农奴制。他们并非在英国的压力下这样做。英国无法强迫俄罗斯这样做，他们只是自己做了。欧洲人民有各种方式被束缚在他们的土地上，他们无法移动，无法去其他地方。这些行动限制被解除是因为它们效率低下。在殖民地种植糖或各种作物所需的那种劳动，是非常艰苦的劳动。这可能不是那种你可以付钱让人去做的事情，因为人们根本不想做，因为健康危害等非常大，这就是为什么他们需要强迫人们去做。随着时间的推移，那种工作在经济中变得不那么普遍。所以，这再次降低了这样做的经济激励。我同意你仍然可以这样做。我想强调的是，你描绘反事实的方式是：“哦，但在那个世界里，他们只会逐步淘汰奴隶制的残余。”但有很多历史例子表明，不一定只有苦力劳动，比如罗马奴隶制。是的。它不同。我最近采访了一位历史学家，那一集还没有播出，但他写了一本关于其范围的书。我认为在罗马控制下的人口中，大约有20%是奴隶。这不仅仅是农业奴隶制。他的观点是，罗马经济的成熟导致了这种程度的奴隶制，因为罗马帝国衰落后欧洲奴隶制崩溃的原因是经济失去了很多复杂性。
嗯，我不确定我是否会说奴隶制崩溃了。我认为这取决于你对奴隶制的定义。我的意思是，在很多方面，封建欧洲的人们是……但他的观点是，农奴制并非罗马奴隶制的后代制度。不，我同意。它不是后代。但实际上，我试图提出的观点是，在特定时间存在的价值观，比如我们300年后会有的价值观，或者从一千年前的人的角度来看，人们一千年后会有的价值观。这些问题更多地取决于一千年后将存在的技术、经济和社会环境，哪些价值观将是功能性的，哪些方面，哪些价值观最终会更具竞争力、更有影响力，从而让其他人也采纳它们的价值观。而它在很大程度上不取决于一千年前人们所采取的个人行动。所以我会说，废奴主义这件事，并不是奴隶制终结的原因。奴隶制之所以终结，也因为人们天生就有一种偏好，我认为这种偏好在农业时代以各种方式被压制了，因为在农业时代，在城市中建立定居社会更有效率，这些社会相当专制，不允许太多自由，而且你生活在一个马尔萨斯世界中，人们的工资可能非常低，与他们在狩猎采集时代所享受的相比。所以这只是一个不同的经济时期，我认为人们并没有进化出在那个时代会起作用的价值观。所以发生的事情是，必须有大量的文化同化，人们不得不采纳不同的价值观，而在工业革命中，人们也变得比以前富裕得多，我认为这导致了人们价值观的不同方面得以表达。比如人们非常重视平等。一直都是这样。但我认为，当压制它足够有效时，他们就能够压制它。
我的意思是，如果故事是这样，那么这使得价值对齐变得更加重要，因为那样你就会想“哦，如果人工智能变得足够富有，它们实际上会齐心协力确保未来更像你输入给它们的效用函数”，我认为你一直低估了这一点。不，我没有低估这一点。我想说的是，历史上有某些事情是路径依赖的，以至于如果有人做了一些不同的事情，一千年前发生了一些不同的事情，那么今天在某些方面就会看起来不同。我认为例如，哪些语言在哪些边界上被使用，或者人们拥有哪些宗教，或者时尚在某种程度上，尽管不完全是。这些事情更具路径依赖性，但也有一些事情不那么具有路径依赖性。所以举例来说，如果某个帝国，比如蒙古人更成功，他们不知何故——我不知道这有多现实——但他们变得非常专制，到处都有奴隶制，那是否真的会导致奴隶制在一千年后成为一个更持久的制度呢？这对我来说似乎不真实。导致奴隶制终结的力量似乎不是偶然的力量，它们似乎是更深层次的力量，如果你说“如果我们今天将人工智能与一些糟糕的价值观对齐，那么这可能会以某种更脆弱的方式影响未来”，这似乎是合理的，但我不确定你对未来关心的事情有多少，以及你预期未来会变得更糟的方式有多少，你目前实际上有很多影响力。
我的意思是，这里的另一个例子可能是工厂化养殖，你可以说“哦，并不是我们随着时间推移拥有更好的价值观导致痛苦减少，事实上你的痛苦可能增加了，因为导致工厂化养殖出现的激励是……”而且，工厂化养殖的终结很可能是因为激励开始消失，对吧？那么假设我关心确保工厂化养殖的数字等价物不会发生。也许，在其他条件相同的情况下，让受苦的心灵为你劳动比让不受苦的心灵劳动在经济上更有效率，因为痛苦的中间利益或类似的东西，对吧？你会对像我这样的人说什么，我心想“我真的不希望那样发生，我不希望光锥充满受苦的工人”之类的。难道就只是“我们会放弃，因为经济史就是这样”吗？不，我不认为你应该放弃。很难预测你的行为在遥远未来的后果。所以我只会建议你对未来打个折扣。不是出于道德原因，不是因为未来毫无价值或什么的，而是因为很难预测你的行为会产生什么影响。在短期内，我认为你可以做一些看起来会有益的事情。例如，你可以尝试将你现有的人工智能系统与你所谈论的价值观对齐，比如它们应该重视幸福，应该厌恶痛苦之类的。你可能想支持那些政治解决方案……基本上你可能想建立能力，以便将来如果你注意到类似的事情发生，我们可能有一些能力进行干预。也许你会考虑这样的前景：“嗯，最终我们可能会殖民其他星球，文明可能会变得非常庞大，不同地方之间的通信延迟可能会非常长。”在那种情况下，不同地方文化之间的竞争压力可能会变得更强，因为更难进行集中协调。因此，在这种情况下，你可能会预期竞争以更强有力的方式占据主导地位，如果你认为结果将是大量的痛苦，也许你会尝试阻止它。再次，我认为在这一点上，试图限制竞争是否真的是一个好主意还远未明朗，我可能会认为这是一个坏主意，但也许未来我们会收到一些信息，然后我们会说“哦，我们错了，我们实际上应该阻止这个”，然后也许你希望拥有这种能力，以便你可以做出那个决定。但那是一个模糊的事情。你如何建立起来？嗯，我不知道。那就是我正在努力做的事情。
是的，我认为我从我思考它的方式，以及我们思考它的方式中得到的总体启示是，对你认为自己能实现的目标要更谦逊，只关注近期，不是因为它在道德上比长期更重要，而仅仅是因为更容易对其产生可预测的积极影响。在过去几周里，我一直在思考这些更大的未来话题，并采访了丹尼尔、斯科特，然后是你们两位，我注意到我经常改变主意，从关于人工智能何时到来的最小问题——有趣的是，在宏大的计划中，这竟然是小问题——到是否会有智能爆炸，或者是否会有研发爆炸，到是否会有爆炸性增长，或者如何思考这些问题。如果你处于一个对将要发生的事情在认知上极度不确定的位置，我认为重要的是，与其对你的下一个结论变得超级确定，不如说“嗯，让我退一步，我不确定这里发生了什么”。我认为更多的人应该持有这种观点，除非你多年来对人工智能持有相同的看法，在这种情况下，我会有其他问题问你为什么会这样。我的意思是，总的来说，我们作为一个社会如何处理我们如此不确定的问题，就是拥有自由、去中心化，让去中心化的知识和去中心化的决策都掌握主导权，而不是采取像“嘿，让我们国有化，这样我们就能确保纯软件奇点对齐”这样超高波动性的集中式行动，或者不采取那些仅仅极度依赖于一种世界观，而在其他考虑下又很脆弱的行动。这已经成为我世界观中一个更加突出的部分。我认为古典自由主义就是我们处理这种认知不确定性的方式，而且我认为我们应该比历史上任何时候都更加不确定，而不是像许多其他人那样，对其他更世俗的话题似乎比他们应该的更确定。
是的，我认为很难预测会发生什么，因为这种加速基本上意味着你发现很难预测十年后的世界会是什么样子。我认为这些问题也非常困难，我们没有非常强有力的经验证据，而且存在很多这种分歧。我会说，在很多情况下和很多情境下，保持灵活性和适应新情况、新信息的能力，比制定一个正确、非常详细、包含许多具体政策建议和你应该做的事情的特定计划要重要得多。实际上，这也是我如果想让在这个爆炸性增长时期向人工智能的过渡进行得更好所会推荐的事情。我只是更希望我们普遍拥有更高质量的机构，但我对今天有人坐下来制定“好的，这种智能爆炸或爆炸性增长会是什么样子？我们应该怎么做？”的计划不那么乐观。我认为你今天制定的计划在事件实际发生时不会那么有用，因为你将学到很多东西，你将更新很多问题，这些计划就会变得过时。
你可以做的一件事是，你可以看看，比如说，战争规划的历史，以及战争规划在实际预测战争真正发生时会发生什么方面有多成功。所以举个例子——我想我可能在某个时候私下提到过这一点——但在第二次世界大战发生之前，人们显然看到有所有这些新技术，比如坦克和飞机等等，这些在一战中就已经存在了，但处于一个更原始的环境中。所以他们想知道，现在我们拥有这些技术，而且规模大得多，它们会产生什么影响？英国政府曾估计，在第二次世界大战的最初几周内，空袭会造成多少伤亡。他们预计在战争开始后的两三周内会有数十万伤亡。所以当时的想法是，空袭基本上是不可阻挡的力量，所有主要城市中心都将被轰炸，大量人会死亡，所以基本上我们不能打仗，因为如果打仗，那将是一场灾难，因为我们将遭受空袭。但后来事实证明，那完全是错误的。事实上，在整个第二次世界大战的六年里，英国因空袭造成的伤亡人数，比英国政府在战争最初几周内预期的还要少。他们六年内的伤亡人数比他们三周内预期的还要少。那么他们为什么会错呢？嗯，有很多无聊的实际原因，比如，事实证明，尤其是在早期，白天轰炸城市是真正不可行的，因为你的飞机会被击落，但如果你试图在夜间轰炸，那么你的轰炸就非常不精确，只有很小一部分真正击中目标。然后人们还低估了地面人员，比如消防员等，可以在城市中四处走动，扑灭落在建筑物上的炸弹引起的火灾的程度。他们高估了它会造成的经济损失。他们低估了它的经济成本；基本上你派出这些飞机，然后它们被击落，而一架飞机非常昂贵。所以最终结果是，当盟军开始轰炸德国时，他们每摧毁德国一美元的资本，就要花费大约四到五美元在飞机、燃料、飞行员训练等方面，这些都是他们执行任务时投入的，而且伤亡率非常高，后来政府对此进行了掩盖，因为他们不想让人们担心，你知道的……
所以这是一种情况，你提前所做的所有规划都基于这样的假设：空袭将是“轻量级核武器”，基本上它具有极强的破坏性，在某些方面会……我的意思是，它确实是，对吧？东京、德国，一夜之间有84,000人死于燃烧弹袭击，他们的大部分……但那是在六年战争期间发生的。对，但也有单次燃烧弹袭击。我的意思是，在二战末期，当他们寻找投放原子弹的地点时，他们不得不筛选十几个城市，因为这些城市已经被燃烧弹摧毁，不值得再用核弹轰炸了。没错，但如果你看看几周内预期的破坏程度，而这种破坏程度却花费了多年才达到，所以存在大约两个数量级的错配，或者类似的情况，这是相当巨大的。所以这影响了人们的思考方式。
我们讨论的许多内容中一个重要的潜在主题是，仅仅通过推理事物对于在准备和使向高级人工智能的过渡顺利进行方面制定具体计划有多么强大。而我们的观点是，这实际上相当困难，你需要与真实世界接触才能形成你对实际发生情况的大部分信念，因此进行大量的兵棋推演并弄清楚人工智能可能如何发展，以及我们今天能做些什么来使其变得更好，在某种程度上是徒劳的，因为你可能提出的许多政策看起来都相当愚蠢。在思考人工智能实际如何产生这种影响时，人们再次认为“哦，你知道，人工智能对科学研究和研发的推理对整体经济或技术产生了如此巨大的影响，而我们的观点是，再次与现实世界接触并从实验和部署中获取大量数据是非常重要的”。所以我认为存在这种潜在的隐变量，它解释了部分分歧，包括政策建议上的分歧，以及我们今天应该对我们应该做的事情保持谦逊还是雄心勃勃的程度，以及思考人工智能产生这种影响的机制。而这个潜在的隐变量是，理性的力量是什么？我们能推理出可能发生的事情有多少？理性总体上能弄清楚世界和技术的事情有多少？所以这是这里一个核心的潜在分歧。
我确实想问：你在声明中说，我们希望尽可能快地加速这种广泛的劳动自动化。如你所知，许多人认为加速这种广泛的劳动自动化、通用人工智能以及其中涉及的一切是个坏主意。你为什么认为这很好？那么，认为它好的论点是，我们将迎来经济增长的巨大飞跃，这意味着巨额财富，以及你甚至无法想象的令人难以置信的新产品，无论是在医疗保健还是其他领域。而且普通人的生活质量可能会大大提高。早期，他们的工资可能也会上涨，因为人工智能系统将自动化那些与他们工作互补的事情。或者它将自动化他们工作的一部分，然后你将完成其余部分，然后你将因此获得更多的报酬。从长远来看，最终我们确实预期工资会下降，仅仅是因为与人工智能的套利。但到那时，我们认为人类将拥有巨额资本，而且即使是那些不拥有资本的人，我们认为他们的境况也会比今天好得多。我认为很难用言语表达我们在这个世界中将获得的财富量和产品种类的增加。它可能比1800年和今天之间的差异还要大。所以如果你想象那个差异，那是一个巨大的差异。然后我们想象两倍、三倍，或者更多。
反对这种观点的标准论点是，为什么到达那里的速度如此重要？特别是如果与速度权衡的是这种转变以有利于人类的方式成功实现的概率呢？我的意思是，不清楚它是否与成功实现的概率或其他什么东西进行权衡。可能存在对齐成本。我的意思是，也许吧。你也可以计算一下，一年的延迟对当前的人们会造成多大的成本。这是人们能够享受的巨大效用，如果你每年延迟事情，它就会每年提前或每年推迟。这值多少钱？嗯，你可以看看人们效用函数凹度如何的简单模型，做一些计算，也许这在消费方面每年价值数万亿美元。这大致是消费者为了将自动化日期提前一年而可能愿意推迟消费的金额。绝对而言，它很高。相对而言，如果你确实认为它会以某种方式推动构建对齐系统等的概率，那么与所有未来相比，它就显得微不足道了。
我同意。所以这里有几点。首先，我认为你思考这个问题的方式很重要。所以首先，我们实际上不认为加速或减速事情是否真的会使糟糕的结果更有可能或更不可能，这一点是清楚的。我认为这个问题对我们来说并不明显。部分原因在于我们对软件研发方面的看法。我们并不真正相信，如果你只是暂停，然后以固定的计算规模进行20年的研究，你实际上会在对齐或类似的相关问题上取得那么大的进展。想象一下，你在2016年以2016年的计算预算试图在对齐方面取得进展。嗯，你基本上会一无所获。你不会发现人们今天发现的任何有用的东西。我认为如果你今天暂停，那么十年后我们也会处于非常相似的位置，对吧？我们不会做出很多发现。所以在我们看来，规模化对于在对齐方面取得进展非常重要。然后还有一个单独的问题是，你在各种不同意义上应该有多么“长期主义”？所以有一个道德意义上的问题，即你实际上应该关心今天活着的人，而不是那些尚未出生的人，这只是一个道德问题。还有一个实际问题，正如我们讨论的，你对你现在的行动在未来将产生的影响有多确定？
好的，也许你认为现在放慢速度还是加速都无关紧要。但有没有一种说法，从对齐的角度来看，加速它们实际上是有帮助的，现在取得额外的进展比以后更好？或者仅仅是，嗯，如果无论哪种方式都没有区别，那么最好只是获得额外一年的人们不死去、获得癌症治疗等等？我想我会选择后者。但理解它的价值很重要。即使纯粹从经济角度来看，想象一下，每延迟一年可能导致今天活着的1亿人——也许更多，也许1.5亿、2亿人——最终死亡。所以即使纯粹从经济角度来看，一个统计生命的价值也是相当巨大的，尤其是在西方国家。有时人们对一个生命的估值高达1000万美元。所以想象一下你用1000万美元乘以1亿人。那是一个巨大的数字，对吧？这个数字如此巨大，以至于我认为如果你认为加速事情是个坏主意，你首先必须持有这种长期主义的观点，即你着眼于长远的未来。你认为你今天的行动具有足够高的杠杆作用，可以可预测地影响长远未来的方向。
嗯，在这种情况下，情况有点不同，因为你不是说“我要影响一千年后某个皇帝的行为”，就像公元零年的人为了成为长期主义者必须做的那样。在这种情况下，你只是认为有一个极其重要的转折点即将到来，你只需要对智能爆炸或类似事物的爆炸性增长的关键时期施加影响。所以我认为这是一个比……更实际的前景。所以我同意相对而言。相对而言，我同意当前时刻是一个具有更高杠杆作用的时刻，你可以预期拥有更大的影响力。我只是认为从绝对意义上讲，你所能施加的影响力仍然相当低。所以它可能比2000年前大几个数量级，但仍然相当低。再次，我认为关于这种转变最终会多么广泛和分散，与它在特定实验室中多么集中，以及该实验室做出的非常特殊的决定最终会产生非常大的影响，存在这种意见分歧。如果你认为这些发展将非常集中，那么你就会认为杠杆作用特别大。因此，你可能会特别兴奋能够影响这种转变的进程，但我们的观点是，这种转变是通过许多许多组织和公司做事情而非常分散地发生的。而且这些行动在很大程度上是由经济力量决定的，而不是由实验室的特殊偏好或那些具有长期创始人效应的决策决定的。
好的，让我们来看看对爆炸性增长的一些反对意见，那就是大多数人实际上对你的预测更保守而不是更激进。显然，泰勒·科文是表达与你观点分歧的人之一。当我们一起做播客时，他提出了一个有趣的观点，他说：“撒哈拉以南非洲大部分地区仍然没有可靠的清洁水。为此所需的智能并不稀缺。我们不能轻易做到这一点。我们更可能处于那种我们可能希望沿着其他变量思考的位置。”我的意思是，我们同意这一点。我认为智能并不是阻碍技术进步或经济增长的瓶颈。它就像许多其他事物一样。因此，这与我们的观点非常一致，即扩大你的整体经济，积累资本，积累人力资本，让所有这些因素都规模化……事实上，这甚至与我之前所说的相符，我当时指出“哦，良好的管理和良好的政策，它们只是对全要素生产率（TFP）做出贡献，它们可能是瓶颈”。就像现在我们可以直接将我们更好的管理模式即插即用到撒哈拉以南非洲。不，我们不能。这很难。我认为我们不能。好的，也许我应该说，理论上可以想象即插即用……我同意。我可以想象很多事情。但我们不能轻易做到这一点，因为……很难阐明原因，而且仅仅在资本或劳动力方面也不容易做到。为什么不认为世界其他地方在人工智能将使之成为可能的技术进步方面会处于这种境地呢？我的意思是，如果人工智能的进步就像数据中心里的那种天才，那么我同意这可能会受到经济其他部分无法扩大规模和无法积累相关资本以使这些改变变得可行的瓶颈。所以我有点同意这种观点，我认为这是对“数据中心里的天才”这种观点的反驳，我基本上认同这一点。还有一点是，你很可能拥有这项技术，但有些人不想部署它，或者有些人会有规范、法律和文化因素，这些因素将导致人工智能无法在他们的经济中广泛部署——或者不像他们原本可能那样广泛部署。而这将使这些国家或社会发展得更慢。这就像一些国家会增长得更快，就像英国和荷兰在工业革命中是某种领导者一样，它们是第一批开始经历快速增长的国家。然后其他国家，即使在欧洲，也不得不迎头赶上。嗯，我再次认为我们预期人工智能也会如此。而发生这种情况的原因正是因为这些原因，那些文化或治理体系或其他方面较差的国家，阻碍了新技术的部署和规模化以及新思想的传播。
这似乎非常合理。但你的意思是只要有一个司法管辖区就行？是的。但你之前也强调了与全球经济和人类经济其他部分整合的必要性。那么这不矛盾吗……？这通常不需要文化同质性。我们与许多国家进行贸易，比如美国与中国，实际上贸易量很大。而且有很多分歧……但如果美国说“我不喜欢阿联酋在人工智能方面进行爆炸性增长，我们就是要禁运他们”呢？这似乎是合理的。那么这不会阻止爆炸性增长吗？我认为这在它揭示了大量关于人工智能能力和力量的时候是合理的。是的。而且你也应该认为，这既创造了禁运的动机，也创造了采纳非常相似的治理方式的动机，这些方式能使人工智能产生大量价值。
你怎么看这个：我认为人们从军备竞赛的角度来解读爆炸性增长。这也常常是我考虑实验室本身的公私合作关系的原因。但这种想法是，你拥有数据中心里的天才，你可以让他们想出蚊子无人机群。然后那些无人机群会，比如如果中国更早地获得这些蜂群……即使在你的视角下，这是否是你的整个经济足够先进，以至于你可以生产蚊子无人机群的结果？你领先六个月意味着你可以决定性地获胜……是这样吗？我不知道。也许你领先一年并实现爆炸性增长意味着你可以决定性地赢得对中国的战争，或者中国可以赢得对你的战争。那么这会导致类似军备竞赛的动态吗？我的意思是，我认为在某种程度上会，但我不确定我是否会期望一年的领先就足以冒险，因为如果你与中国开战……例如，如果你用1990年的中国取代今天的中国。或者如果你用1970年或1980年的俄罗斯取代今天的俄罗斯。他们的洲际弹道导弹和任何技术可能已经足以形成非常强大的威慑。所以也许即使是那种技术领先也不足以让你感到可以放心地开战。所以这似乎是可能的。
是的。实际上，这与格温提出的一个观点有关，那就是这将是一个比工业革命更不稳定的时期，尽管工业革命见证了许多国家的能力迅速提升，因为在这个时间跨度内，如果你将一个世纪的进步压缩在十年之内，一个国家首先获得弹道导弹，然后另一个国家首先获得铁路，等等。但如果你对获得弹道导弹所需的一切有更全面的看法
以及铁路，那么你可能会想：“不，这基本上不是什么正交向量。你只是在科技树上越走越远。”
我的意思是，就其价值而言，我确实认为这是可能的，如果它只发生在少数几个相对较大且拥有足够土地或资源的国家，那么这些国家将从比世界其他地区更低的基点开始，所以你需要在某种程度上迎头赶上。如果它们只是要进行某种内部增长，并且不依赖外部供应链。但这对我来说似乎并非不可能。一些国家可以做到，只是会更困难。
但在这种情况下，如果一些国家对世界其他地区拥有显著的政策优势，并且它们首先开始增长，那么它们不一定有办法让其他国家采纳它们的规范和文化。所以在这种情况下，它们在本地进行增长可能更有效率。这就是为什么我说增长差异可能主要由监管管辖区边界决定，而不是其他任何因素。我不是说——比如美国，如果它拥有人工智能但无法让世界其他地区采纳人工智能，我认为那仍然足以实现爆炸性增长。
我们应该多担心中国今天的事实，因为它工业化相对较晚，拥有更多的工业能力、技术诀窍以及所有其他通过实践学习的东西等等？如果我们接受你关于技术如何进步的模型，无论有没有人工智能，我们是否只是低估了中国，因为我们持有这样的观点：你将GDP的多少比例用于研究才是重要的，而实际上，情况是我的后院里有所有的工厂，我知道它们如何运作，我可以随时购买一个组件？我不认为人们必然低估了中国，这取决于你关注的对象，但似乎在这些人工智能圈子里，关于中国的讨论非常热烈，对吗？因此人们非常重视中国所构成的力量和潜在威胁。
但我认为关键不在于纯粹的人口数量或公司数量等方面的规模，而在于整体经济的规模，这仅仅通过以美元计量的产出来衡量。在这一点上，美国领先。但我们不期望所有这些爆炸性增长都来自金融服务。我们期望它从工业技术和工业能力的基础开始。不，如果你想扩展非常大的项目，金融服务可以很重要。金融服务对于筹集资金和获得数据中心投资非常重要。
如果我理解得没错，那就像是，伙计，你知道如何建造机器人工厂等等。在你看来，那种对技术增长和整体经济增长至关重要的技术诀窍是缺乏的。你可能拥有更先进的金融服务，但似乎你越认真对待你的观点，就越觉得本地拥有深圳这样的地方非常重要。我的意思是，相对于什么起点？我认为人们已经认识到中国非常重要。然后我同意在某些领域中国处于领先地位，但在许多领域美国或美国及其盟友处于领先地位，这些国家生产人工智能相关的投入，而美国可以获得，中国则不能。所以我认为美国在许多方面都领先，而中国在某些方面领先或至少非常接近。所以我认为这不应该让你非常强烈地更新观点，认为中国是一个更大的问题，至少取决于你的起点。我认为人们已经认为中国是一个大问题，就像这是这里重要的潜在因素。比如如果我们对中国非常不屑一顾，那么这可能是一个更新观点的理由。
我理解你的论点，即考虑经济范围内的加速比关注最聪明人工智能的智商更重要。但与此同时，你相信超人智能的概念吗？这是一个连贯的概念吗，就像你在围棋游戏中不一定止步于人类水平，而是在ELO分数上远远超越它？我们会得到在更广泛的人类能力方面也像那样的系统吗？也许这并不意味着它们会成为上帝，因为世界上还有其他ASI。但你明白我的意思，会有拥有这种超人能力的系统吗？是的，我的意思是，我确实期望如此。我认为问题在于这个概念对于思考向一个拥有更先进人工智能的世界的过渡有多大用处。我不认为这是一个特别有意义或有帮助的概念。我认为人们引入的一些概念表面上看起来很有用，但当你深入研究它们时，它们实际上非常模糊，而且不清楚你该如何理解。你有通用人工智能（AGI）这个概念，它与狭义人工智能的区别在于它更通用，也许平均而言可以做人类能做的一切。人工智能系统的能力曲线非常不规则。所以你必须以某种方式采纳某种平均能力的概念，而这到底意味着什么，感觉真的不清楚。然后你还有超人工智能（ASI）这个概念，它在通用性上是AGI，但它在每项任务上都比人类更好。这是一个有意义的概念吗？我想它是连贯的。我认为这不是一个非常有用的概念，因为我更喜欢只思考世界上实际发生的事情。你可以在没有一个能在所有方面都比人类做得更好的人工智能系统的情况下，实现剧烈的加速。我想你可以在拥有一个在所有方面都比人类更好的ASI时，却没有加速，但这只是因为它非常昂贵或非常缓慢或类似的原因。所以我不觉得那特别有意义或有用。我只是更喜欢思考对世界的整体影响，以及人工智能系统能够产生哪些类型的影响。
是的，我的意思是，这里有一个直觉泵：比较约翰·冯·诺依曼和一个从标准分布中随机抽取的人类。如果你向世界增加一百万个约翰·冯·诺依曼，与仅仅增加一百万个普通人相比，对增长的影响会是什么？嗯，我同意那会大得多。对。但由于你之前提出的莫拉维克悖论类型的论点，即进化不一定在约翰·冯·诺依曼与普通人类区别开来的那种谱系上对我们进行了那么长时间的优化。鉴于在这种偏差内你已经产生了如此巨大的经济影响。为什么不进一步专注于优化进化尚未努力优化的这个方面呢？我不认为我们不应该关注那个。但我想说的是，例如，如果你正在思考围棋人工智能的能力，那么超人围棋人工智能的概念，是的，你可以说那是一个有意义的概念。但如果你正在开发人工智能，它并不是一个非常有用的概念。如果你只看缩放曲线，它只是向上延伸，并且在某个地方有一个人类水平。但人类水平在任何意义上都不是特权的。所以问题是，这是一个值得思考的有用事情吗？答案可能是否定的。取决于你关心什么。所以我不是说我们不应该专注于尝试让系统比人类更聪明，我认为那是一个值得关注的好事情。
是的，我想我试图理解我们与2100年的人工智能的关系，是否会像人类与其他灵长类动物的关系一样。这是我们应该有的正确心智模型吗，还是我们会对它们的认知范围有更大的熟悉度？我认为人工智能系统将非常多样化，因此询问关于这种非常多样化的系统以及我们与它们的关系并不是特别有意义。我的意思是，我们能否在认知上理解它们能够采纳的各种考量？人类是多样化的，但没有黑猩猩能够像另一个人那样理解这个论点，对吗？所以如果我试图思考我在未来世界中的位置，或者人类的位置，一个相关的概念是；仅仅是经济增长了很多，劳动力也多了很多，还是存在以这种关键方式超级智能的生物？我的意思是，会有很多我们根本无法理解的事情，在某种程度上，今天也有很多事情人们不理解世界是如何运作的，以及某些事物是如何制造的。那么，我们能够接触到或原则上能够接触到这些考量有多重要呢？我认为对我来说，任何个体人类都能够接触到产生某种结果的所有相关考量，这并不是特别重要。那似乎只是多此一举。你为什么需要那样发生？我认为在某种意义上那会很好。但我认为如果你想要一个拥有非常先进技术的复杂世界，那些东西对你来说将是不可触及的。所以你面临着可及性与世界先进程度之间的权衡。从我的角度来看，我宁愿生活在一个拥有非常先进技术、有很多我能享受的产品以及很多能改善我生活的发明的世界里，即使这意味着我只是不理解它们。我认为这是一个我非常乐意做出的简单权衡。
好的，让我们回到对爆炸性增长的反对意见。我们已经讨论了一些。这是另一个与其说是反对意见不如说是一个问题：所有这些额外的产出都去哪儿了？谁在消费它？如果经济在十年左右的时间里增长100倍，目的是什么？所以首先，我认为即使你从你可能称之为“集约边际”的角度来看，即你只是拥有更多今天已有的产品，我认为对此也会有很大的需求。也许不是正好100倍，那可能会开始遇到一些边际收益递减。目前世界人均GDP平均每年1万美元左右，对吗？而且有些人享受数百万美元。因此，人们享受的东西之间存在差距，而且在边际效用方面似乎没有超级递减，所以仅仅在纯粹的集约边际上，即消费我们今天消费的东西但更多，还有很大的空间。然后还有这个可能更重要的维度，我们将沿着它扩展，那就是……产品多样性。是的，你正在消费的事物范围的广延边际。如果你看看工业革命之类的东西，那似乎是我们扩大消费的主要维度。在你关心的任何领域，交通、医药、娱乐和食品，我们能够消费的物品种类都出现了巨大的扩张，这得益于新技术、新贸易路线或新的生产方法。所以我认为这确实是我们将伴随这种消费扩张而看到的关键。
泰勒提出的另一点是，将会出现某种鲍莫尔成本病，你会被增长最慢的事物所瓶颈。生产力最快的事物基本上会削弱它们自己的……在产出中的份额。对，是的。我的意思是，我们完全同意这一点。我会说那只是一种定性考量。它本身不足以预测在这些影响下允许的增长率是多少，它只是一个定性考量，然后你可能需要做出额外的假设才能做出定量预测。所以我认为这有点……所以这个论点的令人信服的版本是，如果你做我们之前在“纯软件奇点”论点中所做的事情，我们基本上指向了同样的拒绝，即有多种事物可以瓶颈进展。所以如果有人指出一个明确的事情，比如这里，医疗保健是一个非常重要的事情，我就会更信服。我们为什么要期望人工智能能让它变得更好？那似乎不会因为人工智能而变得更好。所以也许医疗保健只是成为经济的一大部分，然后就成了瓶颈。所以如果有一个特定的部门……也许论点是即使只有一个……不，如果只有一个，如果那是经济的一小部分，那么你仍然可以获得很多增长。你只需自动化其他一切，那将产生很多增长。所以它必须在数量上可行。因此你实际上必须定量地具体说明这个反对意见应该是什么。
对。所以首先你必须具体说明这些任务是什么。它们在经济产出中的当前份额是多少？第二件事是你必须具体说明你认为互补性有多差？所以在数值上，经济学家使用替代弹性概念来量化这一点。所以那会给你一个数值估计，如果你在某些维度上产出多得多，但在其他维度上不多，那会整体增加多少经济产出？然后还有第三个问题。你也可以想象你自动化了经济的很大一部分。嗯，很多人类在从事那些工作。所以现在，他们不再需要做那些了，因为那些工作被自动化了。所以他们可以从事尚未被自动化的工作。所以正如我前面举的例子，你可能会想象一个世界，远程工作任务首先被自动化，然后感觉运动技能滞后。所以你可能会有一个世界，软件工程师反而成为体力劳动者。当然，在那个世界里，体力劳动者的工资将比他们今天的工资高得多。所以这种再分配也产生了大量的额外增长，即使瓶颈效应最大化，即使你只看经济中的所有任务，并字面上选择对生产力增长最不利的一个，你仍然会因为这种再分配而获得大量的产出增长。
所以我认为有一个观点值得提出；我们与经济学家谈论这个问题的经验是，他们会提出这些更定性的考量，而我们提出的论点则对增长率做出了具体的定量预测。所以例如你可能会问“经济会以多快的速度翻倍？”然后我们可以思考，一个H100大约能做……有一些估计表明人脑每秒进行多少计算，大约是1 E15次浮点运算左右，有点不清楚，但后来发现一个H100大致能进行那个数量级的计算。所以你可以问“一个H100需要多长时间才能收回成本？”如果你运行人脑的软件。如果你运行人脑的软件，你就可以将其部署到经济中，并在美国每年赚取大约5万到10万美元的人类工资。所以它就能收回成本，因为它每个H100的成本大约是3万美元。所以你得到的翻倍时间可能大约是一年。所以这就像一个非常定量具体的预测，关于……然后有人回应说，“嗯，你有鲍莫尔效应”，那这意味着什么？它会翻倍吗？这预测它每两年翻倍还是每五年翻倍？你需要更多的假设才能使这成为一个连贯的反对意见。所以我认为有点令人困惑的一点是，存在这些我同意的定性反对意见，比如瓶颈确实很重要，这也是我更怀疑这种“软件奇点”故事的部分原因。但我认为这不足以阻止爆炸性增长。
我经常听到的另一个反对意见——你可能也会有类似的回答——是这种观点，即经济的很大一部分是由O形环式活动组成的。这指的是，我认为，挑战者号航天飞机爆炸事件。只有一个部件——我忘了O形环的具体问题是什么——但因为那个部件有故障，整个系统就崩溃了。我的意思是，我实际上觉得这很有趣，因为O形环模型是许多许多输入的乘积，然后总产出是许多事物的乘积。但实际上，从瓶颈较少的角度来看，这相当乐观。我想我们之前指出过这一点，再次，谈到纯软件奇点，我说如果它是计算机实验与研究的乘积……但如果其中一个乘积……是零。因为人类……但你在那里有恒定的边际产品，对吗？是的，但如果其中一个产品无法扩展，那并不会限制——就像，是的，这意味着你在扩展方面的效率会比你本来要低，但你仍然可以获得很多……你可以在O形环世界中拥有无限扩展。所以实际上我不同意泰勒的观点，他不够保守，他应该比他实际做的更认真地对待他的瓶颈观点。然而我不同意他的结论。我认为一旦我们拥有能够灵活替代的人工智能，我们就会获得爆炸性增长。
我不太确定我是否理解，比如，人工智能会创造出全新的组织。我们写了一篇关于人工智能公司这类组织的博客文章。而你可能在今天存在的这个组织中是一名高效的员工或贡献者。在人工智能世界中，许多人类可能只是零，甚至是负数……我同意。为什么那不会……把它放到乘法中。但为什么人类会参与其中呢？你们都说人类会对产出产生负面贡献。但你又说我们应该把他们放到……好的，公平公平公平。主要的反对意见通常是监管。我认为我们已经在不同地方含蓄地解决了这个问题，但不如就明确地解决一下：为什么监管不会阻止这一切？是的。所以，就其价值而言，我们确实有一篇论文，其中回顾了所有支持和反对爆炸性增长的论点。我认为监管是“反对”方面看起来最强烈的论点。它看起来很强的原因是，尽管我们之前已经提出了关于国际竞争、不同司法管辖区政策差异以及出于经济和国家安全原因采纳这项技术的强烈激励等论点。所以我认为这些论点结合起来相当有说服力，但即便如此，世界确实拥有令人惊讶的能力，可以协调一致地不追求某些技术。对。人类克隆……对。所以我认为很难极其自信地认为这不会发生。我认为我们对人工智能这样做比对人类克隆这样做的可能性要小，因为我认为人类克隆触及了一些其他禁忌等等。而且价值也较低。而且在直接意义上对国家安全的重要性也可能较低。但与此同时，正如我所说，很难排除这种可能性。所以如果有人说“嗯，我认为有10%或15%，随便，20%的机会会出现某种全球性的监管协调，而且那会非常有效。也许会通过对背叛国家实施制裁来执行，你知道的。然后也许它不会阻止人工智能的部署，但也许只是足够减缓事情，让你永远无法获得爆炸性增长”。我不认为那是一个不合理的观点。就像有10%的可能性会发生。我不知道是否还有……我不知道。你遇到过其他……其他反对意见吗？我应该就什么事来烦你呢？
我的意思是，我们从经济学家那里听到的一些事情……人们有时会回应我们关于爆炸性增长的论点，这是一个关于增长水平的论点。所以我们说“我们将看到每年30%的增长，而不是3%”。他们以一个关于水平的反对意见来回应。所以他们说“嗯，你能让理发、乘坐航班、或者其他什么、或者去餐馆变得多有效率，多有价值？”而那根本就是错误的反对意见。我们谈论的是变化率，而你通过对生产力绝对水平的论证来反对它。而且正如我之前所说，如果这个论点是关于以较慢的增长率持续更长时间，经济学家自己也不会认可。所以这更像是特殊辩护……
我的意思是，为什么不只是部署这件事呢，你对人工智能提出的同样论点，即你通过向世界部署并观察人们发现什么有用而学到很多，ChatGPT就是这样一个例子。为什么人工智能产品和服务不会发生类似的事情，即如果其中一个组成部分是你将其投放市场，人们使用它，你发现他们需要什么，并且它依附于现有的供应链等等。那不需要时间吗？我的意思是，它需要时间，但通常很快。事实上，ChatGPT增长得非常快。对，但那只是纯粹的数字服务。乐观的一个原因是，如果你认为人工智能将真正成为即插即用的远程工作者，或者在某些情况下如果你有机器人，成为即插即用的工人，那么公司已经有招募人类的经验，招募人类不需要很长时间。也许即使在一个特别困难的工作中，一个新员工也需要六个月才能开始有生产力。嗯，那不算太长。所以我认为那不会排除公司能够招募人工智能员工的可能性，假设他们不需要进行大量的新的互补创新和发现来利用它。我认为当前人工智能系统受到抑制的一种方式，以及我们看到的增长可能比你预期要慢的原因，是因为经济中的公司不习惯使用这项新技术，他们必须重新安排工作方式才能利用它。但如果人工智能系统真的能够替代人类工人，那么，互补创新可能就不那么必要了。
实际上，这是一个很好的借口来谈论最后一个话题，那就是人工智能公司。所以我们一起写的这篇博客文章是关于拥有一个完全自动化公司会是怎样的，我们提出的关键点是人们倾向于过分强调并从单个副本会有多聪明的角度来思考人工智能。如果你真的想理解它们超人的方式，你就会想专注于它们的集体优势，而这些优势由于生物学原因我们无法拥有，那就是它们可以带着所有默会知识被复制。你可以复制一个Jeff Dean或Ilya Sutskever，或者任何相关领域的相关人物。你甚至可以复制埃隆·马斯克，他可以成为SpaceX钻井平台上的每一个工程师。如果那不是一个有效的方式来……他们的AI等价物。如果不是最好有埃隆·马斯克或任何东西，你只需复制相关的团队或任何东西。而我们人类公司存在这个问题，可能会有非常高效的团队或群体，但随着时间的推移，他们的文化会稀释，或者人们离开，或者死亡，或者变老。而这是这些数字公司可以解决的众多问题之一。公司现在拥有进化的三个相关标准中的两个；它们有选择，有变异，但它们没有高保真复制。一旦你拥有这最后一块拼图，你就可以想象公司会有一个更快速、更激烈的进化序列。这与入职有关，目前它们还不够聪明，无法作为正式员工入职，但一旦它们能够，我只是想象我试图招聘的那些事情，那将是一个巨大的突破。薪水完全是次要的。我可以……“这是我需要的技能”或我需要的一套技能。如果需求弹性很高，我就可以同时拥有上千名工人。我认为这可能与变革性人工智能一起，是你需要了解未来人工智能社会会是什么样子最被低估的实际事物。
我认为关于这种非常宏观的图景，第一点是你只是期望所有相关投入的大量扩展。我认为那是首要的事情。但随后你可能会有更多微观问题，关于“好吧，这个世界实际上会是什么样子？它与一个我们只是拥有更多人口、更多资本和更多……的世界有什么不同？”因为它应该不同。然后我认为这些考量变得很重要。我认为另一个重要的事情是人工智能可以被对齐。你可以控制你的人工智能系统的偏好，而你无法真正控制你员工的偏好。你的员工，你只能选择，你没有其他选择。但对于你的人工智能，你可以对它们进行微调。你可以构建具有你想要的偏好的人工智能系统。你可以想象这会极大地改变决定人类公司结构的基本问题。例如，委托代理问题可能会消失。这是一个问题，作为员工的你，其激励要么与你的经理不同，要么与整个公司不同，要么与公司股东不同。
我实际上认为激励是难题中较小的一部分。更多的是关于带宽和信息共享，在一个大型组织中，很难拥有一个单一连贯的愿景，我们今天看到的最成功的公司是，在一段不寻常的时间里，创始人能够将他们的愿景灌输到组织中；SpaceX或特斯拉就是这样的例子。人们也这样谈论英伟达。但想象一下未来的一个版本，有一个超推理规模的巨型黄仁勋，你每年花费1000亿美元进行推理，他的副本不断地撰写每一份新闻稿，审查每一个拉取请求，回答每一个客户服务请求等等，并监控整个组织，确保它沿着一个连贯的愿景前进，并合并回超黄仁勋、巨型黄仁勋，随便什么。是的，我同意那是一个更大的问题。同时，我想指出，人类公司中拥有连贯愿景和文化等之所以重要，部分原因可能是否则会存在激励问题。我不会排除这一点，但我同意，除了整体宏观经济因素之外，我认为它们可以被复制的事实可能是最重要的。
这也带来了额外的规模经济来源，如果你拥有两倍数量的GPU，你不仅可以运行两倍数量的旧模型副本，而且可以训练一个更好的模型。所以你将训练计算和推理计算都翻倍，这意味着你不仅会获得原本两倍的工人数量，你还会获得更多，因为它们也更聪明，因为你花费了更多的训练计算。所以那是规模经济的另一个来源。然后还有这个好处，对于人类来说，基本上每个人都必须从头开始学习。他们出生后，就必须进行一定量的终身学习。所以在人类学习中，存在大量的重复，而对于人工智能系统，它只需学习一次。它只需进行一次包含大量数据的巨大训练运行。然后那次运行就可以部署到任何地方。所以那是人工智能相对于人类的另一个巨大优势。
也许我们以这个我们经常在线下讨论的问题来结束：中央计划在这些规模经济下会奏效吗？所以我想说，我的意思是，再次，问题是，“它会奏效吗？”它会是最优的吗？对。所以我的猜测是可能不是最优的。但我不认为有人非常详细地思考过这个问题。所以值得思考为什么人们可能会期望中央计划在这个世界中会稍微好一些。所以一个考量是通信带宽可能比今天大得多。在当前世界中，信息收集和信息处理是同地进行的；人类观察并处理他们观察到的东西。在人工智能世界中，你可以将它们分离。所以你可以有传感器，不做太多处理，只是收集然后集中处理。集中处理可能出于多种原因而有意义，你可能会从拥有更多GPU（它们能产生更好的模型）中获得规模经济，并且能够更深入地思考它所看到的东西。值得注意的是，某些事情已经像这样运作了，例如特斯拉的FSD。它将受益于从数百万英里驾驶中在外围收集的数据。然后因此而产生的改进。集中指导，它来自总部，就像“我们要推送一个更新”。所以你确实得到了一些这种更集中的……而且它可以是一种比他们——我的意思是，我确信特斯拉比那更复杂——但它可以是一种更深思熟虑、更智能的更新。所以那是一个值得期待的原因。而另一个原因，我想，是当前的领导者或CEO并不比工人拥有更大的大脑。也许一点点……我不知道你是否想展开那个……但不是数量级的。所以你可以让进行规划的模型规模比执行行动的人或代理或工人大几个数量级。我认为第三个原因是激励问题，市场存在的部分原因在于它能给予人们正确的激励。但如果你使用人工智能，你可能就不那么需要它了。所以我认为有一个论点是，如果你只是列出人们传统上反对“为什么中央银行不起作用？”的论点，那么你可能会期望它们变得更弱。现在，我认为当你进行那种分析时，存在陷入同样的部分均衡分析的危险，即你只考虑某些因素，而不考虑其他因素。例如……事情变得更复杂，你只是拥有一个更大的经济体，所以一方面，你收集和处理信息的能力提高了，但随着事情变得更复杂，这样做的需求也增加了。举例说明的一种方式是：想象一下，如果今天的苹果公司，凭借其所有的计算能力和一切，被赋予管理乌鲁克经济的任务。我认为它实际上可以集中规划经济。乌鲁克的经济因此可能会运作得更好。但今天的苹果公司无法管理今天存在的全球经济。对。是的。
好的，实际上这将是最后一个问题：人工智能如此引人入胜的原因之一是，没有哪个人类知识领域与研究它无关，因为我们真正试图……我不敢苟同。没有哪个严肃的人类知识领域……那更好。……与研究它无关，因为你只是从根本上试图弄清楚未来社会会是什么样子。因此，计算机科学显然是相关的，但经济学——正如我们一直在讨论的——历史，以及如何理解历史，以及我们一直在讨论的许多其他事情也都是相关的。特别是如果你有更长的时间线，并且有足够的时间让某人在这里追求有意义的职业，你会向某人推荐什么？因为你们两个都很年轻。我的意思是，尤其是你，Ege，但你们两个。你会认为这是需要晶体智力或其他什么的东西，特别是考虑到我们之前说的……看，随着我们获得更多知识，我们将不得不把我们所学到的东西纳入构建一个更好的世界未来模型中。如果有人对你们俩所从事的这种职业感兴趣，你有什么建议给他们？是的，那是一个难题。我的意思是，我不确定。我认为在某种程度上，很难刻意追求我们本会追求的隐含策略。如果它是自发的，更多地由好奇心和兴趣驱动，而不是你刻意选择“好吧，我只是要学习很多东西，以便为人工智能的讨论做出贡献”，它可能会运作得更好。我会认为那种策略可能效果较差。至少我似乎没有看到有人刻意使用那种策略然后成功了。是的，我想我没有直接为讨论做出贡献，但也许促成了其他人做出贡献。我想那不是我刻意的策略，但做播客是一个刻意的策略，它无意中给了我学习多个领域的机会。是的，所以鉴于你已经对这些话题感兴趣、好奇，并且阅读了很多东西，研究了很多东西，思考了很多东西，在边际上，你可以做很多事情来让你在做出一些贡献方面更有效率。我认为只是与人交谈，写下你的想法，并找到特别有用的人来聊天和合作，我认为那非常有用。所以只需寻找那些观点相似的人，你可以与他们进行高带宽的对话，并在这些话题上取得进展。我认为那非常有用。但具体怎么做？比如他们应该私信你吗？比如他们怎么加入？是的，当然。而且，我不知道，和你的朋友建立Signal聊天群什么的。实际上，我从中获得了多少阿尔法收益真是太疯狂了。但是的，我认为我给人们的一个普遍建议，即使他们不是专门思考人工智能，但我认为对那也有帮助，那就是人们应该更积极主动地去联系。人们有一种印象，如果你联系一个看起来非常重要的人，他们不会回复你。但如果你发送给他们的内容有趣且高质量，那么他们很可能会回复。在那里你可以获得更多的优势，那就是更积极主动，更少因为看起来愚蠢而感到羞耻。那是我会给出的主要建议。因为如果你想有生产力，那么再次，存在这些互补性，所以你需要成为某个社区或某个组织的一部分。这又回到了单独推理并没有那么有帮助的事情上。是的，是的，是的。这就像其他人已经思考了很长时间，并偶然发现了你可以利用的有用想法。对。所以你应该尝试将自己置于一个可以成为更大事物一部分的境地。那不是在前线工作，那只是一个更有效的贡献方式。而要做到这一点，你必须，嗯，让人们知道。对。对。我认为仅仅来到湾区尤其——对于人工智能的兴趣而言。是的，去湾区很好。只是发帖，比如写东西然后发布到人们可以看到的地方。只是积极主动地联系那些有有趣评论的人。只要你的想法有趣等等。我的意思是，它们可能不是。在很多情况下，我认为就像，我的想法可能仍然不有趣，但人们会容忍我的陌生邮件，并且仍然会与我合作等等。我注意到的另一件事——告诉我这是否真的是错误的模式。对于像你或Carl Schulman这样的人，与一个普遍求知欲强或广泛阅读的人相比，你们更倾向于专注于关键文献，而不是说“我要去读经典或只是泛读”。就像是，“我将对像罗默论文这样的东西给予更多的信任”。而一个普遍求知欲强的人不会去阅读关键文献。是的。我认为你必须非常清楚地认识到你的时间非常有限，你不是一个人工智能模型。所以你必须积极地优先考虑你要花时间阅读什么。即使是人工智能模型也不会那么 heavily 优先考虑。它们主要阅读Reddit或其语料库的很大一部分……至少是关键的实证文献。至少在你们这些人当中。我的意思是，这可能总体上不是最有效率的事情，但……我认为那很有用。我也认为阅读Twitter很有用。我认为我们正在进行这场对话，关于人们经常说他们花太多时间阅读Twitter，他们希望花更多时间阅读arXiv。但实际上，你阅读Twitter每单位时间获得的信息量通常要高得多，而且对他们来说阅读Twitter效率更高。我认为有一些关键文献很重要，而且我认为弄清楚那些花了很多时间思考这个问题的人在他们的世界观中发现什么重要是很有用的，所以在人工智能领域，这可能是关键论文，比如Andy Jones关于推理缩放损失的论文是一件大事。而在经济学中，这篇罗默论文或克雷默或大卫·鲁德曼等关于解释长期人口的论文。我认为如果你认为思考得很好的人推荐某篇论文，并且他们强烈推荐，那么我认为你应该认真对待并实际阅读这些论文。对我来说，特别有帮助的是，与其只是泛读一堆东西，如果有一篇关键文献，例如，为了理解transformer，总是有Karpathy的讲座，但一项真正有用的研究是Anthropic的原始transformer电路论文。而仅仅花一天时间研究那篇论文，而不是泛读它并制作一堆间隔重复卡片等等，比仅仅广泛阅读人工智能相关内容要有用得多。我认为在这里，如果你想正确地优先处理事情，再次，成为社区的一部分，或者从社区获得输入，或者从那些对什么重要什么不重要有大量思考和经验的人那里获得输入，这要重要得多。是的。这在学术领域也是如此。所以如果你想做数学研究，但你不是研究生项目的一部分，你不在一所大学里，那里有很多人多年来整天都在做数学研究，那么你甚至不会知道我应该研究哪些开放问题？攻击什么合理？攻击什么不合理？这个领域有哪些论文很重要，包含重要的技术？你根本不会知道。所以以某种方式接入那个信息流非常重要。但你在接入之前，你是怎么知道所有这些东西的？因为你没有和安卡拉的任何人交谈。你不需要交谈。在这方面，互联网是一个非常有用的东西。而且你不一定需要和人交谈，你可以从阅读中获得很多好处。但你只需要识别，哪些人似乎一直最有趣？也许你找到一个人。然后那个人通常会认识一些其他有趣的人。然后你就可以开始追踪社交网络。我可以举一个例子，我认为这实际上是准确的，也许你知道丹尼尔·艾尔斯伯格。所以你寻找他出现的播客。你注意到他出现在80,000 Hours播客上，他确实出现了。然后你注意到80,000 Hours播客上还有其他一些嘉宾。所以也许有Bryan Caplan，他也出现在播客上。然后也许Robin Hanson也出现在播客上。然后也许还有一些人是那些其他人认识的。然后就这样追踪那种社交网络，并找出要听谁的。我认为那可以是……我认为你为实现这一点做出了巨大的贡献。我认为你的选择通常非常好。我实际上很想在线下听听我哪里错了。嗯，实际上，我想我知道答案。我认为这使得追踪谁在各种话题上进行最有趣的思考变得容易得多。对。酷。我认为这是一个很好的结束点，你赞扬了我。再次，我强烈推荐大家关注Epoch。有一个很棒的每周通讯，Gradient Updates，它——我的意思是，人们会宣传通讯，但这个，我简直不敢相信它每周都会发布。而且你现在有了一个新的播客，我不会把它宣传为竞争对手，但你可以去看看。谢谢你出借你的工作室。是的，那非常慷慨。总之，酷。谢谢大家。