Transcription
摆在眼前的将不仅仅是酷炫的产品，而是自由民主能否存续，中国共产党能否存续，以及下一个世纪的世界秩序将是什么样的。
中国共产党将全力以赴渗透美国的AI实验室。投入数十亿美元，动用数千人。中国共产党将试图超越我们。人们没有意识到，国家级别的间谍活动可以有多么激烈。当我们拥有真正的超级智能时，他们可以像震网病毒一样攻击中国的数据库。你真的认为那会是一家私营公司，而政府不会说“天哪，这是怎么回事？”
我认为，这些集群设在美国是极其重要的。我是说，你会把曼哈顿计划放在阿联酋吗？
2023年对我来说是一个转折点，它让AGI从一种理论上的、抽象的事物，你只是构建模型，变成了“我看到了它，我感受到了它。我能看到它训练的集群，算法的大致组合，那些人，以及它是如何发生的，而我认为世界上大多数人还没有；大多数感受到它的人就在这里。”
今天我正在与我的朋友利奥波德·阿申布伦纳聊天。他在德国长大，19岁时以最优等生的身份毕业于哥伦比亚大学。之后，他有一个非常有趣的间隔年，我们稍后会谈到。然后，他加入了OpenAI的超级对齐团队，愿它安息。现在，在一些锚定投资——来自帕特里克和约翰·科利森、丹尼尔·格罗斯和纳特·弗里德曼——的支持下，他正在创办一家投资公司。
利奥波德，你开局缓慢，但人生漫长。不必太担心。你迟早会弥补回来的。感谢你来到播客。
谢谢。我第一次发现你的播客时，你最好的那一集只有几百次观看。能一直关注你的轨迹真是太棒了。很高兴来到这里。
在肖托和特伦顿的那一集里，我提到我从他们那里学到了很多关于AI的知识。第三个，也是可能最重要的一部分，就是你。
现在我们将把所有事情都记录在案。这是我想记录的第一件事。告诉我关于万亿美元集群的事情。我应该为播客的背景提及这一点。今天你正在发布一个名为“态势感知”的系列节目。我们将深入探讨。关于它的第一个问题是，告诉我关于万亿美元集群的事情。
与最近硅谷涌现的大多数事物不同，AI是一个工业过程。下一个模型不仅仅需要一些代码。它需要建造一个巨大的新集群。它需要建造巨大的新发电厂。很快，它将涉及建造巨大的新工厂。
自ChatGPT以来，这种非凡的技术资本加速已经启动。就在一年前的今天，英伟达举行了第一次重磅财报电话会议。盘后股价上涨了25%，每个人都说：“天哪，AI是真的。”一年之内，英伟达数据中心的收入从每季度几十亿美元飙升至每季度250亿美元，并且还在持续增长。大型科技公司的资本支出正在飙升。
这很有趣。有一场疯狂的争夺战正在进行，但在某种意义上，这只是图表上直线趋势的延续。过去十年里，最大的AI系统的训练计算量一直在以大约每年半个数量级（0.5个数量级）的速度增长。
就这么推算下去。据报道，GPT-4于2022年完成了预训练。据SemiAnalysis称，它拥有约25,000个A100的集群规模。这大约是一个5亿美元的集群。非常粗略地说，是10兆瓦。
再推算半年。到2024年，这将是一个100兆瓦的集群，相当于10万个H100，成本达数十亿美元。再往后推两年。到2026年，这将是1吉瓦，相当于一座大型核反应堆的规模。这相当于胡佛大坝的电力。成本达数百亿美元，需要100万个H100。
到2028年，这将是一个10吉瓦的集群。这比美国大多数州的电力消耗还要多。相当于1000万个H100，成本达数百亿美元。
到2030年，你将得到一个万亿美元的集群，使用100吉瓦的电力，占美国电力生产的20%以上。相当于1亿个H100。这仅仅是训练集群。还有更多的推理GPU。一旦有了产品，其中大部分将是推理GPU。
几十年来，美国的电力生产几乎没有增长。现在我们真的要经历一场过山车了。
当我采访扎克时，他声称AI的进步不会停滞不前，但会被能源的限制所瓶颈。具体来说，他当时说：“哦，吉瓦级数据中心，我们是要再建一座三峡大坝还是什么？”
根据公开报道，一些公司正在计划建造1吉瓦的数据中心。拥有10吉瓦的数据中心，谁能建造它？100吉瓦的中心就像一个国家项目。你会把这些电力都输送到一个数据中心吗？这怎么可能？
扎克错过了什么？六个月前，10吉瓦还是热门话题。现在，人们已经向前看了。10吉瓦正在实现。有《信息》杂志关于OpenAI和微软计划建造一个1000亿美元集群的报道。那是1吉瓦还是10吉瓦？我不知道，但如果你试图估算10吉瓦集群的成本，那将是几千亿美元。它大概是那个规模，而且他们正在计划。
这不仅仅是我的疯狂想法。AMD预测到2027年AI加速器市场将达到4000亿美元。AI加速器只是支出的一部分。我们很有可能在2027年之前实现1万亿美元的总AI投资。万亿美元集群需要更多的加速。
我们看到了ChatGPT释放了多大的力量。每一代模型都会变得疯狂，并改变舆论的窗口。然后收入就会进来。这些是前瞻性的投资。问题是，它们是否会得到回报？
我们估计GPT-4集群的成本约为5亿美元。人们常犯一个错误，说GPT-4的成本是1亿美元。那只是租金。如果你要建造最大的集群，你必须建造并支付整个集群的费用。你不能只租三个月。
你不能吗？一旦你试图达到数千亿美元的规模，你每年就需要获得1000亿美元的收入。
这对于大型科技公司来说变得非常有趣，因为它们的收入在数百亿美元的量级。100亿美元是可以的。它将为2024年规模的训练集群带来回报。当成本达到每年1000亿美元时，它将真正成为大型科技公司的摇钱树。
问题是，从AI收入中每年获得1000亿美元的可能性有多大？这比现在多得多。如果你像我一样相信AI系统的发展轨迹，那也不是那么疯狂。
微软有大约3亿Office订阅用户。他们现在有了Copilot。我不知道他们卖多少钱。假设你以每月100美元的价格向三分之一的Microsoft Office订阅用户出售某种AI附加产品。这就有1000亿美元了。
每月100美元是一笔很大的数目。对于三分之一的Office订阅用户来说，这确实很多。对于普通知识工作者来说，这相当于每月几个小时的生产力。你必须期望AI的进步非常缓慢，才能达不到每月几个小时的生产力。
当然，让我们假设这一切。未来几年会发生什么？在1吉瓦数据中心训练的AI能做什么？10吉瓦数据中心的呢？请为我描绘一下未来几年的AI进展。
10吉瓦的范围是我对真正AGI出现的最佳猜测。计算能力实际上被高估了。我们稍后会谈到。
到2025-2026年，我们将获得比大多数大学毕业生更聪明的模型。经济效益的很大一部分取决于“解除束缚”。模型很聪明，但有限制。有聊天机器人，也有像使用计算机和执行代理式长期任务这样的事情。
到2027-2028年，它将变得和最聪明的专家一样聪明。“解除束缚”的轨迹表明，它将更像一个代理，而不是一个聊天机器人。它将几乎像一个即插即用的远程工作者。
这是关于经济回报的问题。中级AI系统可能非常有用，但需要大量的努力才能集成它们。你可以用GPT-4或GPT-4.5在商业用例中做很多事情，但你真的必须改变你的工作流程才能使它们有用。这是一种非常泰勒·考恩式的观点。它只是需要很长时间才能传播。我们在旧金山，所以我们错过了这一点。但在某种意义上，这些系统想要被集成的方式，正是你获得这种“音爆”的地方。中级系统本可以做到，但这需要大量的努力。在你付出整合的努力之前，你将获得更强大、不受束缚的系统。它们是代理，即插即用的远程工作者。你与它们互动就像与同事一样。你可以和它们进行Zoom通话和Slack。你可以让它们完成一个项目，它们会写出初稿，获得反馈，运行代码测试，然后回来。然后你可以告诉它们更多的事情。这样更容易集成。你可能需要一点“过度杀伤”来轻松过渡并获得收益。
你说的“过度杀伤”是什么意思？模型能力的“过度杀伤”？是的，中级模型可以做到，但这需要大量的努力。即插即用的远程工作者AGI可以自动化认知任务。中级模型将使软件工程师更具生产力。但软件工程师会采用它吗？
有了2027年的模型，你就不再需要软件工程师了。你可以像软件工程师一样与之互动，它将完成软件工程师的工作。
我做的最后一集是和约翰·舒尔曼一起的。我问过他这个问题。在过去一年里，我们看到了很多模型的出现，但没有一个似乎明显超越了GPT-4，尤其是在作为同事与你互动的代理方式上。它们会吹嘘在MMLU上多出几分。即使是GPT-4o，它们能像斯嘉丽·约翰逊那样说话（我想现在不能了）也很酷，但它不像同事。
它们擅长回答问题是有道理的。它们有如何完成维基百科文本的数据。那么，理解Zoom通话的等效训练数据在哪里？回到你关于Slack对话的观点，它如何利用上下文来弄清楚你正在进行的连贯项目？这些训练数据从何而来？
未来几年AI进展的一个关键问题是，解锁测试时计算过载有多难。目前，GPT-4可以使用链式思维处理几百个token。这已经是一个巨大的进步了。以前，回答一个数学问题就像是乱枪扫射。如果你试图通过说出第一个想到的东西来回答一个数学问题，你不会做得很好。GPT-4会思考几百个token。如果我每分钟思考100个token，那就像GPT-4所做的。这相当于我思考三分钟。
假设GPT-4可以思考数百万个token。那是在一个问题上测试时计算量增加了4个数量级。它现在做不到。它会卡住。它会写一些代码。它可以进行一些迭代式调试，但最终会卡住，无法纠正错误。存在巨大的过载。
在机器学习的其他领域，有一篇关于AlphaGo的出色论文，其中你可以权衡训练时间和测试时间计算。如果你可以使用4个数量级更多的测试时间计算，那几乎相当于一个3.5倍大的模型。同样，如果每分钟是100个token，几百万个token就是几个月的工作时间。在几个月的工作时间内，你可以做的事情比现在仅仅得到一个答案要多得多。
问题是，解锁它有多难？在AI的短期时间线上，这并不难。它可能不难的原因是，只需要学习几个额外的token。你需要学习诸如纠错token之类的内容，你可能会说“啊，我犯了一个错误，让我再想想。”你需要学习规划token，就像“我将从制定计划开始。这是我的攻击计划。我将写一个草稿，然后我将批判我的草稿并思考它。”这些是模型现在无法做到的事情，但问题是它有多难。
有两种通往代理的路径。当肖托在你的播客上时，他谈到了扩展性如何带来更高的可靠性。这是一条路径。另一条路径是“解除束缚”的路径。它需要学习这种“系统2”的处理方式。如果它能学会这一点，它就可以使用数百万个token并进行连贯的思考。
这里有一个类比。当你开车时，你大部分时间都在自动驾驶。有时你会遇到一个奇怪的施工区或交叉路口。有时我的女朋友坐在副驾驶座上，我会说：“安静一会儿，我需要弄清楚发生了什么。”你从自动驾驶切换到“系统2”，你正在思考如何去做。扩展性提高了这种“系统1”的自动驾驶能力。
达到代理的蛮力方法是改进这个系统。如果你能让“系统2”工作，你就可以快速地转向更具代理性的东西，并且测试时计算过载就会被解锁。
有什么理由认为这是一个简单的胜利？是否存在一个损失函数可以轻松地实现“系统2”的思考？
并非所有动物都具备“系统2”的思考能力。进化用了很长时间才赋予我们“系统2”的思考能力。预训练有数万亿个互联网文本的token，我明白。你匹配它，就能获得所有这些免费的训练能力。
有什么理由认为这是一个简单的“解除束缚”？首先，预训练是神奇的。它为通用智能模型提供了巨大的优势，因为你可以预测下一个token。但有一个常见的误解。预测下一个token让模型能够学习到极其丰富的表征。表征学习属性是深度学习的魔力。模型不仅仅是学习统计伪影，而是学习世界的模型。这就是为什么它们能够泛化，因为它们学会了正确的表征。
当你训练一个模型时，你拥有一系列有用的原始能力。从GPT-2到GPT-4的“解除束缚”将这种原始的质量通过RLHF（人类反馈强化学习）转化为一个好的聊天机器人。这是一个巨大的胜利。在最初的InstructGPT论文中，与非RLHF模型相比，在人类偏好评分上，模型规模的优势是100倍。它开始能够进行简单的链式思维等等。但你仍然拥有所有这些原始能力，而且你仍然有很多事情没有利用它们。
这种预训练的优势也是与机器人技术的区别。人们过去常说这是一个硬件问题。硬件正在得到解决，但你没有这种通过预训练进行引导的巨大优势。你没有那么多无监督学习可以做。你必须立即开始进行RL自我对弈。
问题是为什么RL和“解除束缚”可能会奏效。引导是一个优势。你的Twitter个人资料正在被预训练。你不再被预训练了。你在小学和中学接受了预训练。在某个时候，你过渡到能够自己学习。你在小学时做不到。中学可能就是开始的时候了，到了大学，如果你聪明，你就能自学。模型才刚刚开始进入这个领域。再多一点扩展性，你就能弄清楚上面发生了什么。这不会是微不足道的。很多深度学习在回顾时似乎都很明显。有一些显而易见的思想簇。有些想法看起来有点愚蠢但却有效。有很多细节需要弄对。我们不会在下个月就做到这一点。需要一段时间才能弄清楚。
对你来说，“一段时间”是半年。我不知道，在六个月到三年之间。但这是可能的。它也与“数据墙”问题密切相关。
这里有一个关于自学直觉。预训练就像老师在给你讲课，话语飞逝。你从中只学到一点点。这和你自学时不一样。当你自学时，比如你正在读一本密集的数学教科书，你不会只看一遍。有些“词汇者”只是匆匆浏览，一遍又一遍地重读数学教科书，然后他们就记住了。你所做的是阅读一页，思考它，进行一些内部的独白，并与学习伙伴进行对话。你尝试一个练习题，失败了很多次。在某个时候，它就明白了，你会说：“这有道理了。”然后你再读几页。我们已经通过某种方式引导自己，现在才开始能够用模型做到这一点。问题是，你能否利用所有这些自我对弈、合成数据、RL来让它奏效。
目前，有“上下文学习”，它非常样本高效。在Gemini论文中，它只是在上下文中学习一种语言。另一方面，预训练一点也不样本高效。人类所做的是一种上下文学习。你读一本书，思考它，直到最终它就明白了。然后你 somehow 将它提炼回权重中。在某种意义上，这就是RL试图做的。RL非常挑剔，但当它奏效时，它就像魔法一样。这是模型最好的数据。就像你尝试一个练习题，失败了，然后最终以一种对你来说有意义的方式弄明白了。这对你来说是最好的数据，因为这是你解决问题的方式，而不是仅仅阅读别人如何解决问题，这最初并不奏效。
顺便说一句，如果这个观点听起来很熟悉，那是因为它是我问约翰·舒尔曼的问题的一部分。这说明了我在介绍中说的话。我从这些晚宴中学到了很多关于AI的知识，这些晚宴在我们与你、肖托以及另外几个人进行访谈之前举行。我们就像，“我应该问约翰·舒尔曼什么，我应该问达里奥什么。”
假设事情就这样发展，我们获得了这些“解除束缚”——以及扩展性。你有这个巨大的扩展性力量作为基础。GPT-2很棒。它可以串联起合理的句子，但几乎做不了什么。它有点像一个学龄前儿童。另一方面，GPT-4可以写代码并做复杂的数学题，就像一个聪明的годні高中生。
这种能力上的巨大飞跃在系列文章中有探讨。我计算了计算量和算法进展的扩展数量级。到2027-2028年，仅扩展性就将在GPT-4的基础上再实现一次从学龄前到高中生的飞跃。在每个token层面，模型将变得极其聪明。它们的可靠性会提高，并且随着“解除束缚”的加入，它们将不再像聊天机器人，而更像代理或即插即用的远程工作者。那时事情才会真正开始。
我想就此提出更多问题，但让我们放大一下。假设你对此是正确的。这是因为2027年的集群，也就是10吉瓦的集群吗？2028年是10吉瓦。也许会提前。到2027年可能是5.5吉瓦的某个级别，无论它叫什么。
那时世界是什么样的？你有这些可以取代人类的远程工作者。经济、政治和地缘政治对此的反应是什么？
2023年是一个非常有趣的年份，对于一个真正关注AI的人来说。2023年你在做什么？OpenAI。
你在2023年在OpenAI的时候，那是一件奇怪的事情。你几乎不想谈论AI或AGI。那有点像一个脏词。然后在2023年，人们第一次看到了ChatGPT，看到了GPT-4，它就爆炸了。它触发了所有这些公司的巨额资本支出，以及英伟达等公司的收入爆炸。
从那时起，事情一直很平静，但下一件大事已经在酝酿之中。我预计每一代“重力加速度”都会加剧。人们会看到模型。他们没有计算数量级，所以他们会感到惊讶。那将是相当疯狂的。
收入将加速。假设你今年年底就能达到100亿美元。假设它继续以每六个月翻一番的收入轨迹增长。到2026年可能离1000亿美元也不远了。
在某个时候，发生在英伟达身上的事情将发生在大型科技公司身上。它将爆炸。将有更多的人感受到它。
2023年对我来说是AGI从一个理论上的、抽象的事物转变为“我看到了它，我感受到了它，而且我看到了路径。我看到了它的去向。我能看到它训练的集群，算法的大致组合，那些人，它是如何发生的。”世界上大多数人还没有达到那个阶段。大多数感受到它的人就在这里。世界上将有更多的人开始感受到它。那将开始变得激烈。
现在，谁能感受到它？你可以在Twitter上看到这些GPT包装公司，就像，“哇，GPT-4将改变我们的业务。”我对包装公司非常看跌，因为它们押注于停滞。它们押注于你拥有这些中级模型，并且集成它们需要大量的努力。我非常看跌，因为我们将给你一个“音爆”。我们将获得“解除束缚”。我们将获得即插即用的远程工作者。你的东西将不再重要。所以，就这样了。
旧金山，这个人群，现在正在关注。谁将在2026年和2027年关注？
可以想见，这些是每年投入数百亿美元资本的AI年份。国家安全部门将开始高度关注。我希望我们能谈谈这个。
让我们现在就谈谈。会发生什么？即时的政治反应是什么？
从国际上看，我不知道习近平是否会看到GPT-4的新闻，然后说：“哦，天哪，看看它的MMLU分数。我们对此做了什么，同志？”那么，当他看到一个远程工作者被取代，并且它产生了1000亿美元的收入时，会发生什么？
有很多企业年收入达1000亿美元，人们却不为此彻夜谈论。问题是，中国共产党和美国国家安全机构何时才会意识到，超级智能对国家力量将是绝对决定性的？
这就是智能爆炸的由来，我们稍后应该谈谈。你有AGI。你有这个即插即用的远程工作者，它可以取代你或我，至少是远程工作。相当快地，你再转动一两次曲柄，就能得到一个比人类更聪明的东西。
甚至比仅仅转动曲柄几次更重要的是，最早被自动化的工作之一将是AI研究员或工程师的工作。如果你能自动化AI研究，事情就能开始飞速发展。
目前，算法进展的趋势已经是每年0.5个数量级。在某个时候，你将拥有数千万个用于推理的GPU集群，甚至更多。你将能够运行1亿个相当于人类的自动化AI研究员。如果你能做到这一点，你可能一年就能完成十年的机器学习研究进展。你就能获得10倍的速度提升。你可以在一年内，或者几年内，实现向比人类聪明得多的AI的飞跃。
然后，这会从那里扩展开来。你会有这个最初的AI研究加速。你将研发应用于许多其他技术领域。这时，你将拥有数十亿个超级智能的研究员、工程师、技术人员，等等。他们在所有事情上都极其能干。他们将能够解决机器人技术问题。我们谈到过这曾是一个软件问题。好吧，你有一个数十亿个超级聪明——比最聪明的人类研究员还要聪明——的AI研究员在你的集群里。在智能爆炸的某个时候，他们将能够解决机器人技术问题。同样，这也会扩展。
如果你把这个画面推演下去，它与任何其他技术都截然不同。几年的领先优势可能在军事竞争中具有决定性意义。如果你看看第一次海湾战争，西方联军的杀伤比是100:1。他们的坦克有更好的传感器。他们有更好的精确制导弹药、GPS和隐形技术。他们可能领先了20-30年的技术。他们彻底击败了对方。
应用于广泛研发领域的超级智能——以及由此产生的工业爆炸，机器人制造大量材料——可以在不到十年的时间里将一个世纪的技术进步压缩。这意味着几年就能在军事事务上获得类似海湾战争的优势。这包括一种决定性的优势，甚至可以压制核武器。
你如何找到隐形核潜艇？现在，你有传感器和软件来探测它们的位置。你可以做到。你可以找到它们。你拥有数百万甚至数十亿个蚊子大小的无人机，它们可以摧毁核潜艇。它们可以摧毁移动发射器。它们可以摧毁其他核武器。这可能具有巨大的破坏性，对国家力量至关重要。
在某个时候，人们会意识到这一点。现在还没有，但他们会。当他们意识到这一点时，将不仅仅是AI研究人员说了算。
中国共产党将全力以赴渗透美国的AI实验室。这将涉及数十亿美元，数千人，以及国家安全部的全部力量。中国共产党将试图超越我们。他们在过去十年中增加的电力相当于整个美国电网。所以，100吉瓦的集群，至少是100吉瓦的部分，对他们来说会容易得多。
到那时，这将是一场极其激烈的国际竞争。
在这个图景中，我不太确定的一件事是，它是否像你所说的那样，更像是一场爆炸。你开发了一个AGI。你把它变成了一个AI研究员。在一段时间内，你只利用这个能力来制造数亿个其他AI研究员。这个极其激烈的过程产生的结果是超级智能。然后它走向世界，开发机器人技术，帮助你占领其他国家等等。
这有点更渐进。这是一场从狭窄处开始的爆炸。它可以从事认知工作。认知工作投资回报率最高的使用方式是让AI变得更好并解决机器人技术问题。当你解决了机器人技术问题，你就可以进行生物学和其他技术领域的研发。
最初，你从工厂工人开始。他们戴着眼镜和AirPods，AI在指导他们，因为你可以让任何工人成为熟练的技术工人。然后机器人就来了。所以这个过程就扩展了。Meta的Ray-Ban是Llama的补充。在美国的工厂里，它们的限制是熟练工人。即使你没有机器人，你也有认知超级智能，并且可以立即让所有人都成为熟练工人。这是一个非常短暂的时期。机器人很快就会到来。
假设这实际上是美国技术发展的模式，也许是因为这些公司已经产生了数百亿美元的AI收入。
这时，公司将在企业债券市场上借入数百亿美元甚至更多。为什么一个中国共产党官员，一个60岁左右的人，看着这个说：“哦，Copilot现在变得更好了”然后——这比Copilot现在变得更好要多得多。它需要转移一个国家的生产，转移原本用于消费品的能源，并将其全部输入数据中心。
这个故事的一部分是，你意识到超级智能即将来临。你意识到了，也许我也意识到了。我不确定我意识到了多少。美国的国家安全机构和中国共产党会意识到吗？这是一个非常关键的问题。
我们还有几年的“中期比赛”。我们还有几个2023年。这只会让越来越多的人更新他们的认知。趋势线将变得清晰。你会看到一些类似COVID的动态。2020年2月的COVID感觉很像今天。感觉有什么东西要来了，简直是疯狂的。你看到了指数增长，但世界上大多数人还没有意识到。纽约市市长说：“出去看演出，”并且“这只是亚洲种族主义。”在某个时候，人们看到了它，然后出现了疯狂的、激进的反应。
顺便问一下，你在COVID期间做什么？是你大一还是大二？大三。你当时还是个17岁的初中生，对吧？你做空了市场还是什么？你及时卖出了吗？是的。
所以会有一个2020年3月的时刻。你可以做你在系列中做的类比，这会引起一种反应，比如：“为了美国，我们必须再次进行曼哈顿计划。”我想知道这背后的政治会是怎样的。
这里的不同之处在于，它不仅仅是“我们需要炸弹来打败纳粹”。我们将建造这个东西，它会使我们所有的能源价格大幅上涨，并且它正在自动化我们的许多工作。人们会说：“天哪，它正在加剧气候变化，而且它正在帮助大型科技公司。”
从政治上看，这似乎不是一种国家安全机构或总统会说“我们必须加速，确保美国获胜”的动态。
同样，这在很大程度上取决于人们感受到的程度以及人们看到的程度。我们这一代人太习惯于和平、美国的霸权以及“无所谓”的态度了。历史常态非常倾向于世界上发生极其激烈和非凡的事情，伴随着激烈的国际竞争。这是一个非常独特的20年时期。
第二次世界大战期间，大约50%的GDP用于战争生产。美国借了超过60%的GDP。德国和日本我认为超过了100%。第一次世界大战期间，英国、法国和德国都借了超过100%的GDP。
有更多的东西在起作用。人们谈论第一次世界大战的破坏性，造成2000万苏联士兵死亡，20%的波兰消失。这种情况经常发生。在七年战争期间，普鲁士大约有20-30%的人口死亡。在三十年战争期间，德国大片地区高达50%的人口死亡。
人们会看到这里的风险真的很高，而且历史真的回来了吗？
美国的国家安全部门非常认真地考虑这类事情。他们非常认真地考虑与中国的竞争。中国非常认为自己肩负着中华民族伟大复兴的历史使命。他们非常重视国家力量。他们非常重视世界秩序。
这里有一个关于时机的问题。他们是等到智能爆炸已经发生得相当晚的时候才开始认真对待吗？他们是提前两年开始认真对待吗？这对事情的发展至关重要。
在某个时候，他们会这样做，并且会意识到这将对不仅仅是代理战争，而是重大问题产生决定性影响。自由民主能否继续蓬勃发展？中国共产党能否继续存在？这将激活我们很久以来未曾见过的力量。
大国冲突无疑看起来很有说服力。当你从历史角度来看时，各种各样的事情似乎都更有可能发生。你放大到我们有幸在美国生活了大约80年的自由民主之外。这包括独裁、战争、饥荒等。
我正在读《古拉格群岛》，其中一章的开头是索尔仁尼琴说，如果你告诉沙皇统治下的俄国公民，由于所有这些新技术——我们不会看到一个伟大的俄罗斯复兴，俄罗斯成为一个大国，公民变得富有——你会看到数千万苏联公民被数百万野兽以最糟糕的方式折磨。如果告诉他们20世纪的结果是这样，他们不会相信。他们会称你为诽谤者。
独裁者拥有超级智能的可能性甚至更疯狂。想象一下，你拥有一支绝对忠诚的军队和安全部队。没有更多的叛乱。没有更多的民众起义。你拥有完美的测谎能力。你对每个人进行监控。你可以完美地找出谁是异见者并将其清除。没有戈尔巴乔夫这样对体制有所怀疑的人会崛起。没有军事政变会发生。
在某种意义上，事情之所以奏效，部分原因在于思想可以演变。在某种意义上，时间治愈了很多伤痛，解决了许多争论。纵观历史，很多人都有非常坚定的信念，但其中很多信念随着时间的推移已经被推翻，因为存在持续的多元化和演变。
想象一下，将一种类似中国共产党的方法应用于真理，即真理是党说的。当你用超级智能来增强它时，它可能会被锁定并被永久确立。可能性相当可怕。
关于你说的历史以及过去八年在美生活这一点，这是我在德国长大的一个体会。很多事情感觉更切身。我的母亲来自前东德，我的父亲来自前西德。他们在柏林墙倒塌后不久相遇。冷战的结束对我来说是一个极其重要的时刻，因为我因此而存在。我在柏林长大，那里曾经有柏林墙。我的曾祖母，她还健在，在我生活中非常重要。她出生于1934年，在纳粹时期长大。第二次世界大战期间，她从他们小时候住的乡村小屋里看到了德累斯顿的轰炸。然后她一生的大部分时间都在东德共产主义独裁政权下度过。她会告诉我，1954年民众起义时，苏联坦克是如何出现的。她的丈夫告诉她要赶紧回家，离开街道。她的一个儿子试图骑摩托车穿越铁幕，然后被关进了斯塔西监狱一段时间。最后，在她快60岁的时候，她第一次生活在一个自由国家，一个富裕的国家。
当我还是个孩子的时候，她最不想让我做的事情就是参与政治。加入政党对她来说有非常负面的含义。她在我年轻时抚养我。所以，感觉并不遥远。感觉非常近。
当我们今天谈论中国共产党时，我有一个疑问。在中国从事这个项目的人将是受过西方教育或在西方有同事的AI研究员。他们会同意中国共产党那个将控制权交给习近平的项目吗？你对此有什么看法？
从根本上说，他们只是人，对吧？你不能说服他们超级智能的危险吗？但他们会说了算吗？
在某种意义上，美国也是如此。这就像实验室员工的影响力在迅速贬值。现在，AI实验室的员工拥有巨大的权力。你看到了11月的事件。拥有如此巨大的权力。两者都将被自动化，他们将失去所有权力。只有少数人掌权，他们拥有自己的自动化AI军队。还有政客、将军和国家安全部门。
有一些经典的场景来自奥本海默电影。科学家们建造了它，然后炸弹被运走了，就不在他们的掌控之中了。实验室员工意识到这一点是件好事。你现在拥有很大的权力，但可能不会持续太久。明智地使用它。
我认为他们会从更多的代议制民主机关中受益。
你说的“代议制民主机关”是什么意思？在OpenAI的董事会事件中，员工的权力以一种非常直接民主的方式行使。其中一些事情的发生，真正凸显了代议制民主和拥有一些审议机关的好处。
有趣。让我们回到1000亿美元的收入问题。公司正试图建造如此规模的集群。它们建在哪里？假设它相当于一个美国中小型州的能源需求。那么科罗拉多州就会没有电力，因为它发生在美利坚合众国吗？它发生在别处吗？
这总是我觉得有趣的地方，当你谈论科罗拉多州没有电力时。获得电力的简单方法是取代经济效益较低的东西。买下一家耗电1吉瓦的铝冶炼厂。我们将用数据中心取代它，因为它很重要。这实际上并没有发生，因为很多电力合同都是长期锁定的。而且，人们不喜欢这样的事情。
实际上，目前这需要建造新的电力。这将在事情变得真正有趣时发生，当它变成“不，我们将把所有电力都用于AGI”时。所以现在是建造新的电力。10吉瓦是相当容易实现的。它相当于美国天然气产量的一小部分。
当你拥有10吉瓦的训练集群时，你会有更多的推理能力。100吉瓦是事情开始变得相当疯狂的时候。这相当于美国电力生产的20%以上。这是相当容易实现的，特别是如果你愿意使用天然气。
这些集群设在美国是极其重要的。为什么它在美国很重要？
有些人正试图在其他地方建造集群。有很多中东的自由资金试图在其他地方建造集群。这回到了我们谈到的国家安全问题。你会把曼哈顿计划放在阿联酋吗？
你可以把集群放在美国，也可以放在盟友的民主国家。一旦你把它们放在威权独裁国家，你就会制造出这种不可逆转的安全风险。一旦集群在那里，它们就更容易窃取权重。它们可以字面意义上偷走AGI，超级智能。这就像它们直接获得了一颗原子弹的副本。这使得它们更容易做到。它们与中国有奇怪的联系。它们可以把那个运到中国。这是一个巨大的风险。
还有一点是，它们可以轻易地扣押计算能力。
问题在于，人们现在将其视为ChatGPT，大型科技公司的产品集群。现在计划中的集群，三到五年后，很可能就是AGI，超级智能集群。当情况变得紧张时，它们可能会轻易地扣押计算能力。
假设我们将25%的计算能力放在这些中东独裁国家。假设它们扣押了。现在计算比是3:1。我们仍然拥有更多，但即使只有25%的计算能力在那里，情况也开始变得相当棘手。3:1的比例并不算太好。你可以用那么多的计算能力做很多事情。
假设它们实际上没有这样做。即使它们实际上没有扣押计算能力，即使它们实际上没有窃取权重，你也会获得很多隐性的杠杆。它们将在AGI的谈判桌上获得席位。我不知道为什么我们要给威权独裁国家AGI谈判桌的席位。
如果这些交易得以进行，中东将拥有大量的计算能力。首先，是谁？是每个大型科技公司都在那里寻找解决方案吗？不是所有公司，有些公司。有报道称，我想是微软。我们将深入探讨。
所以，假设阿联酋获得了大量的计算能力，因为我们在那里建造集群。假设它们拥有25%的计算能力。为什么计算比很重要？如果这是关于它们能够引发智能爆炸，那么它不只是一个阈值，你拥有1亿个AI研究员或者不拥有吗？你可以用3300万个极其聪明的科学家做很多事情。这可能足以制造出疯狂的生物武器。然后你就陷入了它们窃取了权重，扣押了计算能力的情况。现在你可以制造出超级智能可能制造出的疯狂新大规模杀伤性武器。现在你已经扩散了那些将非常强大的东西。而且，3倍的计算能力其实并不多。
最危险的情况是我们处于一种非常紧张、狂热的国际斗争中。假设我们与中国共产党非常接近，只有几个月的时间。我们希望处于的情况——如果我们做得对，我们就能处于——有点像美国建造原子弹，而德国项目落后多年。如果我们拥有这个，我们将有更多的回旋余地来确保安全。我们将建造这些可能完全破坏核威慑的疯狂新大规模杀伤性武器。如果你没有一个紧随其后的人，并且你必须全速前进，那么处理起来会容易得多。你没有回旋余地。你担心任何时候他们都能超越你。
它们也可以试图超越我们。它们可能真的会赢。中国可能会真的赢，如果它们能窃取权重，因为它们能超越我们。它们可能没有那么谨慎，无论是好的还是坏的谨慎，就我们可能有的任何不合理的规定而言。如果你处于这种非常激烈的竞赛中，这种狂热的斗争，那就是自我毁灭的最大危险所在。
可以想见，那些试图在中东建造集群的公司也意识到了这一点。在美国这样做是否不可能？如果你想让美国公司这样做，你是否必须在中东这样做，否则就完全不做？然后你就只能让中国建造一个三峡大坝集群。
有几个原因。人们没有将其视为AGI超级智能集群。他们只是说：“啊，为我的ChatGPT建造酷炫的集群。”如果你为推理建造，可以想见，你可以把它们分散在全国各地。它们正在建造的，它们将在一个单一的设施中进行一次训练运行。很难区分推理和训练计算。人们可以声称是推理计算，但他们可能会意识到这实际上对训练计算也有用。因为合成数据之类的东西？例如，RL看起来很像推理。或者你只是在时间上将它们连接起来。这很像原材料。这就像在那里放置你的铀浓缩设施。
所以有几个原因。一，他们不认为这是AGI集群。另一个只是因为中东有容易获得的资金。另一个是有些人认为在美国做不到。
我们实际上面临着一场真正的体系竞争。有些人认为只有那些能够通过自上而下的工业能力动员和快速完成事情的独裁政权才能做到这一点。同样，这是我们很久以来没有面临过的事情。但在冷战期间，存在这种激烈的体系竞争。东德与西德就是如此。这是西德的自由民主资本主义与国家计划共产主义的对抗。现在很明显，自由世界会赢。但即使在1961年，保罗·萨缪尔森也预测苏联将超越美国，因为它们能够更好地动员工业。
所以有些人喜欢在网上吹嘘热爱美国，但在私下里他们却在押注美国。他们正在押注自由秩序。基本上，这是一个糟糕的赌注。在美国，这些事情是完全可能的。要在美国做到这一点，在某种程度上，我们必须振作起来。
在美国，基本上有两种途径可以做到。一种是你必须愿意使用天然气。有充足的天然气。你把你的集群放在西德克萨斯州。你把它放在宾夕法尼亚州西南部的马塞勒斯页岩附近。10吉瓦的集群非常容易。100吉瓦的集群也相当容易实现。我认为美国天然气产量在十年内几乎翻了一番。再翻一番，在未来七年里，你可以为多个万亿美元的数据中心供电。
问题在于，很多人做出了气候承诺，不仅仅是政府。实际上是微软、亚马逊等私营公司自己做出了气候承诺。所以他们不会使用天然气。我钦佩他们的气候承诺，但国家利益和国家安全在某个时候更重要。
另一条途径是进行绿色能源巨型项目。你建造太阳能和电池、小型模块化反应堆和地热能。如果我们想这样做，就需要进行广泛的放松管制。许可不能需要十年。你必须改革 FERC。你必须对NEPA有普遍豁免。存在一些愚蠢的州级法规。你可以在数据中心旁边建造太阳能电池板和电池，但仍然需要数年时间，因为你必须将其连接到州电网。你必须使用政府权力来创建通行权，以便拥有多个集群并将它们连接起来，并拥有电缆。
理想情况下，我们两者都做。理想情况下，我们使用天然气和更广泛的放松管制绿色议程。我们至少要做到其中一个。然后，这些事情在美国是可能的。
在谈话之前，我正在读一本关于第二次世界大战期间美国工业动员的好书，名为《自由的锻造》。我回想起那个时期，特别是结合阅读帕特里克·科利森的《快速》和“进展研究”的材料。有一种说法是，我们有
当时的国家能力，人们就能把事情搞定，但现在却是一团糟。根本不是那样！这真的很有趣。你有人来自底特律汽车工业方面，比如威廉·努登，他负责美国的动员工作。他们非常有能力。同时，你也有工会组织和煽动，这与我们今天对气候变化的承诺和担忧非常相似。他们真的会举行罢工，直到1941年，耗费了数百万工时，而我们正试图每月生产数万架飞机。他们会因为资本方面微不足道的让步而削弱工厂，这些让步只占美元的几分钱。有人担心汽车公司试图以潜在战争为借口，阻止向工人支付他们应得的报酬。所以，就像今天气候变化一样，你可能会想，“啊，美国完蛋了。如果我们看看NEPA之类的东西，我们就无法建造这些东西。”我没有意识到劳工在第二次世界大战中的破坏性有多大。不仅仅是这样。1939年之前，美国军队一片混乱。你读到它，感觉有点像今天的德国军队。我认为军事开支不到GDP的2%。所有欧洲国家，即使在和平时期，也已超过GDP的10%。这是从零开始的快速动员。我们没有制造飞机。没有军事合同。在大萧条期间，一切都被饿死了。但存在这种潜在的能力。在某个时候，美国振作起来了。这同样适用于中国。有时人们因为出口管制等原因而低估他们。他们现在能够制造7纳米芯片。有多少他们能制造，这是一个问题。至少有可能他们会成熟这种能力，并制造大量7纳米芯片。中国有大量的潜在工业能力。他们能够快速建造很多东西。也许这还没有为人工智能激活。在某个时候，就像美国和美国政府中的许多人会醒来一样，中国共产党也会醒来。公司意识到规模化是一个问题。显然，他们所有的计划都取决于规模化。所以他们明白，到2028年，我们将建造10吉瓦的数据中心。届时，能够跟上的是大型科技公司，可能处于其能力的边缘，由主权财富基金资助的项目，以及像美国和中国这样的主要国家。他们的计划是什么？对于人工智能实验室来说，在这样的格局下，他们的计划是什么？他们不想在美国拥有影响力吗？中东确实提供了资本，但美国拥有充足的资本。我们有万亿美元的公司。这些中东国家是什么？它们有点像万亿美元的石油公司。我们有万亿美元的公司和非常深厚的金融市场。微软可以发行数千亿美元的债券，并支付这些集群的费用。另一个值得认真考虑的论点是，如果我们不与阿联酋或这些中东国家合作，它们就会转向中国。它们将建造数据中心并向人工智能投入资金，无论如何。如果我们不与它们合作，它们就会支持中国。这个论点有一定的道理，因为我们应该与它们分享利益。在通往通用人工智能的道路上，应该有两个层级的联盟。应该有一个狭窄的民主国家联盟来开发通用人工智能。然后应该有一个更广泛的联盟，包括其他国家，包括独裁国家，我们应该向它们提供人工智能的一些好处。如果阿联酋想使用人工智能产品，运行Meta推荐引擎，或者运行上一代模型，那没关系。默认情况下，它们在通用人工智能的谈判桌上就没有这个席位。所以它们有一些钱，但很多人都有钱。它们之所以能在通用人工智能的谈判桌上获得这个席位，并赋予这些独裁者对这项极其重要的国家安全技术的杠杆作用，唯一的原因是我们让它们兴奋并提供给它们。谁具体在做这件事？哪些公司在那里进行筹款？据报道，萨姆·奥特曼正在为一项芯片项目筹集7万亿美元。不清楚有多少集群会在那里，但肯定有一些事情正在发生。我有点怀疑这个论点，即如果美国不与它们合作，它们就会转向中国。我从多个人那里听说——不是在我任职OpenAI期间，我也没看到备忘录——几年前，OpenAI的领导层曾制定了一项计划，通过在美国、中国和俄罗斯政府之间发起竞购战来资助和销售通用人工智能。它们愿意向中国和俄罗斯政府出售通用人工智能，这让我感到惊讶。这种发起竞购战然后让它们互相竞争，说“好吧，如果你不这样做，中国就会这样做”的做法，也让人感到一种令人不安的熟悉感。很有趣。这太糟糕了。假设你是对的。我们之所以落到这个地步，是因为，正如我们的一位朋友所说，中东有数十亿或数万亿美元的资金可以像世界上任何其他地方一样进行说服。几乎没有问责制。没有微软董事会。只有独裁者。假设你是对的，一开始就不应该让它们对通用人工智能感到兴奋。现在我们处于一个它们对通用人工智能感到兴奋的境地，它们说，“去他妈的，你们要建造超级智能，而我们要拥有GPT-5。这种‘原子和平’的模式对我们不起作用。”如果你处于这种境地，它们难道没有杠杆作用吗？阿联酋本身没有竞争力。它们已经受到出口管制。你不应该把英伟达的芯片运到那里。它们也没有领先的人工智能实验室。它们有钱，但很难将钱转化为进步。但我想回到你一直在说的，关于你愿景的阐述。有一种几乎是工业化的过程，输入计算和算法，加起来，然后在另一端得到通用人工智能。如果它更像是那样，那么某人能够快速赶上的论点似乎比某种定制的……好吧，如果它们能窃取算法，如果它们能窃取权重，那将非常重要。一个行为者窃取那些不是微不足道的已发布内容，比如斯嘉丽·约翰逊的声音，而是我们正在谈论的强化学习内容，那些未被限制的东西，有多容易？这都极其容易。它们不声称这很难。DeepMind发布了它们的《前沿安全框架》，并列出了0到4的安全级别。4级可以抵抗国家活动。它们说，我们处于0级。就在最近，有人被起诉，他窃取了一堆非常重要的人工智能代码并带到了中国。他所要做的就是复制代码，将其放入Apple Notes，然后将其导出为PDF。这通过了它们的监控。谷歌可能是所有人工智能实验室中安全措施最好的，因为它们拥有谷歌的基础设施。我会想到一个初创公司的安全性。初创公司的安全性是什么样的？不是很好。很容易被窃取。即使是这样，你的大部分帖子都在论证为什么我们会获得智能爆炸。如果我们有一个像亚历克·雷德福那样有直觉的人来提出所有这些想法，这种直觉非常有价值，而且你可以将其规模化。如果仅仅是直觉，那么它就不会仅仅存在于代码中，对吧？另外，由于出口管制，这些国家将拥有略有不同的硬件。你将不得不做出不同的权衡，并可能重写东西以使其兼容。这仅仅是获得正确的U盘并将其插入三峡大坝旁边那个吉瓦级数据中心，然后你就准备好了吗？有几个不同的方面，对吧？一种威胁模型就是它们窃取权重本身。权重模型尤其疯狂，因为它们可以窃取最终产品——就像制造原子弹的复制品——然后它们就可以开始了。在通用人工智能和超级智能出现的时候，那个模型尤其重要，因为中国默认可以建造一个大型集群。我们将拥有巨大的领先优势，因为我们拥有更好的科学家，但如果我们制造了超级智能，而它们只是窃取了它，它们就准备好了。权重模型现在重要性稍低，因为谁在乎它们是否窃取了GPT-4的权重。我们现在仍然需要开始进行权重安全，因为如果我们认为到2027年会有通用人工智能，这些事情需要一段时间。它不会仅仅是，“哦，我们做一些访问控制。”如果你真的想抵抗中国的间谍活动，就需要更加严酷。人们没有给予足够关注的是秘密。计算的东西很吸引人，但人们低估了秘密。每年半个数量级的进步，默认情况下，就是算法进步。这太大了。如果我们有几年的领先优势，默认情况下，这将是一个10-30倍，100倍更大的集群，如果我们保护好它们。还有一个数据墙的额外层。我们必须穿过数据墙。这意味着我们实际上必须弄清楚某种基本的新的范式。所以这是“AlphaGo第二步”。“AlphaGo第一步”从人类模仿中学习。“AlphaGo第二步”是每个人现在都在研究的那种自我对弈强化学习。也许我们会破解它。如果中国无法窃取它，那么它们就卡住了。如果它们能窃取它，它们就准备好了。无论那是什么，我能把它写在餐巾纸的背面吗？如果它这么容易，那为什么它们就弄不明白呢？如果这更多是关于直觉，那么你难道不需要雇佣亚历克·雷德福吗？你在复制什么？这有几个层次。最上面是基本方法。在预训练方面，可能是无监督学习、下一个词预测、在整个互联网上训练。你已经从中获得了很大的收益。这一点非常容易沟通。然后有很多细节很重要，你之前也谈到了这一点。它很可能在事后看来是显而易见的，或者会有一个不太复杂的东西起作用，但会有很多细节才能做到这一点。如果真是这样，那么为什么我们认为在初创公司获得国家级安全将阻止中国赶上？这就像，“哦，我们知道某种自我对弈强化学习将是绕过数据墙所必需的。”到2027年就会解决，对吧？这并不难。美国，以及美国领先的实验室，拥有巨大的领先优势。默认情况下，中国实际上有一些好的大型语言模型，因为它们只是在使用开源代码，比如Llama。人们真的低估了算法进步的分歧以及美国默认的领先优势，因为所有这些东西直到最近都被发布了。看看Chinchilla缩放定律、MoE论文、Transformer。所有这些东西都被发布了。这就是为什么开源是好的，以及为什么中国可以制造一些好的模型。现在，它们不再发布了。如果我们真的保密，这将是一个巨大的优势。说到你的观点，关于默会知识和亚历克·雷德福，在底层还有另一个层次，那就是大规模工程工作，以使这些大型训练运行正常工作。这有点更像是默会知识，但中国将能够弄清楚这一点。这是工程上的麻烦，它们会弄清楚如何做到。为什么它们弄不清楚这一点，却弄不清楚如何让强化学习工作？我不知道。德国在第二次世界大战中在重水方面走错了路。在《原子弹的制造》中有个惊人的轶事。早期，保密是最具争议的问题之一。利奥·西拉德真的认为核链式反应和原子弹是可能的。他到处说：“这将具有巨大的战略和军事重要性。”很多人不相信，或者认为，“也许这是可能的，但我会假装不是，科学应该是开放的。”早期，对石墨作为慢化剂进行了一些错误的测量。德国认为石墨不起作用，所以他们不得不使用重水。但恩里科·费米做出了新的测量，表明石墨会起作用。这非常重要。西拉德再次向费米发出保密呼吁，费米勃然大怒，大发脾气。他认为这很荒谬，说：“来吧，这太疯狂了。”但西拉德坚持了下来，他们又拉上了另一个人，乔治·佩格拉姆。最后，费米没有发表。这正是时候。费米没有发表，意味着纳粹没有发现石墨会起作用。他们走上了重水的道路，这是错误的道路。这是德国项目失败的关键原因。它们落后了很多。我们现在面临类似的情况。我们会立即泄露如何绕过数据墙以及下一个范式是什么吗？还是不？这之所以重要，是因为领先一年将是巨大的优势。在人工智能随时间部署的世界里，它们最终会赶上的。我采访了理查德·罗兹，写《原子弹的制造》的那个人。他讲的一个轶事是，当苏联人意识到美国拥有原子弹时。显然，我们在日本投了原子弹。拉夫连季·贝利亚——负责NKVD的人，一个以残酷和邪恶著称的人——去找负责他们版曼哈顿计划的苏联科学家。他说：“同志，你将为我们弄到美国炸弹。”那个人说：“嗯，听着，他们的内爆装置实际上不是最优的。我们应该用不同的方式来制造它。”贝利亚说：“不，你将为我们弄到美国炸弹，否则你的家人将化为营地尘埃。”这个轶事相关的点是，如果苏联人没有复制美国的设计，至少一开始，他们会拥有更好的炸弹。这暗示了历史的一些东西，不仅仅是曼哈顿计划。通常存在并行发明的模式，因为技术树暗示了下一个是某个东西——在这种情况下，是自我对弈强化学习——人们会研究它，并且差不多同时会弄清楚。谁先弄到它，差距不会太大。众所周知，很多人差不多同时发明了灯泡。是不是可能情况确实如此，但一年或六个月的差距就决定了一切？两年就能决定一切。但我不知道是否会是两年。如果我们锁定了实验室，我们就有更好的科学家。我们领先很多。这将是两年。即使是六个月，一年，也会产生巨大的影响。这又回到了智能爆炸的动力学。一年可能是从接近人类水平的系统到远远超越人类的系统之间的区别。可能就像五个数量级。看看现在的速度。三年前，在数学基准测试上——这些是真正困难的高中竞赛数学题——我们只有几个百分比，我们什么都解不出来。现在已经解决了。这是人工智能正常进步的速度。你没有数十亿的超级智能研究员。一年是一个巨大的区别，尤其是在超级智能之后。一旦这被应用于研发的许多方面，你就会出现机器人和其他先进技术的工业爆炸。几年可能就能取得几十年的进步。同样，这就像美国在第一次海湾战争中拥有的技术领先优势，20-30年的技术领先优势被证明是决定性的。这确实很重要。这是另一个重要原因。假设它们窃取了权重，假设它们窃取了算法，并且它们紧随其后。假设我们仍然领先。我们稍微快一点，领先三个月。我们处于势均力敌的世界里，我们只领先三个月，这是极其危险的。我们处于一场狂热的斗争中，如果它们领先，它们就会占主导地位，也许会获得决定性的优势。它们正在疯狂地建造集群。它们愿意不顾一切。我们必须跟上。有疯狂的新型大规模杀伤性武器出现。然后我们将面临这样的情况：疯狂的新军事技术，疯狂的新型大规模杀伤性武器，威慑，相互确保摧毁每几周都在变化。这是一个完全不稳定、动荡的局面，极其危险。所以你必须从这些技术很危险的角度来看待它，从对齐的角度来看待。在智能爆炸期间，拥有六个月的缓冲时间可能非常重要，可以这样说：“看，在这段时间里，我们将投入更多的计算资源来对齐，因为我们必须把它做好。我们对它的进展感到不安。”我们是否会毁灭自己，或者我们能否度过这个极其疯狂的时期，其中一个最重要的输入是我们是否有这个缓冲。在我们继续之前，非常值得注意的是，我交谈过的几乎没有人考虑人工智能的地缘政治影响。我有一些对象层面的分歧，我们会深入探讨，有些事情我想弄清楚。最终我可能不会有分歧。基本前提是，如果你继续扩大规模，如果人们意识到智能正朝着这个方向发展，世界就不会仅仅是老样子了。它不仅仅是关于我们明天将部署什么模型，或者最新的东西是什么。推特上的人说，“哦，GPT-4将颠覆你的期望”之类的。COVID很有趣，因为当2020年3月到来时，全世界——总统、首席执行官、媒体、普通人——都清楚，现在世界上正在发生其他事情，但我们作为一个世界现在正在处理的主要事情是COVID。很快就会是通用人工智能。这是平静的时期。也许你想去度假。也许现在是你最后一次可以生孩子的时候了。我的女朋友有时抱怨我工作时没有花足够的时间陪她。她威胁要把我换成GPT-6之类的。我说，“GPT-6也会忙于进行人工智能研究。”为什么其他人不谈论国家安全？我当初在COVID问题上犯了这个错误。2020年2月，我认为它会席卷全球，所有医院都会崩溃。会很疯狂，然后就会结束。很多人在COVID初期都有这种想法。他们把办公室关了一个月左右。我真正没有考虑到的事情是社会反应。几周之内，国会就COVID措施花费了GDP的10%以上。整个国家都被封锁了。太疯狂了。在COVID问题上，我没有充分考虑这一点。为什么人们低估它？身处战壕中，你对趋势线的了解反而不那么清楚。你不必拉远太多，只需要拉远几年。当你身处战壕时，你正试图让下一个模型正常工作。总有一些事情很难。你可能会低估算法进步，因为你会想，“啊，现在事情很难，”或者“数据墙。”