Transcription
今天，我正在和运营SemiAnalysis的迪伦·帕特尔，以及运营Asianometry YouTube频道的乔恩聊天。他有姓氏吗？不，我没有。不，开玩笑的。乔恩·Y。为什么只有一个字母？因为Y是最好的字母。
你的脸为什么被遮住了？为什么不呢？不，说真的，为什么被遮住了？因为我害怕看到自己随着岁月流逝变得越来越老、越来越胖。但说真的，这是为了匿名，对吧？匿名，是的。
顺便问一下，你知道迪伦的中间名是什么吗？实际上，不知道。我不知道。我父亲的名字是什么？我不会说，但我记得。你可以说。没关系。桑杰？是的。他的中间名是什么？桑杰？没错。所以我是德瓦尔凯什·桑杰·帕特尔。他是迪伦·桑杰·帕特尔。这简直就是我的“白人名字”。不幸的是，我的父母在我哥哥和我之间，决定给我一个“白人名字”。我本可以是德瓦尔凯什·桑杰。你知道如果我们有相同的名字会多棒吗？蝴蝶效应什么的，结果可能还是一样，但是……也许会更亲近。我们会更早认识彼此，你知道吗？世界上还有谁会叫德瓦尔凯什·桑杰·帕特尔呢？
好了，这是我的第一个问题。如果你是习近平，而且你是一个“规模化信仰者”，你会怎么做？乔恩，别回答这个问题，这对AI安全不利。
我基本上会联系每一个有家人在中国的华人，然后说：“我想要信息。我想知道你们的秘方。我想知道供应商。”实验室里的外国人还是硬件方面的外国人？所有人。对OpenAI进行“蜜罐诱捕”？
这完全是离题了，但我在制作一个关于南斯拉夫核武器计划的视频。它最初一无所有。一个来自巴黎的人出现了。他对制造原子核武器略知一二。他当时想：“好吧，我需要帮助吗？”然后国家秘密警察就说：“我会为你搞定一切。”在大约四年的时间里，他们基本上列出了一份清单。“你需要什么？你想要什么？你打算做什么？它将用于什么？”然后国家警察就搞定了一切。如果我管理一个国家，并且需要在这方面迎头赶上，那我就会做这种事情。
好的，我们来谈谈间谍活动。如果你能得到这份蓝图，这1兆字节的信息，哪一部分是最有价值的？你想要来自台积电的吗？你想要来自英伟达的吗？你想要来自OpenAI的吗？你会首先尝试窃取什么？
你必须堆叠每一层，对吧？AI的妙处在于，因为它发展得如此之快，每一层都承受着令人难以置信的压力。当然，中国已经攻击ASML五年多了，ASML有点像：“哦，没关系。”荷兰政府非常生气，但没关系。在我看来，他们已经有了那些文件。这只是一件非常难建造的东西。
同样适用于晶圆厂的配方。他们可以挖走台湾人。这并不难，因为台积电的员工收入并不高得离谱。你可以挖走他们，给他们更好的生活，他们也确实这样做了。中芯国际的许多员工都是台积电的台湾人，尤其是很多高层优秀人才。你再往上走一层。当然，有大量的模型秘密。但这些模型秘密中，有多少是你还没有掌握，只是尚未部署、实施或组织起来的呢？这是我想说的一点。在我看来，中国显然仍然不是一个“规模化信仰者”。
如果你能雇佣这些人，那对你来说可能价值巨大，因为你正在建造一个价值数百亿美元的晶圆厂。这些人才知道很多。他们多久被挖走一次？他们是被外国对手挖走，还是仅仅被同一行业但同一国家内的其他公司挖走？为什么这没有推高他们的工资？那是因为它非常分层。
早在21世纪初，在中芯国际壮大之前，它实际上更加开放和扁平。在那之后，在梁孟松事件之后，在所有三星问题之后，在中芯国际崛起之后，你确实看到了——你实际上应该讲那个故事，关于那个去了三星和中芯国际的台积电员工的故事。我觉得你应该讲那个故事。
有两个故事。有一个人在台湾经营一家半导体公司，名叫世大半导体。这个人，张汝京，非常虔诚。所有台积电的人都相当虔诚。他尤其非常热衷于将宗教带到中国。所以在他把公司卖给台积电之后——这对台积电来说是一次巨大的成功——他在那里工作了大约八九个月，然后回到了中国。那时，中国和台湾之间的关系要大不相同。所以他去了上海，他们说：“我们会给你一大笔钱。”张汝京基本上招募了一大批台湾人，他们直接登上飞机飞了过去。总的来说，这实际上是中国半导体产业许多加速点的真实情况。它来自于台湾人才的流动。
第二个故事是关于梁孟松的。梁孟松是个怪人。我没见过他。我见过和他一起工作的人，他们说他是个怪人。他可能有点自闭症谱系特征。他不在乎人、生意或任何事情。他只想做到极致。那是他唯一关心的事情。他在台积电工作，一个真正的天才，拥有300项专利什么的，285项。他一路爬到顶层，然后有一天他在台积电内部的权力斗争中失利，被降职了。他当时是研发主管之类的，对吧？他当时是顶尖研发人员之一。他排在第二或第三位。基本上是为了研发主管的职位。没错，是为了研发主管的职位。他当时想：“我受不了这个。”他去了三星，从台积电挖走了大量人才。说真的，又是一条“康加舞队”。在某个时候，其中一些人的薪水比三星董事长还高，这其实没什么可比性……三星董事长通常不就是三星家族的一员吗？完全正确。好吧，所以这有点无关紧要。所以他去了那里，说：“我们会把三星打造成一个怪物。忘掉一切。忘掉你们一直在尝试的渐进式发展。把那些都扔掉。我们要走向最前沿，仅此而已。”他们走向了最前沿。他们从台积电手中夺回了苹果的大部分业务。
然后台积电的张忠谋就说：“我不会让这种事发生。”那个人也很难共事，但他也真是个天才。他也很擅长激励人。他组建了所谓的“夜莺部队”。他们把一群人分成两拨，然后说：“你们上研发夜班。台积电晶圆厂没有休息时间。你们进去的时候，白班的人就出来了。”他们称之为“肝爆”。在台湾，他们说你老了，工作的时候，就是在牺牲你的肝脏。他们称之为“爆肝机”。他们基本上做了这个“夜莺部队”一两年。他们完成了FinFET。他们基本上就是把三星甩在了后面。
与此同时，他们直接起诉梁孟松窃取商业秘密。三星基本上与梁孟松分道扬镳，梁孟松去了中芯国际。所以三星一度比台积电更好。然后他去了中芯国际，中芯国际在那之后迅速赶上。非常迅速。那个人是个天才。那个人是个天才。我甚至不知道该怎么评价他。他已经78岁了，而且他超越了天才。他不在乎人。
制造下一个工艺节点的研究是什么样的？难道就是一百名研究人员进去，他们做下一个n+1？第二天早上，下一百名研究人员进去？那是实验。他们有一个配方，他们就是这么做的。台积电的每一个配方都是多年研究的结晶。它是高度机密的。这个想法是，你会看它的一个特定部分，然后说：“做一个实验。它更好吗？不是吗？它更好还是不好？”就是这样。这基本上是一个多变量问题。每一个工具都按顺序处理整个过程。你对每一个工具都上下调整旋钮。你可以增加这个特定沉积工具的压力。你试图测量什么？它能提高良率吗？是良率、性能、功耗。不仅仅是更好或更差。这是一个多变量搜索空间。
这些人知道些什么才能做到这一点？是他们理解化学和物理吗？这需要很多直觉，但是的。是化学博士、物理博士、电气工程博士……都是杰出的天才。他们很多时候甚至不知道最终的芯片是什么。他们会说：“哦，我是一名刻蚀工程师，我只专注于氢氟酸如何刻蚀这个，这就是我所知道的一切。如果我在不同的压力下做……如果我在不同的温度下做……如果我用稍微不同的化学配方做……它会改变一切。”
我记得有人在我讲话时告诉我这件事。美国是如何失去做这种事情的能力的？我指的是刻蚀、氢氟酸以及所有这些。他告诉我，这基本上是非常师徒制的。你知道就像《星球大战》里的西斯，只有一个，对吧？师徒，师徒。以前是有一个师傅，有一个徒弟，他们传承这种秘密知识。这个人除了刻蚀什么都不知道，除了刻蚀什么都不知道。随着时间的推移，徒弟们不再来了。最后，徒弟们搬到了台湾。现在仍然是这样运作的。就像你有清华大学。有很多师傅。他们教徒弟，然后他们就把这种秘密的、神圣的知识传承下去。
供应链中哪些人是“AGI信仰者”？我现在得和科莱特通电话了。好的，去吧。我们能告诉播客，英伟达正在给迪伦打电话，向他更新财报电话会议的信息吗？嗯，不完全是那样，但是……去吧，去吧……迪伦刚和黄仁勋通完电话回来。不是和黄仁勋，天哪。他们告诉你什么了，嗯？他们告诉你明年收益会怎样？不，只是关于Hopper、Blackwell和利润率的一些信息。对大多数人来说，这很无聊，但我认为很有趣。我想我们可以开始谈论英伟达了。你知道吗，在我们这样做之前……我想我们应该回到中国。那里有很多要点。
好了，我们已经讨论了芯片本身。他们如何建立起10吉瓦的数据中心？他们还需要什么？这是一个关于你如何去中心化与中心化的真正问题。在美国，就实验室而言，你有OpenAI、xAI、Anthropic。微软有自己的努力，Anthropic也有自己的努力，尽管他们有合作伙伴。然后你还有Meta。你还有所有有趣的初创公司在做事情。你往下看，会发现努力是相当去中心化的。今天在中国，它仍然相当去中心化。它不像“阿里巴巴、百度，你们是冠军”。你有DeepSeek在做很棒的事情，然后你会想：“你到底是谁？政府甚至支持你吗？”如果你是习近平，而且你是一个“规模化信仰者”，你现在必须集中计算资源。
因为你现在能获得的英伟达GPU数量受到了制裁。即使在去年10月制裁之后，他们每年仍能获得超过一百万个。我们仍然有超过一百万个H20和其他Hopper GPU通过其他方式进入，但H20是合法的。除此之外，你还有国产芯片，但那不到一百万个芯片。当你看到它时，你会想：“哦，好吧，我们仍然在谈论一百万个芯片。”今天以及未来六个月人们正在训练的数据中心的规模是10万个GPU。OpenAI、xAI，这些都有很好的记录，还有其他公司。但在中国，他们还没有达到这种规模的单个系统。那么问题是：“我们如何才能达到？”目前还没有公司进行集中化推动，以拥有如此大的集群并进行训练，至少在公开和众所周知的情况下是这样。最好的模型似乎来自一家拥有约1万个GPU或1.6万个GPU的公司。它不像美国公司那样集中，而美国公司是相当去中心化的。
如果你是习近平，而且你是一个“规模化信仰者”，你会不会直接说：“XYZ公司现在负责，所有GPU都集中到一个地方”？那样你就不会像美国那样遇到同样的问题。在美国，我们在密集区域建造足够大的数据中心、足够大的变电站和变压器等方面存在大问题。中国在这方面完全没有问题，因为他们的供应链每年增加的电力相当于欧洲的一半。这是一个荒谬的统计数据。他们不断建造变压器变电站或新的发电厂。他们在获取电力密度方面没有问题。你可以看看比特币挖矿。在三峡大坝附近，至少在某个时候，估计有10吉瓦的比特币挖矿。我们谈论的是美国在2026年或2027年将出现吉瓦级数据中心。这相对来说是一个荒谬的规模。我们还没有准备好吉瓦级数据中心。我认为中国可以在六个月内，在三峡大坝或许多其他地方建造它。他们有能力建造变电站。他们有发电能力。一切都可以像翻转开关一样完成，但他们还没有这样做。然后他们可以疯狂地集中芯片。现在他们可以像“哦，英伟达在第三季度和第四季度将出货一百万个H20芯片，让我们把它们都放在这个数据中心里。”他们只是还没有进行这种集中化努力。
你可以争辩说，你越是集中化，你就越是在行业内建立起这个庞然大物，你就越会引起关注。突然之间，你就会发现里面有一点小小的“蠕虫”。突然在你进行大型训练运行时，“哦，这个GPU关机了。哦，这个GPU……哦不，哦不，哦不……”我不知道是不是这样。顺便问一下，那是中国口音吗？澄清一下，乔恩是东亚人。他是华人。我是东亚裔。一半台湾人，一半华人？没错。但我不知道是不是那么简单，因为训练系统就像……它是“水门”的吗？防火墙？它叫什么？不是防火墙。我不知道。有一个词来形容。它们是……气隙隔离的。我想它们是“中国墙”的。你正在经历所有四个元素。土、水、火！如果你是习近平，而且你是一个“规模化信仰者”……你必须团结四种力量。去他的御气师。去他的御火师。我们有降世神通。你必须建造降世神通。好的。我认为这是可能的。
问题是，“这会减慢你的研究速度吗？”你会不会压制像DeepSeek这样明显不受政府影响的人？然后放一个白痴……你把一个白痴官僚放在最高层。突然之间，他满脑子都是这些政治。他试图处理所有这些不同的事情。突然之间，你就有了一个单点故障，那很糟糕。另一方面，由于规模法则，集中化显然会带来巨大的收益。另一方面是计算效率，这显然会受到损害，因为如果你更集中化，你就不能像以前那样进行实验，让不同的人领导并尝试他们的努力。这里有一个平衡点。
这实际上真的很有趣，他们可以集中化这个事实。我以前没想过这一点。即使美国每年整体获得数百万个GPU，但任何一家公司只获得数十万个或更少，这意味着在美国没有人能像中国整体决定一起做那样进行一次大规模的训练运行。你提到的三峡大坝附近的10吉瓦，它的分布范围有多广？它是一个州吗？它像一根电线吗？你会进行一种分布式训练运行吗？
它不仅仅是大坝本身，还有所有的煤炭。我相信那里也有一些核反应堆。所有这些加上太阳能和风能等可再生能源，那个地区可以建造出惊人数量的集中电力。我不是说它像一个按钮，但更像是“嘿，在X英里半径内”。这才是更正确的说法。美国的实验室也是这样说的。
如果他们现在就开始，建造世界上最大的AI数据中心需要多长时间？实际上，另一件事是，我们能注意到吗？我认为不能。随着大量工厂的兴建——其他建筑、制造业等正在建造的数量——一吉瓦实际上就像沧海一粟。一吉瓦的电力并不多。10吉瓦的电力也不算荒谬，还可以。是的，它相当于数十万户家庭，数百万人。但你有14亿人口。你拥有世界上大部分极其耗能的精炼和稀土精炼以及所有这些制造业。隐藏它会非常容易。很容易就能关闭，比如……我认为世界上最大的铝厂就在那里，它自己就有超过5吉瓦的电力。我们能分辨出他们是否停止在那里生产铝，转而开始在那里生产AI吗？我不知道我们能否分辨出来，因为他们也可以轻易地再建10个铝厂来弥补产量，然后就没事了。他们也有很多方法来隐藏计算能力。
如果他们能拆掉一个5吉瓦的铝精炼中心，并在那里建造一个巨大的数据中心，那么我想控制中国AI的方式就必须是芯片了？请告诉我他们现在有多少芯片。未来他们会有多少？与美国和世界其他地区相比会是怎样？
在我们生活的世界里，他们在电力、数据中心等物理基础设施方面完全不受限制。他们的供应链就是为此而建的。很容易就能实现这种转变。而美国每年增加的电力很少，欧洲每年都在失去电力。相比之下，西方的电力产业几乎不存在。
另一方面，如果把台湾算进去，“西方”制造业的规模比中国大得多得多，尤其是在尖端领域，中国理论上——取决于你如何看待——要么是零，要么只占很小的份额。在那里，你有设备、晶圆制造，然后你有先进封装能力。美国能在哪里控制中国？先进封装能力有点悬，因为绝大多数……世界上最大的先进封装公司总部设在香港。他们刚刚搬到新加坡，但这实际上是在美国无法制裁的领域。这些其他公司中的大多数都在类似的地方。先进封装能力非常难。
先进封装对于堆叠内存、在协处理器上堆叠芯片等很有用。然后下一步是晶圆制造。在这方面，限制中国的能力巨大。尽管美国实施了一些制裁，但中国在最近几个季度占ASML收入的48%，占应用材料的45%。你往下看清单。显然，控制得并不那么有效。但它可以在设备方面发挥作用。我认为，芯片方面实际上控制得相当有效。
是的，有GPU通过新加坡、马来西亚和亚洲其他国家运往中国。但走私的数量相当少。然后制裁将芯片性能限制在一个点上，让人觉得“你知道，这实际上还算公平。”但所有限制都存在一个问题。你希望能够限制中国建立自己的国内芯片制造产业，使其优于我们运送给他们的。你希望阻止他们拥有比我们更好的芯片。然后你希望阻止他们拥有更好的AI。这是最终目标。
如果你阅读这些限制，就会非常清楚地看到它们是关于AI的。即使在2022年，这也很令人惊讶，至少商务部有点“AI信仰者”。它就像是：“你想要限制他们拥有比我们更好的AI。”所以从右端开始，它就像是：“好吧，如果你想限制他们拥有比我们更好的AI，你就必须限制芯片。好的。如果你想限制他们拥有芯片，你必须让他们拥有至少一定水平的芯片，这种芯片要比他们内部能制造的更好。”但目前限制是反过来的。他们在中国可以制造出比我们限制英伟达、AMD或英特尔可以卖给中国的芯片更好的芯片。所以这里存在一个问题，即运送的设备可以用来制造比西方公司实际能运送给他们的芯片更好的芯片。
乔恩，迪伦似乎认为出口管制有点失败。你同意他的看法吗？这是一个非常有趣的问题，因为我认为它就像……谢谢你。德瓦尔凯什，你真棒。是的，德瓦尔凯什，你是最棒的。说“失败”这个词很难，因为我们想达到什么目标？我们只拿光刻来说。如果你的目标是限制中国制造芯片，你只是把它归结为：“嘿，光刻占芯片制造的25-30%。好的，我们制裁光刻。好的，我们把界线划在哪里？让我弄清楚界线在哪里。”如果我是一个商务部的官僚或律师，或者其他什么人，我显然会去和ASML谈，ASML会告诉我：“这就是界线，”因为他们知道这个和那个……有一些模糊不清的地方。他们会这样看：“什么会让我们损失最多的钱？”然后他们都会不断地说：“如果你限制我们，那么中国就会有自己的产业。”
我喜欢这样看：芯片制造就像三维国际象棋，或者像一个巨大的拼图。如果你拿走一块，中国就会说：“哦，那就是那块。我们把它放进去。”目前，他们年复一年地更新出口限制，自从2018年或2019年特朗普开始，现在拜登加速了这些限制。他们并没有直接拿起棒子把桌子砸烂。它就像是：“我们拿走一块拼图。走开。哦，糟糕。我们再拿走两块。哦，糟糕。”你要么彻底“破釜沉舟”，要么就放松，让他们做他们想做的一切。因为另一种选择是，一切都集中在这件事上，然后他们就做成了。然后当你再拿走两块时，他们就会说：“好吧，我在这方面有我的国内产业。我现在也可以为这些建立国内产业。”你深入到科技树或其他什么。这是一种艺术，因为存在可以弥补的技术。认为光刻是系统中的关键环节，这并不完全正确。在某个时候，如果你一直拉扯一根线，其他东西就会开始发展以闭合那个循环。这就是为什么我说它是一门艺术。我认为你无法阻止中国半导体产业的发展。这基本上是不可能的。中华民族，中国政府，相信半导体制造的首要地位。他们相信了很长时间，但现在他们真的相信了。在某种程度上，制裁使中国比任何其他事情都更相信半导体产业的重要性。
那么从AI的角度来看，出口管制的意义何在？如果他们能够获得这些……嗯，它们没有集中化。这是个大问题：它们集中化了吗？另外，我不确定我是否真的相信，但在之前的播客中，有人谈到过国有化。你为什么含糊其辞地提到这个？“我的对手……”不，我爱利奥波德，但有几次有人谈到过国有化。如果你实行国有化，那么突然之间你就聚合了所有的浮点运算。根本不可能。中国可以足够集中化，与美国每一个独立的实验室竞争。如果他们决定成为“规模化信仰者”，他们可以在2025年和2026年拥有同样多的浮点运算。仅仅来自外国芯片，用于单个模型。比如他们可以在2026年发布一个1e27的模型？还有一个1e28的模型正在开发中。他们完全可以只靠外国芯片供应做到这一点。这只是一个集中化的问题。那么问题是，当你集中化时，你是否能获得同样多的创新和计算效率提升？或者Anthropic、OpenAI、xAI和谷歌开发出东西，秘密在彼此之间稍微转移，从而产生比美国国有化更好的长期结果？如果中国愿意，他们绝对可以在2026-27年做到，仅仅依靠外国芯片。国产芯片是另一个问题。
你有60万个昇腾910B，大约是400万亿次浮点运算。如果他们把它们都放在一个集群中，他们明年就可以拥有比任何实验室都大的模型。我不知道所有的昇腾910B都去了哪里，但有传言说它们被分配给了主要的厂商，阿里巴巴、字节跳动、百度等等。明年，你将拥有超过一百万个。他们甚至有可能在美国之前拥有1e30，因为数据中心不是一个大问题。一个10吉瓦的数据中心……我认为今天在美国没有人试图建造这样的数据中心，即使到2027-28年也没有。他们专注于将许多数据中心连接在一起。有可能到2028-2029年，即使集中化问题解决了，中国也能为单个模型提供更多的浮点运算。这显然今天双方都没有发生。我敢打赌，如果AI像你我所相信的那样重要，他们会比西方更早地集中化。所以这是有可能的。
他们还能生产多少晶圆，其中有多少晶圆可以专门用于910B？我假设他们还想用这些半导体做其他事情。这里有两部分。美国制裁中芯国际的方式真的很愚蠢。他们制裁了一个特定的地点，而不是整个公司。中芯国际仍在购买大量工具，这些工具可用于其7纳米和5.5纳米或6纳米工艺，用于今年晚些时候发布的910C。只要不在上海，他们就可以尽可能多地建造。上海拥有45到50台高端浸没式光刻机。这是情报部门和许多其他人所相信的。这大致使他们每月能够生产多达6万片7纳米晶圆，但他们也在那个晶圆厂生产14纳米晶圆。人们认为他们实际上每月只有大约2.5万到3.5万片7纳米晶圆的产能。
计算芯片尺寸和所有这些东西——华为也使用小芯片，所以他们可以少用一些尖端晶圆，但他们的良率很差——你可以粗略地说，每片晶圆大约有50到80个好的芯片，良率很差。为什么他们的良率很差？因为这很难。即使每个人都知道这个数字，比如有1000个步骤。即使每个步骤你都达到98-99%的良率，最终你仍然只能得到40%的良率。如果达到六西格玛的完美，并且你有10000多个步骤，最终你的良率仍然是“狗屎般的百分比”。那是一个科学的衡量标准，“狗屎般的百分比”。是的，作为一种乘法效应。良率很差是因为他们束手束脚。他们无法使用EUV。在7纳米工艺上，英特尔从未在初期使用EUV，但台积电最终开始使用EUV。最初，他们使用DUV。
那是不是意味着出口管制成功了？他们良率很差是因为他们必须使用……这是一个全新的工艺。再说一次，他们仍然很坚定。成功意味着他们停止。他们没有停止。
让我们回到良率问题。理论上是每月6万片晶圆乘以每片晶圆50-100个良品芯片。天哪。那是数百万个GPU。现在，他们大部分晶圆都在做什么？他们还没有成为“规模化信仰者”，所以他们仍然在把它们扔出去。让我们生产2亿部华为手机，对吧？好的，没关系。作为西方国家，你不会那么在意，即使西方公司会受到影响，比如高通和联发科等台湾公司。显然有这一点。美国也是如此，但当你转向……抱歉，我他妈不知道我本来要说什么。说对了！我们保留这段。没关系，没关系。如果他们在2026年实现集中化，他们可以进行与任何一家美国公司一样大的训练运行——哦，我之所以提到上海。他们正在北京建设7纳米产能。他们正在北京建设5纳米产能，但美国政府并不在意。他们正在向北京进口数十台工具，并对美国政府和ASML说：“这显然是用于28纳米的。”在幕后，他们正在那里生产5纳米。
他们这样做是因为他们相信AI，还是因为他们想制造华为手机？在受到制裁之前，华为曾有几个季度是台积电最大的客户。华为生产世界上大部分的电信设备。手机、调制解调器、加速器、网络设备、视频监控芯片，应有尽有。其中很多都可以使用7纳米和5纳米。你认为华为的统治地位实际上对中国其他科技产业不利吗？华为太厉害了，很难这么说。华为经常在束手束脚的情况下击败西方公司。诺基亚和索尼爱立信算什么？与华为相比，它们就是垃圾。华为不被允许向欧洲或美国公司销售产品，他们也没有台积电。然而他们仍然击败了它们。新手机的性能与一年前的高通手机一样好，而其工艺节点相当于三四年前的水平。他们实际上用最差的工艺节点在工程上超越了我们。华为真是厉害得离谱。
你认为这种文化从何而来？军队，因为它是解放军。它通常被视为解放军的一个分支。你如何将这一点与解放军有时似乎会搞砸事情的事实相协调？哦，比如在火箭里灌水？我不知道那是不是真的。我不否认。有那种疯狂的阴谋论……你不知道在中国到底该相信什么，尤其作为一个非中国人。没人知道，甚至中国人也不知道中国发生了什么。有各种各样的事情，比如：“哦，他们在火箭里灌水，显然他们是无能的。”如果我是中国军队，我希望西方世界相信我完全无能，因为有一天，我可以用高超音速导弹和无人机摧毁一切。“不，不，我们正在导弹里灌水。这些都是假的。我们实际上没有在超级先进的设施中制造十万枚导弹，雷神公司真是蠢透了，因为他们根本无法以同样快的速度制造导弹。”这也是另一方面。有多少虚假宣传？有很多，“中芯国际永远不可能，他们没有最好的工具。”然后就像，“混蛋，他们去年用这种芯片出货了6000万部手机，性能只比高通的差一年。”事实胜于雄辩。有很多自我安慰。我只是想知道这种文化从何而来。他们身上有些疯狂的东西。他们所触及的一切，似乎都成功了。我不知道为什么。他们在造汽车。我不知道那里发生了什么。
如果我们回顾历史……你认为他们是从某个地方得到了一些东西吗？你是说间谍活动？显然。东德和苏联工业基本上是一条秘密的传送带，他们用这些秘密来运作一切。但苏联人从来都不擅长。他们从来无法大规模生产。但现在你有了中国。间谍活动如何解释他们能用不同的工艺制造东西？这不仅仅是间谍活动。他们简直就是厉害得离谱。这就是原因。肯定还有其他原因。他们毫无疑问地进行了间谍活动。ASML已知至少被黑客攻击过几次。一些带着大量文件前往中国的人被起诉。不仅仅是ASML，而是供应链中的每一家公司。思科的代码曾真实地出现在早期的华为路由器中。你往下看清单……但从架构上看，昇腾910B与GPU或TPU完全不同。它是自己独立的东西。当然，他们可能从某些地方学到了一些东西，但他们擅长工程。这是996。无论这种文化从何而来，他们都做得很好。他们做得非常好。
我好奇的另一件事是这种文化从何而来，以及它如何保持下去。对于美国公司或任何其他公司，你可能有一家非常优秀的公司，但随着时间的推移它会变差，比如英特尔或许多其他公司。我想华为还没那么老，但作为一个大公司并保持优秀是很难的。这是真的。我经常听到关于华为的一个词是“奋斗”。中国有一种文化，共产党非常重视奋斗。华为将这种文化融入到他们的做事方式中。你以前说过这个，对吧？他们之所以疯狂，是因为他们认为五年后他们将与美国开战。他们所做的一切，每一秒都好像他们的国家依赖于此。这是安迪·格鲁夫式的思维模式。向安迪·格鲁夫时代的英特尔致敬。只有偏执狂才能生存。偏执的西方公司做得很好。谷歌为什么在很多事情上搞砸了，然后现在又重新崛起？那是因为他们变得非常偏执。如果华为不断地对外部世界保持偏执，并想着：“哦，糟糕，我们要死了。他们会打败我们。我们的国家依赖于此。我们将从全国各地招募最优秀的人才，无论他们做什么……”并告诉他们：“如果你不成功，我们的国家就会灭亡。你的家人将被奴役。那将是可怕的。”“被邪恶的西方猪。”“资本主义……”或者不是资本主义，他们现在不这么说了。更像是，“所有人都反对中国。中国正在被玷污。这一切都取决于你，兄弟。如果你做不到……”“如果你不能让那个无线电稍微减少噪音，并传输5%更多的数据，我们就完蛋了。”“这就像宫殿大火重演。英国人来了，他们会偷走所有的小玩意。这都怪你。”
为什么半导体行业没有更多的垂直整合？为什么会是这样：“这个子组件需要这家公司的这个子组件，而这家公司的这个子组件又需要那家公司的这个子组件……”为什么没有更多的内部完成？今天的看法是，它超级分层。每个行业都有一个到三个竞争对手。在芯片制造的任何一层，任何东西，化学品，不同类型的芯片等等，竞争最激烈的时候是70%的份额，25%的份额，5%的份额。它曾经是垂直整合的。在最开始的时候是整合的。为什么停止了？你曾经有公司把所有事情都做在一起。然后突然一个人会说：“我讨厌这个。我知道怎么做得更好。”他会分拆出去，做自己的事情，开自己的公司，然后回到他的老公司说：“我可以卖给你一个更好的产品。”这就是我们所说的半导体设备行业的开端。在七十年代，每个人都自己制造设备。六十年代和七十年代。所有这些人分拆出去。结果是，那些接受外部产品和设备的公司得到了更好的东西，做得更好。有些公司垂直整合了几十年。它们仍然很好，但远没有竞争力。
我困惑的一点是实际的晶圆代工厂本身，每年都在减少。整体公司可能更多，但最终的晶圆制造商却越来越少。这类似于AI基础模型，你需要从之前的模型中获得收入。你需要市场份额来资助下一轮越来越昂贵的开发。当台积电开创代工行业时，有一波亚洲公司资助了半导体代工厂。马来西亚的Silterra，新加坡的Chartered，香港的一家……日本也有很多。日本也有很多。他们都做了这件事。当走向尖端时，变得越来越难，这意味着你必须从所有客户那里聚合更多的需求来资助下一个节点。从技术上讲，你正在聚合所有这些利润来资助下一个节点，以至于现在市场上没有N2或N3的空间了。你可以争辩说，从经济上讲，N2是一个没有意义的怪物。如果没有市场上大约五家公司的巨大集中支出，它就不应该存在。
抱歉完全打断了你，但有这样一个视频，里面说：“这是一种不圣洁的肉泥混合物。”是的！什么？有这样一个视频，里面说：“火腿很恶心。它是一种不圣洁的肉泥混合物，没有骨头或胶原蛋白。”我不知道。他描述2纳米的方式就像那样。就像那个拼命锻炼右臂的人。他肌肉发达。“人体不应该这么肌肉发达！”有什么意义？为什么2纳米不合理？
我不是特指N2，而是N2这个概念。下一个节点从技术上讲应该……总有一天，从经济上讲，下一个节点将完全不可能实现。除非有更多的技术出现，比如AI现在让1纳米或A16之类的变得可行。在什么意义上可行？它值得吗？钱。钱。每两年你就会看到一次缩小，就像钟表一样，摩尔定律。然后5纳米出现了。花了三年。天哪。然后3纳米出现了。花了三年。摩尔定律死了吗？因为台积电没有……然后苹果做了什么？当3纳米最终推出时，苹果只将一半的iPhone产量转移到3纳米。现在他们又用5纳米工艺生产了很大一部分iPhone，已经是第四年了。移动行业正在衰退吗？然后你看看2纳米，行业要为此买单也将同样困难。苹果因为可以制造手机，他们有如此多的利润可以投入到越来越昂贵的芯片中。但最终这真的快用完了。2纳米对于台积电一家公司来说，经济上有多可行？忽略英特尔，忽略三星。三星是用内存来支付的，而不是用他们实际的利润。英特尔是用他们以前的CPU垄断……私募股权资金、芯片资金、债务以及被裁员工的工资来支付的。有一个强有力的论点是，如果不是AI的兴起并为最尖端芯片产生了巨大的需求，资助下一个节点将不再具有经济可行性。
德瓦尔凯什·帕特尔，7纳米到5纳米再到3纳米之间的差异有多大？在谁能建立最大集群方面，这是一个大问题吗？有一种简单的论点认为，移动一个工艺节点只节省X%的功耗。这已经逐渐消失了。当你从90纳米移动到80或70纳米时，你得到了2倍的提升。登纳德缩放仍然有效。但现在当你从5纳米移动到3纳米时，你并没有将密度翻倍。SRAM根本不缩放。逻辑确实缩放，但只有30%左右。总而言之，每个晶体管你只节省了大约20%的功耗。但由于数据局部性和数据移动，通过移动到下一个节点，你在功耗效率方面实际上获得了比单个晶体管功耗效率收益更大的改进。例如，如果你正在乘以一个8000x8000x8000的矩阵，你无法将所有这些都放在一个芯片上。但如果你能容纳越来越多，你就不必那么频繁地移出芯片，更少地访问内存等等。数据局部性也很有帮助。AI真的非常非常需要新的工艺节点，因为功耗大大降低，你获得了更高的密度和更高的性能。关键是，如果我有一个吉瓦的数据中心，我能获得多少更多的浮点运算？如果我有一个两吉瓦的数据中心，我能获得多少更多的浮点运算？如果我有一个十吉瓦的数据中心，我能获得多少更多的浮点运算？你看看规模，每个人都需要尽快转向最新的工艺节点。
我想问一个普通人的问题……我不会那样措辞。不是为了你们这些书呆子。我想乔恩和我可以交流到你甚至不知道我们在说什么的程度。假设台湾被入侵或台湾发生地震。从现在开始，台湾不再有任何东西运出。接下来会发生什么？世界其他地区在一天、一周、一个月、一年内会感受到怎样的影响？这是一个可怕的话题。你能不能就说这一切都很糟糕？这不仅仅是尖端技术。人们会关注尖端技术，但有很多落后工艺产品是人们每天都依赖的。我们都担心AI。现实是，你将得不到你的冰箱。你将得不到你的汽车。你将得不到所有东西。这很糟糕。然后还有人道方面。这一切都很糟糕。令人沮丧。而我就住在那里。
第一天，市场大幅下跌。六七家最大的公司，华尔街七巨头，占标普500指数的60-75%，它们的全部业务都依赖于芯片。谷歌、微软、苹果、英伟达、Meta，它们都完全依赖AI。你将经历一次极其疯狂的科技重置。所以市场会崩溃。几周后，人们开始准备。人们会说：“哦，天哪，我们开始建造晶圆厂吧。去他的所有环保问题。”战争可能正在发生。供应链正在努力弄清楚该怎么做才能修复它。六个月后，用于制造新车的芯片供应消失了，或者被征用去制造军事用品。你将无法再制造汽车。我们甚至不知道如何制造非半导体驱动的汽车，这种由所有这些芯片组成的不圣洁的混合物。汽车现在大约40%是芯片。轮胎里也有芯片。每辆车里有2000多个芯片。每个特斯拉车门把手里有大约四个芯片。就像，“搞什么鬼？”为什么？它就像是劣质的微控制器之类的东西，但即使是内燃机汽车也有2000多个芯片。每个发动机都有几十个芯片。总之，这一切都将停产。不是所有的生产，欧洲有一些，美国有一些，日本有一些，新加坡有一些。在欧洲，他们会找一个人周六工作，直到下午四点。是的。
台积电总是建造新的晶圆厂。他们会在旧晶圆厂调整产量。新设计会转移到下一个节点，旧产品则填补旧节点。自从台积电成为最重要的参与者以来……不仅仅是台积电，还有联电、力积电和其他公司。台湾在总制造份额中，每个工艺节点都在增长。在130纳米，有很多。这包括来自德州仪器、模拟设备或恩智浦的许多芯片。100%都在台湾由力积电、台积电、联电或其他公司制造。但当你向前迈进到28纳米时，全球80%的产量都在台湾。哦，天哪，对吧？今天28纳米制造什么？大量的微控制器之类的东西，还有我看到的每一个显示驱动芯片。酷，即使我能制造我的Mac芯片，我也无法制造驱动显示器的芯片。你往下看清单。这意味着没有冰箱，没有汽车，没有除草机，因为那些东西都有芯片。我的牙刷里有蓝牙。为什么？我不知道。会有那么多东西就这样消失。我们将经历一次科技重置。
我们本应在几个月前进行这次采访。我一直推迟，因为我当时想：“啊，我什么都不懂。”但这确实是一件非常难理解的事情。而AI则像是……你只是花时间去——当然，但这感觉像是那种你可以以业余的方式了解这个领域正在发生什么的事情。在这个领域，我很好奇一个人是如何学习技术栈的层级的。它不仅仅是网上的论文。你不能只查找关于Transformer如何工作的教程。它是许多层真正困难的东西。现在已经有18岁的AI天才了。有高中辍学生在OpenAI找到工作。这在过去也存在。帕特·基辛格，英特尔现任CEO，在宾夕法尼亚州的阿米什地区长大。他直接去了英特尔工作，因为他就是个天才。这在今天的半导体行业是不可能的。你没有至少化学硕士学位，可能还需要博士学位，就无法在设备公司找到工作。在台积电的7.5万名员工中，大约有5万人拥有博士学位，这简直是疯了。一切都变得如此专业化，达到了一个全新的水平。而今天，你可以找像肖尔托这样的人，他不久前才开始从事AI工作。并不是说肖尔托有什么不好。不，他很厉害。他在自己的领域是极其厉害的。你可以把他放到AI技术栈的另一个部分。他已经理解了，而且可能也会变得很厉害。但在半导体行业就不是这样。你专业化到极致，无法轻易上手。肖尔托，他说了什么……他刚开始——他曾是麦肯锡的顾问，晚上他会阅读关于机器人学的论文并进行实验。然后人们注意到了他，然后说：“这个人是谁？我以为”
所有知道这件事的人都在谷歌。来谷歌吧。”这在半导体行业是不可能发生的。根本不可能。ArXiv 是免费的。论文出版行业在其他任何地方都令人憎恶。你不能随便下载 IEEE 或 SPIE 的论文，或者其他组织的论文。至少直到 2022 年底或 2023 年初，随着谷歌的 PaLM 推理论文的发布，所有最好的东西都只是发布在互联网上。在那之后，实验室进行了一些限制，但也有许多公司在公开场合进行创新。什么是最先进的，是公开的。半导体行业并非如此。半导体行业基本上自 20 世纪 70 年代以来就一直处于封闭状态。从一个国家到另一个国家正式传递的信息之少令人难以置信。你真正能想到上一次这种情况发生可能是在三星时代。那么你们是怎么跟上进度的呢？我们不知道。我个人认为我不知道。如果你不知道，你又在拍什么视频呢？我跟一个人聊过。他拥有蚀刻领域的博士学位，是蚀刻领域顶尖的人物之一。他说：“伙计，你真的很懂光刻。”我感觉我并不懂光刻。但当你和懂光刻的人交谈时，他们会说：“你在封装方面做得相当不错。”没有人知道任何事情。他们都有格尔曼遗忘症吗？他们都身处这同一个水井里。他们都在深入挖掘他们所要达到的目标。他们对其他事情了解不够。从某种意义上说，没有人了解整个堆栈。仅仅制造的层级划分是荒谬的。工具制造商甚至不知道英特尔和台积电在生产中具体做什么，反之亦然，他们也不知道工具是如何如此优化地工作的。有多少种不同的工具？每一种工具都有一个完整的树状结构，包含了我们已经构建、发明并不断迭代的所有东西，而且每隔几年还会出现突破性的创新。如果情况是这样，而且没有人了解整个堆栈，那么行业是如何协调的呢？“两年后，我们想进入下一个工艺，采用全环绕栅极，为此我们需要 X 工具和 X 技术得到开发……”这是一个引人入胜的社会现象。你可以感受到它。今年早些时候我去了欧洲。迪伦有过敏。我跟那些人聊过。就像八卦一样。你开始感觉到人们围绕着某件事聚集。早期，我们有 SEMATECH，美国公司在那里聚集在一起讨论并解决问题。但实际上，它被一家公司主导。如今，它更加分散。这就像蓝月亮升起一样。他们正朝着某个方向前进。他们知道。突然间，整个行业都像这样：“就是它了。我们去做吧。”就像上帝降临并宣告：“我们每两年将密度缩小一倍。”戈登·莫里斯做了一个观察。它并没有消失。它远远超出了他的预期，因为这就像“有了一条清晰的道路可以到达这里和那里。”他预测了 7-8 年后，晶体管数量将增加多个数量级，而且事实证明了。但到那时，整个行业都觉得：“这显然是真的。这是上帝的话语。”整个行业的每一位工程师，数千万人，都被驱动着去做这件事。现在不是每个工程师都相信它，但人们会说：“是的，为了实现下一次缩小，我们必须这样做，这样做，这样做，并且这些是我们进行的优化。”你看到了这种层级划分，整个堆栈中的每一个层和抽象层。这是一个不神圣的混合体。没有人知道发生了什么，因为每一层之间都有一个抽象层。在这一层，你下面和上面的人知道发生了什么。除此之外，你可以尝试理解，但实际上不能……我看了大约 10 或 20 年前关于 IRDS 或其他什么的视频，他们说：“我们将采用 EUV 而不是其他东西。这是前进的道路。”如果他们没有对不同约束、权衡等有全面的了解，他们会怎么做？他们会争论。他们会聚在一起交谈和争论。基本上，在某个时候，某个地方的一个人会说：“我认为我们可以继续推进这件事。”半导体行业非常孤立。每个层级内的数据和知识是：A) 完全没有在线记录，因为它们都孤立在公司内部。B) 有很多人为因素，因为很多知识，正如乔恩所说，是学徒-师傅式的知识。或者说是“我做了 30 年了”，并且在看到某件事时，对如何做有着惊人的直觉。人工智能无法像这样学习半导体。但同时，也存在巨大的技术人才短缺和前进的能力。半导体工厂的大部分设备都运行在 Windows XP 上。每台工具上都有一个 Windows XP 服务器。所有芯片设计工具都使用 CentOS 6 版本，这已经非常老了。有很多领域都远远落后。同时，它又是如此高度优化，以至于技术堆栈在这种意义上是破碎的。他们不敢去触碰它。是的，因为这是一个不神圣的混合体。这东西不应该起作用。这简直是个奇迹。所以你有所有的抽象层。第一，现在可以发生很多突破性的创新，跨越抽象层。第二，因为每个个体都拥有如此多的内在知识，如果我能以 1000 倍或 10 万倍的速度进行实验和测试呢？一些已经证明了这一点的例子包括英伟达的一些 AI 布局工具，以及谷歌在芯片的一小块区域内用 AI 进行电路布局。其中一些 RL 设计的东西，各种模拟的东西……但这是设计还是制造？这都是设计，大部分是设计。制造还没有真正看到太多，尽管它已经开始出现。逆向光刻，也许。ILT 和……也许。我不知道那是不是 AI。总之，仅仅因为有很多未优化的层级，就存在巨大的机会带来突破性创新。你看到了所有这些来自 AlphaGo 类型的东西的 RL 技术带来的个位数到低双位数优势，或者不是 AlphaGo，而是 5-8 年前的 RL 技术被引入。生成式 AI 的引入可以真正彻底改变这个行业，尽管存在巨大的数据问题。你能用数字来量化这里的可能性吗？比如每美元的 FLOPs 或者任何相关的指标？你预计未来有多少会来自工艺节点的改进？有多少会来自硬件本身的设计，因为 AI？我们特别针对 GPU 讨论。如果你必须分解未来的改进。重要的是要说明，半导体制造和设计是人类所做的任何问题中最大的搜索空间，因为它是人类所做的最复杂的行业。当你想到它时，领先的芯片上有 10 的 10 次方、10 的 11 次方、1000 亿个晶体管。Blackwell 有 2200 亿个晶体管或类似的东西。那些只是开关。想想把它们组合起来的每一种排列方式，触点、接地、漏极、源极，以及导线。有 15 个金属层以每一种可能的排列方式连接每一个晶体管。这是一个搜索空间，它几乎是无限的。搜索空间比人类已知的任何其他搜索空间都要大得多。搜索的本质是什么？你想优化什么？有用的计算。如果目标是优化每皮焦耳的智能——而智能是模型架构的模糊本质，皮焦耳是能量单位——你如何优化它？架构方面存在巨大的创新可能，因为 H100 的绝大部分电力并不用于计算。有更高效的 ALU（算术逻辑单元）设计。但即使如此，绝大部分电力也不会用到那里。绝大部分电力都用于移动数据。当你看到数据移动是什么时，它要么是网络，要么是内存。相对于计算，你有大量的移动，相对于计算，你有大量的功耗。那么如何最小化数据移动并最大化计算呢？架构方面有 100 倍的收益可能。即使我们完全停止缩小，我们也可以从架构进步中获得 100 倍的收益。在什么时间段内？问题是我们能将架构推进多远。另一个挑战是，设计芯片的人数很长时间以来并没有真正增长。公司之间会转移，但在美国半导体行业——美国设计了绝大多数领先的芯片——设计芯片的人数并没有增长多少。发生的是，由于 EDA（电子设计自动化）工具，每个人的产出飙升。现在这些仍然是经典的工具。里面只有一点点 AI。问题是我们引入它之后会发生什么，以及如何以某种方式解决这个搜索空间，让人类和 AI 协同工作来优化它，这样大部分电力就不会仅仅用于数据移动，而计算实际上非常小。仅仅通过设计改变，计算就可以变得效率提高 100 倍，然后你可以极大地最小化数据移动。你仅凭架构本身就可以获得巨大的效率提升。工艺节点有助于你在那里进行创新。电源输送有助于你在那里进行创新。系统设计，芯片到芯片的网络有助于你在那里进行创新。内存技术，那里有大量的创新。人们同时追求许多不同的创新方向。英伟达一代又一代的性能提升会超过 2 倍。我认为这是非常清楚的。超大规模用户可能会试图超越这一点，但我们会看看他们是否能做到。这里有两种叙事。一种是训练基础模型的这些 AI 公司了解权衡。计算量的边际增加对他们来说值多少内存？他们希望在不同类型的内存之间做出什么权衡？他们了解这一点，因此他们构建的加速器可以做出最有利的权衡。他们还可以以反映硬件权衡的方式设计模型本身的架构。另一个是英伟达。我不知道这如何运作。大概，他们有一些诀窍。他们正在积累所有关于如何更好地设计这种架构以及更好的搜索工具的知识。谁拥有更好的护城河？英伟达会继续在设计方面做得更好，获得这 100 倍的改进吗？还是 OpenAI、微软、亚马逊和 Anthropic 会设计他们的加速器并继续在设计加速器方面做得更好？这里有几个方向。你提到的一个很重要。硬件对最优模型架构有巨大影响。这不是单向的，更好的芯片就等于……谷歌在 TPU 上运行的最优模型，给定一定的金钱和计算量，在架构上与 OpenAI 使用英伟达的东西不同。这绝对是不同的。即使是不同公司做出的网络决策和数据中心设计，最优解决方案——TPU 计算量与 GPU 计算量最优——在架构上也会有所不同。这一点很重要。我能快速问一下吗？之前我们谈到中国拥有 H20s 或 B20s，而内存带宽的计算量远少于内存量。这是否意味着中国模型在未来将具有与美国模型截然不同的架构和特性？你可以将其推向一个非常大的飞跃，说：“哦，神经形态计算或其他什么才是最佳路径，它看起来与 Transformer 的做法截然不同。”或者你可以将其简化为稀疏性和粗粒度稀疏性、专家等。你对注意力机制的确切安排进行了安排，因为有很多调整。它不仅仅是纯粹的 Transformer 注意力。或者模型是宽还是高，这非常重要。D-mod 与层数。这些都会有所不同。我知道它们在谷歌和 OpenAI 之间以及什么是最优的之间是不同的。但它确实开始变得像：“嘿，如果你受到一些不同事物的限制，比如……”中国在计算和内存方面进行了巨额投资。内存单元直接耦合或就是计算单元。这些是中国正在大力投资的。你去参加会议，有来自中国公司/大学的 20 篇关于计算和内存的论文。因为 FLOPs 的限制在这里，也许英伟达会增加片上内存并改变架构，因为他们仍然可以通过向中国销售芯片来获得数十亿美元的收益。今天，只有被阉割的美国芯片才卖给中国。但它会因为他们不傻到不为中国制造芯片而变得越来越不同。华为显然有其限制。他们在内存方面受到哪些限制？哦，他们有大量的网络能力，并且可以比我们更早地将某些光网络技术直接应用到芯片上。因为这是他们在解决方案搜索空间中最优的选择，因为整个领域都被封锁了。思考中国 AI 模型的发展将如何因这些变化或限制而与美国 AI 模型不同，这确实很有趣。它适用于用例。它适用于数据。美国模型非常专注于从你那里学习，能够直接将你作为随机消费者使用。中国模型并非如此，我假设。它们很可能有非常不同的用例。中国在视频和图像识别方面击败了西方。在 ICML 上，Cartesia 的创始人 Albert Gu，他发明了状态空间模型，也在那里。每一个中国人都在说：“我能和你合个影吗？”这个人被骚扰了。在美国，你看到 Albert，这很棒，他发明了状态空间模型。并不是说状态空间模型在这里受到推崇。但这是因为状态空间模型在视频、图像和音频方面可能具有巨大优势，而这些是中国做得更多、更先进、能力更强的领域。因为那里有大量的监控摄像头。是的。那是大声说出秘密。但能力上已经出现了分歧。如果你看看图像识别，中国在这方面击败了美国公司，因为有监控。你看到了技术树的分歧，人们可以开始在给定的约束下设计不同的架构。每个人都有约束，但不同公司拥有的约束甚至不同。谷歌的约束表明他们构建了真正不同的架构。但现在，如果你看看 Blackwell 和 TPU v6 的说法，它们并不完全趋同，但在 MatMul 单元的大小以及扩展网络的一些拓扑和世界规模方面，它们正在变得更接近。有一些轻微的趋同。我并不是说它们现在相似，但它们正在开始。然后还有人们可以走的不同的架构。你看到了所有这些初创公司试图走不同的技术路线，因为也许那会奏效。这里也有一个自我实现的预言。所有的研究都集中在算术强度很高的 Transformer 上，因为我们拥有的硬件算术强度很高，而 Transformer 在 GPU 和 TPU 上运行得很好。你有点像一个自我实现的预言。如果突然出现一个理论上好得多的架构，但你只能从中获得一半的可用的 FLOPs，那它就毫无价值，因为即使计算效率提高了 30%，在芯片上的速度也只有一半。人们选择的路径存在各种权衡和自我实现的预言。如果你被任命为一个新 AI 实验室的计算主管，如果 Ilya Sutskever 的新实验室 SSI 来找你，他们说：“迪伦，我们给你 10 亿美元。你是我们的计算主管。帮助我们成名。我们将与前沿实验室竞争。”你的第一步是什么？好的。约束条件是你是一家美国/以色列公司，因为 SSI 就是这样。你的研究人员在美国和以色列。你可能无法在以色列建立数据中心，因为那里的电力非常昂贵，而且可能存在风险。所以很可能还是在美国。大多数研究人员在这里，在帕洛阿尔托或其他地方。你需要大量的计算能力。显然，整个卖点是你将取得一些研究突破，提高计算效率、数据效率，或者其他什么。你需要计算能力来实现这些目标。每位研究人员的 GPU 数量就是你的研究速度。显然，数据中心已经非常饱和了。也许不是饱和，但就新数据中心而言，大多数都已售罄。这导致像埃隆这样的人经历了孟菲斯的疯狂事件。我只是想弄清楚。关于那个问题，我没跟你开玩笑，在我住的房子群聊里，有两个人分别说：“我有一组 H100，并且有长期租约，但我正在尝试出售它们。”现在是买方市场吗？因为看起来人们正试图摆脱它们。对于 Ilya 的问题，一个拥有 256 个 GPU 甚至 4K 个 GPU 的集群有点像安慰剂。这还不够。是的，你将获得计算效率的提升，但用 10 亿美元，你可能只想在一个单独的地方拥有最大的集群。小数量的 GPU 可能不适合他们使用，而大多数销售都是如此。你去看看 GPU List、Vast、Foundry 或一百家不同的 GPU 经销商，集群规模都很小。那么，这是买方市场吗？是的。去年，你可能会以每小时 4 美元或 3 美元的价格购买 H100，用于短期或中期交易。现在，如果你想要一个六个月的交易，你可以以大约 2.15 美元或更低的价格获得。自然成本……如果我有一个数据中心，并且我支付标准数据中心价格来购买和部署 GPU，那么大约是 1.40 美元。加上债务，因为我可能为了购买 GPU 而负债，或者你有股本成本，资本成本，它会上升到大约 1.70 美元左右。你看到一些交易……好的交易是微软以大约 1.90 美元到 2 美元的价格从 CoreWeave 租用。人们越来越接近。但仍然有很多利润。即使在债务和所有这些之后，自然费率也是 1.70 美元。当人们以两位数低位出售时，仍然有很多利润。GPU 公司正在部署它们，但这是一个买方市场，因为价格已经便宜了很多。计算成本将继续下跌。我不记得确切的法律名称。这基本上是摩尔定律。每两年，晶体管的成本就减半，但行业却在增长。每六个月或三个月，智能的成本……OpenAI 和 GPT-4 在 2023 年 2 月，每百万个 token 大约是 120 美元。现在大约是 10 美元。智能的成本正在下跌，部分原因是计算能力，部分原因是模型的计算效率提升。随着我们扩大规模并使其更便宜，然后再次扩大规模并使其更便宜，我们将看到这种趋势。对。总之，如果你是 SSI 的计算主管……好的，我是 SSI 的计算主管。显然，在数据中心方面没有免费午餐，就我们所见而言。如果你需要计算能力来处理大型集群，即使是六个月后，也没有免费午餐。有一些可用性，但数量不多，因为 X 做了什么。xAI 就像：“哦，该死，我们要买一家孟菲斯工厂，在那里放置通常为自然灾害保留的移动发电机，加上特斯拉电池组，从电网获取尽可能多的电力，接入通往两英里外的天然气发电厂的天然气管道，这个千兆瓦的天然气发电厂，然后就发送。尽快建造一个集群。”现在你运行着 10 万个 GPU。这大约需要 40-50 亿美元，而不是 10 亿美元。SSC 的规模要小得多。他们的集群规模可能只有那个规模的 1/3 或 1/4。所以现在你谈论的是一个 25K 到 32K 的集群。你仍然没有那个。今天没有人愿意租给你一个 32K 的集群，无论你有多少钱。即使你拥有超过 10 亿美元。现在，自己建造集群比租用更有意义，或者与 OpenAI/Microsoft 和 CoreWeave 或 Oracle/Crusoe 建立非常紧密的关系。下一步是比特币。OpenAI 在德克萨斯州有一个数据中心，或者它将是他们的数据中心。它是由 CoreWeave 合同签订的。那里有一个 300 兆瓦的天然气发电厂，为 Core Scientific 的这些加密货币挖矿数据中心供电。他们只是在改造它。有很多改造，但电力已经到位。电力基础设施已经到位。这实际上是关于改造它，准备好水冷，所有这些东西，并将其转换为一个 10 万个 GB200 集群。他们在全国各地都有几个这样的集群，但这在一定程度上也已经饱和了，因为英伟达也在德克萨斯州普莱诺为他们正在建造的一个 32,000 个 GPU 集群做同样的事情。英伟达在这样做吗？嗯，他们是通过合作伙伴。因为这是另一件有趣的事情：大型科技公司无法像埃隆那样做疯狂的事情。为什么？ESG。他们不能像……哦，这很有趣。你是否期望微软、谷歌和其他公司在规模化前景加剧时放弃他们的净零承诺？是的。从长远来看，xAI 所做的事情并没有那么污染环境，但你有 14 台移动发电机，你只是在现场燃烧天然气，这些移动发电机放在卡车上。然后你直接从两英里外的道路获得电力。没有任何电力可以说成是绿色的，因为两英里外的道路也是一个天然气发电厂。你去了 CoreWeave 的地方。Core Scientific 就在现场有一个天然气发电厂，还有所有这些。然后周围的数据中心效率极低。有一个叫做 PUE 的指标，基本上是输入的电力与输送到芯片的电力之比。超大规模用户因为效率很高，PUE 约为 1.1 或更低。也就是说，如果你输入一个千兆瓦，900 兆瓦或更多会输送到芯片。它不会浪费在冷却和其他事情上。这个 Core Scientific 的 PUE 将是 1.5 或 1.6。也就是说，即使我现场有 300 兆瓦的发电机，我也只能输送大约 180-200 兆瓦到芯片。考虑到太阳能的成本越来越低……还有太阳能之所以在其他地方难以实现的原因是，你必须为夜间的家庭供电。这里我猜理论上可以做到只在白天运行集群，或者类似的东西……绝对不行。那是不可能的。因为这些 GPU 太贵了？是的。所以当你看到一个大型集群的电力成本时，在某种程度上是微不足道的。你不能在欧洲或东亚建造数据中心的说法，因为电力昂贵，这并不真正相关。或者说，中国和美国的电力非常便宜，所以只有这两个地方可以建造数据中心。这并不是真正的原因。这是为这些活动产生新电力的能力。这就是为什么它真的很难，围绕它的经济监管。但真正重要的是，如果你看看 H100 的拥有成本。假设你给了我 10 亿美元，我已经有一个数据中心，我已经有了所有这些东西。我支付数据中心的正常价格，而不是高价。支付电力的正常价格，而不是高价。电力占成本的 15% 以下。实际上占成本的 10% 以下。最大的，占成本的 75-80%，仅仅是服务器。这是多年期的，包括债务融资，包括运营成本，所有这些。当你做一个 TCO（总拥有成本）时，大约 80% 是 GPU，10% 是数据中心，10% 是电力，粗略数字。所以电力有多贵，在某种程度上是无关紧要的。你宁愿做台湾做的事情。干旱时他们做了什么？他们强迫人们不要淋浴。他们基本上重新分配电力……台湾发生电力短缺时，他们基本上从居民区重新分配了电力。在资本主义社会也很有可能发生这种情况，因为，“去你的，你不会支付每千瓦时 X 美元。对我来说，电力的边际成本是无关紧要的。真的，这一切都与 GPU 成本和获得电力有关。我不想每天关掉八个小时。让我们稍微拉远一点。让我们讨论一下，如果训练模式发生变化，或者不变化，可能会发生什么。你可以想象训练模式变得更加并行化，它涉及到某种搜索，而训练的大部分计算都用于生成合成数据或进行某种搜索。这可以在广泛的区域进行。在这种情况下，我们能多快扩展？让我们一年一年地计算数字。你会比我了解更多，但假设它必须是当前的模式。解释一下这需要多么分散，以及在未来几年内获得特定规模集群的可能性有多大。对于 Ilya 的公司来说，明年获得一个拥有 32K 个 Blackwell 的集群并不难。别管 Ilya 的公司了，我们来谈谈明确的参与者。比如 2025 年、2026 年、2027 年。2025 年、2026 年……在我谈论美国之前，重要的是要注意，明年马来西亚将有大约千兆瓦以上的数据中心容量。这主要是字节跳动。电力方面，埃塞俄比亚尼罗河的大规模筑坝，该国使用了该大坝发电量的大约三分之一。那里有大量的电力……那座大坝发电多少？大约千兆瓦。该国消耗大约 400 兆瓦或微不足道的数量。有人在竞标那电力吗？我认为人们只是不认为他们可以在埃塞俄比亚建造数据中心。为什么不呢？我认为大坝还没有注满，对吧？不，大坝可以发电。他们只是不发电。需要更多的设备，但这并不难。为什么不呢？存在真正的安全风险。如果你是中国，或者如果你是一个美国实验室，在埃塞俄比亚建立一个拥有你所有知识产权的数据中心……你想让 AGI 在埃塞俄比亚吗？你想让它如此容易获得吗？人们甚至无法监控数据中心的技术人员或为数据中心供电，所有这些事情。如果你搞砸了电网，我想你可以很容易地做很多事情……如果你想的话，你可以摧毁数据中心里的每一个 GPU。人们在中东地区对此有很多讨论。中东地区有一个 10 万个 GB200 集群正在建设中。美国显然也在做事情。G42 是阿联酋的数据中心公司，云公司。他们的 CEO 是中国公民，或者不是中国公民，但基本上有中国效忠。OpenAI 想使用他们的数据中心，但相反……美国迫使微软——我觉得是这样发生的——与他们达成协议，这样 G42 就拥有一个 10 万个 GPU 的集群，但出于安全原因，微软正在管理和运营它。科威特有 Omniva，就像科威特超级富豪在数据中心上花费了 50 多亿美元。你只需按列表查看，所有这些国家。马来西亚在未来几年内将有超过 100 亿美元的 AI 数据中心建设。去每个国家，这件事正在发生。但从长远来看，绝大多数计算能力在美国建造，然后是中国，然后是马来西亚、中东和世界其他地区。让我们回到你的观点。你有合成数据。你有搜索的东西。你有所有这些训练后技术。你有所有这些方法来吸收 FLOPs，或者你只是弄清楚如何跨多个数据中心进行训练，我认为他们已经做到了。至少，微软和 OpenAI 已经弄清楚了。你为什么认为他们弄清楚了？他们的行动。微软已经与电信公司签署了价值超过 100 亿美元的协议，以连接他们的数据中心。已经有一些申请表明人们正在挖掘连接某些数据中心之间的光纤。我们认为，相当准确地，我们正在连接五个区域，这些区域包含许多数据中心。总功耗是多少……取决于时间，但轻松超过千兆瓦。这相当于近百万个 GPU。嗯，每个 GPU 的功耗也在增加。经验法则是，H100 大约是 700 瓦，但所有 GPU 的总功耗大约是 1200-1400 瓦。但下一代英伟达 GPU 的 GPU 本身大约是 1200 瓦。所有加起来大约是 2000 瓦。每个 GPU 的功耗略有增加。你已经有 10 万个集群了。OpenAI 在亚利桑那州，xAI 在孟菲斯。许多其他人已经在建造 H100 的 10 万个集群。我认为微软/OpenAI 的合作伙伴正在为他们建造至少五个 GB200 10 万个集群。可能更多。50 万个 GB200 集群相当于千兆瓦，而且将在明年上线。第二年，如果你汇总所有数据中心站点以及有多少电力……如果你只看 2022 年以来的净增量，而不是每个数据中心的总容量，那么你仍然超过了多千兆瓦。他们正在与几家电信公司：Lumen、Zayo 和其他几家公司签订价值超过 100 亿美元的光纤交易。然后他们有所有这些数据中心，他们显然正在建造 10 万个集群，比如德克萨斯州的旧加密货币挖矿场所，或者德克萨斯州的 Oracle/Crusoe 项目。你在威斯康星州、亚利桑那州和其他几个地方都有。有很多数据中心正在建设中。你有 QTS 和 Cooper 等提供商以及许多其他提供商和自建数据中心，我自己也在建造数据中心。我们不妨给出一个数字：“好的，现在是 2025 年，埃隆的集群将是最大的……”谁是最大的并不重要。有定义游戏。埃隆声称他拥有最大的集群，拥有 10 万个 GPU，因为它们是完全连接的。与其关心是谁，我只想知道有多少……我不知道用 H100 来衡量是否更好……今年最大的集群是 10 万个 GPU。明年，30-50 万个，取决于是一个站点还是多个站点。我认为上限是 30-70 万个。但关键在于它们何时上线，何时能够连接起来，何时光纤连接在一起。假设是 30-50 万个，但这些 GPU 的速度是 100K 集群的 2-3 倍。所以以 H100 等效计算，到年底你将拥有一百万个芯片在一个集群中。嗯，一个集群是模糊的定义。它是多站点，对吧？你能做到多站点吗？多站点会有多少效率损失？有可能吗？我真的相信。效率损失是多少？是 20% 的损失，50% 的损失吗？好问题。这就是你需要秘密的地方。Anthropic 也有类似的计划，与亚马逊合作，然后继续往下看。那么明年呢？这是 2026 年。2026 年有一个千兆瓦的站点。这只是微软多个站点的一部分。微软的五千兆瓦计划发生在 2026 年？2026 年有一个千兆瓦，一个站点。但然后你有许多其他站点。你有五个不同的地点，有些有多个站点，有些只有一个站点。你很容易超过 2-3 千兆瓦。那么问题是，你能否开始使用旧芯片和新芯片？只要资金持续涌入，FLOPs 的扩展速度将比人们预期的要快得多。你不可能支付计划在明年为 OpenAI 建造的集群的规模，除非他们筹集 500-1000 亿美元，我认为他们将在今年晚些时候或明年初筹集。500-1000 亿美元？你在开玩笑吗？不。萨姆有一个超能力。那就是招聘和筹集资金。他在这方面就像个神。芯片本身会成为规模化的瓶颈吗？短期内不会。更多的是集中化与去中心化。最大的集群是 10 万个 GPU。英伟达在去年和今年制造了近 600 万个 Hopper。所以这太少了。但为什么萨姆要谈论 7 万亿美元来建造晶圆厂等等？画条线。这就像一条对数线。数字在上升，对吧？如果你这样做，你将从 10 万个增加到 30-50 万个，相当于一百万个。你每年都会翻一番。再做一次，再做一次，或者更多。如果你加快步伐……“再做一次”是什么意思？所以到 2026 年，数量……如果你每年将全球生产的 FLOPs 增加 30 倍或 10 倍——而集群规模增长 3-7 倍，并且你开始更好地实现多站点连接——你就可以达到拥有数百万个芯片的集群，即使它们在区域上没有紧密连接，也近在咫尺。就 FLOPs 而言，这将是 1e……什么？我认为到 2028 年或 2029 年，1e30 是非常可能的。哇。你说到 2028-29 年是 1e30。这实际上是六个数量级。这比 GPT-4 的计算能力高出约 10 万倍。是的。另一件事要说的是，计算训练 FLOPs 的方式非常愚蠢。你不能只用活跃参数 x token x 六来计算。这真的很愚蠢，因为范式——正如你提到的，而且你在这方面有很多很棒的播客——就像合成数据和 RL 等，训练后，验证数据，所有这些生成并丢弃的东西，搜索，推理时间计算。所有这些东西都没有计入训练 FLOPs。所以你不能说 1e30 是一个非常愚蠢的数字，因为到那时，预训练的实际 FLOPs 可能是 X，但用于预训练的数据可能要大得多，或者搜索推理时间可能要大得多。对。而且，因为你正在进行对抗性合成数据，你最薄弱的地方，你可以为它生成合成数据，它可能更具样本效率。所以即使……预训练 FLOPs 将无关紧要。我实际上不认为预训练 FLOPs 会是 1e30。我认为更合理的是，它将是你在预训练、训练后、用于预训练的合成数据以及训练后数据中提供给模型的 FLOPs 的总和，以及一些推理时间计算效率。总共大约是 1e30。假设你真的达到了值得投资的世界……实际上，如果你做 1e30，那是一个万亿美元的集群，还是千亿美元的集群？它将是数百亿美元，但我真的相信人们将能够使用他们上一代集群和新一代集群。显然，批次大小会更小，或者用于生成和验证数据，所有这些东西。然后对于 1e30……现在，我认为台积电 N5 的 5% 是英伟达，或者 whatever percent。到 2028 年，它将占多少比例？同样，这是一个关于你对规模有多么狂热，有多少钱会流入其中，以及你如何看待进步的问题。模型会继续变得更好，还是这条线会变平？我相信它的能力将继续飙升。在那个世界里——不是 5 纳米，而是 2 纳米、A16、A14，这些是到 2028 年的时间节点——用于 AI，我可以看到它占 60-80%。没问题。考虑到目前计划和正在建造的晶圆厂，这是否足以满足 1e30 的需求，还是我们需要更多？我认为是的。那么芯片目标就没有意义了。关于我们没有足够计算能力的芯片目标……不，我认为台积电在两纳米方面的计划是有原因的。明确地说，苹果一直是台积电最大的客户，但它不需要他们正在建造的 2 纳米产能。他们不需要 A16，他们不需要 A14。苹果不需要这些东西。尽管他们刚刚聘请了谷歌 TPU 系统设计主管。所以他们将制造一个 AI 加速器。但这与主题无关。苹果不需要这些来做他们的生意。他们长期以来一直是台积电业务的 25% 左右。而且当你只关注最先进的节点时，他们几乎一直占据着最新节点的一半以上，或者 100%。这种模式正在消失。让我们假设你相信规模化，并且你相信模型会变得更好，新的模型将为世界带来惊人的生产力提升等等。如果你相信那个世界，那么台积电就需要做出相应的行动，并且需要提供相应的硅片。所以在 2025 年和 2026 年，台积电肯定会做到。然后从长远来看，这个行业可以为此做好准备，但这将是一场持续的游戏，不断说服他们必须这样做。这并不容易。如果人们默默地工作，就不会发生。他们必须一次又一次地看到整个行业的增长。谁需要看到？投资者还是公司？更重要的是，台积电需要看到英伟达的销量持续直线增长，谷歌的销量持续直线增长，等等。芯片在短期内，例如明年，比数据中心更不是瓶颈。2026 年也是如此。2027-28 年的问题……当你快速增长时，人们总是想说那是瓶颈。因为这是最方便的说法。2023 年有一个方便的瓶颈，CoWoS（Chip on Wafer on Substrate）。情况变得更加复杂。不是更复杂，而是我们可以看到 HBM 也是一个限制因素。CoWoS 也是，尤其是 CoWoS-L。你有数据中心、Transformer、变电站、发电、电池、UPS、CRH、水冷设备。所有这些东西在明年和后年都将成为限制因素。晶圆厂将在 2026-27 年。情况会变得复杂，因为一旦你解开一个……只高 10%，下一个就是那个。只高 20%，下一个就是那个。今天，数据中心占美国总电力消耗的 4-5% 左右。当你从美国电力消耗的百分比来看，这并不算多。但另一方面，你也考虑到所有这些煤炭都被限制了，以及所有这些其他东西。所以从全国范围来看，电力并不是那么疯狂。在局部范围内，它是，因为这是关于它的输送。这与变电站变压器供应链相同。这些公司在电力需求停滞不前甚至因效率提升而略有下降的环境中运营。这个行业已经大大削弱。现在突然间，如果你告诉这个行业，“如果你能生产更多，你的生意明年将翻三倍。”他们只能多生产 50%。好吧，没关系。第二年，现在我们可以生产 3 倍。你对这个行业，对美国工业基础以及日本和全世界的工业基础这样做，它们可以比人们意识到的更快地复苏。我真的相信，当有需求时，人们就能创新。如果这是一个利润低、增长缓慢的糟糕行业，那是一回事。突然间，就像，“哦，这是我生命中最性感的时候，关于电力。我们将实施所有这些不同的计划和项目，人们有如此多的需求。他们乞求我再提高一个百分点的效率优势，因为这能让他们再提高一个百分点来交付给芯片。”你看到了所有这些事情的发生，创新被解锁了。你还引入了 AI 工具，引入了所有这些东西，创新将被解锁。生产能力可以增长，不是一夜之间，而是在 6 个月、18 个月、3 年的时间尺度上。它将迅速增长。你看到了这些行业的复兴。让人们理解这一点，让人们相信……因为你知道，如果我们转向……是的，我告诉你，萨姆将筹集 500-1000 亿美元，因为他告诉人们他将筹集这么多钱。他正在与主权国家、沙特阿拉伯和加拿大养老基金以及世界上最大的投资者进行讨论。当然，微软也是，但他正在进行这些讨论，因为他们将发布他们的下一个模型，或者他们将向人们展示它并筹集资金。这是他们的计划。如果这些站点已经计划好了……钱还没有到位。那么你如何计划？你如何在没有……的情况下计划一个站点？今天微软承担着巨大的信贷风险。他们与所有这些公司签署了协议来做这件事。但微软没有……我的意思是，他们可以支付。在当前的时间范围内，微软可以支付。他们的资本支出将从 500-800 亿美元的直接资本支出，然后是 Oracle、CoreWeave 的另外 200 亿美元，然后是他们数据中心合作伙伴的另外 100 亿美元。他们明年可以负担得起。这是因为微软真正相信 OpenAI。他们可能有疑虑，比如，“该死，我们承担了很大的信贷风险。”显然，他们必须向华尔街和其他方面传达信息，但这对他们来说是可以负担的，因为他们相信他们是 OpenAI 的伟大合作伙伴。他们将承担所有这些信贷风险。现在，显然 OpenAI 必须交付。他们必须制造下一个更好的模型。他们还必须筹集资金。而且我认为他们会。我真的相信，从 4o 的惊人之处，相对于 GPT-4 的小巧……它的成本非常便宜。它比 API 价格所暗示的要便宜得多。你可能会想，“哦，如果你只是做一个大的呢？”对我来说，很清楚接下来会发生什么，他们可以筹集这笔钱，并从全世界筹集这笔资本。这很激烈。这非常激烈。乔恩，实际上，如果他是对的，或者不是他，但总的来说。如果能力在那里，收入就在那里……收入不重要。收入很重要。你认为在半导体生产、晶圆和电力等方面，这个图景中还有什么看起来是错误的吗？你认为有什么看起来是错误的吗？我只能谈论半导体部分，即使我不是专家。我认为台积电可以做到。他们会做到的。我只是想知道……他是对的，2024-25 年已经覆盖了。但 2026-27 年是关键点，你必须说，半导体行业和其余行业是否能被说服这就是钱所在？这意味着，2024-25 年有钱吗？你认为到 2025 年，整个 AI 行业需要多少收入才能继续扩大规模？不重要。与智能手机相比。我知道他说不重要。我稍后会解释原因。智能手机是什么？比如苹果的收入是 2000 亿美元。所以就像……是的，它需要是另一个智能手机规模的机会，对吧？即使是智能手机行业也没有带来这种增长。这太疯狂了。你不觉得吗？我唯一能真正感知到的……AI 女友。你知道我的意思。不，我想要一个真的，该死的。有几件事。自 2022 年以来，所有大型科技公司的投资回报率都在上升。因此，仅仅根据投资回报率来看，投资 AI 对大型科技公司来说迄今为止一直是有益的。从财务上看，看看 Meta、微软、亚马逊、谷歌。自 2022 年以来，投资回报率一直在上升。特别是对 AI？不，只是作为一家公司。现在，显然还有其他因素。比如 Meta 的广告效率是多少？其中有多少是 AI，对吧？这非常混乱。但还有另一件事，这是帕斯卡赌注，对吧？这是一个矩阵，就像，你相信上帝吗？是或否。如果你相信上帝，上帝是真实的，你去天堂，那太好了。那没关系。如果你不相信上帝，而上帝是真实的，那么你就会下地狱。这是你将在 SemiAnalysis 上订阅的深度技术分析。你能想象如果萨蒂亚开始谈论帕斯卡赌注，股票会发生什么吗？但这在心理上是正在发生的，对吧？萨蒂亚在财报电话会议上是这么说的。低估投资的风险比高估投资的风险更糟。他逐字逐句地是这么说的。这是帕斯卡赌注。我必须相信我是 AGI-pilled，因为如果我不是，而我的竞争对手做到了，我绝对完蛋了。除了扎克，他似乎很确定……不，桑达尔在财报电话会议上是这么说的。所以扎克是这么说的。桑达尔是这么说的。萨蒂亚在微软的信贷风险方面的行动证明了这一点。他非常擅长公关和沟通，所以他没有如此公开地说。萨姆相信。达里奥相信。看看这些科技巨头，他们都相信。然后看看资本持有者。阿联酋相信。沙特相信。你怎么知道阿联酋和沙特相信？所有这些主要公司和资本持有者也相信，因为他们正在把钱投在这里。但它不会持久，除非有资金流入，否则它不会持久。
某处。正确，正确，但问题是……简单的事实是，训练 GPT-4 的成本约为 5 亿美元。它已经产生了数十亿美元的经常性收入。与此同时，OpenAI 筹集了 100 亿或 130 亿美元，并正在构建一个成本与之相当的模型。显然他们没有赚钱。当他们再次这样做时会发生什么？他们发布并展示了 GPT-5，其功能让全世界的人都惊呼：“我操！”显然，在你发布模型后，收入需要时间才能显现。你仍然只有几十亿美元或 50 亿美元的年收入。你刚刚筹集了 500 亿到 1000 亿美元，因为每个人都看到了这一点，就像：“我操，这将产生数百亿美元的收入。”但这些数百亿美元需要时间才能流入。这不是即时生效的。但就在萨姆能够说服……不只是萨姆……人们做出花钱的决定的时候。因此，你看看人们正在建造的数据中心。你不必花大部分钱来建造数据中心。大部分钱是芯片，但到 2027 年或 2026 年，你已经承诺拥有如此多的数据中心容量，以至于如果人工智能不是真实的，你将永远不需要再建造数据中心了，大概 3-5 年。基本上，这就是他们所有行动的意义。或者我可以在 2026 年花费超过一千亿美元购买芯片，并在 2027 年花费超过一千亿美元购买芯片。这些是人们正在采取的行动，收入与花钱或筹集资金之间存在滞后。你不一定需要 2025 年的收入来支持这一点。你不需要 2026 年的收入来支持这一点。你需要 2025-2026 年的收入来支持 OpenAI 在 23 年花费的 100 亿美元，或者微软在 2023 年和 2024 年初花费的资金来构建集群，他们训练的模型是在 2024 年中期，然后在 2024 年底发布，然后在 2025-2026 年开始产生收入。我唯一能说的是，你看看图表上有三个点：GPT-1、2、3，然后你说……即使是那个图表……GPT-4 相对于 GPT-3 的投资是 GPT-3 的 100 倍。GPT-5 相对于 GPT-4 的投资是 GPT-4 的 100 倍。目前投资回报率可能是正的——这很有可能是真的，我认为它会是真的——但收入必须呈指数级增长。当然。我同意你。但我也同意迪伦的观点。这是可以实现的。投资回报率，台积电就是这样做的。它投资 160 亿美元。它期望投资回报率。它做到了。我明白了。没问题。把所有这些都算进去。我没想到的事情是 GPT-5 还没有出现。这一切都取决于 GPT-5 是否好。如果 GPT-5 很糟糕，如果 GPT-5 看起来并没有让人们大吃一惊，那么这一切都将是无效的。你穿什么袜子，兄弟？展示一下。AWS。GPT-5 还没有出现。GPT-5 迟到了。我们不知道。我不认为它迟到了。我认为它迟到了。好吧。我想放大并回到十年末的图景。我们已经失去了乔恩。我们已经接受 GPT-5 会很好吗？你好？你必须，你知道的？当你只是妄想的时候，生活就更有趣了……我们只是在抽大麻吗？当你感受到通用人工智能时，你就能感受到你的灵魂。这就是为什么我不住在旧金山。我对 GPT-5 领域有极大的信心。为什么？因为我们已经看到了。公开迹象都表明情况确实如此。我们看到的更远的东西更具疑问性，我不确定，因为我不知道。我们将看看他们能取得多大的进步。如果事情继续改善，许多人的生活将继续被彻底改变。每次你提高智能水平，它的使用量就会大大增加。每次你降低该智能水平的成本，使用量就会大幅增加。当你继续将这条曲线推出去时，这才是真正重要的。它不需要是今天的。它不需要是收入与资本支出的关系。在未来几年的任何时候，它只需要是，那 last humongous chunk of CapEx 对 OpenAI 或任何领导者来说是否明智？然后它将如何流动？或者他们能否说服足够多的人，让他们能够筹集到这么多钱？你认为埃隆的筹款网络已经枯竭，筹集了 60 亿美元？不。xAI 将能够轻松筹集 300 亿美元以上。你认为萨姆已经枯竭了吗？你认为 Anthropic 已经枯竭了吗？Anthropic 几乎还没有稀释公司。有很多资金可以筹集。你可以称之为 FOMO，但互联网泡沫时期，私营行业每年就烧掉了约 1500 亿美元。我们离那还远着呢。我们甚至还没有接近互联网泡沫时期。为什么这个泡沫不会更大？你回顾一下之前的泡沫：个人电脑泡沫、半导体泡沫、机电一体化泡沫。在美国各地，每个泡沫都更小。我不知道你是否称之为泡沫。为什么这个不会更大？这个泡沫现在每年是多少亿美元？对于私人资本？今年到目前为止大约是 550-600 亿美元。明年可能会高得多。让我想想。你需要再来一根大麻。至少要完成并进入下一个问题……之前的泡沫也没有人类创造的最赚钱的公司在投资，而且它们是债务融资的。这还不是债务融资。这是最后一个小点。而 90 年代的泡沫则大量依赖债务融资。这对那些公司来说是灾难性的。是的，当然。但建造了很多东西。你必须吹一个泡沫才能真正建造东西。这是一个有趣的类比。尽管互联网泡沫显然破裂了，许多公司破产了，但它们确实奠定了使网络和一切成为可能的基础设施。你可以想象一个人工智能……许多基础模型公司或任何公司都会破产，但它们将促成奇点。在 20 世纪 90 年代之交，有大量资金投资于 MEMS 和光学技术等领域，因为每个人都期望光纤泡沫会持续下去。所有这些都在 2003 年或 2002 年结束了。它始于 94 年？自那时以来没有复苏。你可能会冒着……兄弟，Lumen，一家为微软提供光纤建设的公司，它上个月或这个月股价翻了四倍。从 2002 年到 2024 年它怎么样？哦不，糟糕透顶，但我们要起飞了，宝贝。把那根大麻抽起来，宝贝！你可以冻结人工智能再过二十年。当然，当然，这是可能的。或者人们可以看到 GPT-5 的一个很棒的演示，一个小小的发布，他们就会筹集到一大笔钱。甚至可能像 Devin 那样的演示，完全是胡说八道，但没关系。剪掉那个！剪掉那个！不，没关系。我真的不在乎。资本会流入。现在它是否会缩水是短期内无关紧要的担忧，因为你在一个正在发生的世界里运作。沃伦·巴菲特的哪句名言？我甚至不知道是不是沃伦·巴菲特。潮水退去之前，你不知道谁在裸泳？不，不，不。那句关于市场长期处于非理性状态，比你能保持偿付能力的时间还要长，或者类似的话。哦，那不是巴菲特。那不是巴菲特？那是约翰·梅纳德·凯恩斯。哦，该死，那是老东西？好吧。所以凯恩斯这么说的。所以这就是你所处的世界。具体发生什么并不重要。会有起伏，但这就是你所处的世界。我估计，如果人工智能泡沫破裂，这些首席执行官中的每一个都会失业。当然。或者如果你不投资而输了，那就是一个帕斯卡赌注。那糟糕多了。几十年来，每个十年中最大的公司名单变化很大。而这些公司是有史以来最赚钱的公司。他们会让自己失去它吗？还是他们会去争取？他们只有一次机会，一次机会让自己成为……整个 Eminem 的歌曲。我想听听你们俩是如何开始你们的事业，以及你们现在正在做的事情的故事。乔恩，你是怎么开始的？你开始做 YouTube 频道时在做什么？这一切都与你的纺织品公司有关？哦，我的天，不会吧。请，请。等等，他在开玩笑吗？如果他不想，我们稍后会谈。这个故事很出名。我讲过一百万次了。Asianometry 最初是一个旅游频道。我为了工作搬到了台湾。做什么？我从事相机行业。你创办的另一家公司是什么？它太暴露我了。我从事相机行业，然后我基本上和我妈妈一起去了日本。我妈妈说：“嘿，你在台湾做什么？我不知道你在做什么。”我说：“好吧，妈妈，我会回到台湾，我会为你做东西。”我拍了视频。我会去中正纪念堂，然后说：“嗨，妈妈，这个公园是这样的，这样的。”最终，你会用完东西。但从那以后，就很容易过渡到中国历史、台湾历史。人们开始叫我 Chinanometry。我不喜欢这样。所以我搬到了亚洲的其他地方。人们什么时候开始看你的视频？比如说每段视频一千次观看？哦，我的天，我 2017 年就开始做频道了，直到 2018 年或 2019 年才真正……我花了三年时间，没有人看。我看了 200 次观看，然后我会说：“哦，这太棒了。”视频基本上和你现在的一样吗？抱歉，为了可能不知道的观众，我猜几乎每个人都知道 Asianometry，但如果你不知道，它是关于半导体、亚洲商业史、商业史、地缘政治、历史等等最受欢迎的频道。老实说，我为不同的 AI 嘉宾和我想了解的不同事物做过研究。硬件是如何工作的？人工智能是如何工作的？拉链是如何工作的？你看过那个视频吗？我认为是三个视频。就像 1980 年代的俄罗斯石油工业以及它如何资助一切，然后当它崩溃时，他们就完蛋了。然后下一个视频是关于日本的拉链垄断。不是垄断。下一个视频是关于 ASML。不是垄断。在中等规模市场中占有强大份额。他们就像奢侈品拉链制造商。Asianometry 总是我想到的东西。我对很多不同的事情感兴趣。然后，出于某种原因，人们开始看我做的东西。我仍然不知道为什么。说实话，我仍然觉得自己像个骗子。我坐在迪伦面前，觉得自己像个真正的骗子，尤其是当他开始谈论 6 万片晶圆和所有这些的时候。我觉得我应该知道，但最终，我只是尽力讲出有趣的故事。你如何每周制作一个视频？这些是……每周两个？你知道他全职工作了多久吗？五年，六年。同时做这个？抱歉，一家纺织品公司和一个全职工作。等等，不是，是全职工作、纺织品公司和 Asianometry 很长很长时间。我今年才放弃了纺织品公司。你如何做研究并每周制作两个视频？我不知道。我做这些，我只是在说话。我只做这个，大约每两周一次。区别在于，Dwarkesh，你一直在参加旧金山湾区的派对，而乔恩被锁住了。他就像 24/7 被锁住了。他有台积电的职业道德，我有英特尔的职业道德。如果我不……我有华为的职业道德。如果我没有完成这个视频，我的家人就会被掠夺。他实际上对此感到非常压力，没有按计划做某事。我每周制作两个视频，我同时写它们。你如何寻找你想做的未来主题？你只是随便拿起文章、书籍，随便什么。如果你觉得有趣，你就做一个视频？有时我会谷歌一个国家，谷歌一个行业，然后谷歌一个国家现在出口什么，以前出口什么。我比较一下，然后说：“这就是我的视频。”有时也只是简单地说：“我应该做一个关于 YKK 的视频。”这拉链很好。我应该做一个关于它的视频。我做了。它确实是……你有没有一个列表？“这是下一个。这是之后的一个。”我有一个长长的想法列表。有时它模糊得像日本威士忌。我不知道日本威士忌是什么。我以前听说过。我看了那部电影。所以我就想：“好吧，我应该做一个关于它的视频。”你脑子里有多少个研究主题？我指的是你一直在阅读的东西，然后在一个月左右的时间里你会说：“我会做一个关于它的视频。”我刚完成了一个关于 IBM 如何失去 PC 的视频。现在我正在为此解压。但我会继续……视频确实会相互关联。现在这个是关于 IBM 如何失去 PC 的。接下来是关于康柏如何崩溃，浪潮如何摧毁康柏。所以我会做那个。同时，我正在同时制作一个关于量子比特的视频。我正在同时制作一个关于半导体制造定向自组装的视频，我将大量阅读迪伦的作品。但很多东西都在我的脑海里。我一边做一边制作。迪伦，你是如何工作的？一个人如何从 Reddit 上的垃圾邮件发布者变成一家半导体研究和咨询公司？让我们从垃圾邮件发布者开始。这是一条很长的路。我的父母是移民，我在佐治亚州农村长大。七岁时，我乞求得到一个 Xbox，八岁时我得到了它。那是 360。它们有一个制造缺陷，称为“死亡红环”。我尝试了各种修复方法，比如把湿毛巾围在 Xbox 上，所谓的“硬币技巧”。这些都没起作用，我的 Xbox 仍然没用。我的表哥下周末要来，他比我大两岁。我崇拜他。他在我哥哥和我之间，但我喜欢，“哦，不，不，我们是朋友。你不像我哥哥那样喜欢我。”我哥哥更像个运动型的人。没关系。他并不真的在乎 Xbox 是否坏了。他说：“不过你最好修好它。否则父母会很生气。”我在网上找到了修复方法。我尝试了各种修复方法，最终短路了温度传感器。这足以支撑到微软进行召回。但在那过程中，我学会了如何根据论坛上的需要来做。我是一个书呆子，所以我喜欢游戏，但无所谓。没有其他出口了，一旦我说：“我的天，这打开了潘多拉的盒子，”我就一直在论坛上发垃圾邮件。我做了很多年，然后在十几岁的时候管理了各种各样的 Reddit。然后一旦我开始赚钱……我在一个家族企业里长大，但当然，我工作没有报酬，就像你一样。但一旦我开始在实习期间赚钱，我大约 18 或 19 岁，我就开始赚钱了。我开始投资半导体。我说：“当然，这是我喜欢的东西。”顺便说一句，随着技术的发展，尤其是移动技术，它从非常糟糕的芯片和手机发展到非常先进的。每一代他们都会增加一些东西，我会阅读每一条评论，我会阅读关于它的每一篇技术帖子。此外，我对这项技术背后的所有历史以及供应链中的人很感兴趣，并不断积累。我去上大学，学习数据科学方面的东西。我去了金融公司从事飓风/地震/野火模拟等方面的工作。大学期间，我没有在网上发那么多垃圾邮件。我仍然发了一些，但我一直在关注股票以及所有这些供应链，一直追溯到工具设备公司。我喜欢这些是因为所有这些技术都是由它们制造的。你身边有朋友也喜欢这些东西，还是只在网上？我在网上交了朋友。哦，那很危险。我只经历过一次糟糕的经历，那是因为他吸毒了。在网上遇到一个人的一段糟糕经历？其他人一直都很真诚……在那之前，你已经有了足够的过滤。即使他们超级自闭，也没关系。我也是。不，我只是在开玩笑。你穿过层层关卡，从经济角度、技术角度来看，读了很多书。你可以买工程教科书来读。有什么能阻止你？如果你撞墙，你会学会的。在你做这件事的时候，你是否期望将来会从事这个行业，还是纯粹出于兴趣？不，这是我多年来的痴迷爱好，并且一直在围绕它发展。有一段时间我真的很喜欢游戏。然后我转向手机，刷机，降频，以及那里的芯片，屏幕和摄像头，然后又回到游戏，然后转向数据中心的东西，因为那是发生最先进技术的地方。我喜欢各种电信的东西。它到处都在变化，但总的来说是在计算硬件领域。我做了数据科学。我说我做了人工智能，当我面试时，但那只是他妈的多变量回归，随便什么。那是出于经济原因对飓风、地震和野火进行的模拟。大学毕业后我工作了三年。我一直在发帖。我有一个博客，一个匿名的博客很长时间了。我甚至还做了一些 YouTube 视频之类的东西。其中大部分东西都被从互联网上抹去了，包括互联网档案，因为我要求他们删除。2020 年，我悄悄辞职，开始更认真地在网上发垃圾邮件。我搬出了我的公寓，开始在美国旅行。我开着我的卡车/搭着帐篷去了所有国家公园。我还每周在酒店和汽车旅馆住三四天。我开始更频繁地在网上发帖。我过去已经有一些小的咨询安排。但它真的在 2020 年中期开始起飞，来自我这个角色的互联网咨询安排。是什么样的人？是投资者，硬件公司吗？是那些不在硬件行业但想了解硬件的人。有些是投资者。有些是风险投资家，有些是公众市场人士。有时公司会询问堆栈中三个层级以上的问题。他们看到我写了一些随机帖子，然后说：“嘿，我们可以……”有各种各样随机的事情。那都是很小的钱。然后在 2020 年，它真的起飞了，我想：“为什么我不随便把价格提高很多？”它奏效了。我还创建了一个新的时事通讯。我继续发帖。质量不断提高，因为人们会读它然后说：“这他妈是愚蠢的。这是真正正确的东西”十多年来。到 2021 年底，我发布了一个付费帖子，因为有人没有为报告付费或类似的东西。那是关于光刻胶以及该行业的发展，这是你在将晶圆放入光刻工具之前放在晶圆上的东西。它做得很好。我那天晚上睡着了，第二天醒来时有 40 个付费订阅者。我想：“什么？好吧，继续吧。”我开始发布更多付费内容，部分免费，部分付费。我涵盖了先进封装、芯片、数据中心以及人工智能芯片等各种内容。这些都是我感兴趣并且认为有趣的东西。我一直以来都将经济学——因为我从 18 岁起就读了所有公司的财报，现在我 28 岁了——与我能做到的技术方面联系起来。2022 年，我也开始参加我能参加的每一次会议。我每年参加大约 40 次会议，不是贸易展览类型的会议，而是技术性的会议：芯片架构、光刻胶、人工智能和 NeurIPS、ICML 等等。你每年参加多少次会议？大约 40 次。所以你基本上住在会议上？是的。我自 2020 年以来一直是数字游民。我基本上停了下来，现在搬到了旧金山，但也不是真的。你不能说加州政府……我不住在旧金山，拜托……但我基本上现在住了。加州税务局。别拿他们开玩笑。说真的，别拿他们开玩笑。他们会给你发这段播客的剪辑，然后说：“请支付 40%。”我每年在旧金山连续居住不到四个月，确切地说是 100 天或 179 天。加油，对吧？在全年……但不是，我参加每一次会议，与所有这些非常技术性的事物建立联系，比如国际电子器件制造、光刻和先进图案化、超大规模集成。你有电路会议。你只是去堆栈的每一层。它是如此孤立，有数千万人从事这个行业。但你去了每一个。你试图理解演示文稿。你做必读。你看看它的经济学。你只是好奇，想学习。你可以开始积累越来越多。内容变得更好，我关注的东西也变得更好。然后我在 2022 年中期也开始雇人。我在堆栈的不同层级都有人。现在今天，几乎所有的超大规模用户都是客户，不是因为时事通讯，而是因为我们销售的数据。许多主要的半导体公司，许多投资者，所有这些人都是我们销售的数据和产品的客户。公司里的人员来自前 CYMER、前 ASML，一直到前微软和一家人工智能公司。通过分层，现在这里有 14 个人，遍布美国、日本、台湾、新加坡、法国。它遍布世界各地，横跨许多领域……你也有前对冲基金。你有一种技术和金融专业知识的融合。我认为我们在这里做得最好。你还在说一个怪物吗？一个不神圣的混合体。我们为任何真正想深入研究的人提供数据分析、咨询等服务。我们可以谈论人们建造大型数据中心，但每个季度生产多少芯片，哪种类型，为每家公司生产多少？这些芯片的子组件是什么？服务器的子组件是什么？我们试图跟踪所有这些。我们跟踪每一个服务器制造商、每一个组件制造商、每一个电缆制造商，一直到堆栈的最底层，工具制造商。我们知道它们卖了多少，在哪里卖，如何卖，并一直预测到：“嘿，每个数据中心在哪里？它的建设速度如何？”这就是我们想要拥有和销售的数据。验证是超大规模用户购买它，并且他们非常喜欢它。人工智能公司和半导体公司也这样做。它是如何发展到今天的，就像：“尽力做到最好，并努力成为最好的。”如果你是一个企业家，说：“我想涉足硬件链的某个地方……”如果你今天想在堆栈的某个地方创业，你会选择什么？乔恩，告诉他你的纺织品生意。我会从事内存行业，内存方面的东西。概念是它们必须容纳大量的内存。我认为内存技术已经饱和了。HBM 的存在是因为 DRAM 的局限性。我认为它从根本上……我们已经忘记了它，因为它是一种商品，但我们不应该。我认为打破内存将改变世界。这里的背景是，摩尔定律是在 1965 年预测的。英特尔成立于 1968 年，并于 1969 年和 1970 年发布了他们的第一批内存芯片。所以摩尔定律的很多内容都与内存有关。内存行业一直遵循摩尔定律，直到 2012 年才停止。从那时起，它变得非常渐进的进步。而逻辑芯片则继续发展，人们说：“哦，它正在消亡。它正在放缓。”至少还有一点点进步。它仍然每年有 10-15% 以上的密度和成本改进复合年增长率。内存自 2012 年以来一直非常糟糕。当你想到内存的成本时……它一直被视为一种商品。但内存与加速器的集成，这是……我不知道你是否能成为这里的企业家。这才是真正的挑战。因为你必须以某种极其庞大的规模进行制造，或者在一个不允许你制造定制内存设备的行业中进行设计。或者使用不起作用的材料。所以那里有很多工作。我不一定同意你。但我确实认为这是人们需要投资的最重要的事情之一。这真的取决于你的优势在哪里。你可以在哪里发挥作用？你可以在哪里享受工作并在社会上有所作为？抽象堆栈有成千上万个不同的层级。你可以在哪里使其更有效率？你可以在哪里利用人工智能来构建更好的东西，让世界变得更有效率，生产更多的财富，并进行反馈循环迭代？在我看来，今天比人类历史上的任何时候都有更多的机会。出去试试吧。什么能吸引你？因为如果你对此感兴趣，你就会更努力地工作。如果你对铜线充满热情……我向上帝发誓，如果你制造出最好的铜线，你就会赚很多钱。如果你对 B2B SaaS 充满热情，我向上帝发誓，你就会赚很多钱。我不喜欢 B2B SaaS，但无论你有什么热情。尽力而为，努力创新，引入人工智能。尝试使用人工智能来提高自己的效率，让一切都更有效率。我保证，你一定会成功。这就是真正的观点。不一定是因为有一个特定的位置，因为供应链的每一层都有……你去参加会议。你去和那里的专家交谈。就像，“伙计，这就是正在崩溃的东西，我们可以这样创新。这五个提取层，我们可以这样创新。”是的，去做吧。有很多层我们还没有达到帕累托最优。在创新和效率方面还有很多工作要做。这是一个很好的结束点。迪伦，乔恩，非常感谢你们来参加播客。我只是提醒大家，迪伦·帕特尔，semianalysis.com。在那里你可以找到我们今天讨论的所有技术分析。Asianometry YouTube 频道，每个人都会知道 Asianometry，但无论如何，非常感谢你们。这很有趣。谢谢。是的，谢谢。