Transcription
我有一个巨大的、价值百万美元的问题，我一直在通过与人工智能研究人员的这些访谈来寻求答案：大脑是如何做到这一点的？我们向这些大型语言模型输入的数据量要大得多，而它们仍然只拥有人类总能力的一小部分。那么，到底发生了什么？这可能是价值万亿美元的问题，或者类似的问题。你可以认为这是科学中最重要的问题。我不声称知道答案。我也不认为答案一定会来自许多聪明人对它进行大量的思考。我整体的元层面看法是，我们必须赋能神经科学领域，使其在技术上和其他方面都成为一个更强大的领域，才能真正破解像这样的问题。也许我们现在用现代人工智能、神经网络、深度学习来思考这个问题的方式是，其中有一些关键组成部分。有架构。可能有关于你有多少层或该架构的属性的超参数。有学习算法本身。你如何训练它？反向传播、梯度下降，还是其他什么？它是如何初始化的？如果我们采用系统的学习部分，它仍然可能有一些权重的初始化。然后还有成本函数。它被训练来做什么？奖励信号是什么？损失函数、监督信号是什么？在这个框架内，我个人的直觉是，该领域已经忽略了这些非常具体的损失函数、非常具体的成本函数的作用。机器学习倾向于喜欢数学上简单的损失函数。预测下一个词元，交叉熵，这些简单的计算机科学家损失函数。我认为进化可能已经在损失函数中构建了大量的复杂性，实际上，对于不同区域有许多不同的损失函数，在发展的不同阶段被激活。基本上，大量的 Python 代码，为大脑的不同部分需要学习的内容生成特定的课程。因为进化已经多次看到了什么成功，什么失败，而进化可以编码学习课程的知识。在机器学习的框架中，也许我们可以回来讨论大脑的损失函数来自哪里？不同的损失函数会导致学习效率的不同吗？人们说大脑皮层拥有人类通用的学习算法，这是人类特有的“秘方”。这到底是怎么回事？这是一个巨大的问题，我们不知道。我见过一些模型，其中大脑皮层……大脑皮层通常有这种六层结构，这里的“层”与神经网络的“层”意义略有不同。大脑皮层中的任何一个位置，当你深入到这个片状结构时，都有六个物理的组织层。然后这些区域相互连接，这更像是网络的层。我见过这种模型的版本，你试图解释的是，“它如何近似反向传播？”它的成本函数是什么？如果你试图说它类似于反向传播，那么网络被要求做什么？它是在进行下一个词元预测的反向传播，还是在进行图像分类的反向传播，或者它在做什么？没有人知道。但有一个想法，一个可能性是，它只是一个极其通用的预测引擎。所以大脑皮层中的任何一个区域都只是在尝试预测……基本上，它能否学会预测它所看到的变量的任何子集，从任何其他子集中？全向推理，或全向预测。而大型语言模型只是看到上下文窗口中的一切，然后计算一个非常特殊的条件概率，即“给定最后几千件事，下一个词元的概率是多少”。但对于一个大型语言模型来说，说“这只敏捷的棕色狐狸空白空白了那只懒惰的狗”并填补中间部分，而不是预测下一个词元，如果它只是向前进行的话，那将是奇怪的。它可以在上下文窗口和所有这些东西的涌现层面学会如何做这些事情，但它本质上只是在预测下一个词元。如果大脑皮层本质上是这样构建的，即大脑皮层中的任何区域都可以根据任何其他缺失的子集预测其输入子集中的任何模式呢？这有点更像是“概率人工智能”。顺便说一句，我说的很多话与 Yann LeCun 会说的话非常相似。他对这些基于能量的模型非常感兴趣，而类似的东西就像是所有变量的联合分布。任何变量组合的可能性或不可能性是什么？如果我固定其中一些变量，并说这些变量肯定处于这些状态，那么我就可以计算，例如通过概率采样——在这些变量处于此状态的条件下，而这些变量可以是模型中任何任意的子集——我能否预测任何其他子集将做什么，并从任何其他子集采样，给定固定这个子集？我可以选择一个完全不同的子集并从中采样。所以这是全向推理。因此，大脑皮层可能有一些部分，可能有大脑皮层的联想区域，它们根据听觉预测视觉。可能有区域预测大脑更内在的部分将要做的事情。因为请记住，这一切都建立在一个蜥蜴大脑和蜥蜴身体之上，如果你愿意的话。而那个东西也值得预测。你不仅仅是在预测我是否看到这个或那个。这个肌肉是否即将紧张？我是否即将发出笑声的反射？我的心率是否会升高？我是否即将激活这种本能行为？基于我更高层次的理解……就像我可以将某人告诉我我的背上有只蜘蛛的信息，与如果我真的看到一只蜘蛛在我面前时激活的这个蜥蜴部分匹配起来。你学会了将两者联系起来，所以即使只是有人告诉你“你的背上有只蜘蛛”。好了，我们回到这里。这部分与 Steve Byrnes 的理论有关，我最近对这些理论非常着迷。但在你与 Ilya 的播客中，他说，“我不知道有什么好的理论可以解释进化如何编码高级愿望或意图。”我认为这与所有关于大脑将使用的损失函数和成本函数的问题都非常相关。这是一个非常深刻的问题，对吧？假设我因为在你的播客上说了错误的话而感到尴尬，因为我设想 Yann LeCun 正在听，他说，“这不是我的理论。你把基于能量的模型说得很糟糕。”这会在我身上激活天生的尴尬和羞耻感，我会想躲起来之类的。这会激活这些天生的反射。这很重要，因为否则我可能会被 Yann LeCun 的掠夺性军队杀死……法国人工智能研究人员正在来找你，亚当。所以，拥有这种本能反应很重要。但当然，进化从未见过 Yann LeCun，也不知道基于能量的模型，也不知道一个科学家或播客有多重要。大脑必须以某种方式以非常稳健的方式编码这种不惹恼部落中非常重要的人的愿望，而无需提前知道学习子系统（大脑中学习大脑皮层和其他部分的部分）将要做的所有事情……大脑皮层将学习这个世界模型。它将包括像 Yann LeCun 和播客这样的东西。而进化必须确保那些神经元，无论是什么 Yann-LeCun-upset-with-me 神经元，都能正确地连接到羞耻反应或奖励函数的一部分。这很重要，对吧？因为如果我们想要在部落中寻求地位，或者像你所说的，从知识渊博的人那里学习，或者与其他朋友交换知识和技能，但不是与敌人交换……我们必须学会所有这些东西。它必须能够稳健地将这些学习到的世界特征、学习到的世界模型部分，连接到这些天生的奖励函数，然后实际利用它来进一步学习。因为下次如果 Yann LeCun 给我发邮件说我错了，我不会试图惹恼他。我们将在此基础上进行进一步学习。在构建奖励函数时，它必须使用学习到的信息。但进化，它不知道 Yann LeCun，它是如何做到的？Steve Byrnes 提出的基本思想是，大脑皮层的一部分，或像杏仁核这样的其他学习区域，它们正在做的是模拟“控制子系统”。控制子系统是具有更天生编程反应的部分，以及这些奖励函数、成本函数、引导函数系列的内在编程。例如，杏仁核中有一些部分能够监测这些部分的作用并预测它们的作用。你如何找到对社会地位重要的神经元？嗯，你有一些关于社会地位的天生启发式方法，例如，或者你有一些关于友善的天生启发式方法，控制子系统可以使用。而控制子系统实际上有自己的感觉系统，这很疯狂。我们认为视觉是大脑皮层所做的事情。但也有一个控制子系统，一个叫做上丘的皮层下视觉系统，它具有检测面孔或威胁的内在能力。所以有一个具有内在启发式方法的视觉系统，而控制子系统有自己的反应。杏仁核或大脑皮层的一部分将学习预测这些反应。大脑皮层中对社会地位或友谊重要的神经元是什么？它们是那些预测友谊内在启发式方法的神经元。你在大脑皮层中训练一个预测器，然后说，“哪些神经元是预测器的一部分？”那些就是你真正设法连接起来的。这很迷人。我觉得我还是不明白……我明白大脑皮层如何学会这个大脑原始部分如何响应……显然它有这些标签，“这里是一张蜘蛛的真实照片，这很糟糕，要害怕它。”大脑皮层学会了这是糟糕的，因为内在部分告诉它。但然后它必须推广到，“好吧，蜘蛛在我背上。有人告诉我你的背上有蜘蛛。那也很糟糕。”是的。但它从未得到过这方面的监督。那么它是如何……嗯，这是因为学习子系统是一个强大的学习算法，它确实具有泛化能力，并且能够泛化。控制子系统，这些是天生的反应。你的控制子系统，这些较低的大脑区域：下丘脑、脑干等，将有一些内置的。再次，它们有自己的原始感觉系统。所以可能有一个天生的反应。如果我看到有什么东西快速地朝我的身体移动，而我之前没有注意到它在那里，而且它很小、很黑、高对比度，那可能是一只昆虫爬到我的身上。我会畏缩。有这些天生的反应。假设下丘脑中有一些神经元，它们是“我正在畏缩”或“我刚刚畏缩了”的神经元。当你畏缩时，首先，这对奖励函数是负贡献。你可能不希望发生这种情况。但这是一个没有泛化能力的奖励函数。我将避免那种东西爬向我的确切情况。也许我会避免导致东西爬行的某些行为。这是你可以获得的泛化，史蒂夫称之为奖励函数的下游。我将避免蜘蛛爬向我的情况，但你也会做其他事情。假设你的杏仁核中有一个部分，它在说，“好吧，几毫秒、几百毫秒或几秒钟前，我能否预测到这种畏缩反应？”它将是一组神经元，本质上是一个分类器，“我即将畏缩吗？”我将为进化需要处理的每一个重要的控制子系统变量都拥有这些分类器。我即将畏缩吗？我正在和朋友说话吗？我现在应该笑吗？朋友的地位高吗？下丘脑、脑干包含的任何变量……我即将尝到盐味吗？它将拥有所有这些变量，并且对于每一个变量，它都会有一个预测器。它将训练那个预测器。现在它训练的预测器可以具有一定的泛化能力。它具有一定泛化能力的原因是它的输入完全不同。它的输入数据可能是像“蜘蛛”这个词，但“蜘蛛”这个词可以在各种情况下激活，这些情况会导致“蜘蛛”这个词在你的世界模型中激活。如果你有一个复杂的世界模型，具有非常复杂的特征，这本身就为你提供了一些泛化能力。不仅仅是东西爬向我，甚至“蜘蛛”这个词或“蜘蛛”的概念也会导致触发。这个预测器可以学会这一点。我的世界模型中的任何蜘蛛神经元，甚至可能是一本关于蜘蛛的书，或者一个有蜘蛛的房间，或者任何东西……这场对话给观众带来的恐惧感……现在我正在激活你的控制子系统，你的控制子系统蜘蛛下丘脑神经元组的爬行昆虫，这是基于对话中这些非常抽象的概念而激活的。如果你继续下去，我将发出触发警告。这是因为你学会了这一点。大脑皮层本质上具有泛化能力，因为它只是基于这些非常抽象的变量和所有这些整合的信息进行预测。而控制子系统只能使用上丘和其他一些传感器能吐出的东西。顺便说一下，令人惊讶的是，将神经科学的这些不同部分联系起来的人，Steve Byrnes，是一位前物理学家。在过去的几年里，他一直在试图综合——他是一名人工智能安全研究员。他只是在综合。这又回到了学术激励的问题。我认为这有点难说。确切的下一个实验是什么？我将如何发表一篇关于这个的论文？我将如何训练我的研究生来做这个？这非常推测性。但神经科学文献中有大量内容，而 Steve 已经能够将这些内容整合起来。我认为 Steve essentially 回答了 Ilya 的问题，即大脑最终如何编码这些高级愿望并将它们与更原始的奖励联系起来？一个非常天真的问题，但为什么我们不能通过训练模型不仅从一个词元映射到下一个词元，而是移除训练中的掩码，使其将每个词元映射到每个词元，或者想出更多视频、音频和文本之间的标签，从而迫使其将一个映射到每个，来实现这种全向推理呢？我的意思是，这可能是方法。我还不清楚。有些人认为它以不同的方式进行概率推理，或者使用一种不同于反向传播的学习算法。可能还有其他学习方式，基于能量的模型或其他类似的东西，你可以想象这涉及到能够做到这一点，而大脑拥有它。但我认为有一种版本是，大脑所做的是糟糕的反向传播版本，以学习通过几个层进行预测，并且它有点像一个多模态基础模型。大型语言模型可能只是在预测下一个词元。但视觉模型可能在学习填空或重建不同的片段或组合。但我认为它以一种极其灵活的方式做到这一点。如果你训练一个模型来填充中心的这个空白，好吧，那很好。但如果你没有训练它来填充左边的这个空白呢？那么它就不知道如何做。它不是其网络中摊销的预测库的一部分。而对于一个非常强大的推理系统，你可以在测试时选择它需要推断的变量子集，以及哪些变量被固定。好的，两个子问题。一个问题是，这让你想知道，人工智能神经网络缺乏的不是奖励函数，而是编码器或嵌入……也许问题在于你没有以正确的潜在抽象方式表示视频、音频和文本，以至于它们可以相互混合和冲突。也许这也与为什么大型语言模型似乎不擅长在不同想法之间建立联系有关。这些想法是否以一种可以注意到不同联系的通用性水平来表示？嗯，问题是这些问题都纠缠在一起。如果我们不知道它是否在进行类似反向传播的学习，我们不知道它是否在使用基于能量的模型，我们甚至不知道这些区域是如何连接的，那么就很难真正找到真相。但是的，这是可能的。我认为人们已经做了一些工作。我的朋友 Joel Dapello 几年前做了一些事情，他将一个模型——我认为是 V1 的模型，特别是早期视觉皮层如何表示图像——作为输入放入一个卷积神经网络，这在某些方面有所改进。可能是差异。视网膜也在进行运动检测，某些东西被过滤掉了。可能存在对感官数据的某种预处理。可能存在对哪些模态预测哪些模态的某种巧妙组合，从而导致更好的表示。可能存在比这更巧妙的事情。有些人肯定认为架构中内置了归纳偏置，这些偏置会以不同的方式塑造表示，或者你可以做一些巧妙的事情。Astera，也就是雇佣 Steve Byrnes 的同一个组织，刚刚启动了一个基于 Doris Tsao 工作的人类神经科学项目。她有一些关于如何构建视觉系统，使其需要的训练更少的想法。它们将对象被表面边界化，表面具有某些类型的形状以及它们如何相互遮挡的关系等假设内置到架构设计中。有可能在网络中构建更多的假设。进化也可能带来了一些架构上的变化。我只是认为成本函数等也可能是它所做的关键。我想谈谈你刚刚略过的摊销推理这个想法。也许我应该试着解释我认为它的意思，因为我认为它可能是错的，这将有助于你纠正我。对我来说也有几年了。现在，模型的工作方式是，你有一个输入，它映射到一个输出，这摊销了一个过程，真实的过程，我们认为这就是智能。那就是你对世界可能的样子有一个先验，是什么原因导致世界变成现在的样子。然后当你看到一些观察结果时，你应该说，“好吧，这里是世界可能的样子。这个原因解释了正在发生的事情。”对每一个可能的原因进行这种计算在计算上是不可行的。所以你只能采样，比如，“哦，这是一个潜在的原因。它能解释这个观察结果吗？不，算了。继续采样。”然后你最终会得到原因，然后原因解释了观察结果，然后这成为你的后验。这实际上相当不错。贝叶斯推理通常是这种非常棘手的事情。我们用于执行此操作的算法倾向于需要大量的采样，蒙特卡洛方法，大量的采样。而采样需要时间。这就像最初的玻尔兹曼机之类的。它们使用类似的技术，并且仍然与概率编程、其他类型的方法一起使用。贝叶斯推理问题，基本上是感知问题，给定一个世界模型和一些数据，我应该如何更新我的……我的内部模型中缺失的变量是什么？我想我的想法是，神经网络有望……显然，从机制上讲，神经网络并不是从“这是我的世界模型，我将尝试解释这些数据”开始的。但希望是，而不是从“嘿，这个原因能解释这个观察结果吗？不。这个原因能解释这个观察结果吗？是的。”你所做的是就像观察……神经网络认为最好的原因是哪个？从观察到原因。所以前馈是观察到原因，然后到输出……你不需要评估所有这些能量值或什么，然后围绕它们进行采样以使它们升高或降低。你只是说，大约那个过程会产生这个是最好的，或者类似的东西。正是如此。一种思考方式可能是，测试时的计算，推理时的计算实际上是在进行这种采样。你字面意思上读它的思维链。它实际上是在做我们正在谈论的这个玩具例子，就像，“哦，我能通过做 X 来解决这个问题吗？不，我需要一种不同的方法。”这引出了一个问题。我的意思是，随着时间的推移，需要推理时间计算才能引发的能力会被提炼到模型中。所以你正在摊销你以前需要进行这些回滚、这些蒙特卡洛回滚才能弄清楚的事情。总的来说，也许有一个原则是，可以复制的数字心智，与不能复制的生物心智相比，具有不同的相关权衡。所以总的来说，摊销更多东西是有意义的，因为你可以直接复制摊销，或者复制你已经内置的东西。这是一个题外话，可能值得推测。在未来，随着这些事物变得越来越智能，我们训练它们的方式变得越来越经济理性，什么东西会变得有意义地摊销到这些心智中，而进化认为不值得摊销到生物心智中？你每次都必须重新训练。首先，我认为概率人工智能的人会说，当然你需要测试时的计算，因为这个推理问题非常困难，而我们所知道的解决它的方法都涉及大量的测试时的计算。否则它只是一个糟糕的近似，永远不会……你需要无限的数据或者类似的东西才能做到这一点。我认为一些概率论者会说，“不，它本质上是概率性的，以这种方式摊销它没有意义。”他们也可能指向大脑说，“好吧，大脑，神经元是随机的，它们在采样，它们在做事情。所以也许大脑实际上做得更像是非摊销推理，真正的推理。”但奇怪的是，感知可以在几毫秒或什么时间内完成。它似乎并没有使用那么多采样。所以它显然也通过一些近似前馈或其他类似的东西来做这件事。未来，我不知道。现在是否已经某种程度上存在一种趋势，即人们曾经不得不使用测试时计算的事情，正在被用来训练基础模型？现在它可以在一次通过中完成。也许进化做了，也许没有。我认为进化仍然必须通过基因组来构建网络，而人类所处的环境非常动态。所以也许，如果我们相信这是真的，那么根据 Steve Byrnes 的说法，有一个学习子系统和一个控制子系统，学习子系统没有多少预初始化或预训练。它有一个特定的架构，但然后在生命周期内进行学习。那么进化实际上并没有摊销那么多到那个网络中。它反而将其摊销到一组天生的行为和一组引导性的成本函数中，或者构建非常特殊的奖励信号的方式中。这个框架有助于解释人们指出的这个谜团，我也问过几个嘉宾，那就是，如果你想将进化类比为预训练，那么如何解释基因组传递的信息如此之少？人类基因组的总大小是 3 吉字节。显然，其中一小部分实际上与编码大脑有关。以前人们曾做过类比，即进化已经找到了模型的超参数，告诉你有多少层，架构，基本上，事物应该如何连接在一起。但如果故事的一个重要部分是，增加的样本效率有助于学习，通常会使系统性能更好，那么奖励函数，损失函数是什么——如果进化找到了那些有助于学习的损失函数——那么它实际上就解释了你如何用如此少的信息构建智能。因为奖励函数，在 Python 中，奖励函数字面意思上是一行。所以你只需要一千行这样的代码，这并不占用太多空间。是的。它还可以通过我所描述的那个关于蜘蛛的例子来实现泛化，它学会了仅仅是“蜘蛛”这个词就会触发蜘蛛反射或其他什么。它可以通过指定这些天生的蜘蛛东西和 Steve 所说的“思想评估器”来构建一个具有大量泛化能力的奖励函数。这可能是构建这些更复杂的奖励函数的一种非常紧凑的解决方案。它不必预见到奖励函数的未来的一切。它只需要预见到哪些变量是相关的，以及找到这些变量的启发式方法是什么。然后它必须有一个非常紧凑的学习算法规范和学习子系统的基本架构。然后它必须指定所有关于蜘蛛的代码，所有关于朋友的代码，所有关于你母亲的代码，所有关于交配和社交群体以及联合眼神交流的代码。它必须指定所有这些东西。那么这真的属实吗？我认为有一些证据支持它。Fei Chen 和 Evan Macosko 以及其他研究人员一直在进行这些单细胞图谱。BRAIN Initiative，一个大型神经科学资助项目，通过扩大神经科学技术——这是我的一个痴迷——所做的一件事是，他们基本上走遍了不同的区域，特别是小鼠大脑，并绘制了不同细胞类型的分布图？皮层不同区域有多少种不同的细胞？它们在不同区域是否相同？然后你看看这些皮层下区域，它们更像是控制子系统或产生奖励函数的区域。它们有多少种不同的细胞类型？它们有哪些神经元类型？我们不知道它们是如何连接的，也不知道它们具体做什么，或者电路是什么，或者它们的意义是什么，但你只需通过测序 RNA 来量化有多少种不同的细胞。而且，基本上，控制子系统中的奇怪、多样和定制的细胞类型比学习子系统中的要多得多。就像皮层细胞类型一样，似乎有足够的细胞类型来构建一个学习算法，并指定一些超参数。而在控制子系统中，有数以万计的非常奇怪的细胞，可能就像那个用于蜘蛛畏缩反射的细胞，以及“我即将尝到盐味”的细胞。为什么每个奖励函数都需要一种特殊的细胞类型？嗯，这就是你获得天生连接电路的地方。在学习算法部分，在学习子系统中，你指定初始架构，你指定学习算法。所有的精华都通过突触的可塑性，这些大网络内突触的变化来发生。但它是一个相对重复的架构，它是如何初始化的。这就像制作一个八层 Transformer 所需的 Python 代码量与制作一个三层 Transformer 所需的代码量没有太大区别。你只是在复制。而所有这些关于奖励函数的 Python 代码，如果上丘看到一些爬行的东西，而你的皮肤上起鸡皮疙瘩，然后触发蜘蛛反射，那只是一堆定制的、物种特定的、情境特定的垃圾。大脑皮层不知道蜘蛛，它只知道层。但你说写这个奖励函数的唯一方法是拥有一个特殊的细胞类型？是的，我想是的。我认为你必须拥有特殊的细胞类型，或者以某种方式获得特殊的接线规则，进化可以说这个神经元需要连接到那个神经元，而无需学习。我认为最有可能发生这种情况的方式是，这些细胞表达不同的受体和蛋白质，它们说，“好吧，当这个与那个接触时，让我们形成一个突触。”所以这是基因接线，而这需要细胞类型来完成。我确信如果我懂 101 神经科学，这会更有意义，但控制子系统似乎仍然有很多复杂性，或者说通用性。所以如果控制子系统有自己的视觉系统，与视觉皮层分开，不同的特征仍然需要插入到那个视觉系统中。所以蜘蛛的事情需要插入进去，爱情的事情也需要插入进去，等等。所以它看起来很复杂。它仍然很复杂。这更增加了基因组的实际空间，在基因组中，以及在这些不同的细胞类型等方面，会投入到连接控制子系统，预连接它。我们能知道有多少基因明显在起作用吗？所以我想你可以知道有多少与产生 RNA 或表观遗传学有关，这些 RNA 或表观遗传学在不同的大脑细胞类型中表现出来。对吧？是的。这就是细胞类型帮助你解决的问题。我不认为它确切地是，“哦，基因组的百分之多少在做这个”，但你可以说，“好吧，在所有这些控制子系统子类型中，有多少不同的基因参与指定哪个是哪个以及它们如何连接？而这些基因占用的基因组空间与指定视觉皮层或听觉皮层的基因相比有多少？”你只是重复使用相同的基因做两次相同的事情。而蜘蛛反射的连接……是的，你说得对。它们必须构建一个视觉系统，并且它们必须构建一些听觉系统、触觉系统和导航类型的系统。甚至为海马体等提供信息，有头部方向细胞。即使是苍蝇大脑也有天生的电路，可以确定其方向并帮助它在世界中导航。它使用视觉，弄清楚它的飞行光学流以及它的飞行与风向的关系。它拥有所有这些天生的东西，我认为在哺乳动物大脑中，我们会将所有这些都归入控制子系统。有很多工作。所以所有那些基本上用于指定苍蝇必须做的所有事情的基因，我们也会有类似的东西，只是都在控制子系统中。但我们是否有估计，“这里有多少核苷酸，这里有多少兆碱基需要——”我不知道。我的意思是，我认为你可以和生物学家谈谈这个问题。我的意思是，从基因的角度来看，我们与酵母有很多共同之处。酵母仍然被用作生物学中某些药物开发等的模型。而基因组的很大一部分只是为了让你拥有一个细胞，它可以回收废物，获取能量，复制。然后我们与老鼠有什么共同之处？所以我们确实在某种程度上知道，我们与黑猩猩或其他动物之间的差异——这包括社会本能以及皮层更高级的差异等等——是很少的基因导致了这种额外的八层 Transformer 而不是六层 Transformer 的制造，或者调整那个奖励函数。这有助于解释为什么人科动物的大脑如此迅速地膨胀。可以推测，如果这是正确的，那么在这种情况下，社会学习或其他一些东西增加了从环境中学习的能力。它提高了我们的样本效率。你不需要自己去杀死野猪并弄清楚如何做到这一点，你只需要说，“长者告诉我如何制作长矛。”现在它增加了拥有一个更大的大脑皮层的动力，它可以学习这些东西。是的，而且这可以用相对较少的基因来完成，因为它实际上是在复制老鼠已经拥有的东西，制造更多。它可能不完全相同，而且可能有一些调整，从基因的角度来看，你不必重新发明所有这些东西。那么大脑进化的历史可以追溯到多久以前？皮层的想法一直是它一直在解决全向推理问题，这个问题已经解决了很长时间了吗？那么灵长类动物的重大突破是我们获得了奖励函数，这增加了全向推理的回报？这是一个好问题。还是说全向推理也是需要一段时间才能解锁的东西？我不确定是否有共识。我认为可能有一些关于语言的具体问题。是否有调整，无论是通过听觉和记忆，还是听觉记忆区域的某种组合？可能还需要宏观布线，你需要将听觉区域连接到记忆区域或其他什么地方，以及连接到一些社会本能，才能实现语言。但这可能也是基因的少量变化，能够说，“哦，我只需要从我这边的颞叶，到听觉皮层，一些东西。”有一些证据表明布罗卡区、韦尼克区。它们与海马体和前额叶皮层相连。所以可能有一些基因数量很少，使得人类能够真正正确地进行语言。这可能是一个大问题。但问题是，是皮层发生了某些变化，使得这些事情成为可能？还是说这种潜力已经存在，但没有动力去扩大这种能力，然后使用它，将其连接到这些社会本能并更多地使用它？我更倾向于后者。我认为老鼠在皮层方面与人类有很多相似之处。尽管 Suzana Herculano-Houzel 的研究表明，与啮齿动物大脑相比，灵长类动物大脑的神经元数量与体重成比例增长得更好。这是否表明皮层的可扩展性实际上有所提高？也许，也许。我对此不太深入。可能存在架构上的变化，折叠上的变化，神经元特性上的变化等等，这些都以某种方式稍微调整了这一点。但无论如何，它仍然在扩展。说得对。所以我的意思不是说人类在学习子系统的架构方面没有任何特别之处。但是的，我认为这被广泛认为是扩展了。但问题是，“好吧，这如何与控制子系统的变化以及利用这些变化并允许你有效地引导使用的本能相适应呢？”但再说几句，即使是苍蝇大脑也有一些，即使是很久以前……我的意思是，我认为你读过那本很棒的书，《智力简史》，对吧？我认为这是一本非常好的书。许多人工智能研究人员认为这是一本非常好的书。基本上，任何有大脑的东西都可以追溯到一定程度的学习。基本上，你有一些原始的强化学习，至少可以追溯到脊椎动物。想象一条斑马鱼。然后你有这些其他分支。鸟类可能重新发明了类似皮层的东西。它没有六层，但它们有一些类似皮层的东西。所以这些东西在爬行动物之后，在某种意义上，鸟类和哺乳动物都创造了一种类似皮层的东西，但组织方式不同。但即使是苍蝇大脑也有联想学习中心，它们实际上做的事情可能有点像 Byrnes 的思想评估器概念，其中有一个特定的多巴胺信号来训练苍蝇蘑菇体中的特定神经元亚群，将不同的感官信息与“我现在会得到食物吗？”或“我现在会受伤吗？”联系起来。短暂的题外话。我记得读过 Beren Millidge 写的一篇博文，说与其他人科动物相比，与音频和视觉相关的皮层部分在人类中不成比例地扩大了，而与气味相关的部分则没有。我记得他说过，这是因为这类数据具有较差的缩放定律特性。也许他的意思是这个，但我认为另一种解释是，控制子系统中内置的这些社会奖励函数需要更多地利用看到长辈和看到视觉线索以及听到他们说话的能力。为了理解这些指导学习的线索，你需要比嗅觉更多地激活视觉和听觉。我的意思是，这里面有很多东西。我觉得这在你的节目中也出现过。但即使是人眼的构造，你也有瞳孔和眼白等等，我们被设计成能够通过联合眼神交流来建立关系。也许这在 Sutton 的那一集里出现过。我不记得了。但是的，我们必须引导到能够检测眼神交流并能够通过语言交流的程度。这就像生命的前几年所要做的。好的，我想问你关于强化学习。目前，这些大型语言模型的训练方式是，如果它们解决了单元测试或数学问题，那么整个轨迹，轨迹中的每个词元都会被加权。人类是怎么回事？大脑的不同部分是否存在模型化与无模型化等不同类型的模型？是的，我的意思是，这是另一件事。再次，我所有这些问题的答案，我说的任何具体事情，都只是说方向上我们可以探索。我觉得这很有趣，也许我觉得文献以非常广泛的方式指向这些方向。我真正想做的是去绘制整个小鼠大脑并全面弄清楚这一点，并使神经科学成为一门基础科学。所以，基本上，我不知道。但首先，我认为与 Ilya 在播客中，他说，“你不用价值函数，对吧？”你基本上使用了最愚蠢的强化学习形式。当然，这些人非常聪明，他们正在优化如何在 GPU 上进行计算，他们取得的成就令人难以置信。但从概念上讲，这是一种非常愚蠢的强化学习形式，即使与 10 年前相比也是如此。即使是 Atari 游戏玩法也使用了 Q 学习，这基本上是一种时间差学习。时间差学习基本上意味着你有一种价值函数，即我现在选择的动作不仅仅告诉我它之后立即发生的事情。它告诉我它的长期后果是什么，对我预期的总奖励或其他什么。所以你会有价值函数，比如……我们的大型语言模型中根本没有价值函数，这太疯狂了。我认为因为 Ilya 说了，我才能说。我对人工智能的了解不到他的一百分之一，但这种方法奏效真是太疯狂了。但在大脑方面，我认为大脑的某些部分被认为做的事情非常类似于无模型强化学习，那就是纹状体和基底神经节的部分。它们被认为具有一个有限的、相对较小的动作空间。它们可以采取的动作类型，首先，可能是“告诉脑干和脊髓执行这个运动动作？是还是否？”或者它可能更复杂的认知类动作，比如“告诉丘脑允许大脑皮层的这一部分与另一部分对话”，或者“释放海马体中的记忆并开始一个新的记忆，或者其他什么？”但基底神经节会产生一组有限的动作，而这只是一个非常简单的强化学习。所以可能我们大脑和其他大脑的部分只是在做非常简单、天真的强化学习算法。在此之上的一层是，神经科学的一些主要工作，比如 Peter Dayan 的工作，以及许多促使我认为 DeepMind 最初进行时间差学习工作的原因。他们对神经科学非常感兴趣。有大量的神经科学证据表明，多巴胺提供的是奖励预测误差信号，而不仅仅是奖励，“是或否，未来无数个时间步”。它是一个预测误差，这与学习这些价值函数是一致的。所以有那个，然后可能有更高阶的东西。我们的大脑皮层正在构建这个世界模型。嗯，大脑皮层世界模型可以包含的一个东西是关于何时获得奖励和何时不获得奖励的模型。再次，它正在预测控制子系统将要做什么。它可能正在预测基底神经节将要做什么。你的大脑皮层中有一个模型，它具有更多的泛化能力和更多的概念以及所有这些东西，它说，“好吧，这些类型的计划，这些类型的行动将在这些类型的情况下带来奖励。”所以我有一个我的奖励模型。有些人也认为你可以反过来。这是推理图的一部分。有一个关于强化学习作为推理的想法。你可以说，“好吧，在我的奖励很高的情况下，采样一个我必须获得的计划。”这是从奖励部分推断计划。我正在固定奖励为高，并推断计划，从可能导致这种情况的计划中采样。所以如果你有这个非常通用的皮层东西，它就可以做到。如果你有这个非常通用的基于模型的系统，并且该模型除了其他东西之外，还包括计划和奖励，那么你基本上就免费获得了它。所以用神经网络的术语来说，有一个与全向推理相关的价值头，它发生在……是的，或者有一个价值输入。哦，好的。有趣。是的，它可以预测。它可以预测的几乎感觉变量之一是它将获得的奖励。顺便说一句，说到摊销，显然价值就像查找奖励的回滚摊销。是的，差不多。它就像是它的统计平均值或预测。题外话。Joe Henrich 等人提出了关于人类社会如何学会做事情的想法，比如，你如何弄清楚这种豆子，它几乎总是会毒害你，但如果你做这个十步极其复杂的过程，其中任何一步失败，豆子都会有毒，那么它就可以食用？你如何学会以这种特殊的方式，用这种特殊武器，在一年中的这个特定时间狩猎这种海豹，等等？没有其他办法，只能一代一代地尝试。这让我觉得这实际上非常像在文明层面发生的无模型强化学习。不，不完全是。从某种意义上说，进化是最简单的算法。如果我们相信所有这些都可以来自进化，那么外层循环可以非常没有远见。对，这很有趣。只是层级……进化：无模型……那么这告诉你什么？也许简单的算法只要做得足够多，就能让你得到任何东西。对。是的，我不知道。所以，进化：无模型。基底神经节：无模型。大脑皮层：基于模型。文化：可能是无模型的。我的意思是，你关注你的长辈或其他什么。也许有群体选择之类的东西，更像是无模型的。但现在我认为文化，嗯，它存储了一些模型。退一步说，我们使用生物硬件，与现在的计算机相比，对人类来说是劣势还是优势？我的意思是，如果存在“算法”，那么该算法在今天的硬件上运行会明显更差还是更好？认为它可能会……我的意思是。显然，大脑必须做出一些对计算硬件不相关的权衡。它必须更节能。也许因此它必须以更慢的速度运行，这样电压差才能更小。所以大脑以 200 赫兹运行，它必须在 20 瓦上运行。另一方面，在机器人领域，我们清楚地发现，手指比我们目前能制造的电机更灵活。所以也许大脑中有什么东西相当于认知灵活性，这可能是因为我们可以进行非结构化稀疏处理。我们可以将内存和计算共置。是的。这一切最终会如何？你是觉得，“该死，如果我们不用处理这些大脑，我们会聪明得多。”还是你觉得——我认为最终我们会以某种方式获得两全其美。我认为大脑的一个明显缺点是它无法被复制。你无法访问每个神经元和突触的外部读写，而你可以。我可以在 Python 中编辑权重矩阵或类似的东西，然后加载它并复制它。原则上。所以它不能被复制和随机访问的事实非常令人恼火。但否则它可能有许多优点。它也告诉你，你应该以某种方式进行算法的协同设计。它甚至可能不会像我们讨论的那么多，但你应该以某种方式进行这种协同设计。所以，是的，你如何用非常慢的低压开关来做到这一点？这对于能耗来说将非常重要。
共置内存和计算。我认为硬件公司可能会尝试共置内存和计算。它们会尝试使用更低的电压，允许一些随机的东西。有些人认为我们之前谈论的所有这些概率性的东西——“哦，这实际上是基于能量的模型，等等”——它做了大量的采样。它不仅仅是摊销一切。神经元也对此非常自然，因为它们天生就是随机的。所以你基本上不必在大量的 Python 代码中进行随机数生成器来生成样本。神经元本身就会生成样本，并且它可以调整不同的概率是什么，并学习这些调整。所以它可能是与某种推理方法或类似的东西进行深度协同设计。这会很有趣……我的意思是，我从这次采访中得到的启示是，就像我们在 Twitter 上嘲笑的那些人，Yann LeCun 和 Beff Jezos 之类的，我不知道，也许他们是对的。这实际上是其中一种解读。诚然，自从 LLM 兴起以来，我几乎没有真正研究过 AI，所以我已经脱节了。但我很惊讶，而且我认为 AI 的扩展能力和所有一切都令人惊叹。但是的，我认为 Yann LeCun 和 Beff Jezos 在概率模型方面有些道理，或者至少是可能的。事实上，直到 2021 年左右，所有神经科学家和所有 AI 人士都是这么想的。对。所以大脑中发生了很多细胞层面的事情，而不仅仅是神经元到神经元的突触连接。有多少功能上比突触本身做得更多的工作，还是仅仅是为了让突触起作用而必须做的一堆权宜之计？所以，对于一个数字大脑，你可以非常容易地调整突触，抱歉，是参数。但对于一个细胞来说，根据梯度信号来调节突触，这需要所有这些疯狂的机器。所以它实际上做得比它需要极少的代码来做的事情更多吗？我不知道，但我并不相信那种激进的说法，“哦，实际上内存主要是非突触的，或者学习主要是基因变化”之类的。我认为这很有道理，我认为你把它说得很好，更像是你说的第二种情况。假设你想对所有从你的神经元输出或输入到你的神经元的权重进行权重归一化。好吧，你可能必须以某种方式将这个信息告知细胞核，然后让它将所有内容发送回突触或类似的东西。所以会有很多细胞变化。或者，假设你有很多可塑性，并且你是这个记忆的一部分。现在它已经巩固到了皮层或其他地方。现在我们想让你重新用作一个可以再次学习的新单元。会有大量的细胞变化，所以细胞里会有很多事情发生。但从算法上讲，它并没有真正增加任何超出这些算法的东西。它只是在实现数字计算机中对我们来说很容易找到并更改权重的东西。在细胞中，它实际上必须在没有任何中央控制器的情况下用分子机器来完成所有这些。这真是令人难以置信。我认为有些事情是细胞会做的，而且看起来更有说服力。小脑必须做的一件事就是预测时间。时间延迟是多少？假设我看到一个闪光，然后几毫秒后，我会得到一阵空气吹拂我的眼睑，或者类似的东西。小脑可以非常擅长预测闪光和空气吹拂之间的时间，这样你的眼睛就会自动闭上。小脑参与了这种类型的反射，学习到的反射。小脑中有一些细胞，似乎细胞体在存储这个时间常数，改变这个时间常数延迟方面起着作用，而不是所有这些都以某种方式完成，就像，“我要做一个更长的突触环来延长这个延迟。”不，细胞体会为你存储这个时间延迟。所以有一些例子，但我并不完全相信这种理论，即发生的是神经元之间连接的变化，而这才是主要的算法。我认为仍然有充分的理由相信是这样，而不是一些疯狂的细胞活动。回到我们智能不仅仅是构建世界模型的全方位推理，而是真正教会我们关注什么、什么才是重要的显著因素来学习的这个系统。我想看看我们是否能从中获得一些关于不同类型智能可能是什么样子的直觉。所以，似乎 AGI 或超人类智能仍然应该拥有学习一个相当通用的世界模型的能力，但然后它可能会被激励去关注与现代后奇点环境相关的不同事物。我们应该期望不同智能有多大差异？我认为思考这个问题的一种方式是，真的有可能制造出回形针最大化器之类的东西吗？如果你试图制造回形针最大化器，它最终会不会因为唯一的奖励函数是制造回形针而变得不聪明？我想说，你能做到吗？我不知道。如果我模仿史蒂夫·伯恩斯，我认为他非常担心，在控制子系统中，你需要让某物变得聪明所需的最低可行事物远远少于让它拥有类似人类的社会本能和道德等事物所需的最低可行事物。所以，你想了解控制子系统的很多内容实际上是关于你如何进行对齐的细节，或者人类行为和社会本能是什么，而不是你仅为能力所需的东西。我们以一种稍微不同的方式谈论了它，因为我们当时在说，“嗯，为了让人们在社会上学习，他们需要进行眼神交流并向他人学习。”但我们已经从 LLM 中知道，根据你的起点，你可以学习语言而无需这些东西。所以我认为，制造强大的基于模型的 RL 优化系统等东西是可能的，而这些系统可能没有我们人类大脑奖励函数中的大部分内容，因此可能会最大化回形针。这是一个担忧。但你指出，为了制造一个称职的回形针最大化器，那种能够建造宇宙飞船和学习物理学的东西，它需要拥有一些能够引发学习的驱动力，包括好奇心和探索。是的，好奇心、对他人、对社交互动的兴趣。但我认为这非常基本。这对人类来说是这样，但对于已经预训练过的 LLM 或类似的东西来说可能不那么真实。所以，我认为如果我们模仿史蒂夫，我们想了解控制子系统的很大一部分原因是为了对齐。我们对拥有思考大脑所做事情的正确算法概念词汇有多大信心？我的意思是，神经科学对 AI 的一个重大贡献是 1950 年代的神经元概念，这是最初的贡献。但后来，我们从大脑实现的高级算法中学到的很多东西，从反向传播到大脑中是否存在类似反向传播的东西，到“哦，V1 是否在做类似 CNN 的事情”到 TD 学习和贝尔曼方程，Actor-Critic，等等……似乎受到这种动态的启发：我们想出一个想法，也许我们可以让 AI 神经网络以这种方式工作，然后我们注意到大脑中的某些东西也以这种方式工作。那么为什么不认为还有更多这样的事情呢？可能存在。我认为我们可能有些道理的原因是，我们基于这些想法制造的 AI 工作得异常好。还有很多经验性的东西。卷积神经网络及其变体。我不确定绝对最新的进展是什么，但与计算神经科学中关于视觉系统做什么的其他模型相比，它们更具预测性。你甚至可以在猫的图片等上进行预训练，CNN 在某个任意其他图像上的表征相似性与在不同方式下测量的不同大脑激活之间的关系如何？Jim DiCarlo 的实验室有这个大脑得分，而 AI 模型实际上……那里似乎有一些相关性。神经科学不一定有比这更好的东西。所以，是的，这只是在重申你所说的，我们拥有的最好的计算神经科学理论似乎很大程度上是由于 AI 模型和找到有效的方法而产生的。所以找到反向传播有效，然后说，“我们能否用皮层电路近似反向传播？”或者类似的东西。一直有这样的事情。现在，有些人完全不同意这一点。György Buzsáki 是一位神经科学家，他写了一本书，名为《大脑从内到外》，书中他基本上说我们所有的心理学概念、AI 概念，所有这些东西都是凭空捏造的。我们实际上必须做的是找出大脑实际使用的基本原语集。而我们的词汇量将不足以做到这一点。我们必须从大脑开始，创造新的词汇，而不是说反向传播，然后尝试将其应用于大脑或类似的东西。他研究大脑中的振荡等，而不是单个神经元及其功能。我不知道。我认为这有道理。从研究计划设计的角度来看，我们应该做的一件事就是模拟一个微小的蠕虫或微小的斑马鱼，尽可能地生物物理化或自下而上。比如获取连接组、分子、活动，然后将其作为一个物理动力学系统来研究，看看它做了什么。但我不确定，感觉 AI 是计算神经科学的绝佳素材。那些可能实际上是相当好的模型。我们应该看看。我认为研究组合中应该有一部分是完全自下而上的，不试图将我们从 AI 中学到的词汇应用于这些系统，并且应该有另一大部分试图利用该词汇或其变体来逆向工程它。我们应该同时追求两者。我猜逆向工程的那部分实际上会奏效，或者类似的东西。就像我们看到 TD 学习，Sutton 也单独发明了它。那一定是一种疯狂的感觉，就像——是的，那太疯狂了。我写下的这个方程就像在大脑里。似乎多巴胺在做其中一些事情，是的。所以让我问你这个问题。你们正在资助不同的团队来弄清楚大脑里有什么。如果我们有一个完美的表示，无论你如何定义它，为什么认为它能让我们找出这些问题的答案？我们有神经网络，它们更具可解释性，不仅因为我们理解权重矩阵中的内容，还因为有权重矩阵。有这些带有数字的盒子。即使那样，我们也能说出非常基本的事情。我们可以看到非常基本的模式匹配电路，即一个 token 跟随另一个 token。我觉得我们并没有真正解释为什么 LLM 智能，仅仅因为它们可解释。我认为我有点不同意。我们对 LLM 的基本功能有一些描述。那就是我有一个架构，我有一个学习规则，我有一些超参数，我有一些初始化，我有一些训练数据。但这些是我们构建它们时学到的东西，而不是通过查看权重来解释它们。连接组的类比就像看到权重。我认为我们应该做的是用架构、学习规则、初始化等语言来描述大脑，而不是试图找到金门大桥电路并确切说明这个神经元实际上是如何……那将是一个极其复杂的学习模式。Konrad Kording 和 Tim Lillicrap 多年前有一篇论文，可能五年前，题为“理解神经网络意味着什么？”他们说的是，你可以想象训练一个神经网络来计算 pi 的数字或类似的东西。它就像一种疯狂的模式。你还训练那个东西来预测你发现的最复杂的东西，预测股票价格，基本上预测真正复杂的系统，计算上完整的系统。我可以训练一个神经网络来做细胞自动机或任何疯狂的事情。我认为我们永远无法完全通过可解释性来捕捉这一点。它只是在内部进行非常复杂的计算。但我们仍然可以说，它之所以变成这样，是因为它有一个架构，我们给了它训练数据，它有一个损失函数。所以我想用同样的方式来描述大脑。我认为我一直在阐述的这个框架是，我们需要理解皮层以及它如何体现一个学习算法。我不需要理解它如何计算“金门大桥”。但如果你能看到所有神经元，如果你有连接组，它如何教会你学习算法是什么？嗯，我想有几种不同的观点。所以这取决于这个组合的这些不同部分。在完全自下上的，我们必须模拟一切的组合中，它基本上不会。你必须模拟斑马鱼大脑或类似的东西，然后看看其中出现的动态是什么，然后你就会想出新的名称和新概念等等。这是最极端的自下上神经科学观点。但即使在那里，连接组对于进行这种生物物理或自下上的模拟也非常重要。但另一方面，你可以说，“如果我们真的能应用一些 AI 的想法呢？”我们基本上需要弄清楚，它是一个基于能量的模型，还是一个摊销的 VAE 类型模型？它是在做反向传播，还是在做其他事情？学习规则是局部的还是全局的？如果我们有一些可能的想法，就把连接组看作是大量的额外约束，这将有助于完善，最终形成一个一致的图景。我也为控制子系统的事情考虑过这一点，只是非常基本的事情。有多少种不同的多巴胺信号或控制子系统信号或思想评估器等等？有多少种不同类型，有哪些广泛的类别？比如，即使是关于下丘脑中的细胞类型比皮层中的细胞类型多的这个非常基本的信息，这关于在那里构建了多少结构与在其他地方构建的结构相比，是新的信息。有多少种不同的多巴胺神经元？前额叶和听觉之间的连接是否与前额叶和视觉之间的连接相同？最基本的事情，我们不知道。问题是，通过一系列定制的实验来学习最基本的事情需要极其长的时间。而通过获取连接组一次性学习所有这些则效率高得多。这个时间线是多久？大概这个想法是，首先，为 AI 的发展提供信息。你想能够弄清楚我们如何让 AI 想要关心别人对它内部思维模式的看法。但解释性研究人员只是通过检查普通神经网络来取得进展。肯定有一些特征……你可以对现有的 LLM 进行解释性分析。你无法对大脑最终会收敛到的基于模型的强化学习算法进行解释性分析，当我们进行 AGI 时。没错。但 AI 的时间线需要多久才能让这项研究变得实用和相关？我认为如果处于 AI 2027 的情景，说它不是非常实用和相关是公平的。所以我现在做的科学不会影响十年后的科学。因为影响十年后科学的是这个 AI 2027 情景的结果。如果我拥有连接组，可能不会有太大影响，也许会稍微调整某些事情。但我认为有很多理由认为我们可能会从这个范式中获得很多东西。但真正的东西，那个对整个未来或类似事件具有变革性的单一事件，仍然需要五年以上的时间，或者类似的时间。这是因为我们没有捕捉到全方位推理，我们没有找到让大脑关注事物的正确方法，使其有意义吗？我的意思是，我会把你们整个播客和所有人都算进去，来展示这些东西的分布。我不知道。Karpathy 的时间线是什么？Demis 的时间线是什么？所以不是每个人都有三年的时间线。但有不同的原因，我很想知道你的原因是什么。我的原因是什么？我不知道，我只是在看你的播客。我试图理解分布。我并不认为 LLM 做不到。但关键是数据效率还是……？我认为其中一部分只是因为它与所有这些大脑的东西奇怪地不同。所以直观地说，它与所有这些大脑的东西奇怪地不同，我正在等待那个开始看起来更像大脑的东西。我认为如果 AlphaZero、基于模型的 RL 和十年前正在开发的许多其他东西，能够提供 GPT-5 类型的功能，那么我就会说，“哇，我们都处于正确的范式中，并且预先看到了结果。所以我的先验和我的数据是一致的。”现在就像，“我不知道我的数据到底是什么。看起来不错，但我的先验有点奇怪，所以我没有强烈的意见。”所以我认为有可能基本上所有其他正在进行的研究都将被淘汰。但我对此的概率不高。我认为我的时间线可能在十年左右。如果是这样，我认为在拥有硬盘上的连接组和理解控制子系统架构的世界之间可能存在差异。我们已经比较了小鼠、鼩鼱和小型灵长类动物等动物的奖励函数、成本函数、架构等最基本属性。这在十年内实用吗？我认为这需要一个非常大的推动。需要多少资金，与我们现在相比如何？我认为这需要一个非常协调的、低数十亿美元规模的资金投入。现在有多少资金投入其中？所以如果我只谈论我们正在进行的连接组学的一些具体事情……E11 Bio 是我们连接组学的主要项目。他们正试图让连接组大脑绘图技术便宜几个数量级。Wellcome Trust 一两年前发布了一份报告，称绘制第一个小鼠大脑连接组将是一个耗资数十亿美元的项目。E11 技术以及该领域的努力，正试图将单个小鼠连接组的成本降至数千万美元。这是一个哺乳动物的大脑。人类大脑大约是它的 1000 倍。如果小鼠大脑的成本可以降到 1000 万、2000 万、3000 万美元，那么通过技术，如果只是简单地扩展，人类大脑仍然需要数十亿美元，才能完成一个人类大脑。你能超越这一点吗？你能以低于 10 亿美元的价格获得一个人类大脑吗？但我不确定我们是否需要人类大脑中的每一个神经元。例如，我们想完成整个小鼠大脑和人类控制子系统，以及几种不同哺乳动物的大脑，它们具有不同的社会本能。所以，通过大量的技术推动和大量的协调努力，如果集中精力，可以在数亿到数十亿美元的规模上取得重大进展。连接组的定义是什么？大概它不是一个自下上的生物物理模型。所以它只是能够估计大脑的输入-输出吗？抽象级别是多少？你可以给出不同的定义，而其中一件很酷的事情是……连接组的标准方法使用电子显微镜和非常非常薄的大脑组织切片。基本上是标记。细胞膜会显示出来，散射电子很多，而其他一切散射电子较少。但你看不到很多分子细节，哪些类型的突触，不同分子组合和特性的不同突触。E11 和该领域的其他一些研究已转向光学显微镜范式。使用光学显微镜，光子不会损坏组织，因此你可以清洗它并观察脆弱的温和分子。所以，通过 E11 的方法，你可以获得一个“分子注释的连接组”。这不仅仅是关于谁通过某个突触连接到谁，而是关于突触中存在的分子是什么？这是什么类型的细胞？分子注释的连接组，这与拥有突触权重不完全相同。这与能够模拟神经元并说这些分子和连接的官能后果是什么不完全相同。但你也可以进行一定程度的活动映射，并尝试将结构与功能相关联。基本上训练一个 ML 模型来根据连接组预测活动。从人类基因组计划中可以吸取哪些教训？一种看待它的方式是，这是一个错误，你不应该花费数十亿美元来绘制一个基因组。相反，你应该投资于现在让我们能够以数百美元的价格绘制基因组的技术。好吧，George Church 是我的博士导师，他指出，第一个基因组花费了大约 30 亿美元，每碱基对大约 1 美元。然后国家人类基因组研究所基本上正确地组织了资金流程。他们让许多公司竞争以降低成本。然后，在 10 年内，成本下降了约一百万倍，因为他们将范式从宏观化学技术转变为这些单个 DNA 分子，这些分子会在显微镜上形成一小簇 DNA 分子，而我们每次在相机的每个像素上只能看到几个 DNA 分子。它会给你一种不同的、并行的观察不同 DNA 片段的方式。所以我们将事情并行化了数百万倍。这就是成本降低数百万倍的原因。通过从电子显微镜转向光学连接组学，以及未来可能的连接组学技术，我们认为应该有类似的模式。这就是为什么 E11，这个焦点研究组织，从技术开发开始，而不是从说我们要做一个人类大脑或类似的东西开始，然后我们就蛮干。我们说让我们用新技术降低成本。但它仍然是一件大事。即使有了新的下一代技术，你仍然需要花费数亿美元用于数据收集。这会由慈善事业、政府还是投资者资助？这还有待观察，而且在某种意义上，正如我们现在所说的那样，它还在不断发展。我听到一些关于连接组学相关公司可能形成的传言。到目前为止，E11 一直是慈善事业。国家科学基金会刚刚发布了这项关于技术实验室的呼吁，这在某种程度上是受 FRO 启发或相关的。我们可以有一个技术实验室来与我们一起绘制小鼠大脑的图谱，这将是慈善事业加上政府，仍然在一个非营利、开源的框架内。但公司能加速这一点吗？你能在一个公司的背景下，可信地将连接组学与 AI 联系起来并获得投资吗？这是可能的。我的意思是，训练这些 AI 的成本正在急剧增加。如果你能讲一个故事，不仅我们将找出一些安全问题，而且事实上，一旦我们做到了，我们还将能够告诉你 AI 是如何工作的……你应该去这些 AI 实验室，然后说，“给我你们 2030 年预测预算的百分之一。”我大约七八年前尝试过一点，但兴趣不大。也许现在会有。但我们一直在谈论的所有事情，谈论起来很有趣，但最终都是猜测。例如，大脑的能效的真正原因是什么？它是在进行真正的推理还是摊销推理，还是其他什么？这些都可以通过神经科学来回答。这会很难，但实际上是可以回答的。所以，如果你只需要花费数亿美元左右就能全面解决这个问题，在我看来，与数万亿美元的 GPU 等相比，进行这项投资是有道理的。此外，去年成立了许多实验室，它们的估值高达数十亿美元，用于一些相当可信但并非“我们下个季度的 ARR 将是多少”的事情。就像我们将发现材料一样——是的，登月创业公司或亿万富翁支持的创业公司。我认为登月创业公司与 FRO 处于同一连续体上。FRO 是引导慈善支持并确保其开源公共利益的一种方式，以及给定 FRO 的其他各种属性。但是的，亿万富翁支持的创业公司，如果它们能瞄准正确的科学，就是正确的科学。我认为有很多方法可以创建登月神经科学公司，但它们永远无法让你获得连接组。就像，“哦，我们要上传大脑”之类的，但实际上永远无法获得小鼠连接组或类似的东西。这些你用来验证科学的基本东西。有很多方法可以让登月公司失败，而无法进行实际的科学研究。但也有可能让公司或大型企业实验室参与进来并正确地完成它。这让我想起你五年前的一次讲座中的一个想法……你想解释行为克隆吗？实际上这很有趣，因为我第一次看到这个想法时，我认为它可能是在 Gwern 的一篇博文中。总有一篇 Gwern 的博文。现在有学术研究和一些新兴的公司类型的努力来尝试这样做。通常，假设我正在训练一个图像分类器或类似的东西。我给它看猫狗的图片，或者其他什么，它们都有“猫”或“狗”的标签。我有一个神经网络，它应该预测“猫”或“狗”的标签，或者类似的东西。每个标签的信息量是有限的。只是“猫”或“狗”。如果我也拥有，“预测当我看到猫或狗以及所有其他东西时，我的神经活动模式是什么？”如果你将这个作为辅助损失函数或辅助预测任务，它是否会塑造网络，使其了解人类对猫狗的了解，并以与大脑表示方式一致的方式表示它，以及大脑表示事物的表示维度或几何形状，而不是仅仅拥有这些标签？这能让它更好地泛化吗？这能让它有更丰富的标签吗？当然，这听起来很有挑战性。生成大量标记的猫的图片非常容易。Scale AI 或其他公司都可以做到。生成大量对应于你想训练 AI 做的事情的大脑活动模式则更难。但同样，这只是神经科学的技术限制。如果每部 iPhone 也是一个大脑扫描仪，你就不会有这个问题，我们就会用大脑信号来训练 AI。只是技术发展的顺序是，我们先有了 GPU，然后才有了便携式大脑扫描仪。你在这里做什么的 ML 类比是什么？因为当你提炼模型时，你仍然在查看所有……的最终层日志概率。如果你将一个模型提炼成另一个模型，那是有特定目的的。你只是在尝试复制一个模型到另一个模型。我认为我们还没有一个完美的提炼大脑的方案。提炼大脑需要更复杂的大脑接口。也许你也可以做到。你可以制作代理模型。Andreas Tolias 和其他人正在对大脑活动数据进行一些神经网络代理模型的研究。与其让你的视觉皮层进行计算，不如让代理模型来做。所以你在某种程度上是将你的视觉皮层提炼成一个神经网络。这是一种提炼。这做的事情有点不同。这基本上只是说我正在添加一个辅助……我认为它是正则化，或者我认为它是添加一个辅助损失函数，它平滑了预测任务，使其始终与大脑的表示方式一致。例如，它可能有助于你处理对抗性样本。但你到底在预测什么？你在预测大脑的内部状态？是的。所以除了预测标签，一个标签向量，比如是猫，不是狗，是，不是船，或者一个独热向量，比如是猫，而不是这些数以亿计的其他类别，在这个简单的例子中。你还在预测一个向量，其中包含所有这些大脑信号测量值。所以，Gwern，总之，他很久以前写过一篇博文，说：“哦，这是一个中间过程。我们谈论全脑模拟，我们谈论 AGI，我们谈论脑机接口。我们也应该谈论这种大脑数据增强的东西，它基于你的所有行为进行训练，但也基于预测你的某些神经模式进行训练。”你说学习系统已经通过控制系统在做这件事了？是的，我们的大脑，我们的学习系统也必须预测控制系统作为一个辅助任务。这有助于控制系统。现在，控制系统可以访问该预测器，并使用它来构建一个很棒的奖励函数。另外，你还在 Lean 的董事会任职，Lean 是一种数学家用来证明定理等的正式数学语言。显然，现在有很多关于 AI 自动化数学的讨论。你的看法是什么？嗯，我认为有些数学领域似乎很有可能被自动化。首先，Lean 在微软和其他地方开发了多年。它已成为汇聚式专注研究组织之一，以推动更多的工程和关注。所以 Lean 是一种编程语言，而不是在纸上表达你的数学证明，而是在 Lean 这种编程语言中表达。然后，如果你这样做，它就是一种可验证的语言，所以你可以点击“验证”，Lean 会告诉你你的证明的结论是否完全遵循你的证明的假设。所以它会自动检查证明是否正确。仅此一点，对于数学家协作等就很有用。如果我是一个业余数学家，想为证明做出贡献，Terry Tao 不会轻易相信我的结果。但如果 Lean 说它是正确的，它就是正确的。所以它使得协作更容易发生，但也使得证明的正确性成为一个非常 RLVR 的 RL 信号。形式化的数学证明——所以形式化意味着它以 Lean 等语言表达并且可验证——现在是机械可验证的。这成为一个完美的 RLVR 任务。我认为这会继续奏效，似乎至少有一家估值十亿美元的公司 Harmonic 基于此。AlphaProof 也基于此。还有几家新兴的非常有趣的公司。我认为这个 RLVR 数学证明的烂摊子会奏效，我们将能够拥有搜索证明并找到它们的东西，就像我们拥有 AlphaGo 或其他可以搜索下棋方法的东西一样。有了这个可验证的信号，它就能奏效。那么这能解决数学问题吗？仍然有与推测新有趣想法相关的一部分。仍然有数学的概念组织，什么是有趣的。你如何首先想出新的定理陈述？甚至是如何进行证明的高级分解。我认为这会将负担转移，以便人类不必做很多机械的数学部分。验证引理和证明，检查这篇论文中的陈述是否与那篇论文中的陈述完全相同等等。这些都会奏效。如果你真的认为我们将获得我们一直在谈论的所有这些东西，真正的 AGI 也将能够提出猜想。Bengio 有一篇论文，更像是一篇理论论文。可能还有其他论文正在出现。是否有关于好的解释或好的猜想的损失函数？这是一个非常深刻的问题。一个真正有趣的数学证明或陈述可能是一个压缩了大量信息并对许多其他定理有许多含义的陈述。否则，你将不得不使用漫长而复杂的被动推理来证明这些定理。在这里，如果你有这个定理，这个定理是正确的，并且你有简短的被动推理到所有其他定理。而且它是一个简短的紧凑陈述。所以它是一个强大的解释，解释了所有其他的数学。数学的一部分就是制造这些解释其他事物的紧凑的东西。就像这个陈述的柯尔莫哥洛夫复杂度一样。是的，生成所有其他陈述，鉴于你知道这个或类似的东西。或者如果你添加这个，它会如何影响证明网络其余部分的复杂性？所以你能做一个损失函数，添加，“哦，我希望这个证明是一个非常强大的证明”吗？我认为有些人正在努力解决这个问题。所以也许你可以自动化创造力部分。如果你拥有真正的 AGI，它将能够做人类所能做的一切。所以它也将做那些有创造力的数学家所做的事情。但除此之外，我认为 RLVR 证明的烂摊子将成为数学家非常有用的工具。它将极大地加速数学并改变它，但并不一定会立即改变它的一切。我们会得到黎曼猜想或类似事物的机械证明吗？也许吧，我不知道。我不知道搜索这些东西有多难的细节，而且我不确定是否有人能完全预测，就像我们无法准确预测围棋何时会被解决或类似的事情一样。我认为它将有很多非常酷的应用。所以你想做的一件事是，你想拥有可证明稳定、安全、不可破解的软件。所以你可以写关于软件的数学证明，并说，“这段代码不仅通过了这些单元测试，而且我可以从数学上证明，无法以这些方式破解它，或者无法篡改内存”，这些黑客使用的技术，或者它具有这些属性。你可以使用相同的 Lean 和相同的证明来做形式验证的软件。我认为这将是网络安全中一个非常强大的部分，与所有其他 AI 操纵世界的事情相关。如果你能证明黎曼猜想，你也能证明关于非常复杂的软件的极其复杂的定理。然后你就可以问 LLM，“为我合成一个我可以证明是正确的软件。”为什么可证明的编程语言没有因此而流行起来？我认为它正在开始。一个挑战——我们实际上正在孵化一个关于这个的潜在专注研究组织——是规范问题。所以数学家知道他们想形式化的有趣定理。假设我有一些代码，它涉及到运行电网或类似的东西，并且它有一些安全属性，那么这些属性的正式规范是什么？电网工程师刚刚制造了它，但他们不一定知道如何从中提取正式规范。而且不一定容易想出你想要的规范。人们不习惯想出正式规范，而且没有很多工具。所以你也有这个用户界面加上 AI 的问题，我应该指定哪些安全规范？这是我想要的规范吗？所以有一个规范问题，而且它一直非常复杂和困难。但直到最近，LLM 才能够生成对数学家有用的可验证证明，并开始能够为软件验证、硬件验证做一些事情。但我认为，如果你预测未来几年的趋势，它可能会扭转局面。形式方法，整个形式方法或形式验证领域，可证明的软件。它是编程语言等更理论部分的一个奇怪的边缘领域，通常带有很强的学术色彩。尽管有一个 DARPA 项目制造了一个可证明安全的四旋翼直升机等。安全方面……确切证明的属性是什么？不是针对那个特定项目，而是普遍而言。因为显然事情会因为各种原因而出现故障。你可以说，这里内存的这部分，应该是用户可以访问的部分，不能以任何方式影响那里内存的那部分，或者类似的东西。这样的事情。所以有两个问题。一个是它的用处有多大？二是从纯粹的角度来看……作为一个数学家，它会多么令人满意？软件在证明软件或硬件具有某些属性方面有应用，如果它奏效，那显然会非常有用。但从纯粹的角度来看……我们会弄清楚数学吗？你的感觉是，找到一个构造与另一个领域的另一个构造交叉，或者找到，“哦，这个引理，如果你重新定义这个术语，它仍然满足我对此术语的含义。但之前将其否定的反例不再适用。”数学中发生的这种辩证过程。软件会取代这个吗？是的。这种纯粹数学的价值有多少来自于真正想出全新的思考问题的方式，将其映射到完全不同的表示？我们有例子吗？我不知道。我可能有点像每个人都必须编写汇编代码或类似的东西。创造的有趣初创公司数量就少了很多，或者类似的东西。能够做到的人更少，进展更慢，更孤独，等等。你有很多虚假的失败，因为你没有理解汇编代码的某个方面，而不是你的概念是否正确的本质。更难协作等等。所以我认为这会非常好。有些人担心，通过不学习证明的机械部分，他们就无法产生启发更概念部分、创造性部分的直觉。汇编也是如此。对。那么什么时候适用呢？使用 vibe coding，人们没有学习计算机科学，还是他们实际上在 vibe coding，并且同时看着 LLM 向他们解释这些抽象的计算机科学概念，而且这一切都发生得更快？他们的反馈循环更快，他们正在学习更抽象的计算机科学和算法的东西，因为他们在 vibe coding。我不知道，这并不明显。这可能是用户界面和围绕它的用户基础设施方面的问题。但我认为有些人担心人们不学习机械部分，因此不会建立扎实的直觉或类似的东西。但我的猜测是，这是非常积极的。确切地说，净值有多少用处，或者有多少整体的数学突破，甚至是我们关心的数学突破会发生？我不知道。我认为另一件很酷的事情是可及性问题。好吧，这听起来有点陈词滥调。好吧，是的，更多的人可以做数学，但谁在乎呢？但我认为有很多有有趣想法的人。比如量子引力理论或类似的东西。是的，我们中的一个人会想出量子引力理论，而不是一个持证的物理学家。就像 Steve Byrnes 在阅读神经科学文献一样，他并没有在神经科学实验室待太久。但他能够综合神经科学文献并说，“哦，学习子系统，控制子系统。这一切都有意义吗？”他某种程度上是一个局外人神经科学家。你能有局外人弦理论家或类似的人吗，因为数学是由计算机为他们完成的？这是否会导致弦理论的更多创新？也许是的。有趣。好吧，所以如果这种方法奏效，并且你认为 LLM 不是最终的范式，并且假设在那个世界里，最终的范式至少需要 10 年才能实现。有一个有趣的科幻前提，你拥有…… Terence Tao 今天发了一条推文，他说：“这些模型就像自动化的聪明才智，但不是自动化的智能。”你可以争论这些定义。但如果你拥有自动化的聪明才智，并且有某种过滤方式——如果你能形式化并证明 LLM 所说的东西，你就可以做到——那么你就可以拥有数量本身就具有质量的情况。那么，世界上哪些领域可以被置于这种可证明的符号表示中？所以在 AGI 遥不可及的世界里，也许将 LLM 所做的一切，或者几乎所有它们所做的事情，都变成超级可证明的陈述是有意义的。所以 LLM 可以建立在彼此之上，因为它们所做的一切都是超级可证明的。也许这是必要的，因为有数十亿个智能在运行。即使它们是超级智能的，未来 AGI 文明能够相互协作的唯一方法是，如果它们能够证明每一步。它们只是在粗暴地处理……这就是 Jupiter 大脑所做的。它是一种通用语言，它是可证明的。从“你是在试图剥削我，还是在给我发送试图入侵我大脑的消息？”的角度来看，它也是可证明的。你是在试图社会化影响我吗？你实际上只是在给我发送我需要的信息，不多不少吗？所以 davidad，他是英国 ARIA 的项目主管，他有一个完整的 ARPA 式计划设计，一种受保护的 AI，它非常依赖可证明的安全属性。你能将证明应用于……你能拥有一个世界模型吗？但那个世界模型实际上不是在神经元激活中指定的，而是在方程中指定的。那些可能是非常复杂的方程，但如果你能变得非常擅长自动证明这些东西，利用聪明才智，自动聪明才智……你能拥有明确可解释的世界模型，而不是神经网络世界模型，并基本上移回符号方法，仅仅因为你拥有惊人的证明能力吗？是的，这是一个有趣的愿景。我不知道在接下来的 10 年里，这是否会是那个会实现的愿景，但我认为思考这一点非常有趣。即使对于数学来说，我的意思是，Terence Tao 正在做一些事情，它不是关于你是否能证明单个定理。它是关于“让我们大规模地证明所有定理，然后研究已证明定理的集合的性质。”哪些被证明了，哪些没有被证明？好吧，那就是所有定理的景观，而不是一次一个定理。说到符号表示，我一直想问你的一个问题是，大脑是如何表示世界模型的？显然，网络在神经元中，但我的意思不是功能上的。我的意思是概念上的，它是在类似于神经网络的隐藏状态中，还是更接近于符号语言？我们不知道。这方面有一些研究。有一些像面部区域神经元的东西，它们代表面部的某些部分，这些部分以有趣的方式在几何上组合。这是关于几何和视觉的。对于其他更抽象的事情也是如此吗？有认知地图的想法。啮齿动物海马体必须学习的很多东西是位置细胞，以及啮齿动物接下来要去哪里，以及它是否会在那里获得奖励。这非常几何化。我们是否用空间地图的抽象版本来组织概念？有一些问题是，我们能否进行真正的符号运算？我能否在我的大脑中有一个寄存器，将一个变量复制到另一个寄存器，而不管该变量的内容是什么？这就是变量绑定问题。基本上，我不知道我们是否拥有这种机制，还是它更像是成本函数和架构，使得其中一些东西近似地出现，但也许它也会在神经网络中出现？有很多有趣的研究正在研究这个问题，研究表示是什么样的。但你的直觉是什么？是的，我的直觉是，这将是一个巨大的混乱，我们应该看看架构、损失函数和
学习规则。我不指望它在那里会很漂亮。也就是说它不是一种符号语言类型的东西吗？是的，可能它没那么符号化。但其他人看法非常不同。
另一个随机问题，说到结合，那种感觉像是有体验是怎么回事？你大脑中所有模拟着非常不同事物的部分，有着不同的驱动力，并且至少大概感觉像是有个体验正在发生。还有就是随着时间推移你感觉像……是的，这个问题我基本束手无策。我不知道。Max Hodak 最近一直在就此发表演讲。他是另一个非常硬核的神经科学人士，神经技术人士。我和 Doris 提到的那件事听起来可能也与这个问题有些关联。但是的，我觉得没人有任何头绪。它甚至可能涉及新物理学。
这里有另一个可能还没有答案的问题。持续学习，它是否是即使在学习算法层面也极其基础的东西的产物？你可以说，“看，至少我们在神经网络中进行反向传播的方式是，你冻结权重，有一个训练期，然后你冻结权重。所以你只需要这种主动推理或某种其他学习规则来做持续学习。”或者你认为它更多是关于架构以及记忆是如何精确存储的，以及你基本上拥有什么样的联想记忆的问题？所以持续学习……我不知道。在架构层面，海马体可能正在做一些有趣的事情。人们长期以来都这么认为。它存储的是什么样的序列？它是如何组织、表示这些的？它是如何回放的？它回放的是什么？这种记忆巩固究竟是如何运作的？它是否正在利用海马体的回放或记忆来训练皮层，或者类似的东西？可能有这方面的一些东西。可能存在多个时间尺度的可塑性或巧妙的学习规则，它们可以同时存储短期信息并进行反向传播。神经元可能在做几件事：一些快速权重可塑性和一些较慢的可塑性同时进行，或者突触具有多种状态。我的意思是，我不知道。从神经科学的角度来看，我不确定我是否见过关于什么导致持续学习的超级清晰的解释，除了可能提到海马体巩固皮层的这种系统巩固思想。有些人认为这是其中一个重要部分，我们仍然不完全理解其细节。
谈到快速权重，大脑中是否存在与我们在神经网络中看到的参数和激活之间的这种区别相对应的事物？特别是在 Transformer 中，我们有这样一种想法，即一些激活是随着时间推移你建立起来的先前 token 的键和值向量。存在所谓的快速权重，每当你有一个新的 token 时，你都会针对这些激活查询它们，但你显然不能针对网络中所有其他作为实际内置权重一部分的参数查询它们。是否存在某种类似的区别？我不知道。我的意思是，我们肯定有权重和激活。你是否能以这些巧妙的方式使用激活，不同形式的实际注意力，比如大脑中的注意力……那是基于“我正在努力集中注意力”吗……我认为大脑中可能存在几种不同类型的实际注意力。我想关注视觉皮层的这个区域。我想关注其他区域中由这个区域内容触发的内容。仅仅基于反射之类的注意力。所以我不知道。不仅有皮层，还有丘脑。丘脑也以某种方式参与信息的中继或门控。存在皮层间连接。皮层区域之间也有一定数量的连接通过丘脑。这是否可能正在做某种匹配或约束满足，或者在此处键和彼处值之间的匹配？它是否可能做那样的事情？也许吧。我不知道。这都是皮层-丘脑系统架构的一部分。我不知道它有多像 Transformer，或者是否有任何与那种注意力类似的东西。弄清楚会很有趣。我们得给你十亿美元，这样你就能再次来播客，告诉我大脑究竟是如何运作的。
我主要只是做数据收集。这是真正无偏见的数据收集，这样所有其他人都可以弄清楚这些问题。也许最后一个要谈的问题是，你从“差距图”中学到的最有趣的事情是什么？也许你想解释一下“差距图”是什么。在孵化和提出这些“重点研究组织”——这些我们一直在争取慈善家和现在政府机构资助的非营利性创业型“登月计划”的过程中，我们与许多科学家进行了交谈。一些科学家只是说：“这是我的研究生接下来要做的事情。这是我发现有趣的地方。探索这些真正有趣的假设空间，所有我们一直在谈论的各种事情。”其中一些人则说：“这里有个空白。我需要这块基础设施。我的实验室里没有研究生组合，或者我与使用传统拨款的其他实验室松散合作，能够为我提供这些。我需要一个有组织的工程团队来建造哈勃太空望远镜的微型等效物。如果我能建造那个哈勃太空望远镜，那么我将解除我领域中所有其他研究人员的障碍，或者以哈勃太空望远镜提升船只并改善每位天文学家生活的方式，推动技术进步。”但它本身并不是一项天文学发现。只是你必须把这面巨大的镜子和 CCD 摄像机放到太空，并组织所有人员和工程等来完成这项工作。所以我们与科学家谈论的一些事情就是这样的。“差距图”就是很多这类事物的列表，我们称之为“差距图”。我认为它实际上更像是一张基本能力图。所有这些东西是什么，比如迷你哈勃太空望远镜？然后我们将其组织成“差距”，以帮助人们理解或搜索这些。你发现的最令人惊讶的事情是什么？我想我以前谈过这个，但其中一件事就是它的整体规模或形状之类的。它有几百项基本能力。所以如果这些中的每一个都是一个深度科技创业公司规模的项目，那也只有几十亿美元左右。如果其中每一个都是 A 轮融资，那也只有……解决这些差距不像需要万亿美元。比那要低。所以那是一件事。也许我们就是这么假设的，结果也确实如此。它并不是真正全面的。它实际上只是总结我们与科学家进行的大量对话的一种方式。我确实认为在整个过程中，像 Lean 这样的东西实际上令人惊讶，因为我确实是从神经科学和生物学开始的，而且很明显存在这些“组学”。我们需要基因组学，但我们也需要连接组学。我们可以改造大肠杆菌，但我们也需要改造其他细胞。生物基础设施有一些显而易见的部分。我没有意识到数学证明基础设施是真实存在的，那是从尝试做这件事中涌现出来的。所以我期待看到其他一些事情，它们实际上并不是一个难以解决的智力问题。它可能有点像 AI 研究人员只需要 GPU 之类的东西，以及专注和真正好的 PyTorch 代码就能开始做这件事。哪些领域需要或不需要这些？那么那些已经获得巨额投资的领域，它们仍然需要其中一些吗？它们是否仍然存在一些这样的差距，还是只有那些更被忽视的领域？我们甚至在实际天文学中发现了一些有趣的，尚未被探索的实际望远镜。也许是因为如果你要进行一个超过临界规模的项目，那么你必须有一个非常大的项目，那与联邦机构打交道会是一个更官僚化的过程。我猜现在科学的每个领域都需要规模。是的，我认为许多科学领域都需要规模。这并不意味着小规模工作不重要。这并不意味着创造力、意外发现等，以及你在大学里看到的每个学生追求完全不同的方向或论文，也不是真正关键的。但我认为，在几乎所有科学领域，甚至数学领域，都缺少一定数量的可扩展基础设施，这很疯狂。因为我以为数学家只需要白板，但他们实际上需要 Lean。他们实际上需要可验证的编程语言之类的东西。我以前不知道。酷。
亚当，这太有趣了。谢谢你的到来。非常感谢你。我的荣幸。人们在哪里可以找到你的东西？荣幸。现在最简单的方法……我的 adammarblestone.org 网站目前好像无法访问了。但 convergentresearch.org 可以链接到我们一直在做的很多事情。然后你有一个很棒的博客，叫《纵向科学》。《纵向科学》，是的，在 WordPress 上。酷。非常感谢你。荣幸。