Transcription
非常欢迎您，很高兴见到您。[掌声] 非常感谢您，非常荣幸能来到这里。嗯，上次来的时候一定是在新冠疫情之前，或者什么的。嗯，好的，嗯，接下来要讲的内容会和 Bernard 刚才讲的有一点点联系，嗯，而我要讲的，是 Marike Jordan 今天早些时候告诉你们不应该去研究的那些东西。
所以，事实上，我们需要人类水平的 AI，这不仅仅是因为这是一个有趣的科学问题，也是因为这是一种产品需求。未来，我们将佩戴智能设备，比如智能眼镜之类的东西，在这些智能设备中，我们将能够随时访问 AI 助手，并且我们将通过语音或脑电图（CMG）与它们进行交互。眼镜最终会有显示屏，尽管目前还没有。我们需要这些系统拥有人类水平的智能，因为这是我们最熟悉的交互方式。我们熟悉与其他人互动，我们熟悉我们期望在人类身上看到的智能水平。与具有类似智能形式的系统进行交互会更容易。所以，那些无处不在的助手将是我们与数字世界所有交互的媒介，这就是为什么我们需要它们易于被广大不一定熟悉技术使用的人群使用。
但是问题是，机器学习与我们在人类和动物身上观察到的相比，简直太糟糕了。我们并没有真正拥有能够让我们构建出具有同等学习能力、常识和对物理世界理解的机器的技术。动物和人类拥有背景知识，这使他们能够极快地学习新任务，理解世界如何运作，能够进行推理和规划，而这一切都基于我们所谓的常识。常识并不是一个定义得很清楚的概念。我们的行为以及动物的行为本质上是由目标驱动的。
所以我将论证，我们目前拥有的，或者说几乎每个人都在玩的那种 AI 系统，并不具备我们想要的正确特征。原因在于，它们基本上是自回归地一个接一个地生成标记。所以你有一系列标记，它们是子单元，但它们是什么并不重要，就是一系列的字母，然后你有一个预测器，它在序列上重复，基本上是取一个先前标记的窗口，然后预测下一个标记。而训练这些系统的方式是，你把序列放在输入端，我真的为这一点道歉。所以，这些东西的训练方式是，你取一个序列，然后你基本上训练系统让它在输出端重现输入。因为它是因果结构，它不能作弊，不能使用某个特定的输入来预测自身，它只能查看它左边的符号，这叫做因果架构。
所以这是非常高效的，这就是人们所说的 GPT，通用 Transformer。但你不需要把它放在 Transformer 里，它可以是任何东西，它只是一个因果架构。我担心我还没有修复闪烁的问题，总之，训练这些系统的方式，然后你可以通过自回归地生成一个标记，将其移入输入，然后生成第二个标记，以此类推来生成文本。这是自回归预测，显然不是一个新概念。
这里有一个问题，那就是这个过程基本上是发散的。每次你生成一个标记时，都有一定的几率这个标记不在合理答案的集合中，并将你带出合理答案的集合。如果发生这种情况，之后就无法修复了。如果你假设生成错误标记的概率存在，并且错误是独立的（当然它们不是），那么你就会得到指数级发散。这就是为什么我们会有这些模型的幻觉问题。
但我们错过了非常重要的一点，因为，别说尝试复制人类智能了，我们甚至无法复制猫的智能或老鼠的智能，更不用说狗的智能了。它们可以做惊人的事情，它们理解物理世界。任何家猫都可以计划非常复杂的行动，它们拥有世界的因果模型，有些猫知道如何打开门和水龙头之类的东西。而在人类身上，一个 10 岁的孩子可以在第一次让你做的时候，零样本地收拾餐桌并装满洗碗机。是的，她会做的。任何 17 岁的孩子都可以在 20 小时的练习中学开车，但我们仍然没有能像猫一样行动的机器人，我们没有能收拾餐桌的家用机器人，我们也没有五级自动驾驶汽车，尽管我们有数十万甚至数百万小时的监督训练数据。
所以，这告诉你，我们错过了非常重要的一点。然而，我们拥有可以通过律师资格考试、解决数学问题、证明定理的系统，但却没有家用机器人。所以我们不断遇到这个被称为莫拉悖论的悖论。我们认为理所当然的事情，因为人类和动物都能做到，所以我们认为它并不复杂，但实际上它非常复杂。而我们认为独属于人类的事情，比如操纵和生成语言，下棋，围棋，扑克，创作诗歌之类的事情，相对来说却很容易。
也许原因在于这个非常简单的计算。如今典型的 LLM 是在大约 30 万亿个标记上训练的，3 x 10 的 13 次方个标记，这大约是 2 的 13 次方个词。每个标记大约是 3 个字节，所以数据量大约是 10 的 14 次方字节。我们中的任何一个人需要近五十万年才能读完所有这些材料。这基本上是互联网上所有公开可用的文本。
现在考虑一个 4 岁的孩子，他醒着总共有 16,000 小时，顺便说一句，这只相当于 30 分钟的 YouTube 上传量。我们有 200 万个视神经纤维，每根每秒携带约 1 字节的数据，可能少一点，但这不重要。所以四年里，一个 4 岁的孩子看到的数据量与最大的 LLM 一样多，是以视觉感知的形式。对于失明的孩子来说，是触觉。
这告诉你几件事。我们永远无法通过仅仅开启文本来达到人类水平的智能。这根本不可能发生，尽管有些人，他们有既得利益，告诉我们我们将在明年达到博士水平的智能，这根本不可能发生。我们可能在某些子领域、某些领域、某些问题上达到博士水平，比如下棋，但更多的是，只要我们专门为这些问题训练这些系统，就像 Bernard 用视觉错觉解释的那样。
有很多这类问题，当你提出一个问题，你向一个 LLM 提出一个问题，如果这个问题是一个标准的谜题，答案会在几秒钟内被吐出来。如果你稍微改变一下问题的陈述，系统仍然会产生它以前的答案，因为它没有真正的心理模型来理解谜题中发生了什么。
那么，人类婴儿是如何学习世界运作的呢？婴儿在生命的前几个月就积累了关于世界的海量背景知识。诸如物体恒存、坚固性、刚性、物体的自然类别等概念。在儿童理解语言之前，他们已经理解了桌子和椅子之间的区别。那种东西是自然发展的。他们在大约 9 个月大的时候就理解了直观物理概念，比如重力、惯力等等。
这需要很长时间，主要是观察，直到四个月，因为在此之前婴儿对世界几乎没有影响。但之后，通过互动。但所需的互动量却惊人地少。所以，如果我们想要一个最终能达到人类水平的 AI 系统，可能需要一段时间。我们在 Meta 将其称为高级机器智能。我们不喜欢通用人工智能（AGI）这个术语，因为人类智能实际上相当专业化，所以称其为 AGI 是一种误称。所以我们称之为 AMI，我们实际上发音为 Ami，在法语中意思是朋友。
所以我们需要能够很好地从感官输入中学习模型，基本上是关于世界如何运作的心理模型，你可以在脑海中操纵它们。从视频中学习二维物理，例如。拥有持久记忆的系统。能够规划行动的系统，可能是分层的，以实现目标。能够进行推理的系统。以及从设计上可控且安全的系统，而不是通过微调，而这正是目前 LLM 的情况。
我所知道的构建这类系统的唯一方法是改变当前 AI 系统执行的推理类型。目前，LLM 的推理方式是通过一个固定数量的神经网络层（Transformer）运行，然后生成一个标记，将该标记注入输入，然后再次通过固定数量的层运行。问题在于，如果你问一个简单的问题或复杂的问题，并要求系统回答“是”或“否”，比如“2+2=4 吗？是或否”，或者“P=NP 吗？是或否”，它将花费完全相同的计算量来回答这两个问题。所以人们一直在作弊，告诉系统“解释一下”，这个“思维链”技巧，你基本上让系统生成更多的标记，这样它就会花费更多的计算量来回答问题，但这是一种 hack。
统计学中很多推理方式，这会让 Mike 高兴，实际上，推理方式并不是这样的。在经典 AI、统计学、结构化预测的许多不同领域，它的工作方式是，你有一个函数，它衡量你的观察与提议的输出之间的兼容性或不兼容性程度，然后推理过程就是找到一个输出值，使这种不兼容性度量最小化。让我们称之为能量函数。所以你有一个能量函数，右边的方框代表它。当它不消失时，系统只是进行优化来进行推理。
如果推理问题更难，系统只会花费更多时间进行推理，换句话说，它们会为复杂问题思考更长时间，而不是为答案很明显的简单问题。这实际上是经典 AI 中非常经典的做法，经典 AI 就是关于推理和搜索，因此优化。几乎任何计算问题都可以归结为一个优化问题，或者搜索问题。它在概率建模中也很经典，比如概率图模型等等。
这种推理方式更类似于心理学家所说的系统 2，如果你想要人类心智的系统 2，那就是在你采取行动或一系列行动之前，你会思考它们。在你做某事之前，你会思考它。而系统 1 是当你可以在不思考的情况下完成某事，它就变得有点潜意识了。所以 LLM 是系统 1，我提议的是系统 2。
然后，合适的理论框架来解释这一点是基于能量的模型，我将没有时间详细介绍。但基本上，你通过一个能量函数来捕捉变量之间的依赖关系，比如观察值 X 和输出值 Y。当 X 和 Y 兼容时，能量函数的值较低，当 X 和 Y 不兼容时，值较高。你不想只是从 X 计算 Y，就像我们刚才看到的，你只想有一个能量函数来衡量不兼容的程度，然后给定 X，找到一个能量较低的 Y。
现在，让我们稍微深入了解一下这种架构如何构建，以及它如何与思考或规划相关联。一个系统看起来会是这样的：你从世界获得观察，通过一个感知模块，该模块产生对世界状态的估计。但当然，世界的状态不是完全可观察的，所以你可能需要将其与记忆的内容结合起来，你的记忆包含了你对当前未感知到的世界状态的想法。这两者的结合进入世界模型。
什么是世界模型？给定对世界状态的当前估计，它处于一个抽象的表示空间，并且给定你想象采取的一系列行动，你的世界模型会预测你采取这一系列行动后将发生的世界状态。这就是世界模型。如果我告诉你，想象一个立方体漂浮在你面前的空中，我绕垂直轴旋转这个立方体 90 度，它看起来会是什么样？你很容易就能在脑海中形成一个旋转立方体的模型。
好的，我想我们会在音频视频真正起作用之前就拥有人类水平的智能。所以，如果我们拥有这个能够预测一系列行动结果的世界模型，我们可以将其输入到一个目标中，这是一个任务目标，它衡量预测的最终状态在多大程度上满足我们为自己设定的目标。它只是一个成本函数。我们还可以设置一些护栏目标，将它们视为系统以安全方式运行必须满足的约束。所以这些护栏将被明确实现。
系统的运作方式是通过优化。它正在寻找一个行动序列，该序列在运行时最小化任务目标和护栏目标。我们不是在谈论学习，我们只是在谈论推理。这将保证系统的安全性，因为护栏保证了安全，你无法通过给它一个提示来越狱，让它逃脱其护栏目标。护栏目标将是硬编码的，它们可能会被训练，但会是硬编码的。
一个行动序列应该可能使用一个单一的模型，你重复使用它，在多个时间步上使用它。所以你有一个模型，你输入第一个行动，它预测下一个状态，然后第二个行动预测第二个下一个状态。沿着轨迹可以有护栏成本和任务目标。我没有指定使用什么优化算法，这对于我们的讨论并不重要。
如果世界碰巧不是完全确定和可预测的，世界模型可能需要有潜在变量来解释我们未观察到的世界的所有事物，这使得我们的预测基本上不精确。最终我们想要的是一个能够进行分层规划的系统，也就是说，它可能有几个抽象级别，这样在低级别，我们规划低级别行动，比如肌肉控制，但在高级别，我们可以规划抽象的宏观行动，世界模型以更长的时间步进行预测，但在一个更抽象的表示空间中，因此包含更少的细节。
所以，如果我想，我坐在纽约大学的办公室，决定去巴黎。我可以将这个任务分解为两个子任务：去机场，然后赶飞机。现在我有一个子目标，去机场。我在纽约市，所以去机场包括下楼，拦一辆出租车。我怎么下楼？我需要走到电梯，按按钮，下去，走出大楼。我怎么去电梯？我需要从椅子上站起来，拿起我的包，开门，走到电梯，避开所有障碍物，然后到某个时候，我到达了一个不需要规划的层面，我只需要采取行动。
但我们一直在进行这种分层规划。我告诉你，我们今天完全不知道如何用学习机器来做这件事。几乎所有机器人都在进行分层规划，但每个层次的表示都是手工制作的。我们需要训练一个架构，也许是我在这里描述的那种，以便它能够学习抽象表示，不仅是世界状态的表示，还有预测世界模型，预测将要发生的事情，以及抽象行动在不同抽象级别上的表示。这样我们就可以进行分层规划。动物这样做，人类做得很好。我们今天完全无法用 LLM 来做这件事。如果你要开始攻读博士学位，这是一个很棒的课题，可能需要三年以上。
所以，基于所有这些思考，大约三年前，我写了一篇长篇论文，我解释了我认为 AI 研究应该关注的方向。所以在整个 GPT 狂潮之前，我对此没有改变我的想法。ChatGPT 并没有改变任何事情。我们在此之前就在研究 LLM，所以我们知道会发生什么。这是这篇论文，《通往自主机器智能的道路》，我们现在称之为高级机器智能，因为自主只是吓唬人。它正在开放评审中，不在档案中，我给出了各种版本的这个演讲。
所以，让系统了解世界运作方式的一个非常自然的想法是，使用我们用来训练自然语言系统的相同过程，并将其应用于视频。如果一个系统能够预测视频中将要发生的事情，你给它一小段视频，然后要求它预测接下来会发生什么，它可能就理解了世界的底层结构。所以训练它来做出这个预测可能会让系统理解世界的底层结构。
这对于文本来说是有效的，因为预测词语相对简单。为什么预测词语简单？因为词语，可能的词语数量是有限的，当然可能的标记数量也是有限的。所以我们无法精确预测哪个词会跟随另一个词，或者文本中缺少哪个词，但我们可以为词典中的每个可能词生成一个概率分布或分数。我们无法对图像、视频帧做到这一点。我们没有好的方法来表示视频帧的分布。所有尝试这样做的方法基本上都会遇到数学上的棘手问题。
所以你可以尝试通过统计学和物理学家发明的数学来绕过这个问题，比如变分推理等等。但实际上，最好是完全抛弃概率建模的想法，直接说我只想学习这个能量函数，它告诉我我的输出是否与我的输入兼容，我不在乎这个能量函数是否是某个分布的负对数。
所以，我们之所以需要这样做，当然是因为我们无法精确预测世界上将要发生的事情。有一系列可能发生的事情。如果我们训练一个系统只预测一帧，它就不会做得很好。所以这个问题的解决方案是一个新的架构，我称之为联合嵌入预测架构，或者 Jepa。之所以这样命名，是因为生成架构在生成视频方面根本不起作用。你可能已经看到过生成视频的系统，它们产生了一些令人惊叹的东西，但它们背后有很多 hack，它们并不真正理解物理学。它们不需要，它们只需要生成漂亮的图片，它们不需要真正拥有一个准确的世界模型。
所以，这就是 Jepa 的工作原理。这个想法是，你同时运行观察和输出（即下一个观察）到一个编码器，这样预测就不再是预测像素，而是预测视频或其他内容中的抽象表示。所以，让我们比较一下这两种架构。在左边是生成架构，你将 X（观察）通过编码器，可能还有预测器或解码器，然后你对 Y 做出预测。这是直接预测。然后在右边，这个 Jepa 架构，你将 X 和 Y 都输入到编码器中，它们可能是相同的或不同的，然后你从 X 的表示中预测 Y 的表示，在这个抽象空间中。
这将导致系统学习一个编码器，该编码器消除了所有你无法预测的东西。这正是我们所做的。没有办法，如果你观察这个房间的左边，然后我把摄像头转向右边，任何视频预测系统，包括人类，都无法预测你们每个人看起来是什么样子，或者墙壁的纹理，或者硬木地板上木头的纹理。有很多事情我们就是无法预测。所以，与其坚持我们应该对我们无法预测的事情做出概率预测，不如干脆不要预测它，学习一个表示，其中所有这些细节都被基本消除，这样预测就更简单了。它仍然可能需要是非确定性的，但至少我们简化了问题。
有各种形式的 Jepa，我将不深入探讨。有些有潜在变量，有些是动作条件化的。我将谈论动作条件化的，因为这是最有趣的，因为它们确实是世界模型。所以你有一个编码器，X 是当前世界状态或当前观察，Sx 是当前世界状态。你输入一个动作到一个预测器，你想象着采取这个动作，预测器（一个世界模型）预测下一个世界状态的表示。这就是你可以进行规划的方式。
所以，我们需要训练这些系统，我们需要弄清楚如何训练这些 Jepa 架构，并且事实证明这并不完全是微不足道的，因为你需要训练 Jepa 架构中的成本函数，该函数衡量 Y 的表示与预测的 Y 的表示之间的差异。我们需要在训练数据上使其较低，但我们也需要使其在训练集之外较高。所以，这是这种能量函数，它有等能量的轮廓。我们需要确保能量在数据流形之外很高。
我只知道两类方法。一种方法称为对比方法，它包括拥有数据点（那些深蓝色点），降低它们的能量，然后生成（那些闪烁的绿色点），然后提高能量。这种对比方法的问题在于，它们在高维空间中扩展性不好。如果你的空间中有太多维度，你需要提高很多地方的能量，而且它效果不太好。你需要大量的对比样本才能起作用。
还有另一类方法称为正则化方法。它们的作用是使用能量的正则化器，以最小化可以获得低能量的空间体积。所以这导致了两种不同的学习程序。一种是对比学习程序，你需要生成这些对比点，然后将它们的能量提高到某个损失函数。另一种是某种正则化器，它会“收缩包装”数据流形，以确保能量在外部更高。
有很多技术可以做到这一点。我只描述其中的一小部分。我们几年前，也许是五六年前，开始测试它们的方式是训练它们学习图像的表示。你取一张图片，弄脏它或以某种方式转换它，然后将原始图片和弄脏的版本输入到相同的编码器中，然后训练一个预测器，从弄脏的图片预测原始图片的表示。训练完成后，你移除预测器，然后使用编码器输出的表示作为输入，输入到一个简单的线性分类器或类似的东西，你进行监督训练，以验证学到的表示是否良好。
这个想法非常古老，可以追溯到 20 世纪 90 年代，以及我们曾经称之为自编码器网络的东西。以及一些关于联合嵌入架构的近期工作，然后添加预测器是更近期的。所以 SimCLR，来自谷歌，是一种源自自编码器的对比方法。但同样，维度受到限制。
所以正则化方法的工作方式是，你试图估计编码器输出的信息含量。你需要做的是防止编码器崩溃。有一个简单的解决方案，训练一个 Jepa 架构，其中编码器基本上忽略输入，产生一个恒定的输出，现在预测误差始终为零。这显然是一个无趣的崩溃解决方案。你需要系统，你需要防止系统崩溃，这就是我之前提到的正则化方法。
一种间接的方法是保持编码器输出的信息含量。所以你将有一个训练目标函数，如果你愿意，它是一个负信息含量，因为我们在机器学习中最小化，而不是最大化。一种方法是基本上取来自编码器的表示向量，在一批样本上，并确保它们包含信息。你如何做到这一点？你可以取这个表示向量矩阵，计算这个矩阵与其转置的乘积，得到一个协方差矩阵，然后尝试使这个协方差矩阵等于单位矩阵。
这里有一个坏消息，那就是这基本上是通过对变量之间的依赖关系的性质做出非常强的假设来近似信息含量。实际上，它是信息含量的上限，我们正在努力提高它，祈祷下面的实际信息含量会跟随。所以它在理论上有点不规则，但它确实有效。
所以，再次，你有一个来自编码器的矩阵，它有一定数量的样本，每个向量是一个独立的变量。我们将要尝试做的是，我们将尝试使每个变量单独具有信息量。我们将尝试防止变量的方差变为零，例如强制它为一，然后我们将对变量进行装饰，这意味着计算这个矩阵的协方差矩阵，将其乘以自身，然后尝试使结果的协方差矩阵尽可能接近单位矩阵。
还有其他方法试图使样本正交，而不是变量。那些是对比样本对比方法，但它们在高维空间中不起作用，并且需要大批量。所以我们有一种叫做 VICReg 的方法，意思是方差不变协方差正则化，它有特殊的损失函数用于这个协方差矩阵。Yann LeCun 的团队也提出了类似的方法，叫做 MC R Squared，还有一些来自纽约大学的同事提出的来自神经科学的方法，叫做 MCR。
所以这是一类方法。我非常喜欢这些方法，我认为它们效果非常好。我预计未来会有更多这样的方法。但还有另一类方法，在过去几年中在某种程度上稍微更成功，那就是基于蒸馏。所以再次，你有两个编码器，它仍然是一个联合嵌入架构。你有两个编码器，它们共享相同的权重，但又不完全是。所以右边的编码器获得左边编码器的权重的一个版本，该版本是通过指数移动平均获得的。所以基本上，你迫使右边的编码器比左边的编码器更慢地改变其权重。出于某种原因，这可以防止崩溃。有一些理论工作，实际上是 Jean-Pierre 刚刚写完的，但它有点神秘，为什么这会起作用。坦率地说，我对这种方法有点不舒服，但我们必须接受它确实有效。
如果你很小心，你知道真正的工程师在建造东西时并不一定知道它们为什么有效，这是好的工程师。然后在法国有一个普遍的笑话，这里所有人都应该学习，那就是从巴黎综合理工学院出来的学生，当他们建造东西时，它不起作用，但他们可以告诉你为什么。抱歉，我没在这里学习。你可以告诉我。
好的，让我为了节省时间稍微跳过一点，因为我们浪费了一些时间。所以这是一种实现这种音频蒸馏的特定方式，叫做 IA。还有另一种叫做 DINO 或 DINO。我稍微跳过了。所以 DINO，它是 V2，人们正在研究 V3。这是我一些巴黎公平团队的同事们提出的方法，由 Maximo Cab 领导的团队。然后是一个稍微不同的版本，叫做 IA V Jepa，也是由巴黎和蒙特利尔的公平团队提出的，主要是。所以不需要负样本。这些系统学习通用特征，然后你可以为任何下游任务学习这些特征，而且这些特征真的很好。
所以这效果非常好。我不会让你感到厌烦，因为我没有时间。最近，我们为视频开发了一个版本。这是一个系统，它从视频中获取 16 帧的片段，然后你弄脏它，你取这 16 帧，通过编码器运行，然后通过掩码一部分来弄脏这 16 帧，然后通过相同的编码器运行，然后训练一个预测器来预测完整视频的表示，而不是部分掩码或弄脏的视频。所以，这又是一群在巴黎和蒙特利尔的公平研究人员。这效果非常好，因为你学习到的特征可以输入到一个能够对视频中的动作进行分类的系统中，并且你用这些方法获得了非常好的结果。我不会让你感到厌烦，但这里有一个非常有趣的事情。这是我们刚刚提交的一篇论文。如果你向该系统展示一些非常奇怪的事情发生的视频，该系统实际上能够告诉你，我的预测误差正在飞涨，这个窗口里有什么奇怪的事情正在发生。
所以，你取一个视频，取 16 帧的视频窗口，在视频上滑动它，然后测量系统的预测误差。如果发生了一些非常奇怪的事情，比如一个物体突然消失或改变形状，预测误差就会飙升。所以这告诉你，尽管这个系统很简单，但它已经学到了一定程度的常识。它可以告诉你，如果世界上有什么奇怪的事情发生。有很多实验可以证明这一点，在各种环境中，针对各种类型的直观物理学。但我将跳到这个最新的工作，DINO 世界模型。
所以这是使用 DINO 特征，然后在上面训练一个预测器，它是动作条件化的，所以它是一个我们可以用于规划的世界模型。这是一篇在 arXiv 上的论文，还有一个网站你可以查看，网址在上面。基本上，使用你运行到 DINO 编码器的世界图片，然后是一个机器人可能采取的动作，你得到下一帧。从世界中获得相同的下一张图像，运行到 DINO 编码器，然后训练你的预测器来预测给定所采取的动作将要发生的事情。非常简单的规划。
你观察到一个初始状态，运行到 DINO 编码器，然后用想象的动作运行你的世界模型多个时间步。然后你有一个目标状态，它由一个目标图像表示，例如。你将其运行到编码器，然后计算预测状态和表示目标图像的状态之间的状态空间距离。规划就是运行时进行两次优化，找到一个行动序列，使成本最小化。
在推理时，人们对测试时计算等等感到兴奋，好像这是什么新鲜事物。这在最优控制中是完全经典的，这被称为模型预测控制。它已经存在了很长时间了。关于使用这种模型进行规划的第一个论文是来自 60 年代初的。学习模型的论文更近一些，来自 70 年代，实际上来自法国。它被称为 EDCOM。最优控制领域的一些人可能知道这一点。但这是一个非常简单的概念，它效果惊人。
所以，让我跳到视频。所以，假设你有一个这个小 T 形的东西，你想把它推到一个特定的位置。你知道它必须去哪个位置，因为你放了一个那个位置的图像，运行到编码器，它会在表示空间中给你一个目标状态。让我再播放一遍视频。所以，在顶部，你看到实际发生的事情，当你采取一系列规划的行动时。在底部，你看到系统正在规划的行动序列的内部心理预测。它被解码器运行，产生内部状态的图像表示，但它是单独训练的，没有图像生成。
让我跳到更有趣的。这里有一个例子，你有一堆随机扔在地上的蓝色筹码，目标状态在顶部。你看到的是规划产生的行动，以及机器人完成这些行动。这个环境的动力学实际上相当复杂，因为这些蓝色筹码会相互作用，等等。系统只是通过观察一系列状态-动作-下一状态来学习这一点。这在很多情况下都有效，比如手臂在迷宫中移动，推 T 形物，等等。
所以，我不确定为什么它又回来了。我们已经将类似的想法应用于导航，但为了节省时间，我将跳过。所以，这基本上是一系列视频，其中一帧是在某个时间拍摄的，然后机器人移动，通过你移动了多少的轨迹，你得到下一帧。所以你只是训练一个系统来预测如果你采取特定的运动动作，世界将会是什么样子。接下来你可以做的是，你可以说“导航到那个点”，它会做到，并且在途中避开障碍物。这是非常新的工作。
但让我进入结论。我有一些建议。放弃生成模型，这是当今最流行的模型，每个人都在研究它。研究 Jepa，它们不是生成模型，它们在表示空间中进行预测。放弃概率模型，因为它是难以处理的。使用基于能量的模型。AMI 在此问题上已经有大约 20 年的争议性讨论了。放弃对比方法，转而采用正则化方法。放弃强化学习，我说了很久了，它效率低下。你必须在模型不准确或成本函数不准确时才使用强化学习，作为最后的手段。但如果你对人类水平的 AI 感兴趣，就不要研究 LLM，没有意义。我的意思是，如果你在学术界，就不要研究 LLM，因为你正在与成百上千拥有数万个 GPU 的人竞争，你没有什么可以贡献的。做别的事情。
有很多问题需要解决。用大规模数据训练这些东西等等。规划算法效率不高，我们必须想出更好的方法。所以，如果你热衷于优化应用数学，那很棒。具有潜在变量的 Jepa，不确定性下的规划，分层规划，这是完全未解决的。学习成本模型，因为很可能你无法手工构建它们，你需要学习它们。然后还有探索等问题。
所以，未来我们将拥有通用的虚拟助手。它们将随时陪伴我们，它们将是我们与数字世界所有交互的媒介。我们不能允许这些系统只来自美国西海岸或中国的少数几家公司。这意味着我们构建这些系统的平台需要开源且广泛可用。它们训练起来很昂贵，但一旦你有了基础模型，为特定应用进行微调相对便宜，而且很多人都能负担得起。所以平台需要共享。它们需要说所有世界的语言，理解所有世界的文化，所有价值体系，所有兴趣中心。世界上没有一个实体可以训练这种基础模型。这可能需要以协作或分布式的方式完成。再次，这为对分布式算法进行大规模优化感兴趣的应用数学家提供了一些工作。
所以，开源 AI 平台是必要的。我看到欧洲和其他地方的危险是，地缘政治竞争会诱使政府基本上禁止发布开源模型，因为他们认为如果他们保守科学秘密，他们就能保持领先。那将是一个巨大的错误。当你秘密地做研究时，你就会落后，这是不可避免的。发生的情况是，世界其他地方将走向开源，并将超越你。这正是目前正在发生的事情。开源模型正在缓慢而稳步地超越专有模型。
非常感谢您。