Fei-Fei Li - From Seeing to Doing: Ascending the Ladder of Visual Intelligence

BENNETT AGNEW：大家好。欢迎。欢迎来到 2024-2025 学年的最后一场学术研讨会。非常感谢大家的到来。我看到了很多学生，祝贺你们所有人顺利完成本学期。至少我们快要结束了。我叫 Bennett Agnew。我是加州大学伯克利分校电气工程与计算机科学系的对外关系主任。我非常激动地欢迎本学年的最后一位演讲嘉宾，李飞飞博士。我将宣读她的一些简历细节，然后我们就让她开始演讲。李博士是斯坦福大学计算机科学系的创始 Sequoia 教授，也是斯坦福大学以人为本人工智能研究所的创始联合主任。她曾担任斯坦福大学人工智能实验室主任，时间为 2013 年至 2018 年。在 2017 年 1 月从斯坦福大学休假期间，李博士曾担任谷歌副总裁，并担任谷歌云人工智能/机器学习首席科学家。她目前是 World Labs 的联合创始人兼首席执行官，这是一家专注于空间智能和生成式人工智能的公司。李博士是国家工程院、国家医学院和美洲艺术与科学院的当选院士。请欢迎李飞飞博士。

FEI-FEI LI：你好。我不知道我是本学年最后一场讲座。祝贺你们。与斯坦福大学相比，你们的学期结束得要早得多。真的，非常荣幸能来到这里。我一直很喜欢回到伯克利，很多很多年前，我曾在这里做过暑期学生。所以我想和你们分享一下我过去二十年来在计算机视觉领域的一段旅程。我将把一些话题串联起来，试图勾勒出“视觉智能阶梯”的主题。与我们现在看到人工智能在语言智能方面爆炸式发展的时代相比，视觉智能在动物世界中是一种相当古老的功能。在自然界中，人类语言的第一个迹象出现在大约 50 万年前到可能 100 万年前。但与语言相比，视觉的出现，视觉智能的出现始于 5.4 亿年前。所以这是一个非常古老的感官系统。事实上，在视觉出现之前，地球上的生命，或者水中的大多数生命都非常简单。动物四处漂浮。没有发生太多事情。但显然，有一种推测是，由于视觉的出现，动物的物种分化开始爆炸式增长，因为进化力量、施加在不同个体和物种身上的压力，使得生命突然变得更具竞争力。生物学家称之为进化军备竞赛。在今天的化石研究中，你会发现，在 5.4 亿年前到 5.3 亿年前的这 1000 万年间，动物物种分化出现了爆炸式增长，许多人推测这是视觉出现的结果。那个时期被称为寒武纪大爆发。从那时起，视觉就成为各种动物的主要感官系统。地球上大多数动物都将视觉作为理解世界、导航世界、生存、社交和做许多事情的关键功能。而人类，显然，我们的大脑皮层功能中有很大一部分都涉及视觉处理。对我来说，视觉问题不仅仅是纯粹的感官问题。它是知觉的，是认知的。它是整体智能的基石。如果你看看人类的发展，从婴儿出生那天起，我们就开始发展视觉智能，早期是手眼协调，精细运动技能的习得，对世界的更细致的感知和表征——随着年龄的增长，在人生的每个阶段，我们都通过视觉智能继续学习、获取技能并与世界互动。视觉不仅对个体至关重要，对建立文明也至关重要。作为一个物种，我们是唯一创造文明的动物。如果你看看，无论是古埃及金字塔的设计，还是文艺复兴时期的艺术杰作，还是工业革命时期机器的精密设计，还是城市的建设，还是 DNA 结构的科学发现，还是雕塑、电影制作和机器人技术，我们文明进步的每一个阶段都依赖于视觉智能。所以，这正是我在过去二十多年里一直对视觉智能问题如此着迷，并在我整个职业生涯中热爱计算机视觉领域的原因。关键问题，对我来说，最根本的问题是，我们如何构建具有视觉智能的机器？这就是我在你们这个年纪进入博士学习时感到兴奋的原因，并且至今仍在该领域工作，感到非常兴奋。我将从一个小故事开始。我还是研究生的时候，一位我非常尊敬的麻省理工学院的计算机视觉教授给我看了这张照片。实际上，他给我看了一张类似的图片。我找不到原图，所以我就让 ChatGPT 画了一张类似的。他只是说，“飞飞，人类看这样的照片。我们可以获得如此多的信息，特别是理解正在发生的事情，仅仅通过几笔黑墨水，我们就知道有三只熊猫，它们在做什么。其中两只依偎在一起。一只感到有点孤独，转过身去，远离另一只——这种对视觉世界的细致理解，仅仅通过几笔，正是让我们着迷于视觉智能的原因。”这确实是我旅程的开始，对我来说，视觉智能要回答的第一个问题是理解，是基于我们所看到的事物，无论是自然界还是画布上的内容，来理解其语义内容或感知属性的能力。将其转化为计算机视觉任务，这些任务包括物体识别、分割、视频理解、姿态理解等等。我知道，对于这一代学生来说，这些问题似乎或多或少已经解决了。它们还没有完全解决，但确实我们已经取得了长足的进步。我将从一点历史视角开始我的演讲。在我看来，人工智能领域如今被悄悄低估的一个重要方面是神经科学和认知科学对早期人工智能和计算机视觉研究的影响。在我世纪之交还是研究生的时候，有一些非常有影响力的神经科学研究为我们指明了计算机视觉领域需要解决的重要问题。例如，Simon Thorp 在 1996 年关于人类物体分类感知速度的这项特定实验表明，在我们的脑海中，在人眼看到自然场景后的 150 毫秒内，已经出现了大脑信号的差异，显示了动物图片与非动物图片之间的区别。这是我们第一次能够量化视觉处理的速度。而这种处理涉及到复杂的物体分类。同样，在同一时期，麻省理工学院的一组研究人员向我们展示，我们不仅能快速识别自然物体，我们的大脑中可能存在专门用于重要物体类别（如人脸和地点）的神经相关性。与此同时，这类工作也启发了计算机视觉科学家——开始构建能够进行物体识别的算法。早期的算法是非常、非常刻意地手工构建的。例如，我们有 geon 理论，或广义圆柱体理论，关于使用几何设计的单元部件（无论是圆柱体、圆锥体还是椭圆体等）来组合物体。然后你可以想象这个过程有多么细致，以及泛化有多么困难。然后，在世纪之交，一个全新的领域启发了人工智能和计算机视觉。它被称为机器学习。它是统计建模和计算机科学、计算机编程的结合。我们开始看到机器学习方法的蓬勃发展。有些词汇，你们可能都没听过，比如支持向量机、贝叶斯网络、提升方法、条件随机场、或图等等。第二波与第一波手工组成的物体模型不同之处在于，我们开始学习参数，学习如何组合物体的关键特征。仍然是手工设计的特征本身，无论是图像块还是如何在场景中寻找关键图像块。但我们正朝着机器学习迈进。但所有这些英勇的尝试都没有解决物体识别的问题。机器学习中最困难的核心问题之一是泛化。世界上有数百万千万种不同的物体，而这些手工设计或手工制作的方法根本不足以帮助我们解决这个问题。我想要引用的一个最有影响力的数字来自一位名叫 Irv Biederman 的心理学家。在 20 世纪 80 年代，他是一位认知科学家，他首先推测，到 6 岁时，人类将至少识别出 3 万到 10 万种视觉物体类别。与整个计算机视觉领域当时正在处理的数据量相比，这个数字是如此惊人。当时，在计算机视觉领域，我们处理的是 20 种，最多 100 种物体类别，图像数量非常少。我们的算法出现了过拟合。那时，我和我的学生推测，除了算法之外，还有一种完全不同的思考机器学习和人工智能的方式。那就是一种“数据优先、数据驱动”的思考方式。我们共同创建了这个现在大家都知道的数据库，名为 ImageNet 数据库，其中包含 1500 万张图像，涵盖 22,000 个类别，接近 Biederman 的数字，但并非完全相同，因为他的一些类别并非完全是视觉的。这就是我们构建 ImageNet 的方式。当然，你们现在都知道，2012 年，在 ImageNet 挑战赛的第三年，我们设立了这个挑战赛，旨在激励全世界的研究人员解决物体分类问题，在那一年，Jeff Hinton 和他的学生输入了一个卷积神经网络算法，参加了比赛并赢得了当年的比赛，与前两年相比，错误率大幅降低，前两年主要是稀疏支持向量机方法。这个过程教会了我们一个非常非常重要的教训，那就是数据对人工智能至关重要。数据对机器学习至关重要。事实上，数据是人工智能的关键要素之一。自 2012 年 ImageNet 挑战赛以来，每年都会提出新的算法来挑战前一年的 ImageNet 挑战赛结果。由此诞生了非常有影响力的架构，包括 ResNet 和大量基于神经网络的架构。许多人称那一年为现代人工智能的诞生之年，也是现代人工智能时代或深度学习时代三个关键要素首次汇聚的时刻。一个是 ImageNet，另一个是神经网络。第三个——它们没有排名，但同样重要的是 GPU，它们现在是我们所有工作中最重要的组成部分。我认为 ImageNet 催生的一项持续启发当今许多计算机视觉工作的概念是“表征学习”，特别是 Kaiming 的工作，ResNet 是一项极其有影响力的工作。最近，他提出了掩码自编码器方法，试图为视觉任务学习通用表征。最近，我的学生，我以前的学生 Agrim Gupta，做了一项让我非常兴奋的工作，叫做 Siamese Masked Autoencoder 工作，他将一个视频分成两帧——它们不必是连续的——两帧来预测下一帧的掩码块。在这种表征学习方式中，这是两年前 NeurIPS 的一篇论文，我们在许多下游视觉任务中取得了相当不错的结果，从重建到分割再到识别。这项工作仍在继续，不仅在我的实验室，而且在计算机视觉领域，都在使用这些大型数据集。计算机视觉领域一直令人兴奋的一点是，回想我还是研究生时思考理解这个基本问题的那段日子。诸如细粒度物体识别、姿态估计、实例分割、活动识别等许多问题，由于深度学习方法的爆炸式发展而迅速得到解决或取得进展。这些只是许多小组的一些开创性工作，包括伯克利许多令人难以置信的工作。但是，理解，即为像素赋予语义意义的任务，是视觉智能的全部吗？我敢说不是。事实上，像素只是世界的投影。有很多东西超出了肉眼所见。因此，在我看来，阶梯的下一步，也是非常重要的一步，实际上是视觉推理，即推断或推理那些不在像素可见范围内的信息。或者需要一些演绎。例如，超越物体识别的是物体关系理解、讲故事或问答。我喜欢用 Ranjay 的工作来展示这个例子。如果你看物体标签，这两张照片是相同的。一个人和一个骆驼。现在我们对骆驼有了不同的含义，但至少——但事实是，关系截然不同。你可能不想成为右边的那个人。Ranjay 几年前的论文专注于理解视觉关系。这需要对图像内容进行更深层次的表征。他提出了场景图的概念，这个概念在许多后续论文中都非常有影响力，即以图结构连接实体及其关系。Ranjay 在场景图和视觉关系理解方面的一个例子是零样本学习，也就是说，一旦有了这种组合表征，我们就可以学习物体之间的关系，甚至超越统计上常见的关系，例如人坐在椅子上或消防栓在地上。这些是正常的、统计上丰富的物体关系示例。但有了这种表征，算法就会得到一个人坐在消防栓上的图片，并且算法能够组合并推理这种关系。Ranjay 的论文还收集了一个名为 Visual Genome 的数据集，该数据集不仅包含物体关系，还提供了高质量的数据集字幕以及视觉问答。但出于时间原因，我将不深入探讨我们基于此数据集进行的许多项目。我确实想说，物体关系理解是我认为仍然未解决的视觉识别领域之一。我知道我们正处于多模态 LLM 的时代，这些基础模型取得了许多进展。但更深层次的问题，如多物体、多参与者活动理解和推理，仍然是一个未解决的问题。这是我实验室最近的一项工作，旨在真正研究在很长一段视频中物体和参与者如何相互作用。所以，对于那些认为基础模型解决了所有问题的学生来说，我敢说，在这类更深层次的推理方面，我们还有很长的路要走。在基础模型时代之前的另一项推理工作是讲故事。我的学生 Andrej Karpathy，你们很多人现在都知道，我是最早与他一起提出使用图像字幕进行故事叙述的。当时，我们仍然在使用 LSTM，而不是 Transformer 模型或序列到序列模型。我想说，这是我感到惊讶的一项工作，因为当我于 2000 年开始我的计算机视觉职业生涯时，我于 2005 年完成了博士学位，我认为讲图像故事的能力需要我们几百年才能实现。所以我想那将是我职业生涯的最高北极星，即达到能够讲述图像故事的程度。但当时我不知道，十年后我们就能达到如此高的质量。如今，这仍然是一个未解决的问题，但我们已经取得了巨大的进步。所以，在深度学习早期，2015 年、2017 年，能够达到这一点确实令人兴奋。Andrej 的这项工作的一个副产品，他的博士论文，是我们俩在他博士毕业时的一次谈话：他做了令人难以置信的图像字幕工作。所以我问 Andrej，我说，我们能不能反过来，给它一个句子，然后生成图像？Andrej 说，不可能，我要走了。[笑声] 非常巧妙，是的。但那是我当时脑海中一个我不知道如何回答的问题。它正处于 GAN 和 VAE 的交界处。但这是一个如此根本的问题，以至于我们几年前根本不敢想象。这就把我带到了阶梯的第三级，从理解到推理再到生成，对我来说，这是视觉的终极圣杯之一，即创造新的像素或将现有像素改变成其他东西。这需要非常深厚的技术才能实现。在改变现有像素方面，我的前学生 Justin Johnson 在深度学习早期做了一项工作，那就是艺术风格迁移。事实上，他的这篇论文——Justin 发表了第一篇关于风格迁移的论文之一，该论文被行业初创公司和大型公司迅速采用。他的后续论文也是我最喜欢的论文之一，因为这个项目很有趣——那就是视频风格迁移。这是其中一个例子。但这是一种更简单的生成方式。它确实——它改变了像素，但并没有完全生成新的像素。所以，大约在那时，早期的生成算法——这是在扩散模型出现之前——GAN 和 VAE 开始出现。所以我的学生 Justin 和 Agrim 当时做了非常早期的基于 GAN 的生成工作之一，即从场景图到图像，并尝试使用场景图中的文本信息以及基于 GAN 的方法的像素信息来组合一个完整的场景。它非常、非常不稳定。我记得 GAN 的优化算法需要大量的调整。与今天相比，结果非常、非常令人谦卑，对吧？那是——首先，它在计算上极其昂贵。所以我们只能做低分辨率图像。但我们是第一批做这件事的，还有一些非常好的工作，比如 StackGAN。这是使用早期 GAN 方法从简单到复杂场景生成的进展。在这里，你可以看到这是一个更简单的句子，给你“天空在草地上方，斑马在吃草”，一直到一个像这样的场景。同样，与我不知道的今天的 MidJourney 相比，这是否令人印象深刻？当然不是，但这是计算机视觉领域首次尝试生成这样的像素。它确实让你体会到这个领域发展有多快。当然，令人兴奋的是最近用于图像和视频生成的基于扩散的架构。伯克利和行业的一些工作令人难以置信。在我自己的实验室，大约两年前，但去年发表的，是 Agrim 的 WALT 工作。它是一个双流视频，包括图像和视频编码的扩散模型。这项工作，对我来说，至少我为此感到自豪，它比 Sora 早了几个月出来。而且，据我们所知，它使用的 GPU 比 Sora 少，因为我们不知道 Sora 具体使用了多少 GPU。你可以看到，尽管仍然有很多错误，比如猫刚刚沉入水中，我们称之为灾难。[笑声] 但你可以看到，与——Agrim 是做早期 GAN 工作的那位学生。这大约是七年后。结果简直太不可思议了。所以，基本上，这就是我今天看待视觉智能的方式——我需要看看时间。我希望我没有超时。好的——有三个阶梯要攀登，理解、推理、生成。它们都依赖于两个关键组成部分：数据和算法。但有一些深层的不满，这可以追溯到 20 世纪最富有思想的心理学家之一 JJ Gibson。他一直说，我们需要用生态学的思维方式来处理智能。有人将 JJ Gibson 的生态学方法理论翻译成这句话：“不要问你的头脑里有什么，而是问你的头脑在什么里面。”另一本我个人非常喜欢的相关书籍是一位哲学家。他是一位当代哲学家，Andy Clark，他谈论环境与我们的智能和心灵之间的关系。他说：“如果我们的心灵本身可以包含我们社会和物理环境的某些方面，那么我们创造的社会和物理环境的类型就可以重塑我们的心灵以及我们的思考和推理能力。”所以，这意味着，尤其是在视觉这样一个反映现实的领域，它与语言非常不同。语言是纯粹生成性的。自然界中没有语言。你无法去大自然中凭空抓取一个词汇表。但在自然界中有如此多的像素和体素。到目前为止，我们所做的是一个平面世界的计算机视觉。我们所做的一切都假设我们正在处理屏幕上的像素和平面像素。这越来越让我感到不满意，尤其是视觉的另一个与语言不同的方面是，人们或任何代理人通过感知智能进行的互动非常多。我记得与一个六岁的孩子有过一次简单但深刻的对话，为什么树没有眼睛。你可能会笑这个问题的。但植物没有眼睛的根本原因是因为它们不动。它们不需要眼睛。任何需要感知、将感知作为手段以达到目的的动物，而那个目的是互动。对我来说，这非常非常重要。一旦我们认识到这一点，我们就会意识到，自然界的视觉智能本质上必须是三维的。它不是二维的。所以从计算机视觉的角度来看，如果我们继续在一个平面地球上工作，在一个平面地球上，我们会遇到很多问题，很多失败案例，很多能力限制。我们会产生奇怪的伪影。没有对三维的理解就很难推理，等等。我使用这个例子是因为我喜欢它。这两样东西——一个本质上是三维的，一个本质上是二维的，而且两者都是生成的场景。你可以看到，如果你想插入任何物体与环境互动——这个球是数字插入的。它可以在三维场景中移动。它不能在二维视频中移动。下面的视频是类似 Sora 的算法之一。所以，让我们回到熊猫的故事。真正启发我的是 Ted Adelson。他是麻省理工学院的一位教授。如果你没听说过 Ted Adelson，你应该知道他在计算机视觉领域做了大量有影响力的工作。我最喜欢 Ted Adelson 的一项工作是他关于棋盘错觉的研究，他会问你，方块 A 和方块 B 的灰度是否相同？直到我给你看这个，你才相信它们有完全相同的灰度，这真是令人难以置信，对吧？这是非凡的。为什么？因为我们的大脑是三维构建的。我们已经学习了三维的先验信息。我们已经学习了几何形状的结构。我们已经学习了光照。我们已经学习了阴影。由于所有这些三维推理，我们强迫自己以某种方式生成颜色和亮度，这就是我们得到视觉错觉的原因。所以 Ted 也启发了我思考三维。当然，柏拉图也谈论过这一点。在柏拉图的洞穴寓言中，他说，视觉的问题就像你有一群——他说洞穴里的囚犯被迫向前看。在他们身后有一个真实世界的戏剧正在上演，但他们看到的是那个戏剧的二维投影。这些囚犯的任务是重建真实世界的事物。在某种程度上，这就是我们一直在用平面世界所做的。所以，这一切都说明，在真正的三维世界中，我们可以做很多事情。这正是我个人在过去几年里非常热衷于解决的 3D 问题。我不知道我还有多少时间。我还有多少时间？

BENNETT AGNEW：10 分钟。

FEI-FEI LI：10 分钟，好的。我将只选择一些内容向你们展示，因为——我可能会跳过这一部分，它更多地谈论三维的理解和推理。这项工作甚至可以追溯到 70 年代。我们有积木世界。Justin，他做了 GAN 的工作，也做了一篇关于合成三维世界中推理和问答的精彩博士论文，这是一个我将跳过的巧妙的数据集。我的学生 Keshik 最近一直在使用 HourVideo 这个基准来评估三维推理或空间推理，这个基准刚刚在去年的 NeurIPS 上发表。令人难以置信的是，他使用了这些以自我为中心的视频，并收集了数千个高质量的多项选择题，这些题目不仅基于语义任务，如摘要，还包括推理任务和导航任务。我将跳过这个。要点是，在空间推理方面，即使是最强大的多模态模型，如 Gemini——当然，那是 1.5 版本——它已经发展到 2.5 版本——以及 GPT-4，与人类相比，表现也大打折扣。所以，在这些大型基础模型方面，我们在空间和三维推理方面还有很长的路要走。但在生成方面，你们中的一些人可能正在从事——伯克利实际上是过去几年中最重要的学校之一，在结合三维生成和重建方面做出了一些最开创性的工作。Ben Mildenhall 和 Ren Ng 的 NeRF 工作，以及随后的 DreamFusion 等工作，都在为新一代算法铺平道路，我称之为三维重建和生成。这是我的学生在 DreamFusion 类工作上的后续工作，通过从单个图像进行 360 度视图合成。我将跳过其中一些。但令人兴奋的是，我们现在正处于三维和空间推理的时代。我们正在看到新一类算法出现，它们超越了平面像素推理和生成。我将跳过这项关于人体的工作。我真正想强调的一点是，我之前说过，真正的感知和空间智能是达到目的的手段。问题是，我们说的是什么目的？我相信其中一个目的是具身智能，这在人类发展中也有体现。我们利用空间智能来学习与世界互动。因此，空间智能确实是连接感知与互动、从看到做到关键的催化剂和缺失环节。这就引出了机器人技术的问题，显而易见。我们都梦想着机器人能做到这一点，尤其是如果你是研究生。你做机器人的动力是做饭和叠衣服。但现实世界的机器人技术还有很长的路要走。我们看到了很多演示软件，但它们都处于高度受限的环境中。[笑声] 我知道。可怜的机器人。今天所有机器人工作的一个问题是，它们仍然规模相对较小，非常临时，没有标准化的基准。任务也很简单。但我们知道，有一天我们必须解决复杂、动态、高度多样化、互动性强、社交性和多任务环境中的现实世界机器人问题。我个人受到 NLP 和计算机视觉领域数据驱动方法的启发。因此，在过去几年里，我的实验室在机器人领域做了大量以数据为中心的工作。我无法全部讲完。我只想稍微提及一下我们所做的一些工作。例如，我们的行为工作是虚拟环境中日常家庭活动的基准。我们收集了 1000 种不同的长周期家庭活动，跨越 50 多个真实世界的大型场景，涉及 10,000 多个物体，具有 30 多种不同的属性。我们与 NVIDIA Omniverse 合作创建了一个非常强大的模拟器。这种组合可以为我们提供无限的可能性来实例化状态，不同的状态来训练和评估具身智能。这项工作还有更多细节，但其核心思想是——此外，我们还进行模拟到现实的迁移。其核心思想是创建一个大型模拟环境，用于机器人学习，我们可以将其用于不同类型的具身形态，包括人形机器人。这是一项工作。另一项工作是极致的多模态。我们不仅相信视觉，还创建了一个名为 Object Folder 的数据集，该数据集非常细致地收集了 100 个物体的视觉信息、深度信息、声学信息以及触觉信息。希望这个数据集能用于训练机器人的具身感官能力。我们最近做的另一项工作——我非常兴奋——是这项数字表亲工作。其理念是，学习可迁移的机器人策略非常困难，因为你把机器人放在文件柜前，它们会不停地打开抽屉。我相信这里的机器人专业的学生都明白我的意思，对吧？你真的能把机器人放在多少文件柜前？不多。那么，我们能否找到一种方法来增加学习数据集，并使策略学习更加稳健？因此，我们采用了“数字表亲”的概念，即遵循机器人学习对象的视觉和功能相似性，但同时实例化或检索相似对象。我们通过这种方式，例如，这是真实的东西，这是数字表亲。我将跳过这个。我们通过这种方式证明，策略学习变得更加稳健，因为我们通过数字表亲为机器人策略学习提供了比仅仅是完全相同的双胞胎更多的数据。还有一些现实世界的演示。我们做的另一项工作是使用——数据收集仍然非常困难，尤其是细粒度操作任务。当然，如果你有像埃隆·马斯克那样多的钱，你可以花 5 万美元买一套衣服，然后这样收集数据。你也可以尝试纯粹基于视觉的方法。它更便宜，但有很多问题，比如遮挡等等。所以我们开发了——我的学生 Chen——哦，这是——我的学生 Chen 开发了一种方法，希望能在两者之间取得平衡，利用这个手套——我们称之为 DexCap——它允许人类自然地执行任务。然后我们以细粒度的方式收集这些操作任务的数据。我们能够训练许多不同的任务。抱歉说得太快了。你可以查看这篇论文。好的。所以，我将跳过最后一项工作，即基于 LLM 的机器人学习。我对这项工作感到非常兴奋，但我无法分享。我确实想花大约两分钟谈谈“有什么意义？”因为我们是技术观众。但对我来说，尤其是考虑到人工智能变得多么强大，即使我知道我们还没有能力提供日常家庭机器人或视觉系统，但记住“有什么意义？”很重要。如果你看看今天的新闻，或者任何社交媒体的讨论，有如此多的焦虑和恐惧，担心人工智能会接管人类社会，威胁就业和工作岗位流失。我认为“人工智能将取代人类”的论调是错误的。我真正想思考的是人工智能如何增强人类。这应该是这项技术最宏大的目标之一。在我自己的工作中，我遇到了多种人工智能增强人类的方式。例如，我今天做的许多计算机视觉工作直接与医疗保健领域的潜在下游应用相关，在那里我们可以使用——好的。我将跳过很多这部分。这实际上是我们几年前发表在《自然》杂志上的一篇总结我们医疗保健工作的论文。但底线是，我们使用视觉识别来帮助为重病患者提供更安全、更可靠的患者护理，例如，确保我们的医生和护士在接触患者之前进行适当的手部卫生。这对于预防医院感染非常重要，通过提醒那些未能清洁双手的人。或者我们帮助医生评估重症监护病房患者的状况以及他们的活动情况，这对其康复至关重要。或者在养老院，我们使用计算机视觉方法来帮助检测感染、活动能力变化、睡眠模式变化、饮食变化。这些都是非常重要的应用，不是为了取代护理，不是为了取代护士，而是为了给他们一双额外的眼睛来帮助患者。另一个非常重要的帮助是针对严重瘫痪和患病患者。这些是非常非常困难的情况。对我来说，一件非常科幻但又令人兴奋的事情是使用机器人大脑接口来帮助这些患者。这实际上是世界上第一个非侵入性脑机接口。我们发表了这项工作，通过纯粹的人类思想，我们可以驱动机械臂完成许多任务。人类思想是通过脑电图帽收集的。这些是来自人脑的电信号。你可以说，举起这个碗或切这个蔬菜。我们实际上能够——这是一个玩具餐——使用思想驱动这些机器人来烹饪一整顿日式餐。对我来说，这是结合视觉和机器人技术的终极用途之一。这实际上是日本——这是真实的演示，一个人没有接触机器人，在另一个房间里驱动日式餐的烹饪。最后但同样重要的是，三维领域的许多应用可以用来增强创作者的工作。这就是我和我在 World Labs 的同事们所做的，我们是一家深度科技生成式人工智能公司，致力于创建世界上第一个三维基础模型，为任何三维模型数字使用提供可控性和一致性，无论是创意、设计还是其他方面。这是我个人非常兴奋的事情。你可以访问我们的网站查看我们最近的技术博客。所以，我只是——World Labs——抱歉。这是我感到如此——太酷了。我们把梵高的杰作变成了一个三维世界。在 PowerPoint 上很难表达三维，所以我们决定在里面画上篮球，以向你保证，这个梵高的世界已经变成了三维。在这个例子中，我们展示了在生成三维世界后，我们可以实现非常精确的相机控制，这与你在当今的生成视频中看到的缺乏空间一致性的情况截然不同。而且相机控制很难实现。所以，总而言之——抱歉说了太多——我只想与你们分享我关于构建视觉智能这三个阶梯的旅程。我认为我们在解决各种问题方面已经取得了长足的进步，从物体识别到关系理解再到视频生成再到机器人技术再到许多应用领域。但仍然有很多未解决的问题，从如何进行表征本身到机器人学习，我们甚至缺乏关于空间推理的基本理论，这只是我仍然感到兴奋的一部分问题。特别是对于这里的学生来说，我认为还有很多问题需要解决。请记住，无论如何，人工智能都应该在这里增强人类，帮助保护我们的尊严，并使许多事情变得更好，从医疗保健到创造力再到科学发现再到教育，等等。非常感谢。

[掌声]

是的，我想我可以问几个问题。

BENNETT AGNEW：如果有人愿意使用麦克风，我们可以使用吗？

FEI-FEI LI：是的。

听众：你好，飞飞，讲得太棒了。我对你刚才在演讲中提到的神经控制、机器人操作非常感兴趣。我想知道，如何保证这些任务的操作精度和安全性？以及在拍摄演示视频时，实际的成功率是多少？谢谢。

FEI-FEI LI：是的，关于安全保证，首先，这是一个实验室控制的演示。所以，当它成为实际应用时，我认为会有很多安全保证步骤，从紧急停止按钮到所有这些。现在，人是在另一个房间，而机械臂在另一个房间。而且没有——它只是一个桌面机械臂，它不会——它移动得非常慢。所以没关系。而且，从人类受试者的角度来看，它是非侵入性的，对吧？脑电图是一种非常、非常安全的方法。至于成功率，老实说我不记得了，我必须承认。它不是 100%。它是典型的机器人成功率之一。

听众：这是属性还是最优性？

FEI-FEI LI：这取决于任务，对吧？烹饪日式餐包含许多步骤。那段视频——那段视频剪掉了机器人等待的时间，因为发生的是，人类发送一个想法，比如“拿起那个蔬菜”。机器人需要时间来处理，然后执行。等待时间需要相当长的时间——很多分钟，我们只是把它剪掉了。那么，你如何衡量成功？你必须——是整个餐的成功还是每一步的成功？如果你计算每一步并累积起来，成功率相当低。我没有精确的数字。

听众：非常感谢。我完全可以接受你再讲得长一点。我帮助孩子们申请大学已经 10 年了，我现在正在学习临床心理学，使用大量的机器学习预测算法。但我想问的是，当你想到现在和高中生谈话时，似乎人工智能将成为一切的一部分。它就像一套工具，就像说普通话、英语和西班牙语一样。但是当你想到和高中生谈话时，你会说些什么关于有用的技能，如何考虑上大学？我知道这可能与这个场合无关，但我想知道你的想法。

FEI-FEI LI：这是一个非常深刻的问题，因为我认为——我告诉我的许多同事，100 年、200 年后，当我们回顾历史时，这个生成式人工智能——生成式人工智能时代的到来对人类文明意味着什么？对我来说，最未被言说、最深刻的改变，我们将看到，得益于生成式人工智能，不是视频或问答机器人、聊天机器人。而是教育。当深刻、强大的 AI 模型拥有无限知识时，教育意味着什么？我们是否花费 K-12 年的时间去通过一项标准化考试，而今天的 AI 可以在几秒钟内通过？所以，从教育的角度来看——我本人也是一名教育工作者——我认为，我们的年轻一代拥抱这个工具越广泛越好，因为人类的独特之处在于我们的创造力，我们深刻的情感智能，以理解我们是谁并理解彼此。我们的年轻一代越能使用这个工具，他们的创造力就越能以这些工具无法做到的方式得到释放。想想使用计算器的数学家，使用计算机的数学家，使用计算机的所有科学家。随着我们文明中技术和工具的进步，历史上从未有过一个时刻，数学研究因为我们突然拥有了更强大的计算机而放缓，或者科学发现因为我们可以进行一些自动模拟而放缓。我们一直在不断提升我们工具的创造能力。所以从这个角度来看，我认为孩子们应该真正拥抱它作为一个工具，知道如何负责任地使用它，并释放我们内在的创造力。

听众：你好。讲得太棒了。我有一个关于你对当前通用机器人领域差距的看法的问题。我知道你非常关注数据问题，以及我们如何缺乏数据生成。但我很好奇，在你看来，这与模型架构缺乏创新相比如何？许多现有模型都采用了 VLA 方法，将 Transformer 强行应用于机器人任务，这与我们存在的数据差距相比如何？瓶颈到底是什么？

FEI-FEI LI：是的，我完全同意你的观点。在某种程度上，这对我来说有点似曾相识，尽管我不想将机器人时代的这个时刻与计算机视觉的预成像相提并论。但数据和模型架构是完全交织在一起的。缺乏数据是限制我们模型架构创造力的部分原因。这就是为什么我如此相信计算机视觉的大数据，因为我个人作为一名研究生经历了一个时期，我们只是在细微地调整贝叶斯网络，因为我们没有足够的数据来尝试其他模型架构。所以我仍然相信数据将推动这一点。但我也同意你的观点，必须有更多的创新。我还认为，解锁三维空间智能将是解锁机器人能力的一个非常重要的步骤。机器人技术是一个有趣领域。它既是一个系统问题，也是一个算法问题。

听众：你好。我想问一下，你是否预计机器人领域会出现类似 AlexNet 的时刻？因为 AlexNet 直接基于你的 ImageNet。我们是否可以期待看到类似的数据集导致未来机器人能力爆炸式增长？这些数据集是否仅限于特定类型的机器人？还是我们可以泛化某种类型的机器人，使其拥有一个通用的机器人模型，而不是特定于某个六轴机械臂或人形机器人？我们可以尝试实现这样的目标吗？

FEI-FEI LI：是的，我将从两个方面回答你的问题。我将回答后半部分，然后是 AlexNet 的问题。我认为我感到沮丧的部分原因是缺乏数据集或基准数据集来驱动更复杂的行为，因为机器人领域或基准测试或演示中的许多数据集都是短暂的、局部的运动。这也是我们创建 Behavior 的部分原因。1000 个任务中的每一个都是一个真实的人类活动，比如打包三明治或整理床铺。这些都是非常复杂、长周期的、极长周期的任务。所以我想，当我们朝着这种数据集和基准迈进时，我们就是在朝着泛化迈进。在形态方面，当然，Behavior 是以人类为基础的，所以人形机器人可能是 Behavior 数据集的正确形态。但如果你看看动物世界，有一个概念叫做形态智能。我们几年前在《自然》杂志上发表了一篇关于这个问题的论文，即如果你在进化尺度上进行强化学习，跨越几代人，甚至迭代物种的身体形状，你就可以在数学上证明，你可以改变身体形状以优化任务。这就是为什么鸟看起来像鸟，鱼看起来像鱼，因为它们有不同的任务。所以我认为在形态智能方面还有很多工作要做，这取决于任务。我不认为人形是唯一的形态。你关于机器人领域是否会出现 AlexNet 的问题？什么是 AlexNet 时刻？AlexNet 时刻——如果你读过这本书，我认为它叫做《科学革命史》，如果你读过那本书，你会意识到科学进步不是线性的。它发生，尤其是在一段时间内的积分，你会遇到一些事物汇聚的转折点，对吧？显然，对于计算机视觉来说，AlexNet 是数据、模型和 GPU 的汇聚。如果我们相信这个论点，当然，将会有一个 AlexNet 时刻或 ImageNet 时刻，无论你怎么称呼它，因为会有转折点，核心科学要素的汇聚将汇集在一起，向我们展示我们以前从未见过的快速进步。所以，从哲学上或逻辑上来说，会有。我不知道什么时候。我不知道。[笑声]

听众：你好，感谢你的精彩演讲。我有两个问题。第一个是关于你提到我们正在开发能够帮助我们在视觉世界中进行推理的模型。我们已经在推理自然语言方面取得了许多成功，例如已经存在一些范式，通用范式，使用强化学习，DeepSeek-R1 可以提升大型语言模型进行推理的能力。但是你能谈谈在视觉领域是否有类似的范式可以帮助实现同样的目标，进行显式且非常——实际上，非常简单且易于实现的训练目标来完成推理吗？我的第二个问题是关于缩放。自从发现了缩放定律以来，整个行业都在进行缩放，更多的模型，以及你提到的，更多的数据和更大的模型总是效果更好。但这也会带来一些问题。例如，现在在学术界，由于我们没有很多 GPU 和计算能力，我们无法与工业界相比做出如此惊人的工作。其次，正如你提到的，有些领域，如机器人和嵌入式人工智能，你可能需要在模拟环境中训练模型。在现实生活中缩放这些数据是昂贵的，而且可能不起作用。那么，你如何看待缩放的未来，以及它将如何影响未来的发展？

机器学习，深度学习，人工智能？您是否看到当前趋势的规模正在扩大？谢谢。

李飞飞：您在挑战我的短期记忆。[笑声] 所以关于强化学习的简单目标函数，老实说，我不知道。这是一个非常好的问题。我刚才在和观众中的另一个人交谈。我和我的学生对此问题进行了很多探讨。我认为我们还没有找到一个非常简单的等价物，就像下一个词预测一样。而且我认为视觉领域也没有找到。我们有一些猜想。即使在 World Labs，我们也在思考这个问题。我认为我还没有准备好分享这些猜想，因为我不知道。它还没有经过测试。但我想这就是为什么视觉问题如此令人兴奋，因为我们还没有做到这一点，对吧？我曾与 Kaiming 谈过。MIE 有如此巨大的潜力，但即使在那里，规模化——它比他们预期的要早一些达到平台期。

第二个问题是关于规模法则本身。我仍然相信规模法则。而视觉，然后是机器人学，更是如此，还没有找到。我们只是还没有——甚至——忘了机器人学。数据点的数量太少了。即使是视觉，即使你看看 Sora 的训练或 Veo。我不知道 Veo 的视频时长是多少。但与 LLM 的数据量相比，那仍然太少了。所以——但我没有看到任何反规模法则的迹象。我只是认为我们在这个曲线上还很早，有可能我们还没有进行足够多的实验。但我实际上是视觉规模法则的信徒。在机器人学中，这是一个真正的——然后你问我们在学术界做什么？这是一个完全不同的问题。我认为学术界不应该在规模法则类的研究上与工业界竞争，因为那不是我们的优势。但我认为学术界非常、非常擅长在理论方面进行极其创新和富有创造性的工作。扩散模型就来自学术界。跨学科研究是我们的总优势。即使是强大的谷歌也没有物理系、化学系、气候系、整个医学院，以及所有这些，对吧？所以学术界有很多优势。我认为对于研究生或想成为研究生的人来说，要发挥我们的优势。之后你总能在大型公司找到一份工作，去做需要 5000 个 GPU 的工作。

最后但同样重要的是，机器人学的规模化。在机器人学规模化方面发生的一件事是自动驾驶汽车。自动驾驶汽车作为一种商业模式已经找到了一个数据飞轮。有了这个数据飞轮和近期深度学习的进步，你可以看到 Waymo 基本上达到了 L4。而特斯拉，我不知道特斯拉是哪个 L 级别，在 L2 到 L3 之间。但有很多进步。但这也有一个教训，那就是如果汽车需要如此多的数据来训练，而你所需要的——汽车是方形的、笨重的机器人，在二维表面上移动。而它唯一需要做的就是避免碰到任何东西。这就是汽车，对吧？它速度很快，但实际上，它归结为一个二维导航问题，而且需要如此多的数据。想想一个需要进入三维世界的全身三维机器人，而任务是以正确的方式触摸一切。所以我认为还有很长的路要走，而且我不知道如何获得那个数据飞轮。

Bennett Agnew：这将是最后一个问题。

观众：感谢您的引用和分享。我将要问，只是为了提到自动驾驶汽车，CV 是非常有益的。它取得了很大的成就。但对于机器人学，我很好奇，您是否会认为 CV 将是我们实现具身人工智能的最强大武器，因为对我来说，例如，当午夜我困倦时，我想喝一瓶水。即使我闭着眼睛，我仍然可以拿到旁边的水瓶。所以我只是想知道——CV 将在具身人工智能中扮演什么样的重要角色？谢谢。

李飞飞：我认为计算机视觉和我刚才说的——抱歉我快速浏览了我的幻灯片——空间智能对机器人学至关重要，因为那是——有几个原因。一是——如果你从大自然中学到任何东西，如果你看看进化的历史，它是感知和互动的交织历史。进化向我们展示了这一点。我们感知得越多，我们能做的就越多。二是，如果你看看这个问题——感知，空间智能是——你必须了解世界的状态，你需要空间智能。你必须计划，你需要空间智能。然后你必须评估状态，你需要空间智能。你可能还需要触觉以及其他一些多模态。所以对我来说，如果你的字典里的 CV 是视觉感知，我会说绝对是。CV 的空间智能部分是机器人学的关键解锁。而且我认为它被低估了。很多机器人学研究只是假设它是一个已解决的问题，但事实并非如此。

Bennett Agnew：好的。我认为这就是最后了。请大家鼓掌。

李飞飞：谢谢。[掌声]