Transcription
史蒂文·塞茨：欢迎大家来到艾伦学院的杰出讲座系列。今天你们将大饱眼福，因为我们今天的演讲嘉宾是迈克尔·艾布拉什。如果你在谷歌上搜索迈克尔，会看到他的一张大照片，以及一个用两个词概括的描述：“美国程序员”，我今天早上告诉他这一点，他很赞赏。他点头说，这确实是一个很好的描述。但我不太确定这是否完全体现了他的全部。所以我在想，也许我们应该再加一个词，我会和我在谷歌认识的人谈谈这件事，但我认为我们应该在后面加上“巫师”，变成“美国程序员巫师”。我认为这更能描述迈克尔·艾布拉什。那么，有多少人听说过《雷神之锤》这款游戏？请举手。对于一款 30 年的游戏来说，这已经相当不错了。但对于你们其他人来说，这基本上是第一款真正意义上的、现代的 PC 3D 电脑图形游戏，它支持所有炫酷的功能，比如实时纹理映射、每秒 30 帧、纯粹的导航、6DoF 等等。在 90 年代做到这一点尤其具有挑战性，因为当时还没有 GPU。没有图形硬件。所以你必须在软件中完成所有工作，这需要相当多的巫术才能实现。而这基本上是迈克尔，加上另一位著名的黑客约翰·卡马克，他们当时完成了这项工作。这在很多方面为现代电脑游戏和实时 3D 图形奠定了基础，是一个真正的里程碑。这还建立在迈克尔过去十年在成为图形编程世界专家以及协助微软发布 DirectX 等方面所做的努力之上。所以，我认为如果你快进到今天——我的意思是，这一切在某种意义上都是古老的历史了，但我认为你可以将这些联系起来，与迈克尔目前的工作联系起来，他正在从事头戴式显示器上的沉浸式 3D 图形。所以他目前的工作是 Meta Reality Labs 的首席科学家，他领导着虚拟现实和增强现实的研发。所以我想他今天会告诉我们更多关于这方面的内容。请欢迎迈克尔·艾布拉什。
迈克尔·艾布拉什：谢谢你，史蒂夫。[掌声] 我不会说“巫师”。约翰·卡马克，我会说他是巫师。对我来说，我想说的是，我在这行已经很久了，做过很多事情，坦白说，这还不错。我的意思是，其中一件很酷的事情是，你身处一个不断变化的行业，但它总是很有趣，而且不会消失，所以这还不错。这是我第三次来这里演讲，很高兴回来。第一次是在 11 年多前我开始做 Oculus 研究之后不久。那是一段很长的时间，长到足以经历几个不同的名字，直到我们最终确定为 Reality Labs Research，而且比我以往在任何一个项目上工作的时间都长。这真是一段艰辛的旅程。事实证明，从零开始建立一个研究实验室，尤其是在一个全新的领域，有很多比这更容易的事情。所以你可能会问我——偶尔，我甚至可能会问自己，为什么在我头发变白的时候还在坚持做这件事。奇怪的是，我找到的最好的答案可以追溯到 86 年前，请原谅我古老的措辞。“每个人都应该能够掌握所有的想法，我相信未来他将会做到。”让这一点成为现实，就是我仍在做这件事的原因。作为世界上一些最优秀的技术人员，记住这一点对你们也会很有帮助。那么，这到底意味着什么呢？好问题。要回答这个问题，我们必须先回顾 11 年，然后是 68 年，漫步于大量的技术之中，并进入一些形而上学和哲学。让我们先从 2014 年我所期望的以及为什么期望开始，看看它是如何实现的。这是我在那个夏天的一次 SIGGRAPH 演讲中的一段话。“10 年后，我认为 VR 将在很大程度上改变我们与技术互动的方式。”嗯，现在已经 11 年了，正如霍夫施塔特定律所说，它总是比你预期的要长，即使你已经考虑了霍夫施塔特定律。我认为可以说，虽然我仍然相信这个愿景，但要实现 VR 的全部潜力确实比我预期的要长。幸运的是，我也对冲了我的赌注，我说，我毫不怀疑，在 40 年内，这个星球上大多数人的日常生活将包括 AR 和 VR。我们才刚刚开始十年，所以还有很多时间证明我是对的。无论如何，AR 和 VR 对我来说仍然是未来很重要的一部分，而且也发生了很多好事。Quest、Orion 和 Ray-Ban Metas 都是一类新的变革性技术的一部分，而 11 年前它们仅仅是一个概念。在一个意想不到的情节转折中，事实证明，VR 和 AR 的感官沉浸感只是故事的一部分。我在 2014 年来到 UW 时就得到了这个转折的第一个线索，正如我们稍后将看到的。过一会儿，我将回顾 Reality Labs Research 的起源和我们的一些成果，以及走向情境化 AI 的旅程。但首先，我想快速回顾一下我为什么对 VR 有如此高的期望，并且至今仍然有。那些期望的根源在于以人为本的计算的历史，也许我更有能力或更愿意看到这种联系，因为我亲身经历了这段历史。我出生的那天，世界上有电视、广播、电影、报纸、杂志、唱片机、固定电话，信不信由你，电报仍然是一种通信方式。除了面对面交谈，这就是通信渠道的总和。当你走出家门时，字面上，在这个词的意义上，没有人能够联系到你。花点时间想想，如果你被传送到那个世界，它会感觉多么陌生。感觉就像你大脑的一部分被移除了。没有智能手机，没有笔记本电脑，没有视频会议，没有 Uber，没有亚马逊，没有电子邮件，没有短信，没有 Facebook。缺失的东西的列表基本上就是我们今天生活方式的描述。这是真正的改变，值得理解它为什么会发生，因为它即将再次发生。一个好的起点是把过去 50 年的革命放在背景下。技术就是尽早抓住浪潮，乘风破浪，然后抓住下一波，移动设备、社交网络，等等。但有浪潮，也有海啸。你们大多数人一生都只经历了一次海啸，在其中乘着小浪。那场海啸是个人计算出现完全可预测的后果，也是为什么当今世界与我出生时的世界几乎没有相似之处。我称那场海啸为第一次伟大的人类计算浪潮。但第一次浪潮只是开场。我们正处于第二次伟大浪潮的开端，它将比第一次浪潮更深刻地改变世界。今天，我将谈论第二次浪潮。但在我们能够正确讨论它之前，我们需要了解第一次浪潮。要做到这一点，我们需要回到 1957 年的起点。那时，J.C.R. 利克莱德，他总是坚持人们称他为利克，在林肯实验室的地下室遇到了实验性的 TX-2 计算机。TX-2 是最早能够实时交互的计算机之一，这次经历让利克顿悟，最终将改变我们的世界，总结为这个非凡的见解。“希望在不久的将来，人类大脑和计算机会紧密地结合在一起，由此产生的伙伴关系将以任何人类大脑从未有过的思维方式进行思考，并以我们今天的信息处理机器无法企及的方式处理数据。”为了完整地描绘出这位可能最重要但却无人知晓的人物，在 60 年代，利克在 ARPA 启动了一个名为“星际网络”的项目，该项目演变成了 ARPANET，最终演变成了互联网。他还资助了 ARPA 的各种其他研究，这些研究都为他的愿景提供了支持。利克资助的研究人员之一是道格·恩格尔巴特，对他来说，人机交互不仅仅是一个有趣的问题。他认为这对人类至关重要。正如《引导》一书所说，恩格尔巴特认为世界上许多问题的复杂性正变得不堪重负，而解决它们的时间越来越短。他确定需要的是一个增强人类智能的系统，共同转化或共同进化人类及其使用的机器。这种思维最终导致恩格尔巴特提出了这个问题。“如果你的办公室里，你，作为一个智力工作者，得到一台电脑显示器，背后有一台为你全天候待命、对你的每一个动作都立即响应的电脑，你能从中获得多少价值？”在回答这个问题的过程中，恩格尔巴特团队发明了鼠标、窗口界面和超文本等。1968 年，他通过“演示之母”展示了以人为本的计算的未来之路，演示了如今围绕着我们的图形用户界面的可识别的祖先。恩格尔巴特团队中的很大一部分人最终在 70 年代去了施乐帕洛阿尔托研究中心（Xerox PARC），利克资助的许多研究人员也去了那里。PARC 创建了 Alto，并改进和扩展了恩格尔巴特的成果，创建了 Alto 的界面，然后直接影响了 Mac 团队在 1979 年的两次访问，这导致了 Mac 和 Windows 以及我们今天生活的交互式世界。利克和恩格尔巴特的深远影响体现在你们每个人口袋或包里运行的利克愿景的直接后代，以及恩格尔巴特界面的直接后代。而且你们几乎每个人都靠着另一个直接后代谋生。然而，尽管这场革命如此波澜壮阔，它尚未完成。原因如下。在最基本、最不浪漫的层面上，我们每个人都是一个带有内存、输入和输出的 CPU。我们对世界的全部体验取决于通过我们的感官输入的信息以及我们感知到的行动结果。如果输入的信息和行动的结果对我们来说变得更有价值，我们的生活就会得到改善。至关重要的是，信息来自哪里或行动在哪里表达并不重要，这意味着虚拟信息和行动可以与真实信息和行动一样有效。这可能让你感觉不对。我们倾向于有一种可以理解的偏见，认为现实世界比虚拟世界更重要。但现实地说，这已经是我们生活的世界了。你通过浏览器获取新闻，而不是通过印刷报纸或城镇传令官。你主要通过消息、视频通话和电子邮件与朋友和大家庭交流。你大部分工作都在电脑上完成。虚拟信息和行动已经深深地嵌入我们的世界。但这种嵌入在过去 50 年里一直处于中间状态。利克发起的革命创造了一个庞大的虚拟世界，我们不断与之互动，但方式非常有限。这个虚拟世界被带入现实世界，呈现在二维显示屏上，这就像时空中的一个缺陷，一个插入现实世界的虚拟切片。现在，这已被证明非常有益，但它只利用了我们双手和感官可用带宽的一小部分，因此只能提供我们能够体验和做到的全部范围的一小部分，这就引出了第二次浪潮。为了完全实现愿景，我们需要能够以全带宽驱动我们的感官，并自由地在 3D 中混合真实和虚拟内容，将我们想要的带宽分配给虚拟世界。但驱动我们的感官意味着什么呢？幸运的是，这并不意味着要精确复制现实，因为那是不可能的。它意味着提供输入，使我们的感官能够向大脑发送期望的信号，这是一个非常不同的命题。例如，来自现实的光子不断更新。但屏幕上的光子以离散的帧更新，通常每秒不到 100 次。但由于视网膜累积光子的方式，以便向大脑发送信号，以及大脑评估运动的方式，虚拟图像可以与真实图像无法区分。现在，这很重要，但不是关键。关键在于我们体验到的现实是我们大脑的重构。事实上，这是一种幻觉，尽管它是一种高度实用的幻觉。在电影《黑客帝国》中，墨菲斯说得很好。“什么是真实的？你如何定义真实？如果你说的是你能感觉到、闻到、尝到和看到的东西，那么真实就是你的大脑解释的电信号。”墨菲斯用这句话提出了两个关键点。首先，我们，我们的意识，从未真正与现实世界互动。相反，我们与来自我们眼睛、耳朵、皮肤、舌头、鼻子和平衡器官以及我们全身的传感器的信号进行互动。我们只接收那些传感器检测到的、解释的、并发送到大脑的信号，而这实际上是现实世界的一小部分。以视觉为例。我们只能以高分辨率看到大约 2 度的圆。我们每只眼睛都有一个盲点。我们的视野中心没有蓝色感光细胞，除了我们聚焦的平面之外，一切都是模糊的。尽管我们的视觉数据似乎很丰富，但实际上却惊人地稀疏，远远不足以让我们直接体验世界。这可能让你感觉不对。你的一生不都是直接体验世界吗？但如果你是在直接体验现实世界，为什么你看不到你的盲点？为什么你不知道你无法直接看到蓝色？为什么你无法分辨你只在高分辨率下看到拇指大小的区域？这是因为你的大脑会推断出一个模型，该模型根据来自你感官的输入、你的历史以及大量的先验信息，在你所处的每个时刻代表最有可能的世界状态。而你实际上看到、听到、感觉到、闻到和尝到的就是那个模型。我们每个人所体验到的现实的核心在于，我们是推理机器，而不是客观观察者，我的意思是，外面可能存在一个真实的世界，而你的大脑正在接收来自你的感官及其内部模型的非常有限的信号，并试图推断那个真实世界的状态。当然，现实是我们体验到的东西，所以语言只能带我们走这么远。看看一些推理机制失效的例子，我们可以从中获得一些乐趣，这将有助于澄清问题。这里有一个例子，表明你的视觉系统是在逆向工程世界，而不是简单地记录它。花点时间弄清楚哪张桌子在二维测量下更宽，哪张桌子更长，假设你将它们旋转以对齐。准备好了吗？它们的大小完全相同。你认为形状在移动时发生了变化？我也是。我第一次看到它时，不得不使用尺子在屏幕上测量它，以说服自己。我们生活在一个三维世界中，而桌子二维形状所暗示的三维物体彼此之间差异很大。你的大脑会自动为你进行这种计算，假设你看到的是一个三维世界。在比较这里二维桌子尺寸的特定情况下，这是错误的，但总的来说，它使你能够在一个三维世界中运作，而这恰好是我们生活的地方。接下来，让我们看看运动。当然，吸管并没有真的穿过窗户。这里发生的是你做了一个非常合理的关于世界的假设，但它恰好是错误的。窗户上有许多线索暗示了一个不存在的透视，所以你的视觉系统会自动推断窗户在旋转一半时向后旋转。然而，吸管上没有这样的线索。因此，吸管似乎直接穿过窗户旋转，即使你的意识知道这与任何合理的现实模型都不符。我们的世界模型整合了所有感官的数据，因此多感官错觉更能揭示现实的推断性质。其中一个，麦格克效应，可能是我见过的关于我们如何创造现实的最佳演示。[视频播放]——“吧”。“吧”。“吧”。“吧”。“吧”。“吧”。“吧”。[视频播放结束]迈克尔·艾布拉什：显然，她说的是“吧，吧，吧”。现在，让我们看一个稍微不同的视频。[视频播放]——“远”。“远”。“远”。“远”。“远”。“远”。[视频播放结束]迈克尔·艾布拉什：在这里，我们可以清楚地听到她说“远，远，远”，但实际上她并没有。视频显示她说的是“远”，但音频轨道与她说的“吧”是同一个，我们在第一个视频中也听到了，但我们清楚地听到了她说“远”。视觉输入正在说服我们内部的推理机制以不同的方式解释音频。为了让事情更加清楚，让我们再看一次。我们将听到相同的音频，说的是“吧”，但这次我们将有一个分屏，一边是一个说“远”的脸，另一边是一个说“吧”的脸。播放时，将你的眼睛从一侧移到另一侧，并观察你听到的声音如何变化。再次，来回移动你的眼睛，看看你听到的声音。
[视频播放]——“吧”。“吧”。“吧”。“吧”。“吧”。“吧”。“吧”。“吧”。[视频播放结束]
迈克尔·艾布拉什：那么，现在问问自己，什么是真实的？你听到的取决于你看到的东西，而不仅仅是撞击你耳膜的声音。你不是一个麦克风。你是一个推理机器，它整合所有可用的证据来构建最有可能的世界模型。简而言之，现实是我们大脑根据其世界模型和来自我们感官的稀疏数据所重构的。我认为可以说，我们对世界的体验是一种幻觉，进化为了在生存和繁殖方面具有高度的功能性。换句话说，我们对世界的体验就是我们对现实的某种界面的体现。这就引出了 VR。现实是你的大脑根据其世界模型自动从感官神经冲动中推断出来的，这就是杰里米·拜伦森说“所有现实都是虚拟的”的原因。这意味着虚拟现实不必复制现实世界就能起作用。它只需要提供正确的输入，以满足相关的感官并驱动正确的推理。套用墨菲斯的话说，有些规则可以弯曲，有些可以打破。所以，终于，我们回到了这句话，我在《林中秘境》这本书中偶然看到了它。它在一个关于尼尔的章节中间，尼尔是一个印度裔男孩，他探索早期微型计算机的奇迹以及他可以在其中构建的虚拟世界。在瘫痪后，他更加沉迷于创造这些世界，以至于他的父亲问道：“你怎么会变成一个如此专注的生物？”书继续写道：“男孩没有回答。他们都明白。毗湿奴已经将所有生命的可能性都注入了他们小小的 8 位微处理器，尼尔将坐在屏幕前，直到他释放创造。”我完全理解尼尔的感受，因为 45 年前我爱上了我自己的小 8 位处理器。当我第一次看到我创造的一个生物在屏幕上移动时，我就知道我将花余生去探索潜藏在硅谷中的无尽世界。这就是问题的核心。所有的可能性都潜藏在虚拟世界中，只等待有人去释放它们。而这种无限可能性的愿景正是 VR 所承诺的。所有可能的人类体验都存在于那个空间中，如果我们能为我们的感官提供足够丰富的信息。我 11 年前创立 Oculus Research 的使命就是通过以一种更丰富的方式驱动我们的感官来开始探索这些可能性。我当时还不知道利克是谁，但事实证明，我们的愿景从根本上是相同的，就是释放创造。那么，我是如何做到的，又是如何实现的呢？剧透一下，我们还没有释放所有的创造，但我们已经取得了真正的进展。一开始，我只确定了几件事。第一，我知道目标是创造下一代 VR。这意味着我们需要弄清楚在未来三到十年内，需要什么才能将 VR 推向新的水平，而这不会通过正常的迭代产品来实现，然后倒推以弄清楚如何实现，发明任何不存在的必需品。第二，我看到了一系列研究支柱，这些支柱是达到新水平所必需的，并且在十年内是可行的，并将它们作为当时 Oculus Research 的重点。第三，我得出结论，要正确开发这些技术，唯一的方法就是作为完整的系统，拥有概念验证演示，适合展示产品路径，而不是适合论文的部分进展。为了做到这一点，这些支柱需要结构化、专注的团队和路线图，并配备完整的工程、设计和其他学科。此外，虽然研究人员将设定方向，但这些团队是围绕使命建立的，而不是由支持组织的研究人员。第四，每个支柱都需要一位领导者，他不仅要有雄心勃勃的愿景和强大的领域技能，而且还要能够围绕该愿景建立和领导一个团队。然后，在找到这些领导者之后，我需要给他们完全的自由。我的工作是把合适的人聚集在一起，并在他们想把研究带到哪里去支持他们，而不是告诉他们该做什么。我的假设是，他们比我更了解如何推进他们的领域。否则，整个事业几乎注定要失败。最后，我意识到，要实现第二次浪潮所需的工作与过去几十年所需的任何工作都根本不同。Xerox PARC 和 Mac 确立了人机交互的基本模型，即带有键盘和指针的二维屏幕，此后的一切都是对该模型的迭代，进步由摩尔定律和软件驱动。相比之下，第二次浪潮的基本模型仍然未知，并且需要在多个领域——显示器、计算机视觉，尤其是界面和交互——取得突破，才能弄清楚这个模型。老实说，我低估了技术挑战，也低估了所需的交互模型的根本不同。但我知道我们面临着一些新的、非常不同的东西，我们需要开放新可能性的领导者，而不是被旧范式束缚的专家。所以，当我接受布伦丹·艾里布在 2014 年 4 月提出的建立 Oculus Research 的提议时，我知道需要做什么。这是我在那个夏天在卡内基梅隆的思考方式。“我们的方法是建立一个多元化的领先研究团队，涵盖从图形到触觉，再到人类因素、心理学、光学等各个领域，并结合一流的硬件工程师、程序员和设施，围绕解决 VR 的问题建立关键的互动技能，并开始在未来 5 到 10 年内原型化有前景的技术。”事实上，这正是最终发生的事情。但事实是，当时我不知道从哪里开始。我从未在研究实验室工作过，更不用说经营一个了。我几乎立即就做了我的第一个关键招聘，这让我侥幸成功。VR 和道格·兰曼的研究兴趣非常契合，所以他一听说收购就感兴趣了。我之前已经和道格有过几次关于他出色的光场显示器原型讨论，他是一位才华横溢、富有创造力的显示器研究员，人脉广泛且备受尊敬，他再合适不过了。所以道格成了我们的第一个研究员。这确实非常成功。多年来，道格的显示系统研究团队开发了广泛的沉浸式技术和原型。例如，Boba 头显，其视场角高达 180 x 120 度，约占人眼视场角的 90%。他们还开发了 Half Dome 系列的变焦原型，表明正确的景深可以显著提高舒适度和清晰度。作为道格团队在这里进行的系统级工作的例子，在 Half Dome 3 中，六个液晶透镜被驱动以扫描 64 个焦平面。当我们循环切换不同的透镜状态时，可以看到右侧的焦深平滑变化。而且，与我今天将要谈到的每个团队一样，显示系统研究还有更多内容即将推出，我希望在不久的将来能与大家分享。但尽管能立即得到道格是多么幸运，他只是我需要招聘的 10 位支柱领导者之一。由于我在研究界的人脉很少，我决定进行一次公路旅行，建立联系，看看我能否聘请到一些在计算机视觉、显示器和音频等领域的大人物。所以那个夏天，我在卡内基梅隆、北卡罗来纳大学教堂山分校、SIGGRAPH 和 UW 进行了演讲，这次公路旅行为 Oculus Research 奠定了基础。让我们跟着我穿越全国的行程。剧透第二部分，我在这次公路旅行中没有聘请到任何大人物。在第一站，CMU 的教职员工对 VR 表现出零兴趣，但我最希望见到的教授不在，亚瑟·谢赫，他当时正值第一个孩子出生。亚瑟，他实际上是一位相当有名的人物，通过电子邮件为他的缺席道歉，并承诺我们以后会谈。几个月后，我们进行了视频会议，这导致了一系列关于亚瑟关于远距离真正人际连接的愿景的讨论，并最终促成了匹兹堡办公室的建立，使我们走上了实现社交传送的道路。就像这样。[视频播放]——“我在哪里？”“马克，你在哪里？”“我们在哪里？”——“你在奥斯汀，对吧？”——“不，我是说这里。我们被超现实的脸笼罩在黑暗中，感觉就像我们在同一个房间。这真是我见过的最不可思议的事情。抱歉侵犯了你的个人空间。”——“我的意思是——”——“我们以前做过柔道。”——“是的，不，我之前对团队说，我觉得我们比现在感觉更远地互相制服了。”——“我的意思是，这真是太不可思议了。我不知道如何用语言来形容。感觉就像——感觉就像我们在同一个房间。”——“是的。”——“感觉就像未来。”[视频播放结束]迈克尔·艾布拉什：在 CMU 之后，我去了教堂山，迪内什·马诺查坚持让我见他的一位即将毕业的博士生，所以我从拉维什·梅赫拉那里得到了一个演示。道格·兰曼告诉我，我一定要见安德鲁·马伊蒙内，他曾在 NVIDIA 师从他。所以我让安德鲁给我展示了他的最新项目，并告诉他，当他准备好时，我很乐意让他加入我们。我一直与拉维什保持联系，他于当年秋季加入了我们。他很快围绕他增强人类音频体验的愿景制定了路线图，他的团队现在已经生产了改进的 HRTF 和丰富的实时空间音频用于 VR，以及 Meta Connect 上宣布的 Ray-Ban Meta 的对话焦点功能，这使得在嘈杂环境中进行对话更加舒适。另一方面，安德鲁对此很感兴趣，但最终去了微软，主要是因为我们早期的人员编制很少，没有给他提供职位。幸运的是，安德鲁并没有怀恨在心，或者至少他没有表现出来。实际上，当我让他审阅这段内容时，他说我可能怀恨在心。但他加了一个笑脸，他最终还是加入了我们，所以我感觉不太糟。总之，道格在几年后聘用了安德鲁，虽然我暂时不能谈论它，但安德鲁为视觉沉浸感开辟了非凡的新可能性。那个夏天，一位名叫格兰特·斯坦顿的杰出自由职业招聘人员突然联系了我，仅仅因为他觉得 VR 很酷。在接下来的几年里，他带来了十几位优秀的工程师和研究人员，包括来自微软 HoloLens 团队的斯科特·麦克埃尔多尼，他领导了光学和显示器组件的研发。该团队后来开发了 Quest 中使用的煎饼镜头。他们还建造了 Tiramisu 原型，该原型于 8 月在 SIGGRAPH 上展出，具有超越视网膜的清晰度和高动态范围，展示了 VR 的未来。我的下一站是 SIGGRAPH，道格在那里安排了与罗布·王会面，罗布的 3Gear 团队在四个月后加入了我们。如今，罗布的手部追踪技术是沉浸感和交互的核心技术。道格和我还参观了 ILM，在那里我们遇到了罗纳德·马莱特，他于当年晚些时候加入并组建了物理 AI 团队，该团队生产了关键的动画、渲染和绑定技术。那个夏天，我曾在英特尔的 Larrabee 项目上合作过的罗布·卡文加入了我们，并负责领导眼球追踪研究。格兰特·斯坦顿带来了沃伦·亨特来领导图形部门。最后，当时在微软的肖恩·凯勒主动联系了我，并加入了我们，领导触觉和灵巧操作。有趣的是，肖恩见到我说的第一句话是：“你做了什么？我为什么要为你工作？”这恰如其分地概括了我在启动 Oculus Research 时面临的挑战。但最终，肖恩还是加入了。我那个夏天的最后一站是这里，在 UW。这次访问带来了世界一流的 VR 沉浸式技术，包括 SLAM、VIO 和混合现实，以及使跟踪工作和移动参照系（如汽车和飞机）成为可能。但我将把这次访问的细节留到以后再说，因为它也带来了一些意想不到的事情。所以到 2014 年底，几乎所有的技术支柱都至少已经开始启动了，尽管直到 2015 年中期才真正完成所有人的签约。在那时，RL Research 确实如我在 CMU 的演讲中所承诺的那样，围绕解决 VR 的问题建立了一个关键的互动技能组合。在接下来的十年里，这种关键的组合使我们能够将 VR 技术提升到新的水平，涵盖显示器、计算机视觉、音频、跟踪和虚拟形象，正如我们刚才看到的。VR 行业的发展并没有达到我 2014 年所期望的程度，但它已经取得了长足的进步，RL Research 还有更多项目正在进行中。我加入 Facebook 是因为我看到了 VR 的潜力，但马克同样对沉浸式 AR 感兴趣，所以它也成为了当年夏天路线图的一部分，除此之外还有其他一切。老实说，马克第一次提到 AR 时，我说，“但你会用它做什么呢？”这让我得到了一个眼神，基本上说，“你没有我想的那么聪明吗？”但我很快意识到，VR 和 AR 是混合现实和虚拟现实的连续体，旨在为我们的感官带来更有价值的信息。最终，我开始认识到，AR 眼镜是实现不仅仅是酷炫视觉效果的关键，正如我们很快就会看到的。AR 最初是在 Oculus Research 中孵化的，我们继续在显示器、传感器和计算机视觉等领域进行 AR 研究。十年过去了，AR 的努力取得了这个成果。[视频播放]——“这是 Orion，我们第一个功能齐全的原型，如果我自己说的话，也是世界上最先进的眼镜。”[欢呼声]“大约十年前，我开始组建一个由世界上最优秀的人组成的团队来制造这些眼镜。要求其实很简单，但制造它们的技术挑战是巨大的。它们必须是眼镜，而不是头显，没有线，重量不到 100 克。它们需要宽视场角、全息显示器，足够清晰以捕捉细节，足够明亮以在不同光照条件下看到，足够大以显示电影屏幕或多个显示器，无论你在哪里工作，无论你在咖啡店、飞机上还是任何地方，而且你需要能够看穿它们。人们也需要能够看穿它们，并与你进行眼神交流。这不是直通式。这是物理世界叠加了全息图。”[视频播放结束]迈克尔·艾布拉什：霍夫施塔特定律再次应验。2014 年，我很有信心我们现在已经推出了沉浸式 AR 眼镜。但 Orion 是一个巨大的飞跃，而且还有更好的东西即将到来。回想起来，第一个夏天感觉非常脆弱。事情本可以很容易地以非常不同的方式发展。但最终，RL Research 所取得的成就超出了我的预期。如果我们还没有释放所有的创造，我们至少已经走上了这条路。而且还有更多。让我们回到 2014 年的 UW 之行。我来 UW 是为了做一次演讲，但我真正的目标是试图吸引迪特·福克斯加入 Oculus Research。所以演讲结束后，我安排了与迪特的会面。至少，我以为是和迪特。但当我们见面时，他说，“我带来了一个我认为你应该见见的人。”于是我坐下来与迪特的博士后聊天，十分钟后，我被一个令人难以置信的强大未来愿景所震撼，这个愿景如此密集和广泛，以至于在某些方面，11 年后我仍在消化它。那位博士后是理查德·纽科姆，他创造了 Connect Fusion 和 Dynamic Fusion，但事实证明，这仅仅是他真正愿景的雄心勃勃的范围的一小部分。迪特对 Oculus Research 不感兴趣，但我的演讲给理查德留下了深刻的印象，他感兴趣，也许吧。在接下来的七个月里，理查德和我无休止地通过披萨、咖啡、早餐聊天，而他则决定他的 Surreal 初创公司在哪里可以最好地追求他的愿景。那些谈话有多令人费解？理查德在早期会议中分享的他的愿景的最简洁版本很好地概括了这一点。“坍塌宇宙的概率分布。”最终，理查德决定 Oculus Research 是正确的地方，并加入了我们。如前所述，他的 Surreal 团队为 VR 和 AR 项目贡献了重要的技术，包括 VIO、SLAM 和混合现实。但事实证明，这一切只是为了创造理查德真正目标的必要基础。为了帮助解释那是什么，我需要打下一些基础。我到目前为止描述的一切都是 Oculus Research 最初设定的目标，但事实证明，为我们带来更丰富的信息，同时使我们能够更有效地行动，只是完成利克革命的一部分。这是科幻小说中每个人都知道的部分，也是自 1968 年《达摩克利斯之剑》以来显而易见的目标。但问问自己。一旦我们能够沉浸在丰富的信息中，并能够以极低的摩擦力直观地产生行动，是什么决定了我们体验哪些信息以及我们行动的效果？换句话说，我们将如何与第二次伟大浪潮互动？这个新世界的等价物是什么？让我们回想一下利克的原始愿景。通过感官和运动动作传输信息只是将人类和计算机耦合的一部分。我到目前为止讨论的一切都与我们与外部世界的关系有关，这当然非常重要，但它不是人类体验的全部。特别是，它不是让我们成为“我们”的原因。成为人类的核心是我们大脑中发生的事情，假设、计划，尤其是我们做出的决定。叔本华指出，除了一个例外，我们永远无法真正确定我们与世界的互动。我们无法确定通过感官接收到的信息的来源，正如《黑客帝国》所清楚表明的那样。唯一可以确定的是行动的意志。当我们形成目标、做出决定并付诸行动时，我们可以确定。这个过程是内在的。技术极大地扩展了我们与外部世界互动的范围和力量，但它几乎没有触及我们的内在体验。即使我们每天都在一起，我的手机也无法理解我的目标或我的决策过程，所以它无法帮助我处理我的内在体验。但如果它能，它将以多种方式彻底改变我的生活，从提醒、听力辅助、情境化消息和通话处理，到大大改善记忆等等。AR 眼镜与能够理解你的情境并帮助你实现目标的 AI 的结合，即个性化、情境化 AI，可以实现这一切。考虑一下我之前提到的专注于对话的技术。想象一下我戴着 Ray-Ban Meta 眼镜，和一个朋友坐在一家嘈杂的餐厅。使用当前的技术，我会打开对话焦点，并在朋友说话时看着他们。当第二个朋友坐下时，我会转向看着他们说话。这样我就可以清楚地听到整个对话，尽管有噪音，尽管我有时可能会错过某人开始说话的内容，因为我当时没有看着他们。相当不错，对吧？谁不想在嘈杂的环境中听得更清楚呢？现在，想象一下，当我与某人坐下时，我眼镜上的 AI 会注意到很嘈杂，并检测到我正在进行对话，并自动增强那个人的发言。当第二个人坐下时，AI 也会检测到这一点，并捕捉每个朋友所说的任何内容，无论我当时是否看着他们。我甚至没有意识到这正在发生。就我而言，我的听力只是完美地工作。第一种情况是一个有价值的功能，但由于理解我需求和情境的 AI，第二种情况是对我感知的完整和适当的增强。现在，将其扩展到完全的情境感知。你即将看到的内容仍然是研究工作，但想象一下，你的 AI 可以像这样重建你的三维环境，并且它可以理解你在环境中的运动，它可以识别你周围的物体，它可以理解你与这些物体的互动，并且它可以随着时间的推移跟踪独特物体的运动。同样，这仍然是研究，但一旦我们有了能够实现这种情境理解的眼镜，就不需要太多想象力就能想出 AI 如何帮助我们的方法。例如，“我今天摄入了多少卡路里？”“这些微波炉中哪一个评价最高？”“我该如何修理这个自行车轮？”这些问题变得很容易回答。在会议中，可以根据讨论主动弹出相关的笔记。你可以回忆过去的经历。你的电话和短信可以根据你的认知和社交参与程度以及是否是你的母亲或机器人来电来妥善处理。演示之母展示了以 GUI 形式出现的人类计算的未来之路，它允许一套精心策划的用户操作。情境化 AI 是一种截然不同的界面，一种前所未有的界面，既是自我情境化的，又是完全开放的。情境化 AI 极大地改变了游戏规则，以至于我们需要问自己一个更新版的恩格尔巴特的核心问题。如果，在你的生活中，你，作为一个信息丰富社会的一员，得到了一台全天候为你待命、理解你的历史和情境、并且时刻了解你的目标并能够帮助你实现目标的电脑，你能从中获得多少价值？在接下来的几十年里，我们将不断完善这个问题的答案。11 年前，情境化 AI 是理查德的真正愿景。当时，我会说需要堆积奇迹才能实现它，即使是一个奇迹也很难得到。但正如列宁所说，有几十年什么都没发生，也有几周发生了几十年。虽然没有那么快，但情境化 AI 的各个部分在过去几年中非常迅速地汇集在一起，特别是由于三个关键发展。第一，大型语言模型（LLM）爆发式出现，提供了情境化 AI 的 AI 部分。第二，Ray-Ban Metas 取得了成功，并推动了快速扩展的 AI 可穿戴设备领域，为自我情境化打开了大门。第三，Surreal 的 Project Aria 研究眼镜加速了这一进程，它使得收集情境化 AI 所需的广泛的自我数据成为可能，而更强大的人在环 Aria 2 眼镜则进一步加速了这一进程。我们还开发了许多支持全天候、始终在线的情境化 AI 的技术，包括超低功耗传感器和 Orion 的基于肌电图的手环。奇迹正在堆积，技术正在汇集，我相信在未来几年里，你们会听到更多关于情境化 AI 的信息。AR、VR 和情境化 AI 一起构成了利克愿景的真正实现，涵盖了人类体验的各个方面，无论是内在的还是外在的。最终结果将是一个解锁人类全部潜力的界面。RL 研究正在朝着未来的道路迈出下一步，但这条旅程还需要研究界许多其他人的努力，希望包括你们。在那条路的某个遥远的地方，蕴藏着所有生命的可能性，而沿途的每一步都在释放更多的创造。这就是我们自那个遥远的第一个夏天以来一直追求的愿景，即使当时我并不完全知道。现在，令人惊讶的是，我们研究的范围已经真正扩大到与这句话相匹配。想象力应该是人类体验和探索范围的唯一限制。或者，正如理查德以他特有的低调方式所说，我们正在为人类创造未来的界面。我不会和他打赌。谢谢。[掌声]