Accelerating Embodied AI With Simulation

那么，我们将开始我们的下一个环节。我们的下一个环节将探讨一个重要的问题：具身人工智能（Embodied AI）如何在模拟中利用 USD？Lightwill 的创始人兼首席执行官 Steve Shei 将剖析研究与现实之间的差距，解决数据管理、模拟就绪资产和策略训练等挑战，以及如何将人形机器人投入日常使用。那么，请大家和我一起欢迎。>> 非常感谢，伙计。我非常感谢 Avidia 的邀请，让我今天在这里发表演讲。在 Open USD 日，我非常感谢 Aaron 和所有人，感谢他们资助 Open USD 联盟，你知道，他们做了所有这些伟大的工作，奠定了基础，以便我们能够拥有成功的模拟。是的。事实上，我在这次会议之前和伙计开玩笑。我说，请答应我，你会带来一个满屋子的观众，因为我通常非常害怕与很少人交谈，但我非常兴奋与很多人交谈，你知道，特别是昨晚我有点时差，所以睡得不好，但是当我在网上看到观众时，我非常兴奋，我完全准备好迎接今天的会议。所以，基本上，主题是利用模拟加速具身人工智能。所以，我不确定你们是否都知道具身人工智能是什么意思。它基本上是物理人工智能，对吧？以及我本人的一些背景。所以，我是 LI 的首席执行官。我很快会做一个非常简短的介绍。我之前也在英伟达工作过。所以我之前是英伟达自动驾驶模拟部门的负责人。我仍然记得在 2021 年，我与 REF（英伟达的 Omniverse 副总裁）进行了一次一对一的交流，他给了我一个非常清晰的愿景，关于 Omniverse 正在构建的数字孪生，你知道，就是为物理人工智能构建的模拟，我非常兴奋，我觉得，也许我应该离开英伟达，这样将来我就可以与英伟达非常非常紧密地合作，并利用英伟达的技术，与英伟达合作，服务于更广泛的市场，今天我非常自豪，我收到了英伟达的邀请，在这里做这个演示。所以，我有一个问题，我认为你们都是计算机图形学领域的专家，对吧？而且你们很多人肯定是游戏领域的专家，对吧？那么，你们认为模拟是为机器人服务的吗？是的，我必须说，就我而言，说实话，我总是会颠倒这个答案。有时候我觉得是，有时候我觉得不是，我可能会说，仍然是，是也不是。对。是的。我想说，你们都是计算机图形学专家，而且你们绝对有能力为机器人构建出色的模拟，这当然是肯定的，尤其是在有了这个伟大的 Open USD 标准和所有这些基础之后，你们绝对有能力为机器人构建成功的模拟。但另一方面，说实话，这仍然不是一个直截单的事情。为什么？因为游戏是为了让人类在虚拟世界中享受乐趣，对吧？但实际上，机器人的模拟任务很简单，对吧？我们只需要利用模拟来训练机器人，在模拟中测试机器人，任务是它必须 100% 部署到现实世界并且能够正常工作，对吧？所以，连接模拟和现实世界之间的物理联系是关键，对吧？而这在游戏中常常被忽略，对吧？所以，对我来说，为了进入这个行业，领导这个行业，这实际上是一个巨大的思维转变，对我来说，也是对我团队的思维转变，我将详细介绍更多。所以，Lavio 的一点背景，Livio 的使命是利用模拟加速具身人工智能，对吧？我们是目前整个机器人行业的领先的模拟和合成数据提供商，我们非常自豪，我们服务于我认为是世界上最好的机器人公司，这当然包括英伟达的 Gear Group，他们的通用人工智能，他们的通用具身人工智能团队，比如 Jim Fan 的团队，DeepMind，他们当然在具身人工智能领域投入了巨资，像斯坦福大学这样的顶尖机构，Figure，这可能是目前具身人工智能领域排名第一的初创公司，人形机器人初创公司，AGI，中国最大的具身人工智能集团，以及其他物理人工智能团队，例如 Jordi，他们专注于机器人农业的操控，Wave，这可能是世界上领先的自动驾驶模拟解决方案之一，Boss Bid 等等。我们的主要产品线有三项：第一项是 Sim Ready Assets，我将告诉你们它意味着什么，我们为机器人基础模型训练提供的合成数据集，以及我们为客户提供的模拟框架，模拟云，以便他们可以在上面训练 RL 策略。所以，让我告诉你们为什么我们在这个行业。为什么我们想进入这个合成数据模拟机器人行业？这都源于数据短缺的问题。所以，你知道，基本上，当我 2018 年开始从事自动驾驶工作时，模型尺寸还很小，而且非常模块化。我的意思是，人工智能模型非常模块化。例如，对于自动驾驶系统，它有感知模块，有规划模块，有控制模块。即使在感知内部，也有不同的子模块，对吧？所以，这是一个非常分段的系统，对吧？但是，我可以说，从 2022 年到 2023 年，特斯拉发明了 FISD，这是端到端的自动驾驶解决方案。它只是一个大型模型，对吧？你输入感知，然后得到控制的输出，因为它是大型模型，它需要比以前多得多的数据。所以，就有了数据短缺。大型语言模型也是如此，你知道，就像现在的语言模型，它们也非常模块化。你不会想象我们可以使用整个互联网甚至更多来训练一个语言模型。自从 GPT 以来，OpenAI、Anthropic 等领先的基础模型提供商，他们已经在耗尽互联网数据了。然后他们支付巨额资金给 Scale AI、Search 等数据提供商，购买海量数据，这就是为什么 Scale 被以 300 亿美元收购的原因。这一切都展示了在这个 AGI 世界中的数据短缺问题。我发现的是，物理人工智能的数据问题比大型语言模型的数据问题要大一千倍。所以，如果你觉得已经有一个价值 300 亿美元的 Scale，那么你知道，对我们来说，未来应该是 300 亿美元乘以一千。这就是我所想象的。这也是我期望这个市场能够增长的。所以，这个数据短缺问题非常巨大，我们该如何解决它？这与大型语言模型和自动驾驶非常不同。对于大型语言模型，大部分数据是免费的，因为它是互联网数据，你可以直接下载，你可以直接抓取。对于自动驾驶，大部分数据也是免费的，因为你知道，特斯拉和其他 OEM 厂商正在从汽车中获取数据，所以，你知道，汽车的购买者，用户为特斯拉，为所有这些 OEM 厂商收集数据。所以，数据在一定程度上是有用的，但它不是最关键的来源。但对于具身人工智能，对于机器人来说，情况完全相反，对吧？因为现在全球没有部署数百万台机器人，家里还没有部署数百万台人形机器人，对吧？家里还没有部署数百万只机器狗，对吧？而且我们不可能拥有机器人，然后在家里远程操作它们，对吧？就像我们驾驶汽车一样。我的意思是，这没有意义。所以，唯一的方法，唯一提供这些最重要数据的方法就是通过合成数据。这就是数据金字塔的含义。顺便说一句，要感谢 Nvidia 的 Gear Group 的联合负责人 Yuker Drew 教授。所以，现在我们真正需要的是非常高质量的模拟，而高质量，我不是指高保真。我觉得高保真在计算机图形学中，在游戏中是一个很棒的词。高保真模拟意味着从视觉角度关注细节，你可以指导它。但我想说，对于具身人工智能来说，保真度并不是最重要的。因为你正在训练一个大型模型。所以，让我举个例子。我的孩子，我的儿子，他现在一岁半，对吧？他只是个婴儿，而且他非常可爱。所以，我真的很想念他。但无论如何，你知道，他喜欢阅读，他喜欢阅读很多图表，对吧？他完全可以识别一辆自行车，即使自行车在一本书上，对吧？所以，他甚至可以识别一辆卡通自行车。所以，你可以说卡通自行车绝对不是高保真的。对吧？但他完全可以识别它。为什么？因为他有一个大型模型。他可以很好地识别它。但他仍然不会骑自行车。我的意思是，我确实给他买了一辆儿童自行车，说明上写着它只适合三岁以上的儿童。但我认为我的孩子真的很聪明。你知道，他很可能能做到。但仍然，我想说，在物理方面，他仍然需要一定的挑战、示范和学习才能完全骑上这辆自行车，对吧？同样的道理，对于冰箱，对于机器人来说，最重要的是它看起来有多好，而不是它是否像电影风格的冰箱，而是它在物理方面的准确性有多高，对吧？这包括所有的物理图纸，铰链，对吧？磁性，磁性吸合，对吧？磁性效应，碰撞网格，对吧？而对于碰撞，你实际上需要做一个非常好的近似，以确保它既准确，又计算效率高，而这实际上是最重要的。另一件事是关于力，对吧？力需要与现实世界相匹配，而这才是这个桥梁的真正难点。我想说，Open USD 是物理人工智能的 Sim Ready Assets 的基础，为什么？因为没有其他标准能够捕捉我刚才谈到的所有这些非常重要的物理组件的领域，对吧？它应该包括机器人，传感器数据，物理，光照，着色，几何图形和其他东西。所以，我强烈建议大家遵循 Open USD 标准来设计和开发你们的 Sim Ready Assets。让我来深入介绍一些 Sim Ready 领域，特别是物理方面，刚体，关节，物理材料，铰接等等。你可以看到在其他资产中没有这样的东西，但它应该存在，并且对于模拟来说是必需的。如果我们放大到关节，那么关节实际上非常重要。在物理人工智能，在具身人工智能中，有一个非常重要的东西叫做铰接对象，铰接资产，对吧？例如，冰箱，微波炉，搅拌机等等。它们对我们训练机器人进行操作任务非常重要，这比运动任务要困难得多，对吧？并且部署它们。例如，你可以在右侧看到，铰链非常重要，你知道，不同类型的关键参数包括限制，制动器，碰撞设置，以及驱动器，对吧？例如，速度弹簧，阻尼和其他力在这种情况下都非常重要。好的。所以，我想说，今天我主要会深入探讨这三个主题。首先，我将提供更多关于 Sim Ready Assets for Robotics 的例子。以及 Livio 是如何构建它的，以及 Livio 是如何利用它来生成数据的。第二件事是，我想快速介绍一下 Group N1.5，这是由 Via Gear Group 开发的世界上最领先的机器人基础模型。第三件事是，我想向大家展示，在座的各位都可以自己部署一个机器人。所以，我希望通过今天的会议，你们都可以去购买一个机器人，使用我们提供的所有开源东西，自己部署一个机器人。很酷。那么，让我们从 Sim Ready Assets 开始。所以，只是更多的例子。所以，例如，这个 V 非常非常重要，对吧？我们实际上利用模块化的刚体来模拟这个 V 用于制造目的。现在我们可以轻松地切割东西，在模拟中切割可变形的东西，这非常重要，因为我想说，很多人会争论的一个挑战是，嘿，模拟中还没有很好的可变形模拟。我们还不能训练机器人使用不同类型的工具来完成某些任务，但我们实际上展示了你可以在模拟中切割东西，教机器人切割东西。这可能是我最喜欢的，草莓。草莓和类似的东西。所以，也许我可以告诉你一些关于草莓的有趣之处。我们现在正在为许多机器人农业公司提供这种草莓。而且，你知道，机器人行业是如何发展的，这真是太神奇了。因为以前，当你想到机器人农业时，你可能更多地想到的是移动的推车，你知道，像所有运动相关的任务，导航相关的任务。但现在完全不同了。实际上，我们正在服务于机器人操作公司，比如采摘草莓，采摘葡萄等等。为了训练一个非常好的机器人操作强化学习策略，拥有非常出色的模拟至关重要。因为我想说，对于接收者和学习者来说，理想情况下应该有大型可并行化的环境，所有不同类型的程序化生成资产，所有不同类型的条件。这样，机器人通过强化学习策略，通过正确的奖励，就可以最终确定一个可部署到现实世界的有偏见的策略。为了提供这一点，我们需要让草莓可变形，我们需要让它非常容易切割，可采摘。所以，基本上，我们发明了很多东西，比如你可以轻松地从任何网格切割东西。碰撞也需要非常非常准确，因为你知道，叶子和其他东西有很多遮挡。另一件事是，这需要非常计算高效。因为我们不是在运行一个像电影一样的草莓采摘，而是实际上我们在 1490 上运行数百甚至数千个草莓资产，用于强化学习策略训练。所以，这是最重要的。所以，我们做了很多事情。还有其他事情是，这不应该是一个固定的 Sim Ready Asset，而是我们应该能够程序化地生成所有不同类型的随机 Sim Ready Assets。所以，这是草莓最有趣的部分。这是衣服，能够折叠衣服。这是通过英伟达最新的 Newton 物理软件实现的，这真的很棒。所以，很多人都在挑战，嘿，你知道，做可变形的东西，做衣服折叠非常困难。实际上，我们现在做得相当好。这也很有趣，因为，是的，所以，我们实际上，所以，我最享受的一件事是我们现在正在深入不同的行业。所以，这是用于实验室行业，实验室行业的自动化。你知道，有不同类型的实验室，在国内和全球，他们都想利用不同类型的机器人来实现自动化。为了实现自动化，他们需要利用非常精确的物理模拟，有时可以模拟化学反应，这对我们来说非常非常有趣。这是医学模拟，也很有趣。基本上，我们正在探索不同的行业，我们发现实际上很多外科医生联系我们。有些外科医生是肝脏外科医生，有些是脊柱外科医生，你知道，还有很多医疗设备公司。用例都非常非常有趣。有些用例他们想要自动化机器人来做手术。有些用例他们想要一个远程操作的机器人，让外科医生通过机器人远程操作手术。有些用例是他们想要在模拟中更好地训练外科医生，也许是在 Vision Pro 中，但具有非常精确的物理模拟。所以，我们认为这个领域有巨大的机会。但我想说，这非常困难，非常非常困难。我们才刚刚开始触及皮毛，但我们在这个领域引起了很多关注。是的。让我快速分享一下我们认为 Sim Ready 对机器人意味着什么。所以，Sim Ready Asset 标准的水平是什么？它有三个最重要的方面。第一个是物理准确性。所以，正如我之前提到的，物理组件，物理机制，碰撞，力，都需要相对准确。我们做了很多工作。我们实际上拥有物理设备。我们有人类来收集现实世界的物理参数，并将其与模拟资产进行基准测试，以确保其准确性，同时也遵循现实世界的某些分布。第二个是远程操作就绪性。所以，让我举一个非常直观的例子。所以，如果你买了一栋新房子，如果你买了一套新公寓，当你搬进公寓开始生活时，你会发现很多问题，对吧？水，如果它是全新的，它可能不是非常就绪，你知道，水管，你知道，某些东西，它们可能不是，你知道，架子，其他东西，它们可能不是完全为你准备好的。只有当你开始使用它，开始操作它之后，你才能发现，对吧？所以，对于远程操作就绪性也是如此，因为我们实际上是在模拟中为机器人建造一个家。这就是我们正在做的事情。为了验证这个家是否对机器人就绪，我们需要让机器人先住进去，对吧？那么，我们如何让它住进去呢？我们会远程操作机器人，让机器人与所有不同类型的模拟进行交互。当然可以有人工介入的远程操作。但也可以是自动化的远程操作，但所有这些都是通过模拟世界中的机器人进行的，对吧？操作不同类型的物体，打开厨房里的每一个抽屉，对吧？利用刀子切黄瓜，看看它是否可切，等等，对吧？只是为了完全耗尽它，以确保它完全可用。第三件事也非常重要且难以构建，那就是强化学习就绪性。所以，基本上，从模拟的角度来看，例如对于 Isaac Sim，你可能使用 CPU 进行远程操作，但你可能使用 GPU 进行强化学习，因为它高度可并行化。所以，有时可能会有 CPU 和 GPU 之间行为的差异。对于所有类型的模拟器也是如此。所以，为了验证强化学习，你实际上需要运行在 GPU 上。你需要训练真正的强化学习策略。所以，我们实际上，每一个制作 Asset 的人，他们的笔记本电脑上都有一个程序，可以直接用 Asset 训练强化学习策略，以验证它是否对强化 Asset 有用，它从 Blender 开始，生成 MKV 格式，转换为 USD，这是所有东西的最终目的地。我们将利用大型语言模型来帮助生成大量的物理参数，但我们也将利用人工介入，使用物理设备来收集更多的物理参数，使其尽可能地物理逼真。我们将拥有测量设备，然后我们将利用 USD Validate，这是一个非常棒的基于 USD 的服务，来进一步验证 Sim Ready Asset。然后我们将通过我们的 QA 流程或验证流程，我们有自动化的 QA 脚本，我们有人工介入的远程操作检查，正如我刚才提到的，我们有 RL 就绪性检查，这实际上是训练我们的策略来使用这个 Asset，看看它是否有效。最后一个我认为非常有趣的是，我们实际上正在利用从这些 Sim Ready Asset 生成的数据来训练一个真正的机器人基础模型，对其进行微调，并将其部署到现实世界中，以进行进一步的检查。所以，对于所有之前的检查，例如 QA 检查，人工介入远程操作检查，我们将非常频繁地进行，就像每次我们制作 Asset 一样。但对于最后一个，即生成数据并训练和微调一个 Vision Language Action 模型并将其部署到现实世界，我们将批量进行，这样我们就可以闭环，以确保模拟能够产生成功的模拟结果。是的。这基本上是我们如何对模拟与现实进行基准测试。你可以在右侧看到，这是曲线。所以，基本上，我们有从现实世界收集的曲线，也有从模拟世界中的合成传感器生成的曲线。我们将对这两条曲线进行基准测试，以确保它们相对匹配，从而定义这个模拟资产的物理准确性。我们已经在 Omniverse 上开发了许多非常好的插件，我鼓励你们也这样做，以丰富这个非常好的生态系统，以便我们能够共同构建更好的模拟资产。那么，有了 Sim Ready Asset，我们能做什么？我们应该做什么？实际上，Asset 只是第一步。最重要的是生成数据。你知道，我们利用人工介入的远程操作来操作真实的机器人，实际上是所有类型的机器人，人形机器人，带移动底座的机器人，机械臂，通过所有类型的硬件，例如 Vision Pro，Metaquest，Pico，Space mouse，以及我们自己的硬件，X skeleton 硬件，我们称之为 Joyo，即 Jello 加操纵杆。所以，是的。所以，所以，所以你可以等待那部分。是的。所以，所以，所以，它可能在之前，但基本上所有不同类型的解决方案，以便生成数据。我想向你们展示一些非常令人兴奋的东西。所以，我们刚刚设置了这个。这是世界上最大的合成数据工厂。他们不是工程师。这不是我们的工程团队。这是我们的远程操作团队。现在他们都在为机器人收集数据，有数百人，你知道，穿着各种设备，Vision Pro，Quest，Space mouse 等等，每天为机器人基础模型训练收集数据。我们可以为所有不同类型的机器人收集数据。我们将这些数据卖给世界上所有主要的机器人基础模型制造商。是的。接下来，我想快速与你们分享一下 Group N1.5 机器人基础模型以及我们帮助构建的模型。Group 1.5 我认为是在世界上最领先的机器人和人形机器人基础模型之一，由英伟达开发并完全开源。你可以看到英伟达真正体现了合成数据愿景。这就是我们成为优秀合作伙伴的原因。它花费了大量时间，例如在 SIM GR1 数据和 DreamGen 数据上。DreamDen 是另一个由 Cosmos 提供支持的，这是英伟达宣布的世界上最好的机器人基础模型，用于生成更多数据。而且，我认为未来我们在好模型中只会看到更高比例的合成数据。这基本上是我们如何支持合成数据生成。我们利用 Livio 的 Sim Ready Assets，利用我们刚才展示的 Livio 的远程操作数据，利用例如 Mimi Gen 和英伟达的其他技术来增强数据，然后输入，以及 Cosmos 等其他技术来增强数据，所有这些都用于训练机器人基础模型。我们还帮助的是，我们还利用机器人基础模型 Group N1 Group 1.5，并利用它来获取不同领域更多的合成数据。例如，这里是一个真实的工厂，一个真实的汽车工厂。我们将利用模拟来收集大量数据。在模拟中进行人工远程操作来收集大量数据，然后我们将微调 Group 1.5，然后将其部署到真实的工厂。所以，在左侧，你看到的是我们的数据收集实践。我们构建了数字孪生，我们会对其进行随机化，我们会，你知道，它实际上是一个数字表亲，你知道，有不同的版本。我们让操作员收集更多数据，利用 Mimi Gen 来增强数据，然后我们将微调 Group M 1.5，并将其部署到 Unit H1 机器人上，并部署到真实的制造工厂。是的。下一个主题是，我将向你们展示如何通过今天的会议部署一个机器人。所以，基本上，我是一个开源产品的忠实粉丝。我是一个开源产品的忠实粉丝，我会说，我强烈建议大家购买一个机器人。这个机器人是 Hugging Face 的可访问机器人，价格低于 200 美元。我个人认为机器人是机器人世界的乐高。乐高是什么？乐高是一个游戏，对吧？而且，它会激发每个人的创造力，让他们构建自己的游戏。而且，我认为 Roblox 可能是游戏世界的乐高，我认为机器人是机器人世界的乐高。因为它是非常容易获得的。它是非常基础的组件，就像物理手臂，机器人手臂，但有了基础模型，有了模拟，你可以让它做各种事情。所以，它也非常有趣。我实际上为 Livio 的所有团队成员都买了机器人，所以每个人桌子上都有一个机器人，这样他们就可以在那里训练策略。所以，基本上，我们已经在 LinkedIn 上发布了大量的教程，这样你就可以轻松地利用这些教程。我不会详细介绍这一点，只是展示有一个领导手臂，有一个跟随手臂。你可以利用它来收集数据，你也可以在上面部署模型，这样你就可以用你的笔记本电脑来影响它。这就是它的美妙之处，你只需要机器人，然后你就可以用你的笔记本电脑做很多事情。然后，我们开源了一个名为 ISAC 的框架。所以，基本上，它帮助你设置 ISAX 模拟，你知道，数据管道，数据收集管道，与我们的 Sim Ready ISAC for Robots 进行远程操作，你也可以通过它进行模拟来部署一个真实的机器人。所以，你看到我们开源了我们的厨房场景，我们开源了机器人模型，还有橙子。是的，我们选择橙子，因为你知道，我们每天都喜欢吃橙子。是的。然后，基本上，你可以看到，你可以远程操作一个真实的机器人。实际上，也许我过来一下。所以，你可以在右侧看到，你正在远程操作一个真实的机械臂，但在模拟中对其进行操作以收集更多数据。我们为什么在模拟中这样做？因为在模拟中，你可以很容易地用 Mima 和其他服务来增强数据。然后你进行数据转换和其他事情。然后我们还有训练管道，你可以使用收集的数据来增强它，微调一个好的 1.5 模型，然后你可以将其部署到你的真实机器人上，这样你就可以玩它了。看看它有多么容易和有趣。我将花一点时间谈谈数据收集部分，因为这是关键。所以，你可以在左上角看到，这是如何在模拟中进行数据收集，利用真实的物理机械臂来抓取和放置橙子。但一次演示是不够的。你需要有许多不同类型的演示，具有不同的背景，不同的光照，不同的橙子类型，在不同的轨迹上，就像你自己的轨迹一样。所以，在右侧，你可以看到，我们将有不同类型的光照和其他东西。在底部，我们利用 Mimi Gen，这是英伟达的一项技术，你们都可以轻松利用它来增强你的远程操作轨迹，这样就可以有大量的数据多样性，这样微调的结果就会好得多，成功率就会高得多。然后，有了数据，你就可以将其部署到真实的机器人上，去抓取真实的橙子。我想说，我们主要从橙子开始，因为你知道，我们喜欢橙子。而且，我觉得这是一个相对容易的任务。但是，你可以用这个机器人，用模拟做各种各样的事情。所以，我想说，你可以完全释放你的想象力。你可以让它和你下棋。而且，有一个很棒的开源社区，你知道，你可以训练很多东西。另一件事是，我们也在不断宣布和发布新的东西到这些开源项目中。所以，我们觉得为什么不让它更有趣呢？添加更多的游乐场供人们玩耍和学习。所以，我们设计了大量的 3D 对象，如果你有 3D 打印机，你也可以从我们的设计中 3D 打印这些 3D 资产。这样，它就会有很小的比例差距，因为它是从模拟开始的，但你可以将其 3D 打印出来。所以，你也可以利用这一点。玩更多例子。我们觉得这非常有趣。我想说的最后一件事是，我想挑战你们，因为我们组织了机器人儿童活动，我们只是想测试边界。所以，这个机器人真的是一个顶尖的 AI 专家很难构建的东西，还是一个孩子可以轻松学会的东西？所以，我们想做一个实验。所以，我们在深圳组织了一个活动，有大约 20 到 30 个孩子，他们年龄很小，我们教他们机器人，教他们 ISAC。在现场，我想说，他们中的大多数都在会议期间成功地将基础模型，微调的基础模型部署到了真实的机器人上。你可以看到孩子们对这个项目有多么兴奋。我觉得如果孩子们能做到，每个人都能做到。那么，我将结束今天的演讲。我真的认为我们才刚刚开始具身人工智能的时代。我们才刚刚开始。我想说，为了使模拟成功，我们需要很多专家。我想说，你们是计算机图形学专家，这很棒，而且非常重要。一方面，我想说，是的，模拟可能是机器人领域的游戏。所以，每个人，我想说，你们非常有能力构建它。另一方面，它也可能是一个思维转变。所以，可能在物理方面或其他方面存在挑战。但我想说，我们才刚刚开始，让我们一起努力，让我们一起为具身人工智能的成功做出模拟。谢谢 Steve Shei。嗯，如果有人有问题，请举手，我们会把麦克风递过去。>> 哦，嗨。我非常喜欢你的草莓例子，我想草莓有很多维度。我想知道你们是否使用了多光谱来确定草莓的成熟度，或者它们会变得有多软，或者它们是否成熟可以采摘？>> 嗯，我想说，目前我们还处于相对早期阶段。但草莓肯定还有很多可以做的。我想说，对于草莓的形状，我们只是程序化地生成草莓，让它们看起来相似。但我觉得将来，你知道，我们可以做很多数据收集的事情，我们可以建立品种。同样，对于叶子和其他东西也是如此。所以，我想说，很多事情都需要在那里完成。但我们可以做的是，所以，我想说，现在最困难的部分实际上是强化学习就绪性。你知道，所以，如果我们能够对制作一个故事所花费的时间进行基准测试，这很容易，可能几天的工作。制作它为强化学习做好准备，花了我们两个月的时间，字面意义上花了我们两个月的时间。但在这两个月之后，我们对强化学习的意义有了很多了解。而且，我想说，我们在此基础上构建了管道。对于未来的项目，你知道，对我们来说构建它要容易得多。>> 谢谢。>> 非常感谢你的演讲。我只是想知道，你是否与 Unity 等游戏引擎有任何合作，以便将其变成多平台，例如混合 VR 和数据收集，并将其用于 Isaac 等平台的训练模拟，用于机器人？因为我相信 VR 头显和 VR 控制器以及一些跟踪技术可以极大地帮助收集更多数据，并帮助我们进行监督学习，而不是将所有的计算和学习任务都放在 VR 中，放在模拟环境中。>> 是的。非常感谢你的问题。我们还没有，但我们绝对非常感兴趣。我想说，我仍然想回到这个物理问题。而且，我认为，基本上，以前也有用于计算机视觉的合成数据。例如，在 Unreal Engine、Unity 中，每个人都做得很好。我们可以生成非常，我想说，如果我们不使用“高保真”这个词，我们会用“照片写实”来描述。而且，我基本上，我们也是自动驾驶模拟行业的领导者。我想说，最先进的自动驾驶解决方案使用我们的模拟进行模拟。我们有 3D 光照，我们有 4D 光照。我们实际上在这方面与 Unreal Engine 合作。但我想说，对于机器人来说，非常不同的一点是物理。你对模拟工作得越多，你就会觉得有三件事需要连接。第一件事是数据收集。你喜欢，你喜欢能够通过远程操作来利用人类在模拟场景中，但要以非常高的 FPS 收集非常准确的数据。第二件事是基准测试。基准测试基本上是验证。你需要使用模拟来帮助测试事物。第三件事是强化学习。强化学习不仅仅是关于在一台 GPU 上运行一千到一万个可并行化的环境，而是关于在数百甚至数千台 GPU 上运行反向学习，微调非常大的视觉语言动作基础模型。我们实际上正在服务于该领域的几个领先客户。就像他们使用 RL 来查找一样，这几乎就像 DeepMind 一样，使用 RL 来微调大型语言模型。他们使用 RL 来微调视觉语言动作模型。当你试图将这三件事联系起来时，数据收集、基准测试和强化学习，你就会突然意识到，Sim 可能就是为此目的的最佳模拟器。目前，我想是这样。这就是为什么我们最常利用 Isaac Sim，利用 Omniverse。但非常渴望了解 Unity 有什么，并且很乐意就此进行联系。>> 谢谢。>> 嗨，感谢精彩的演讲。在其中一张幻灯片中，你展示了模拟中的一个扩展面板，其中有不同的工具集供用户选择属性。我想知道，对于我们这些正在为模拟开发扩展的人来说，你们如何看待未来两年的工具集变化？我们应该关注哪些领域来构建工具集？>> 这是一个非常棒的问题。说实话，我认为我们才刚刚开始接触工具集，我们自己也在不断迭代工具集，并且我们开源了许多工具集。例如，我们开源了 Moduko 到 USD，以及 USD 到 Moduko 到 Asset，以帮助这个行业更多地融合到我认为的 Open USD 标准中。因为仍然，我认为 Asset 还没有标准化。我们希望将所有可用的高质量模拟 Asset 都整合到 USD 中，这样我们就有了一个大型的基础高质量基础，我们可以在上面构建游乐场。我真的认为机器人模拟是游乐场，它是机器人的游乐场。至于工具集，我想说最困难的部分是它需要非常紧密地集成到 Asset 的开发过程中。也就是说，如果你现在试图为他人构建工具集，这可能还不是最佳时机，主要是因为一切都非常迭代。甚至，例如，我们对机器人 Asset 的标准仍在不断发展。我们实际上正在引入一个更高的 Asset 标准，我们称之为 Sim to Real 标准。也就是说，如果你使用这个 Sim Ready Asset，如果你训练了一个强化学习策略，我们可以保证它将在现实世界中实现 Sim to Real。但这非常困难，非常非常困难。我所说的只是，这还处于非常早期阶段。我建议不要专注于工具集，而是专注于提供最高质量的 Asset，使其照片写实，甚至是一个闭环，这个 Asset 可以帮助机器人训练策略部署到真实的机器人上，并且它确实有效。这是最重要的。一旦你进入了这个完整的周期，一旦你开始运行，你就会自己迭代工具集。我想说，也许在未来两到三年内，我们将看到更多标准化的工具集出现。但现在，我想说我们还处于非常早期阶段，我们应该专注于端到端的问题，使模拟成功。>> 谢谢。好的，我们时间到了，但感谢 Steve Shei 的演讲，以及他对具身人工智能最新进展的深入探讨。>> 谢谢大家。