Transcription
嗯，我来自 Shield AI。我们的使命是利用人工智能系统来保护服务人员和平民。我们开发和追求这一使命的目标是创建我们的蜂群思维框架，这是一个基础框架，旨在创建有弹性的智能能力，以便在最具挑战性的环境和条件下运行。我们方法的基础是我们潜在的理论，即有可能创建一个适用于所有平台和所有领域的基础，以及实现专业化所需的工具。因此，在这些基础框架和模型中，我们具备了部署这种智能的能力，并能在最具挑战性的条件下进行部署，并快速有效地迭代改进其性能。为此，我们创建了 Hivemind 软件平台，该平台具备在边缘运行的能力，使这些系统能够作为一个或多个系统运行，并独立思考，同时也具备迭代和组合这些能力以及改进其性能所需的工具和基础设施。对于我们的客户，由于平台类别及其运行的作战条件的性质，我们需要更进一步。因此，我们必须超越仅仅考虑系统上运行的智能能力，而是要考虑从端到端的概念化、作战分析、设计、开发、测试、评估、验证、确认，以及最终实现该能力在过去多年中的作战化。正如我刚才提到的，我们开发了 Hivemind 软件平台，该框架是从高度模块化、高度可扩展的软件开发工具包的角度设计的，这不仅使 Shield AI，也使我们的客户能够应用这些能力并加速他们自己的开发到部署过程。从根本上说，我们必须考虑上一位演讲者刚才提到的所有重要技术和能力。但是，我们需要更进一步，自动化和简化这些流程，以确保我们能够真正解决诸如“如何认证这个系统？”、“如何保证这个系统的性能？”、“如何实现并确保该系统上的操作能够满足我们的期望、满足我们的要求、支持可追溯性、可审计性、正式的配置管理以及类似的要求？”等问题。因此，在这个框架内，我们真正考虑了开发的所有不同阶段以及从早期开发 AI 飞行员、迭代其性能、在多种不同场景和任务类别下进行测试和评估，然后进一步进行仪器化、诊断和实现我们客户所需的底层基础要求。我们集成了使这些系统能够在最具挑战性的条件下运行的能力，这包括在没有外部信息可用时，在人类很难参与和控制的循环中，以及在需要多个不同系统、多领域和异构系统协同工作的情况下。最后，通过这个软件平台的设计，我们真正追求的是一项战略，不仅使 Shield AI，还使我们的合作伙伴、客户和盟友能够利用这些能力来建立他们自己的主权能力，这从全球战略角度来看至关重要。目前，Shield AI 和 Hivemind 正在与美国几乎所有的主要国防承包商合作，同样也在欧洲、英国、东亚、大洋洲及其他地区合作。就框架本身而言，我之前提到的两个关键领域或两个关键部分是边缘智能以及我们称之为“自主工厂”或“铸造厂”的部分，它集成了我刚才描述的所有不同阶段和工作流程。这是在训练、模拟和部署方面非常标准的框架。这里有一个例子，我们集成了 NVIDIA 和 Omniverse，以真正构建特定能力集，并大规模地模拟和训练这些能力。当我们部署到每个新平台、每个新领域时，我们都会从合成数据生成的角度，通过大规模的测试和试验来思考和建立这些能力，迭代系统的性能，这些系统正在决定做什么，或者系统决定做什么，它们将如何去做，然后我们当然会将所有这些整合在一起，以生成正在这些平台上运行的边缘部署。正如我提到的，我们的平台已经在最近的作战条件和冲突中运行，并且目前正在全球范围内使用。此外，就我们未来的发展方向而言，我认为我应该指出的主要项目是我们真正专注于如何将 Hivemind 推广到尽可能多的平台，与尽可能多的合作伙伴合作，以便能够迭代和部署大规模的系统和平台。我可以向您展示许多关于我们已部署的不同类型平台的视频，从四旋翼无人机到无人机喷气机，例如改装的 F-16 系统，它们全天候运行，等等。现在，我们正专注于将我们的注意力从自主开发生命周期扩展到完整的自主生命周期，使 Shield 和我们的客户能够快速有效地从设计和开发走向结果和成果。我们正在扩展整个自主生命周期，并扩展到更多的领域。我之前提到了空中和水中的例子，以及陆地。但我们现在也正在扩展到太空领域。所以这真的很令人兴奋。它证明了最初的理论，即可以构建这种类型的框架，将其扩展到作战化，并最终推动有意义的任务影响。谢谢。>> [掌声] >> 我很高兴来到这里谈论“每个机器人的 AI 技能”。你知道，每个人都在试图构建通用智能。我将花几秒钟来区分智能和技能。这个星球上有 80 亿人是智能的。很少有人有驾驶汽车的技能，更少有人有驾驶飞机的技能。我希望我的机器人是熟练的。智能是好的，你知道，它是一个很好的金色指南针，但技能是让这些机器人变得有用的东西。现在，你知道，我曾与，让我看看，不熟练。好的。所以，我曾与，我想说，数百家大型企业交谈过，对吧？这些是制造业和能源领域的商业部门的企业。你知道，他们已经购买了机器人，UR 5，波士顿动力犬，现在是人形机器人，而大多数这些机器人形态都不熟练。事实上，如果你看看，你知道，构建 AI 的现代方式，即以深度学习为中心，以强化学习为中心，以基础模型为中心，总的来说，我还没有遇到过一次部署，而且这很有趣，他们花了数百万美元购买这些设备，这些 GPU，但他们没有专业知识，在碎片化的基础设施和稀缺的专业知识之间，没有人能够实现部署。而且，你知道，这真的是，你知道，这是 G1。我们已经看到了。我们看到这个家伙翻跟头，表演功夫动作，但它无法跨越这个障碍，对吧？它无法跨越这个障碍。为什么？因为感知到行动的循环是大多数组织难以构建和部署的一项非常困难的技术。你知道，每 20 名机器学习工程师中，可能只有一名，甚至更少，能够从事机器人和深度学习工作。我相信全世界不到 1000 人拥有将深度学习策略部署并与之协同工作的专业知识。那么我们如何创造价值呢？我们销售硬件，我们销售 GPU。如果它们无法实现部署，如果它们无法创造价值，那么我认为，我们需要弄清楚如何解决它，而这正是 Grid 所做的，对吧？我们没有遵循“开发、改进和扩展”的模式，而是稍微改变了一下。我们说，如果我们有一个企业已经拥有了所有这些硬件，我们能否在 15 分钟内实现部署？所以，例如，想象一家大型汽车制造商，他们拥有一系列 Frank UR 5 手臂。你来到工厂车间，给他们一个容器，它可以在 15 分钟内完成，比如说，通用的抓取和放置技能，对吧？这就是我们用 Grid 所做的。Grid 是一个跨越多种机器人形态的集成平台。有 40 多个不同的 OEM。这些是已经在现场销售并数量众多的机器人。当所有这些机器人连接到 Grid 时，它们就拥有了这些 AI 技能。例如，通用的抓取和放置，用于你的手臂，室内移动，安全导航，这些对你现在开始创造价值至关重要的技能。当然，你部署得很快。也许需要适应。需要适应，因为你知道，汽车制造商，你需要一种特殊的夹具来抓取你的化油器或安全气囊，或者你知道，你是一个四足机器人，你在石油钻井平台上部署它，这需要一些考虑。因此，如果你在 Grid 上拥有正确的技能，这些适应也可以在不到一天的时间内完成，而且 Grid 的架构允许无缝扩展。如果你在一台机器人上实现了功能，你只需轻轻一按，就可以将其扩展到一千台机器人。再次，你知道，这里有一个 Grid 实际运行的例子。所以，这些都是你现在可以购买的机器人形态，你知道，Unit 3，四足机器人，人形机器人，URMS 模型，AI 无人机，它们直接从 Grid 展示技能，而否则企业需要花费数月甚至数年才能自行训练，特别是在技术方面，正在发生的是，有一个容器，一个运行在这些机器人上的精简客户端，调用 Grid。Grid 是你的 AI 技能库。Grid 可以托管在商业云上，适用于酒店、医院和家庭，或者在本地，就在你的工厂旁边，例如工厂机器人。或者也可以在边缘运行，例如，你知道，我们昨天举办了一个研讨会，Ghost Robotics 机器人直接从边缘运行 Grid。但这使得机器人能够立即获得技能。现在的问题是，这些技能从何而来？所以，这些技能来自于，你知道，再次，我们主要是研发团队。所以，很多这些技能都是通过 AI 领域最新的、最伟大的研究成果在内部构建的。最大的革命之一正在发生，因为从研究到部署的周期已经大大缩短。在机器人领域，这还没有发生，而 Grid 解决了这个问题。你知道，如果你有一个模型，如果你有一个工作流程，现在出现在文献中，我们付出所有努力来尽快将其引入 Grid 并对其进行揭示。所以，你在这里看到的一些技能，例如，一些非常有资金支持的人形机器人公司会非常渴望拥有，但它现在就在 Grid 中。如果你正在使用 G1，例如，你应该来和我们谈谈，我们可以弄清楚如何合作。再次，你知道，新的编程范式，例如使用代理基础设施或协驾驶，所有这些工作流程都可以在 Grid 上实现，因为它的设计。我们有 MCP 服务器，我们有代码生成，所有这些能力。所以一旦你部署了，如果你有内部的机器人团队，他们可以使用所有这些工作流程来进一步改进和适应它。我将播放一个例子。我谈到了获得 AI 技能，但会发生什么？如何适应它？而这正是 NVIDIA 生态系统发挥作用的地方。所以，让我们看看这个家伙是否有音量。它有。>> 好的，我将带你走一遍。所以，想象你是一家大型汽车零部件制造商，安全气囊。你的计算机视觉模型从未见过这些安全气囊，你想去抓取和放置一个通用的抓取和放置。所以，Grid 上有一个工作流程，允许你创建模拟。再次，你知道，我们之前有过关于 gshian splatting 的会议，但所有这些技术都可以在 Grid 上获得。所以，你可以快速地提取这些模型，创建模拟。正如我所说，我们的适应目标是不到一天。我们通过我们的工程专业知识以及客户方面的专业知识来实现这一点。然后，当然，你有了模拟，并且可以一键部署到 Grid。你知道，适应这些类型的零件，通用的 [snort] 抓取和放置，这些模型以前从未见过，你基本上可以在 Grid 上做到。它背后的技术是我们称之为 Grid Stack。我们在机器人模型、推理、AI 技能的创建、通过现代编码方法（包括强化学习）的 AI 技能组合以及部署方面进行创新。你知道，我们为什么仍然停留在 ROS 时代？ROS 是在深度学习、云出现之前发明的，现代部署这些技能的方式，对吧？我们可以通过更好的方式进行架构，而我们所做的一种方式是部署，它不依赖于形态，并且跨越了许多现有的 OEM。所以，你知道，我将以，你知道，基本上，如果你正在从事机器人领域，并且你想让你的机器人快速变得有用，请来和我们谈谈，因为这就是我们的使命，对吧？有大量的机器人 OTS，它们被闲置，积满灰尘。许多这些机器人留在创新办公室。它们从未被部署。它们从未超越 PC 阶段。作为一个行业，除非我们改变这一点，除非我们让这些机器人变得有用，否则我认为，我们将无法扩展或实现这项技术所承诺的各种前景。所以，非常感谢。 GTC 总是给我带来巨大的快乐。我认为它是世界上唯一一个我们真正看到人工智能和机器人技术最新进展汇聚在一起的地方。所以，很高兴来到这里。今天，我将谈谈我们在 Field AI 所构建的东西，即机器人无关的基础模型。这些模型可以部署在各种不同的机器人形态上，它们与实际的实体无关，并且在风险和安全意识的模式下，跨越不同的环境。我们公司的故事实际上始于探索。所以在 NASA JPL，我们的首席执行官和我们团队的核心成员正在突破机器人自主性的界限，在火星模拟洞穴中部署了第一批有腿的自主机器人，范围从火山熔岩管一直到地下洞穴网络。这些是非常复杂、非常具有挑战性的环境，处理完全的黑暗，你知道，不可预测的地形。而且这些环境即使对人类来说也很难穿越。团队之所以致力于此，是为了真正突破人类最古老的问题之一，即我们如何在外星寻找生命？但与此同时，我们也解决了另一个不同的问题，即我们如何让机器人在对人类来说非常困难的环境中生存。由于这些进展，我们的团队也被选为少数加入 DARPA 地下挑战赛的成员之一，当时这是最新的前沿 DARPA 挑战系列赛，它正在突破机器人自主性的界限。在这里，我们的团队部署了机器人车队。因此，从轮式到有腿的四足机器人，再到无人机，这些异构机器人团队相互协作，相互通信，在没有先验信息的情况下探索环境，在没有 GPS 的情况下绘制这些环境的地图，只是原始的自主性在起作用。我们在这里学到的不仅是可以部署使用统一架构的单个机器人，而且实际上可以使它们相互协调并解决它们单独无法解决的问题。因此，所有这些学习相结合，现在我们在 Field AI 所实现的技术专注于风险感知和不确定性自主性。这终于将机器人从实验室和受控环境带入不受控的、非结构化的环境，人类目的的环境。这些是为机器人本身设计的，并且针对机器人进行了优化的环境。你可以在这里看到我们的一些实际部署，涵盖了各种各样的领域和机器人形态。我们技术的核心实际上是一个非常简单的概念，即一个统一的机器人模型，能够部署在各种不同的形态上。这个的第一层实际上是我们称之为物理 AI 的东西，它专注于学习与保持机器人稳定、使其在环境中机动、导航以及操纵周围环境相关的基本技能。这本身就是一个非常困难的研究问题。许多不同的前沿研究机构实际上正在单独推动这方面的界限。这也是我们在模拟方面大力投入的地方，使用 NVIDIA Isaac SIM 和 Lab 等工具在模拟中训练这些策略，在实际部署到物理世界之前在虚拟环境中进行测试。左边你可以看到我们一个策略的演示。所以，这里实际上是一个完全盲目的策略，从某种意义上说，机器人利用它的本体感觉，它在环境中的感觉，当有人发出命令时，它基本上可以在这个非常密集和复杂的环境中进行机动。但是一旦我们将感知纳入循环，我们不仅可以进行非常动态的机动，而且我们可以在边缘以高频率理解环境的状态，所有这些都在边缘以数百赫兹的速度发生。最后，我们现在也在推动人形局部操作的界限。所以，不仅要有能够四处行走的人形机器人，而且它们还能够操纵环境中的物体，能够改变它们周围的环境状态。但是，拥有能够稳定行走并做出疯狂翻滚的机器人是一回事。将它们集成到客户的工作流程中以真正为他们创造价值是完全不同的事情。这就是我们称之为操作 AI 的层面。因此，在操作 AI 中，我们将引入上下文、长期记忆、推理，真正深入理解对我们的客户有用的任务是什么。你知道，在创造价值方面，什么可能对他们有帮助，也许一个实习生或者他们无法获得的实际人类工人会提供帮助。所有这些都包含在这个层面内。这些架构的组合使我们能够部署各种不同的机器人形态，你可以在这里看到，涵盖了建筑、石油和天然气、安全、数据中心等领域，遍布世界各地。我们已经在数十个、数百个不同的地点进行了现场测试和部署了许多不同类型的机器人。现在实际上正在从较小的形态扩展到全尺寸的乘用车。我们的自主性实际上正在实现这种形态，我们实际上是将我们的堆栈交给 DARPA，该项目的赞助商，我们能够穿越数十公里，而对这些非常复杂的环境没有任何先验信息。因此，没有地图，没有 GPS，所有决策都在边缘进行。对我们来说，这是自主性的真正考验，压力测试。我们正在将这些车辆的能力推向其物理极限的边缘，推向即使是人类驾驶员也可能达到的极限。我们实际实现这一点的方式是通过解决机器人部署中一个经典的依赖周期问题，即你需要非常丰富的数据来训练可以部署的模型，但同时你需要有好的模型，以便你可以在现实世界中收集数据。因此，与其试图打破这个依赖周期，我们实际上是拥抱它。在我们的案例中，我们实际上深入到模型本身的核心。我们重新审视了我们模型的整个架构，并在其中以概率的方式实现了不确定性和风险意识。因此，当我们部署我们的机器人时，它们对周围环境的分布性质有所了解。它们实际上能够推动和探测环境的边缘，以获取最多样化和高质量的长尾数据，这样，每次部署后，当我们离线并训练这些模型时，它们都会变得越来越好。当然，所有这一切都离不开与 NVIDIA 技术的深度集成。所以，当然，你知道，我们在物理 AI 方面投入了大量精力，利用 Omniverse、Isaac Lab 和 Isaac SIM 来训练这些策略。我们在边缘部署。所以，你在所有这些视频中看到的自主性实际上是在机器人本身的边缘物理运行的。而且，例如，由于 Jetson，我们能够在低功耗、非常小的机器人形态上运行非常复杂的策略。现在，当然，所有这一切的基础是 NVIDIA GPU 提供的海量训练和计算能力。而且，由于这个生态系统，从根本上说，我们可以比以往任何时候都快几个数量级地从概念走向部署状态。现在，我们在部署机器人方面真正突破了传统的扩展限制。因此，如前所述，到目前为止，我们在世界各地的数百个不同地点进行了现场测试。这些都是真实世界的环境，而且这些环境本质上也非常不规范。所以，我们实际上无法安装基础设施，为机器人本身进行优化。我们必须能够基本上在第一天就进行部署。现在展望未来，我们真正感到兴奋的不仅仅是我们正在实现更好的机器人。从根本上说，我们看到的是我们正在改变物理数据收集本身的性质。就像谷歌能够收集和数字化世界上几乎所有的道路一样，我们在这里看到的是一个部署，其中有一个机器人网络能够相互接口，收集数据，并真正部署到地球上任何非结构化环境中。对我们来说，这也是一个非常关键的社会问题，因为在我们部署的每个行业，我们都看到数百万的劳动力短缺，无论是在建筑业、石油天然气业还是其他任何地方。对我们来说，通过训练和赋能这些可泛化且成本可负担的机器人平台，我们不仅能够帮助解决这些劳动力缺口，而且我们还能够提高这些操作的可靠性和安全性，尤其是在人类周围。而这从根本上说就是我们在 Field 正在构建的未来。所以，非常感谢。再次，如果你有兴趣在最后几个小时看到我们的 AI 实际运行，请访问我们在 459 号展位。所以，谢谢。 [掌声] 非常感谢您的邀请。所以，为了让耳朵清爽一下，所以，我是一名学者，所以我溜进了这里的创业公司会议，但请容忍我。我将告诉你们一些我们在实验室进行的研究。它实际上与你们刚才听到的一些内容非常相关。 [snort] 好的，所以，关于我，Matt Lab，以及我们之前在现场机器人领域的一些工作，只是提供一些背景。所以，在 2017 年墨西哥城发生的最后一次大地震之后，我们真正开始认真工作，当时我们正在部署，这是我和墨西哥红十字会一起部署的蛇形机器人，进入一个倒塌的建筑。所以，这是地震发生三天后。然后是一些关于 DARPA 地下挑战赛的工作，就像其他一些刚才发言的人一样，DARPA 赛车项目，那是全尺寸车辆。然后是我们正在 ARIRL 进行的一些关于异构自主性的工作。所以，我学到的最重要的事情之一，以及我的学生们多年来学到的最重要的事情。所以，当你把机器人部署到现实世界时，意想不到的事情会发生。在这里，你可以看到一个非常昂贵的机器人，它在俄亥俄州中部的一个田野里找到了一个洞。然后，几乎可以肯定的是，在你经历这些意想不到的事件之后，你将面临一个看起来像这样的场景，现在是一群工程师。我们知道机器人自己开进了洞里，但现在你必须弄清楚为什么。所以，这是一个具有挑战性的问题，我们将回到我们可怜的工程师团队。好的，所以，让我们快速回顾一下，思考一下可能导致我的机器人在俄亥俄州中部的一个洞里找到自己的事件。所以我拥有我想要部署机器人的现实世界。这里是不同的机器人，但机器人，现实世界。现在我可以访问模拟器，对吧？通过 NVIDIA 的 SIM，一个合理的做法是去模拟我的机器人，尝试学习一个策略，然后将该策略部署到我的真实机器人上，在现实世界中。假设我的策略是我想让我的机器人避开盒子。酷。好的。嗯，这不会花我太长时间，也不会花我的机器人太长时间来遇到非盒子。也许我在俄亥俄州的田野里，我看到一个栅栏柱。所以，好的。现在，我的机器人对栅栏柱有问题，但我还没有陷入困境。 [snort] 我可以去收集数据，就像我们刚才听到其他一些演讲者谈论的那样。我可以创建一个循环，创建或收集数据，将其反馈到我的模拟世界中。所以，现在我的模拟世界里有盒子，也有栅栏柱。而且，不出所料，我可以重新训练一个策略，将其部署到我的真实机器人上，现在我避开了盒子，也避开了栅栏柱。好的，我今天过得不错。所以我收集了很多这样的样本，就像上一位演讲者刚才说的那样。我该怎么办？我可以尝试让我的模拟世界与我的现实世界相匹配。而且，再次，我在这里的其他几次演讲中都提到过，在追求这种模型之前，实际上不会花费太长时间，你最终会再次遇到臭名昭著的分布的长尾端。那些不经常发生但仍然可能发生的事情。所以，在这种情况下，我已经训练我的机器人避开各种正面障碍物，然后砰，负面障碍物。一旦你看到了，这是有道理的，但事先很难预测。 [snort] 所以，当然，这是由于现实世界比我们仅仅收集一些数据并试图重现现实世界中发生的事情要复杂得多。所以，你知道，这里的核心论点是，这是因为物理交互。当你有一个机器人出去，它不仅仅是在平地上行走，它是在走楼梯。它是在田野里驾驶。这种物理交互在某种意义上是无限不确定的。你永远无法预测在所有这些场景中接下来会发生什么。所以，如果我想在模拟世界中训练机器人，并且我想学习我想要部署到我的现实世界机器人上的策略，再次，合乎逻辑的是，我需要某种方法来让我的模拟世界真正匹配我在模拟世界中看到的事件和不确定性的分布。好的，这听起来有点困难，但我们稍后再谈。让我们看一个具体的机器人例子。再次，与本届会议中你迄今为止看到的机器人类似，一个 Spot 机器人。我想让机器人上楼。所以，不出所料，使用 NVIDIA 工具 Isaac SIM 模拟，我可以去模拟很多不同的世界。当然，我现在可以让我的机器人去爬，不仅是这一组楼梯，还有各种不同的楼梯。酷。这很好，我今天过得不错。但现在我引入了一个轻微的扰动。所以我增加了楼梯上的杂物。会发生什么？我的爬楼梯策略，它将如何工作？它的表现会怎样？再次，对你和我来说，这并不是一个重大的扰动。我只是在楼梯上放了一些东西，但机器人将如何互动？所以，如果我们深入研究这一点，并思考具体是什么让这种从楼梯到杂乱楼梯的泛化对机器人来说具有挑战性。再次，这对我们来说似乎并不那么困难，[snort] 但对机器人来说，我告诉你，这是一个非常具有挑战性的问题。所以，首先，我有一个自主机器人。它有车载传感器，车载计算。它在外面。我告诉你，至少根据我的经验，机器人感知和映射不是一个已解决的问题。所以，这里有各种各样的挑战，但在这种问题或这个例子中，对吧？机器人，如果它无法分辨什么是杂物，什么是楼梯，它在爬楼梯时就会遇到麻烦。大多数机器人，或者我曾经在现场部署过的所有机器人，都有一个明确的规划器概念，决策过程。而且通常会有一个人，一个工程师，在幕后调整和设计这个规划器，对吧？对吧？而且规划器将根本上受到设计你的规划器的人所做决定的影响。它可能过于保守。它可能走得很快。这些事情使得预测你的机器人将如何反应变得非常困难。然后真正的难题是在执行层面。在那里，你的机器人控制器。所以，通常，我们的机器人控制器基于一些非常严格的假设，关于机器人将如何与物理世界互动。而这些是所谓的未知未知数。对，像楼梯上的冰，这些非常非常难以事先预测的东西，它们可能很难用我的车载传感器来感知。所以，如果我们真的把它分解一下，[snort] 我们谈论的是这个问题，这种泛化之所以困难，是因为你在系统中存在所有这些不同形式的不确定性：偶然不确定性，已知的未知数，比如传感器噪声；我们称之为性能不确定性，你不知道机器人会在某些情况下如何反应，仅仅基于它的决策过程；以及再次，所谓的难题，认识论上的，未知的未知数，开始量化分布的尾部。所以，现实地说，回到我的工程师那里，真正最终使这个问题具有挑战性的不是这些不同形式的不确定性的存在，而是它们通常同时存在并且相互交织。那么，我如何才能让我的工程师团队能够弄清楚是什么具体导致我的机器人开进洞里，而我的系统中有所有这些不同形式的不确定性呢？所以，这些见解，无论这项工作如何，我们经历的痛苦，无数的项目，已经真正导致我的团队，以及你今天听到的其他一些想法，更加明确地专注于感知和行动之间的紧密耦合。这些是我们最近的一些出版物，它们详细介绍了你在这里看到的内容。楼梯估计。所以，这里的感知方面是楼梯爬升策略。所以，回到我们之前的“从真实到模拟再到真实”的传输循环。所以，这真的让我们得到了我们认为是关键的见解，我们称之为“任务相关信念”。在这个概念中，如果我有一个特定的任务，我可以处理现实世界中存在的无限形式的不确定性，并开始将它们过滤成一个更有限的表示。那是什么意思？好问题。回到 [snort] 我的楼梯机器人例子。所以，我的机器人知道如何上下楼梯。如果我能把这些障碍物推开，这是一个已解决的问题，对吧？我的杂物不再，我不用担心它了。那么我现在要做什么？我要训练一个策略去移动障碍物吗？好吧，这听起来很合理。酷。那么，为了训练这个策略，我需要知道什么？我需要知道楼梯的摩擦力，障碍物的密度，障碍物的质量吗？对吧？如果我想去解决这个问题，我只需要把东西移开。我不担心这些低级别的数量，它们的不确定性。所以，可以说，我们直接推理，我们称之为任务相关特征空间。我直接推理可移动性，而不是楼梯的摩擦力。所以，任务相关信念是任务相关特征空间上的概率分布。所以，核心概念是，如果我能直接推理可移动性，我能否基本上忽略系统中所有其他不确定的参数？换句话说，如果我能直接估计可移动性，我能否证明我的爬楼梯任务，从罗德岛的楼梯，抱歉。楼梯，使得规划任务在条件上独立于规划问题中所有其他形式的不确定性，即低级别的不确定性。可移动性取决于楼梯摩擦力和所有其他属性。但是，如果我知道可移动性并能直接估计它，我能否证明我不需要担心这些数量？而且，当我们去模拟现实世界时，我不需要高保真模拟，如果我能在这个中间潜在空间中进行推理，由任务相关特征形成的潜在空间。那么这实际上是什么样的呢？我们如何使用 NVIDIA 的工具、软件和硬件工具来实现这一点？所以，我们出去训练一个初始策略，你实际上可以看到，我们将策略部署在 AGX 嵌入式平台上，你可以看到这里的一些试验并不成功。所以，没关系。我们记录所有这些数据，并开始区分我的任务相关信念空间中的这些不同形式的不确定性如何导致我的机器人成功地移动物体或错过物体。然后，非常关键的是，我们在任务执行过程中跟踪和量化所有这些不同形式的不确定性。所以，我们提取任务相关信念，从这些信念中，现在我们有了数据。现在我们可以使用我们不确定性感知的数据来训练模拟器或信念空间模拟器，这就是你在这里看到的，它正在使用 Isaac SIM，但我们现在再次模拟的是任务相关信念动态，而不是仅仅将模拟视为一个确定性的事情，即我从世界获取数据，试图重现一种传统的数字孪生概念或更几何的环境表示。现在我们开始使用这个中间空间作为思考进行不确定性感知模拟的基础。所以，当我将我的策略部署到我的机器人上时，我的策略，再次，与你今天听到的其他一些主题非常相似，它是风险感知的。它理解底层的不确定性，特别是它理解不确定性在任务执行过程中如何传播的动态。所以我去部署它。哦。糟糕。哦，有一个幻灯片丢失了。那是重点。所以，无论如何，这是这个版本的一个版本。所以，你在这里可以看到绿色代表，啊，真可惜。好的。所以，绿色代表障碍物的可移动性。所以，这里的任务相关信念空间是障碍物的位置，或者说是楼梯上障碍物的可移动性。在这种情况下，你可以看到机器人是两个障碍物都是可移动的。当其中一个不可移动时，情况会更有趣。但是你可以看到，从低级别策略到现在的任务级别执行器。你在这个视频中看到的一切都在 Isaac SIM 中训练，然后直接部署到机器人上。好的。所以，对我们来说，接下来是什么？很棒。你知道，Spot 机器人推开楼梯上的东西是很酷的。但最终，它的发展方向是什么？你知道，显然，我们想把这个概念和这些任务相关信念推广到其他系统。所以，这是我在太空中的一些工作。这实际上是来自 DARPA 赛车项目。这是我以前的一个学生。好了，就这样。所以，我鼓励你跟踪我和我的实验室的进展，当我们弄清楚这些事情时。非常感谢您的关注。希望大家晚上愉快。 [掌声]