Transcription
大家好，欢迎来到我们下午的RTX渲染日会议。我们将请讲者上来，因为前面有几个座位可以坐。如果您中间有空位，可以稍微挪一下，因为我们预计在接下来的一个小时里会有更多人陆续到来。所以，请您旁边的邻居打个招呼，互相照应一下。
我们先等大约两分钟，然后正式开始。但我想先告诉大家，我们有一个抽奖活动。嗯，Vita，我们有那个盒子吗？好的，我们将送出一台由Jensen签名的RTX Pro 6000 Blackwell工作站版。当二维码出现时，不是那个二维码，但您也可以扫描那个。您可以填写表格，参与抽奖。在下午的每个会议之间，您可以再次参与。这样您留得越久，中奖几率就越大。嗯，Vita马上就会把它拿进来。就是它了。我们应该放点音乐，最响亮的，最好的。好了，就是这样。
好了，我们开始吧？我们这就开始。嗯，有人已经参加过我们早些时候的渲染日会议了吗？有几位。太好了。太好了。太棒了。那么，如果您想在下午一直待在这里，请告诉大家您会留在房间里，这完全没问题。
我非常激动地向大家介绍来自我们Omni Omniverse RTX团队的Agnosio和Anders。他们将向大家介绍如何使用渲染来进行物理AI。请大家开始吧。
好的，[掌声] 谢谢您的介绍。嗯，是的，欢迎来到我们的会议。它题为“通过NVIDIA Omniverse RTX实现物理AI的高保真渲染”。我是Ignati Jamas。我领导Omniverse工程团队。这是我的同事Anders Anders Landls，他是Omniverse RTX的产品总监。所以，我们将一起向大家介绍Omniverse RTX以及Omniverse的总体情况。
我们将首先介绍Omniverse平台，然后深入探讨Omniverse RTX，它是我们核心的渲染和传感器模拟技术。我们将展示Omniverse RTX的能力。它从何而来，它如何帮助开发物理AI的开发者，以及它将走向何方。
所以，您可能会想，我们说的物理AI是什么意思。物理AI是一类人工智能，它在由物理定律支配的模拟或真实世界环境中进行学习、感知和行动。物理AI模型由传感器数据驱动，通常是实时的，必须能够推理世界以及它们打算对其采取的任何行动，并且要遵守物理定律，尽可能准确。物理AI基本上是AI发展的下一个前沿。我想您最近可能听说过AI。嗯，我们NVIDIA坚信，物理AI是AI演进的下一个转折点。事实上，我们在NVIDIA已经从事物理AI研究十多年了。从一开始，当我们开始研究自动驾驶汽车，以及稍后研究机器人技术时，我们一直使用模拟，它一直是我们的核心战略。
现在，Omniverse是我们开发的一个平台，它是一个用于数字孪生物理精确模拟的雄心勃勃的SDK。简而言之，我们将Omniverse视为物理精确世界模拟的操作系统，由NVIDIA的硬件加速，以实现物理AI的创建和验证。
那么，我们是如何达到Omniverse的呢？Omniverse诞生于NVIDIA，源于我们解决机器人AI训练和验证模拟所有难题的需求。在Omniverse之前，我们在为游戏开发构建的其他平台上构建了我们的第一个版本的Isaxim，这是我们的机器人模拟平台。虽然这些平台与Omniverse有许多相似之处，但它们的根本目的不同。当我们试图使我们的模拟在物理上更精确时，我们发现将所需的功能改造到游戏引擎中越来越困难。因此，我们大约在七年前开始开发Omniverse，以创建一个能够满足这些需求，同时使我们和他人能够构建解决物理AI问题所需的模拟工具的平台。
在此过程中，在Omniverse之上开发了各种应用程序，它们带来了各种独特的需求。我想向您介绍一下我们的旅程。我们最初试图用Omniverse解决的问题之一是从CAD模型创建数字孪生，将广泛的CAD和DC工具创建的3D内容整合在一起。很早就，我们就确定Pixar USD是跨这些工具交换内容的理想媒介，并使人们能够协作创建数字孪生。
与我们的一些合作伙伴合作，我们发现我们的RTX加速实时光线追踪提供了其他地方难以实现的渲染保真度。这促使我们与他们合作开发产品配置器，进而推动我们追求更高的材质渲染保真度。这些产品配置器是使Open USD成为行业范围内的开放标准，以实现工厂、仓库和产品的数字孪生无缝创建的垫脚石。
在过去的几年里，Omniverse平台的重点已经缩小到工业数字孪生和物理AI开发的模拟。我们与多家从事工业数字孪生的公司合作，如宝马、西门子和梅赛德斯-奔驰，使他们能够模拟整个工厂，并渲染他们以前从未以整体方式看到过的最复杂的CAD模型。更接近物理领域，我们与亚马逊机器人公司合作，帮助他们训练、测试并最终将全自动机器人部署到他们的生产仓库环境中。
现在，让我向您展示一个简短的视频，这个视频实际上已有两年历史了，它解释了他们如何使用基于Omniverse的Isaxim来帮助实现他们部署第一个全自动机器人的目标。
[视频播放]
正如您在视频中看到的，那些机器人使用了各种传感器。因此，随着机器人技术的重要性日益增长，我们也开始集成所需的其他传感器模型。因此，我们将这些集成到了Omniverse SDK中。这些是以前在我们Drive Sim模拟器中使用的传感器模型，Drive Sim也基于Omniverse，现在可以在Omniverse中使用。它们允许我们模拟高保真的LiDAR、雷达和超声波传感器。
去年，我们还启动了Sensor RTX的开发，这是一个基于gRPC的云API，可在拥有数千个GPU的集群上实现可扩展的传感器模拟。这使我们能够在共享环境中模拟数百个机器人，它们可以相互交互。我们称之为Mega。Mega是模拟机器人集群在大规模工业数字孪生中的蓝图。埃森哲，世界上最大的专业服务公司，以及Keon，一家为一些领先的零售和物流品牌提供服务的供应链解决方案的世界领导者，正在采用Mega来数字化他们的仓库设计和运营。Mega让Keon能够测试、模拟和验证他们的机器人集群，包括不同自主级别的叉车，在一个基于物理的数字孪生中。这使得Keon能够测试无限数量的仓库设计和布局，以达到并优化流程，从而最大化吞吐量和效率。Mega现已对埃森哲和Keon等NVIDIA领先的物流合作伙伴开放早期访问，并将很快广泛可用。
在过去的几年里，我们在Omniverse RTX的XR应用方面也取得了重大进展。从我之前谈到的产品配置器开始，通过云XR将它们从NVIDIA的GDN流式传输到Apple Vision Pro，以及最近的人机培训，其中Omniverse XR可用于远程操作虚拟人形机器人，以创建用于训练过程起点的示例，该过程教会机器人各种操作任务。
与此同时，在过去的几年里，我们编写了一个全新的Omniverse RTX实时渲染模式版本，我们称之为RTX Realtime 2.0。这个新实现不仅比以前的版本保真度更高，而且在大多数情况下也更快。它可能是当今最先进的实时光线追踪实现之一，您可以通过下载Omniverse Kit SDK来尝试它。
我现在想更深入地探讨Omniverse RTX Realtime 2.0，首先解释我们是如何实现的，其次展示这是一个多么了不起的成就。
Omniverse RTX渲染器的存在归功于一位不幸已不在我们身边的人，Steve Parker。有些人可能认识他，他是NVIDIA OptiX光线追踪引擎的创造者，这是第一个GPU加速的光线追踪API。Steve去年因癌症与病魔搏斗七个月后离开了我们。我想通过承认他奠定的基础性工作来纪念他。正如他自己在他最后一次公开演讲之一中所说的那样，我们都应该认识到我们站在巨人的肩膀上。那些在我们之前，为我们奠定了基础。他本人就是一位巨人，但他非常谦虚，并且是我们在NVIDIA的许多人的伟大导师和指引者。
在2009年的SIGGRAPH上，在收购了Steve和Pete Sherrill的Rayscale公司一年后，Steve和他的团队向世界展示了GPU光线追踪不仅是可能的，而且可以用几块NVIDIA GT200 GPU实时完成。他们首次展示了OptiX光线追踪引擎，并将其提供给开发者。仅仅几个月后，也就是第二年，在CGR上，他们发表了一篇论文，正式介绍了光线追踪管线和OptiX编程模型。
四年后，我们开始了一个在NVIDIA研究部门启动的项目，为我们的GPU设计光线追踪加速硬件的技术转移过程。这又开始了四年，将最终成为NVIDIA RTX技术的产品化，该技术于2018年3月首次向世界公布。您可能还记得我们与Epic Games和ILMX Lab合作开发的《星球大战》倒影技术演示。该项目恰好在七年后的今天，8月13日，在温哥华的SIGGRAPH上达到高潮，这是Turing UP架构的发布，第一款RTX GPU，引入了第一代RT Core和第一代用于消费级GPU的Tensor Core。
发布会几个月后，我们开始开发Omniverse RTX渲染器。这是第一个从头开始为RTX加速实时光线追踪而设计的实时渲染器。
[掌声] 谢谢。
Omniverse RTX渲染器的第一个迭代是基于我们开发的渲染算法，用于为现有的实时渲染引擎添加光线追踪效果。这是一套专门针对阴影、反射和半透明等特定效果的光线追踪和去噪算法。它还集成了第一代DLSS，鉴于这些GPU的工作负载要求很高，这提供了巨大的帮助。DLSS使得这种形式的实时光线追踪成为可能。
在接下来的四年以及两代Turing架构（Ampere和Ada）中，我们通过引入许多光线采样算法，如NVIDIA Research的Restare和我们自己的采样光照解决方案，将RTX Realtime从只能处理几个光源发展到能够处理数千个动态光源。同时，我们开发了一种基于特殊哈希数据结构的缓存间接漫射全局光照技术，该技术最初由NVIDIA的Alex Keller及其研究团队推广，后来被Jakopo Pantalani等其他研究人员使用。我们从这些工作中汲取灵感，创造了我们自己的算法变体。这后来演变成NVIDIA RTX SDK的一部分，被称为Shark Spatial Hash Radiance Cache。这两项进步都依赖于专用的去噪算法，这些算法也包含在NVIDIA RTX SDK中。
在Omniverse RTX开发早期，我们创建了一个参考渐进式光线追踪模式。我们选择了OptiX去噪器。这种模式被称为RTX Interactive，因其更高的保真度而广受欢迎，同时仍能提供交互式结果。然而，它无法用于物理AI的实时闭环模拟，而这正是我们RTX Realtime模式的目标。
这两种模式之间的一个关键区别在于许多材质的渲染方式。RTX Realtime必须能够将材质BSDF分解为不同的贡献，我们可以分别进行光线追踪和去噪。最初，我们只能对具有我们可以推理的BSDF图的特定MDL材质做到这一点。因此，RTX Realtime的第一个版本对不符合此BSDF图的任何复杂材质处理得不好。
为了解决这个问题，我们开始利用我们材质定义语言SDK的独特功能。Distilling。MDL distiller可能是这个SDK中最不知名但最有价值的功能之一。它可以接受任意MDL材质的BSDF图作为输入，并通过一系列规则将其映射到我们称之为目标材质的BSDF图。我们与MDL团队合作，设计了一个适合Omniverse需求的目标BSDF图，包括一个后向散射BSDF，这对于表示道路上可见的材质至关重要，因此是我们的自动驾驶模拟器所需要的。
经过一年多的持续改进，MDL distiller能够使用我们不太复杂的定向材质BSDF忠实地捕捉复杂材质BSDF的精神。这对于克服RTX Realtime的初始限制至关重要，因为它使我们能够做到一些在当时对于实时光线追踪至关重要的工作。首先，它使我们能够执行针对光传输特定组件（如反射、半透明或间接漫射）的专用通道。其次，它使我们能够将材质中的所有程序化元素与BSDF图本身分离开来，从而能够手动优化BSDF采样和评估逻辑。
随着材质蒸馏方面的这些发展，我们还在数字人实时渲染方面取得了重大改进。有两个关键领域需要重大的研发突破。第一个是毛发，我们开发了一种新的单次散射毛发BSDF分析模型，大大降低了噪点水平，使得用很少的每像素样本就能实现无噪点。第二个是次表面散射光线追踪解决方案，这对于实现自然外观的皮肤、眼睛和牙齿至关重要。我们对具有次表面散射的材质进行实时光线追踪的方法，使得实时渲染比以往任何方法都更接近参考光线追踪。好消息是，它现在也包含在NVIDIA RTX SDK中。如果您有兴趣了解更多信息，我鼓励您参加Hank今天下午2点将要举行的“实时渲染进展”课程的讲座。
虽然次表面散射处理的是非常精细尺度的体积，但我们也开发了一种技术，可以实时渲染全局程序化雾体积中的光散射效果。这项技术基于一种众所周知的方法，该方法将体积离散化为与相机视锥体对齐的盒子网格，也称为体素，同时依赖于我们许多光线采样算法和单次散射近似。
所有这些进步也依赖于NVIDIA DLSS AI模型的持续改进。几年前，由创建我们第一个效果特定去噪算法的同一位工程师领导的DLSS团队在2018年开始解决基于AI的低样本计数光线追踪去噪问题。这导致了两年前第一版DLSS光线重建（DLSS RR）的发布。这对我们来说是一个游戏规则的改变者，在解决实时光线追踪的许多挑战方面取得了飞跃。此外，它用一个最终通道取代了多个针对光路不同部分（如直接照明、间接漫射和环境高光）的去噪算法。
我今年1月发布的DLSS RR的改进版本，作为DLSS 4的一部分，使用了全新的Transformer模型。这个新模型在质量上又有了飞跃。尽管DLSS RR在图像质量上有了很大的提升，但与我们的参考渐进式光线追踪模式相比，我们仍然在渲染保真度方面看到了差距。为了解决这个问题，我们知道我们必须重新审视我们实现实时光线追踪算法的方式，使其更接近我们的参考模式。幸运的是，DLSS RR使我们能够用一个最终的去噪通道取代所有特定的去噪器，这使得目标触手可及。
大约两年前，我们通过使用与参考光线追踪模式相同的生成着色器，并结合DLSS RR，验证了这种方法的有效性。虽然初步结果很有希望，但并不完美，仍然需要大量的算法创新，才能使相同的统一光线追踪核心也能够处理低样本光线追踪。此外，我们正在进行的方法的性能是一个担忧，因为我们之前使用了多个通道来为光路的不同部分进行光线追踪，这提供了一些性能优势。单一的光线生成着色器可能会变得更加发散，并失去先前方法的性能优势。
幸运的是，Ada GPU架构中引入的一项名为Shader Execution Reordering的新功能被证明非常有效。将此功能与目标优化工作相结合，我们在大多数情况下能够超越先前解决方案的性能，有时甚至显著超越。
经过大量的努力，我们很高兴地宣布，Omniverse RTX Realtime 2.0现在已成为Omniverse Kit 108.0中默认的实时渲染模式，该版本将在未来几天内发布。
我现在想展示一些例子，来说明我们已经实现的视觉保真度改进。第一个比较可能是我们今天展示的最引人注目的之一。您可以看到场景中许多材质的整体亮度和外观存在多个显著差异。其中大部分来自于先前实时模式为了提高性能而做出的许多简化。当我来回切换时，您可以看到差异，这是惊人的。然而，当我从RTX Realtime 2.0切换到具有数百个样本的RTX Interactive时，差异就小多了。
在这个理发店的场景中也可以观察到类似的差异。RTX Realtime 1和2之间，您可以看到反射方面有很大的差异。但当我切换到具有许多样本的Interactive时，这些差异就小多了。
我们会议室的数字孪生也显示出相当大的差异，特别是在白板反射方面，您会注意到RTX Realtime 2.0实际上比具有数百个样本的RTX Interactive更接近。
最后，这里……嗯，不是最后，还有两个例子和一个现场演示。您会看到，在1和2之间，反射和整体照明有很大的不同，但当我切换到多样本光线追踪参考解决方案时，它们就近多了。
这里是一个汽车工厂的数字孪生，它也显示了在镜面反射和整体材质色调方面存在很大差异，当切换到RTX Realtime 2.0时，这些差异大大减小了。如果我来回切换到RTX Interactive，差异就小得多了。这是同一工厂的另一个镜头，RTX Realtime 1、2和参考。
所以，仍然存在一些差异，我们将继续努力缩小差距，将它们最小化。但是，我认为我们都为我们取得的成就感到非常非常自豪。我的团队中有许多人在其中发挥了关键作用，我想承认他们辛勤劳动的成果。为了庆祝这一点，Anders也在这里。他将做一个简短的现场演示，以便您可以看到它的实际效果。
[掌声]
所以，嗯，是的，您可以看到这是一个汽车工厂的模型，我们将其创建为一个完全的、Omniverse SIM就绪的模型，人们可以将其用于他们自己的物理AI、机器人、模拟应用。我们很快就会提供这个模型。该模型如您所见，具有大量的几何和材质细节。它超过3亿个多边形。我认为它有很多来自发光网格以及遍布各处的灯光原语的光源。您还可以看到大量的几何细节。所有材质都是镜面的，这使得这个场景在任何情况下都很难进行光线追踪，无论是实时的还是非实时的。将所有这些结合起来，能够实时进行光线追踪，这确实是一项了不起的成就。
我认为我们可以切换回幻灯片了。谢谢你，Anders。
[掌声]
所以，嗯，是的，我知道今年是实时渲染课程的20周年。嗯，这是我们踏上这段旅程的第17年。不如20年那么圆满，但我相信Steve更早就开始了。但是，对于NVIDIA来说，这一切都始于他和Pete Cheurly创办了一家名为Rayscale的公司，该公司于2008年5月被NVIDIA收购。当时，我知道团队开始努力工作，仅仅一年后，他们就在SIGGRAPH上首次展示了实时光线追踪。明年，他们发表了之前提到的那篇论文。九年后，在温哥华SIGGRAPH的首次演示之后，我们进行了我之前提到的发布，我们发布了Turing UP架构。2019年3月，我们首次向世界展示了Omniverse，这距离我们开始开发它只有大约5个月。从那时起，我们一直在经历我刚才讲述的旅程，直到今天我们所处的位置。我认为，当我们大约十年前开始时，我们的梦想是能够达到这种质量水平的实时光线追踪。这花费了大量的工作和多代GPU才达到今天。但我认为我们现在非常接近我们想要实现的目标。
所以，Omniverse RTX Realtime 2.0。我认为它实现了当今可能实现的最高保真度、照片级真实感渲染，具有复杂的动态几何、数百万个图元、数十亿个三角形、数千个光源以及您选择的任何复杂材质。这是什么？
现在，尽管这令人印象深刻，但最先进的实时光传输模拟并不是我们今天实现物理AI应用所需要的一切。为了帮助物理AI开发者，我们必须做得更多。Omniverse RTX也关乎高保真传感器模拟，包括摄像头和其他传感器模式，如雷达、激光雷达、立体深度摄像头、超声波传感器等。
为了更具体地说，我还想向您展示一些Omniverse RTX独有的功能，这些功能与我们高保真的实时传感器模拟相结合，能够实现关键的物理AI工作流程，例如合成数据生成或AI训练和强化学习的地面真实性，以及闭环模拟。
首先是合成数据生成。许多AI模型，如感知模型，除了我们生成的高保真传感器输出外，还需要大量的标记数据。例如，在此幻灯片中，您可以看到一个摄像头传感器，以及我们可以生成的包含辅助输出的附加缓冲区，如法线、语义分割、2D边界框、深度和实例分割。所有这些都将作为训练AI模型的输入过程。
强化学习是物理AI模型训练中日益重要的技术，尤其是在人机培训方面。但这需要大量的试错。闭环模拟与自演进AI模型相结合，以在合理的时间内获得良好结果，需要非常高的模拟速率，例如通过使用集群中的多个GPU来实现，但即使有数千个GPU，要获得下一个级别的加速也是一项艰巨的任务。
机器人学家决定使用较低分辨率的传感器输出。事实证明，这足以实现许多操作任务的初始引导。随着这种做法的普及，我们意识到通过有效地将这些传感器模拟任务批量处理到GPU上，而不是从CPU顺序调用，可以显著加快渲染许多低分辨率传感器的速度。这样，我们就可以在单个GPU上以实时速率模拟数千个环境，每个环境都有自己的低分辨率传感器。
这是在较小范围的瓦片或环境中的一个例子。展示了一个机器人手臂的16种环境变体。只是为了让您了解分辨率以及他们正在生成图像的测试类型。他们正在为所有这些不同的环境进行闭环操作，并基本上进化AI模型，有时甚至需要数小时或数天，即使有这么多变体。
物理AI中另一个日益重要的领域是轻松生成3D内容的需求。大多数机器人学家都不是3D内容创建专家，因此他们可能会受到他们能够获得的内容的质量和多样性的限制。在过去的几年里，关于辐射场捕获的AI研究取得了非常快的进展，我们曾经称之为NeRF或神经辐射场，现在已被3D高斯散点图取代，并被广泛采用。最近，我们发布了对Omniverse RTX中3DGS和3D NeRF表示的渲染的初步支持。这些表示可以通过NVIDIA研究人员提供的开源工具或使用我们的神经重建生产工具包Neurre来生成。
在此视频中，您可以看到NVIDIA办公室之一大厅区域的重建。在对办公室的3DGS表示进行渲染之上，我们叠加了一个机器人模型，该模型在相同的环境光照下进行了渲染。机器人对3DGS环境的阴影是使用我们用于近似重新照明到穹顶灯和背景板的相同哑对象合成算法获得的。
我今天大部分时间都在谈论Omniverse的历史、Omniverse RTX及其在物理AI开发中的应用。现在，我想把麦克风交给我的同事Anders，他将告诉我们下一步的计划。
谢谢。
[掌声]
非常感谢。在查看具体的路线图功能之前，我想和您分享更多关于我们对Omniverse RTX渲染器的整体愿景，就像Gash所描述的那样，它针对机器人、虚拟工厂集成和设计工作流程等工作流程。因此，它需要针对各种用例和性能细分，从以每秒数百万帧的速度渲染低分辨率图像以进行强化学习，到低延迟的XR立体声，再到4K或8K的超高品质最终帧渲染。我们的用户是开发者、机器人学家、流程和制造工程师、机器学习工程师，而不是艺术家或渲染专家。因此，渲染器必须能够正常工作，而无需手动调整大量参数。因此，物理准确性胜过艺术控制。
Omniverse首先是关于模拟物理上准确的数字孪生。这在提供准确的传感器模型方面尤为重要，无论是摄像头还是我们已经看到的任何其他传感器模式。最后，我们拥抱AI的使用，以创建一个混合渲染器，该渲染器结合了RTX硬件加速光线追踪的优势与RTX Tensor Core加速的神经图形技术，如DLSS、神经重建和基于Cosmos的模型。
RTX不仅仅是视觉模拟。它还包括对物理AI至关重要的所有其他传感器模式，如激光雷达、雷达、超声波、立体深度摄像头等等。这些传感器模型必须是基于物理的并且可定制的，以便能够匹配特定的变体。无论您模拟的是哪种模式或模式组合，Omniverse RTX都必须能够处理任意大小和复杂度的场景。光线追踪的一个优势是，随着场景复杂度的增加，它往往比光栅化更具可扩展性。但这种可扩展性并非无限。特别是为了利用GPU上的加速计算，我们必须在不要求用户手动优化其内容的情况下，将其装入GPU内存。这意味着我们必须自动准备输入USD数据以进行高效加载，并无缝地编排在模拟过程中这些数据的流式传输。
最后，我们希望Omniverse RTX易于集成。为此，我们提供了两种集成方式：Kit SDK允许本地应用程序开发，以及从云端流式传输交互式应用程序或视口；Sensor RTX API则用于云端集群中的数据中心规模模拟。
渲染器的新功能——针对材质。首先，我们有视频纹理、贴花和其他投影功能，这在各种设计和CAD工作流程中都很重要。以及针对非视觉材质的可定制材质描述。也就是说，控制激光雷达、雷达和红外等传感器外观的属性，以及热性能等。
我们不断提高渲染器的效率和准确性。引导式采样允许高效地采样复杂的间接光路径，例如构成毛发的路径。我们还增加了光谱渲染，以实现视觉和非视觉领域中最高保真度的光模拟。对于需要能够获取光传输模拟不同部分的工作流程，例如设计和重建训练，我们正在添加光路表达式，以实现用户可定制的不同部分照明积分的输出。标记为RTX Interactive的那些最初只在交互模式下可用。
首先，我们大大提高了网格光线采样算法的性能和内存效率，使得场景完全由发光网格照亮。投影灯允许将光图案投射到场景中，无论是可见光谱还是红外光谱或其他光谱，并且与我们的相机模型具有相同的失真校准选项，以便能够精确匹配真实设备。这对于建模结构化深度传感器至关重要。我们将允许以光度或辐射度单位指定灯光亮度。事实上，这使得能够自信地设置照明而无需手动调整。我们还更新了以符合最新的USD Lux规范关于照明行为，以确保RTX能够与在其他兼容USD应用程序中创建的照明无缝协同工作。
如果您看了昨天研究领导者的特别演讲，您会看到Sonia展示了最新的交互式世界重建。换句话说，那是可编辑的、动态的、可重新照明的高斯散点图。这些是Omniverse RTX中完全光线追踪高斯散点图的一些早期测试。这意味着它们与场景中的其他部分完全参与光传输。并且它们的照明和材质属性可以交互地编辑，以从一次重建捕获中创建各种场景。
我们最近还启动了一个项目，创建一个系统来验证我们的相机传感器模拟，并实现对各种相机传感器参数的完全自动化校准。我们的目标是完全完成模拟的最后一步，使模拟开发者能够完全准确地建模这些设备，而无需模拟开发者费力地调整大量控件和更简单的模型。它涵盖了从我们如何建模曝光和镜头系统以匹配不仅是失真，还有清晰度和失焦行为，以及其他方面，如滚动快门。基本上，您可以想到的设备中的一切。
为此，我们与第三方签订了合同，以构建一个系统来自动校准真实相机的所有这些方面。该系统由七个不同的测试站组成，每个测试站测量所需传感器的不同特性。该传感器在机器人手臂上依次移动到每个测试站，从而实现非常高效的测量过程。
为了验证我们的传感器模型与真实设备的匹配度，我们目前正在构建一个捕获系统的数字孪生，以便我们可以将模拟传感器与现实进行比较。这是使用该系统获得的一些初步结果，只是为了测量镜头失真。这些是我们从该系统中获得的第一个结果。明年，我们将展示一个完全校准的相机传感器匹配，具有绝对的准确性。
我们还继续扩展我们建模的传感器模式范围。飞行时间传感器常用于机器人中的深度感知，通过测量发射的红外光的传播时间或相位偏移来工作。我们还将相机建模扩展到可见光谱之外，从近红外开始。我们正在为强化学习工作流程添加批量瓦片渲染支持，以包括深度传感器，您在右侧看到的就是，以及激光雷达和其他类型的传感器，以匹配Nasha刚才展示的相机输出。
另一个令开发者兴奋的新功能是传感器处理图。这为我们的开发者提供了使用运行GPU代码的视觉编程范式来建模自己的传感器的新功能。因此，传感器开发者可以在USD中定义节点，并在CUDA、Warp或Slang中提供节点处理函数的实现。然后可以将节点连接在一起形成完整的处理图，从而实现快速原型设计和重用，甚至通过重新连接图来开发全新的传感器处理算法。
这些图可以为传感器输入（如射线方向和能量）定义，以模拟传感器硬件。然后，传感器输出上的图可以模拟传感器后处理模型，例如相机ISP硬件和固件中的模型，或者融合传感器，它们将来自多种不同类型传感器的输出组合在一起，例如相机和激光雷达。然后，开发者可以将节点实现作为预编译的IR进行分发，以提高性能并保护其知识产权。
要开始使用Omniverse中的RTX渲染器进行物理AI开发，请遵循此处的链接获取入门指南并下载Kit SDK。如果您正在构建自己的渲染器，您可以使用Nasha今天展示的许多相同技术，通过NVIDIA RTX SDK，这是一套用于集成DLSS、STR、次表面散射和毛发算法等功能的SDK，以及更多功能到您自己的应用程序中。
非常感谢您的聆听。我认为我们还有时间回答几个问题。
[掌声]
哦，是的。
嗯，你们正在增加更多关于镜头建模等方面的功能。所以，就像现在我能放我自己的，以及你展示的机器人平台，如果有一个新的，比如带光学元件的相机或不同的传感器，会怎么样？你如何获得参数化，然后你将提供给Omniverse？
对，所以PSF或点扩散函数是我们打算测量并使人们能够某种方式测量并提供参数化的东西之一。我们目前还没有完成那部分。但我们刚刚让系统工作起来了，所以一旦我们开始深入研究那一部分，我们就会找到一种方法来做到这一点，我们可能会寻求合作伙伴的反馈，以找出参数化和暴露它的最佳方式。
是的。酷。谢谢。
还有其他问题吗？我注意到你展示的RTX Realtime场景是静态的，而且当它空闲时，它会稍微改善一点。你能告诉我们一些关于如果场景是静态的，你会怎么做吗？如果你能够进行空闲渲染，我不知道你称之为什么。在空闲时，你能做什么让它看起来更好？
嗯，当然。所以，显然当东西移动时，会更难，因为你必须完全看到场景的新部分。当你什么都不动时，你可以不断累积更多的样本，这基本上就是DLSS光线重建的工作方式，通过重用它所能重用的一切。但显然，当东西移动时，可以重用的就少了，所以质量可能会稍低，这可能就是您观察到的。
是的。
某种程度上，如果它空闲一段时间，它会收敛到交互式吗？它会基本上收敛到什么？
我不会说它会收敛到RTX交互式结果。不，我们至少没有尝试这样做。
问题。
嗨，谢谢你的演讲。我有一个问题，是关于那个的，对于像游戏这样的实时应用，因为东西经常移动，所以时间性需要非常……
那么，你会调整哪些参数来获得更好的运动中的连贯性？
基于……判断质量与运动中的连贯性。
对，我认为DLSS重建提供了一些控制，关于你在不同像素上想要重用多少。我不确定有多少被很好地记录下来。如果您有任何问题，可以问那里正在微笑的Maxime。
谢谢。
那边的那个问题。
它正在通过。嘿，嗯，我很好奇你们如何管理着色器编译时间，特别是随着你们不断添加越来越多的功能。根据我的经验，需要几分钟才能看到第一个像素，你知道，有时有人添加一个使用新BSDF的新对象，然后就需要一分钟加上10秒。
是的，这绝对是我们面临的一个挑战。我认为新RTX Realtime 2.0模式的一个好处是代码量减少了，而且我们希望随着旧模式的淘汰，我们能移除更多代码，这将为我们带来降低。但我的意思是，我们基本上尝试尽可能地并行化所有编译步骤，无论是Slang还是DX编译器，还是Vulcan的Yellow Cell编译器，以及驱动程序编译部分。所以，当我们加载场景时，我们可能会加载数百种具有独特着色器的材质。所有这些，每种材质都可以生成多种着色器或我们需要的着色器函数。所以，我们尽可能地并行化。核心越多，速度越快。然后我们尽可能多地缓存。我们还开发了基于云的缓存。所以，当我们运行云中的Sensor RTX时，有一个着色器缓存服务。这样加载速度就快多了，通常是几秒钟，在一秒钟内，您就可以在这些系统上加载大多数着色器。所以，我认为，是的，如果您有任何关于您经验的详细问题，并且想要更多技巧，请随时联系我们，我们也许能凭借我们的经验帮助您。
还值得一提的是，通过Distilling，实际的GPU着色器代码对于所有材质都是相同的。所以它只需要编译一次。
对，而且，通过在实时模式下进行蒸馏，这部分在许多材质之间共享，但我们仍然有另一种模式，它每次都会生成所有代码，包括所有BSDF评估采样逻辑。
谢谢。
我认为我们还有最后一个问题的时间。还有最后一个问题吗？
不。好的。所以，哦，我们有一个……那边有一个。
哦，完美的。抱歉。
开着。
嗯，你能更新一下Omniverse中用于可视化的多GPU进展吗？我知道RTX渲染器能够……
对。
……比如大多数其他东西只能在零号GPU上渲染，但……
是的，我们支持同一系统上的多个GPU。如果您使用Sensor RTX在多个系统中渲染多个传感器，它将使用多个GPU，但不是用于单个传感器。所以，单个传感器，单个摄像头……比如说，因为其他传感器不这样做，但单个摄像头可以跨越多达八个GPU，如果可能的话更多，如果您有更多的话，但我们通常不会测试超过八个。
所以，你不能将单个传感器分区到多个GPU上吗？
我们可以处理摄像头，但我们不为其他传感器这样做，因为它们足够快。
好的。
在大多数情况下。
好的。
我的意思是，即使是今天，我认为大多数时候，一个GPU，一个Blackwell GPU……
它相当不错。
是的，但是，嗯，很难获得一个RTX Pro 6000，而不是许多，你知道，L4s这样的小型GPU。
所以，是的，它已经支持了很长时间，几乎从2019年开始，很早就支持了，而且我们将继续支持它。如果您有任何经验，并且它对您不起作用，请告诉我们。
嗯，我不是按传感器进行的，我是在单个视口上进行的，你知道，实时加速。
是的，不是多视口。
实时1.0模式在多GPU上的扩展性不是很好，而且如果分辨率低于某个数字，它实际上会禁用多GPU渲染，因为开销不值得。RTX Realtime 2在多GPU上的扩展性要好得多。这是它的一个主要优势。
好的，我会试试的。谢谢。
这是一个很好的观察。我忘了。
坦率地说，我在Google工作，目前正在实现Kit应用程序流媒体。
好的。
是的。实时2。使用两个GPU，你就黄金了。
是的。
非常感谢大家。请大家给他们鼓掌。