Transcription
所以今天还有两个讲座。嗯，首先，他来自芝加哥大学的博士后。嗯，但他曾在康奈尔大学获得博士学位，而且他将在秋季开始在华盛顿大学的电子与计算机工程系任职，我们对此感到非常兴奋，所以我对这些天发生的事情感到非常兴奋。>> 谢谢。嗯，是的，谢谢大家。嗯，感谢组织者发出邀请。嗯，所以，我今天非常兴奋能谈论这个逆散射问题，我想首先感谢我那些了不起的合作者。所以，这些都是芝加哥大学的人，我想特别强调一下欧文，他是这项工作的主要推动者。嗯，他基本上是这个整个项目的博士生。好的。嗯，好的，那么什么是逆散射呢？所以，让我从一个激励性的例子开始。所以，想象一下你是一家地质勘探公司，你的客户说，我想了解海底有什么东西。好的。所以，你有几个选择。其中之一就是开始挖掘。这是个糟糕的主意。浪费金钱和资源。你可能什么有用的东西都发现不了。所以，这是另一种方法。你部署一堆水听器。所以，这些基本上是传感器，然后你用一个气枪发射一堆冲击波。这些波穿过海底，它们穿透这个感兴趣的介质。它们在里面做自己的事情。所以，基本上，它们传播的方式受到材料特性的调节，然后最终它们会反射回来，你就可以在你的传感器上捕捉到它们。好的。所以，我想在大多数情况下，在逆散射问题中，总有一种观念，即你试图以一种非侵入性或非破坏性的方式探测一个不均匀的介质。好的。所以，让我把它说得更精确一些，但我要把它抽象化。嗯，基本上发生的是，我们有一个散射势 Q。所以，这是一个函数，其定义域是某个感兴趣的区域 ω。所以，你有空间变量 x，这个函数的取值告诉你，如果你谈论电磁散射，这种材料的导电性如何，或者它告诉你岩石的密度有多大，或者你关心的某个特性。好的。你探测它的方式是，你有一些简单的波，你把它们扔过去。所以，在这种情况下，我们有这些复杂的指数，但基本上，想法是你有很多源方向 S，这些通常只是单位圆上的均匀分布或者之类的，然后每个探测波实际上都与某个空间频率 K 相关联。所以，通常你需要对许多许多不同的波长做这件事，才能真正了解你的材料。嗯，还有一件事是，我们假设在感兴趣的区域之外，一切都以恒定的速度传播。所以，所有这些东西在感兴趣的区域之外在功能上都是相似的。好的。所以，这就是你探测材料的方式。嗯，第二个重要的方面是问题的物理学是什么样的？好的。所以，基本上发生的是，一旦你的探测波穿透了感兴趣的介质。嗯，它们就开始被散射。所以，它们可能会偏离不同的物体。它们可能会分叉。它们可能会做各种事情。嗯，但这里的要点是，从散射势 Q 到特定散射波的映射实际上是一个高度非线性的映射。嗯，我想通过展示描述这种关系的实际方程来让你稍微害怕一下。所以，有一个叫做利普曼-施温格积分方程的方程。嗯，有一个格林函数，因为它实际上是某个基础亥姆霍兹方程的解。嗯，但我认为不需要花太多时间来让你相信这是一个很难写下来的映射。嗯，现在我们对问题的物理学有了一些了解。嗯，让我告诉你测量以及你如何收集它们。基本上，你可以假设你有一个半径非常大的环，它包围着感兴趣的区域，而且你有一堆接收器方向。所以，这些接收器方向告诉你传感器放在哪里。所以，你最终测量的是这些不同位置的散射波，而且你必须对每个入射方向 S 和每个接收器方向 R 都这样做。所以，你最终收集到的是所有这些我们称之为远场数据的东西，也就是在所有你探测这种材料的空间频率下，在所有这些接收器处测量的散射波。好的。嗯，如果你好奇的话，它看起来是这样的。所以，你从一些散射体 Q 开始。它有这个我稍后会回到的玩具形状。你可以在这里和这里看到我们在不同空间频率下的测量。所以，空间频率实际上会极大地改变你的测量结果。好的。但我认为在所有这些应用中，关键是你收集到了一些远场数据，而目标是恢复这个散射势 Q。所以，这基本上是一个逆问题的实例。好了。好的，到目前为止有什么问题吗？好了，我继续。嗯，当你试图解决这个问题时，嗯，它看起来很吓人，而且大多数时候确实如此，但有些情况我们可以大大简化它。所以，其中一种情况是我们称之为单次散射机制。而这在功能上对应的是，基本上是对前向映射 F_k(Q) 进行泰勒展开，然后说，好吧，这近似是线性的，对吧？所以，这并不总是好的假设，但在某些情况下是合理的，我想用这个看起来吓人的方程来演示它。所以，一个合理的情况是当你的散射势 Q 实际上具有低对比度时，这意味着它的大多数值都很小。对吧？另一种情况是当散射势 Q 大部分为零时。对吧？这就是我们称之为空间支撑狭窄的散射体。然后最后，还有另一种情况是波数 K 很小。所以，我们谈论的是低频波。所以，这些不是完美的，这不是一个完美的近似，但这些是三个有用的情况，对吧？你可以从中得到一些有用的东西。所以，有了这个线性近似，我们可以做的就是解决相关的线性逆问题。对吧？所以，这就产生了一个叫做滤波反投影的算法。它是许多信号恢复信号恢复方法的基石。所以，基本上你所做的是你反演这些测量，并且由于病态等原因，你必须添加一点正则化，对吧？但这是一种算法，非常简单，它甚至不是一种算法。嗯，我将要讲的，嗯，重要的是，当你对这个前向模型进行一种扰动分析时，如果你在正确的坐标基中工作，你可以将这个滤波算子近似地表示为二维卷积，然后你可以将这个伴随应用，也就是我们所说的反投影，或多或少地表示为一维卷积。对吧？所以，即使你可能处于一个具有高对比度数据的区域，对吧？在这种情况下，这个算法不会做得很好。你可以想，我有一个二维卷积表示，然后我有一个一维卷积表示。我可以让这些更灵活。所以，我可能可以让这些变成神经网络，并希望神经网络中固有的非线性校正能够弥补建模的不足。好的。好的。事实上，这就是许多受单次散射机制启发的近期工作的思想。对吧？所以，它从单次散射机制中汲取了架构思想，但基本上希望通过将它变成一个具有非线性的神经网络所提供的额外灵活性会做得更好一些。好的。所以，有一个经典的，我想我称之为经典的。这是一篇非常近期的论文，但它取代了，它取代了一维的，抱歉，它用一个可训练的一维卷积神经网络取代了反投影算子，并且它对滤波算子也做了同样的事情。嗯，这个领域有一些相关工作，基本上试图对这些卷积施加额外的、通常是层次化的结构，使其更具物理合理性。但不幸的是，这还不够。所以，所有这些方法仍然在处理高对比度数据，或者例如具有不均匀背景的散射势。嗯，好了。所以，有趣的情况是什么？基本上，所有这些都不再成立的情况。所以，是信号具有高对比度、宽空间支撑，或者你拥有像高波数 K 这样的情况。所以，让我们退一步，试着想想如果我们对散射问题的具体物理学一无所知，我们会怎么做，对吧？所以，让我们戴上优化器的帽子。你如何作为一个优化器来解决逆问题？嗯，你只需要写下一个惩罚项，对吧？比如说 L2 平方惩罚。嗯，这是逆散射问题的惩罚项。基本上，你试图最小化测量空间中的不匹配。好的。你正在优化一些合理的散射势集合。这是非常非凸的，我会给你一个我认为能说明问题的玩具例子。所以，你必须处理非凸性的所有复杂性。所以，你必须处理局部最小值、无用的驻点，条件数非常糟糕。所有这些东西都起作用了。所以，也许你可以问自己，作为一个想做些有用的优化器，在解决这个优化问题时，如何避免糟糕的解决方案？对吧？所以，你可以作弊，只要求一个非常好的初始猜测，或者你可以想一些更好的方法，那就是如果你有多频率测量，对吧？所以在多个波数 K 下，你从单次散射机制中知道，实际上那里的关系是线性的，所以它几乎和你解决一个凸二次规划一样。所以，这就产生了一个自然的想法，那就是我们为什么不使用低频估计，从足够低的频率开始，来获得高频子问题的合理初始解呢？好的。所以，我将在稍后回到这个想法，我只想给你看一个玩具例子，它演示了非凸性，以及当你通过不同的波数 K 时，问题的性质是如何定性地变化的。所以，让我们看一个非常简单的散射势族，我们将其参数化为高斯隆起。所以，这里发生的是，你的散射势具有一些未知的幅度，所以你只需要确定一个单一的标量 β，而高斯隆起的带宽，比如说，你知道。好的。>> 抱歉，你说什么？>> 它们都集中在同一个地方吗？>> 是的。是的。但是，你想弄清楚的是振幅。嗯，这就是当你从 4π 波数一直到 32π 时它的样子。好的，你有一个非常漂亮的碗状图，用于低频。然后，当你增加频率时，它变得越来越振荡。这是一个人为的例子，因为在这里，只需要解决低波数就足够了，你就完成了。但这在现实世界的散射问题中并非如此。好的。好的。所以我之前提到过这个想法，那就是我们如何使用低频，或者让我们使用低频估计来初始化一个解决更高频率子问题的算法。所以，这是这个非常标准的算法背后的想法，叫做递归线性化。嗯，你最终要做的是，首先，你收集你所有的测量数据，对吧？所以，你有一系列频率，比如说 k1, k2 一直到 kn, k。好的。按照惯例，我将说 k1 是我拥有的最低频率。所以，我将通过使用这个滤波反投影方法来获得一个初始估计 q̂_k1。如果我相信推导是正确的，并且如果 k1 足够低，以至于我们处于单次散射机制中，这应该会给我一个合理的估计。然后，对于所有后续频率，从 K2 一直到 KN，我将要做的是，我将线性化我的模型。所以，我将做高斯-牛顿步，我线性化的点是前一个子问题的解，但我实际上是在使用下一个可用频率的前向模型。好的。这就是这个算法的演变方式。从 G 牛顿。>> 它是字面意义上的 G 牛顿。嗯，我想也许一个细微的区别是，你不需要做多次，或者你可能需要做，我不知道，但你不需要为每个频率做多次。你每个频率只做一步。这有意义吗？>> 嗯，是的。>> 好的。>> 好了。所以，这个算法，如果你只关心高精度，它非常有效。它给你高分辨率的估计。不幸的是，它有一个令人不满意的方面，那就是它计算成本非常高。嗯，计算成本高的原因是，对于每个波数 K 和每个方向，每个接收器方向，你基本上都需要解决一个偏微分方程，只是为了评估这个前向模型，你正在解决一个偏微分方程，甚至更糟的是，你需要计算那些雅可比向量乘积，其中涉及另一个偏微分方程。嗯，更令人不满意的，嗯，它叫什么，更令人不满意的这个算法的性质是，它对你使用的频率间隔非常敏感。所以，就在这个范围内，比如说，嗯，嗯，从 2π 到 32π，对吧？我之前展示的数据，你需要使用 277 个频率，恢复一个单一的测试图像需要超过 40 个小时。所以，除非你把频率间隔做得非常非常小，否则这个算法可能甚至不会收敛。所以，这就是我们的工作发挥作用的地方。我们的目标是设计一个基于机器学习的方法。所以，最终涉及神经网络，但实际上是试图模仿这个递归线性化方法。所以，它在某种程度上忠实于从低频到高频的想法。所以，让我告诉你一些关于它的事情。嗯，递归线性化这个想法有两个关键特征是我们想要保持的。所以，其中一个就是这种渐进精炼的想法，也就是说，你得到的输出不是对你的散射势的单一估计。它实际上是一系列估计，而且随着更多数据的引入，你会逐渐精炼它们。当然，你进行的方向也很重要。所以，你需要从低频到高频。你可以把它看作是一种频率同伦方法。嗯，我们希望在我们的模型或我们使用的架构中确保的关键是，在步骤 t 的更新包含相对于我在 KT-1 的估计的高频信息。所以，我们的提议实际上是一整套神经网络。我们称它们为 Emphasis Scattering，别叫喊。嗯，它是精炼块的组合。嗯，这些都是可训练的卷积网络。而关键的想法是，我们正在做一些特殊的事情来引导连续的块来执行这种频率同伦。所以，让我给你看伪代码。它不是很吸引人。你只需要从滤波反投影的初始估计开始，然后你有一系列精炼块，每个精炼块都有自己的可训练参数，当然输入是前一个频率的估计和下一个频率的测量值。但关键问题是，这个精炼块应该是什么样的？不是所有架构都同样有用，我们有一个还算令人满意的答案，基于它的实际性能。嗯，所以，让我给你看看它的样子。所以，我们最终要做的是，我们有一些之前的估计 x̂_k_{t-1}，我们有一些下一个可用频率的测量值。所以，我们做的第一件事是使用这个 FY net 架构，也就是受单次散射启发的神经网络思想，来产生下一个频率下散射势的一个弱估计，然后我们将这个之前的估计与新的粗略估计连接在两个独立的通道中，然后我们用另一个二维卷积层对它们进行联合滤波。然后，当然，我们希望在之前的估计中保持频率信息。所以，我们有一个残差连接，基本上将这两者相加。嗯，下一个问题是，这足够吗？比如，你如何训练它？所以，一个天真的做法是，你可以将所有这些东西级联起来，然后端到端地训练它们。所以，你说，好吧，我希望最终输出匹配我的散射势，就这样。嗯，但这有点，有点令人不满意，因为你没有利用任何中间信息，而且你根本没有利用你的数据和测量的多尺度结构。嗯，所以，还有另一个，我想这是主要的创新，那就是我们如何训练它？所以，想法是，我们将从粗略定义的尺度预训练所有这些神经网络块，并且我们将利用这样一个事实，即当你有一个特定频率的测量值时，你可以从这些测量值中得到的重建必然是带限的。这意味着，如果你有高达频率 8，比如说 8π 的测量值，你不应该期望分辨率比与该频率相关的某个自然频率更好。所以，你可以做的是，对于你数据集中的每个散射势，你可以生成一系列低通滤波的散射势版本，然后分别用它们来指导每一层。所以，我们在实践中最终要做的是，好吧，我们从最低可用频率的测量值开始，这给了我们一个初始估计 q̂_k1，我们首先对其进行预训练，使其匹配真实散射势的最粗糙级别的近似。所以，我们这样做直到收敛或直到满足某个合适的标准，然后我们取这个估计和下一个频率的测量值，将它们通过一个精炼块，这个精炼块应该能给我们一个分辨率更好的估计。所以，让我们用下一个最精细的散射势近似来训练它。然后，我们再次冻结之前所有阶段的权重，然后继续添加精炼块，直到我们基本上用完了所有可用的频率。好的。然后，有一个最后的步骤，也就是一个微调步骤，它说，好吧，现在让我们一起解冻所有参数，然后确保最后的输出实际上匹配未滤波的散射势。对吧？所以，这个最后的步骤不是唯一的步骤，但它占用了相对较少的时间。嗯，这清楚吗？是的。是的。这些块都是相同的架构，相同的大小等等吗？>> 我认为是这样。是的。所以，这个和这个具有相同的架构，但它们当然使用不同的参数。>> 嗯。是的。>> 是的。>> 训练目标来自哪里？>> 嗯，这些是你数据集的一部分，对吧？所以，你有散射势和测量值的对，对吧？你可以通过做一些高斯低通滤波器来生成这些训练目标。它不一定是你得到的结果，它不是精确的带限信号集合的投影，它只是我们拥有的一个近似。还有其他问题吗？好了，接下来的，我想可能是这篇讲座的 10 分钟，基本上是旧图片、表格、实验评估。所以，我想先介绍一下我们的数据集。所以，我们实际上生成了一个新的数据集来彻底评估这个架构。你可以从 Zenodo 下载它。它以 Hadoop 文件格式存储，因为文件实际上会非常非常大。但主要的是，它的空间支撑比现有的基准更宽，而且对比度实际上要高得多，对吧？因为我们真的需要推动所有这些依赖于单次散射机制的方法，并让它们失败，以便设计出有趣的东西。它们看起来是随机选择的几何形状。所以，三角形、正方形、椭圆形叠加在一个平滑变化的背景上。所以，这是我们数据集中的一个样本的样子。所以，它只是非常简单的正方形叠加在一个完全均匀的背景上。而这是我们数据集中的一个样本的样子。所以，它就像一个球体，几乎看起来像岩浆之类的。然后你将这些形状叠加在上面。如果你看颜色条，你会注意到这里的对比度是 0.2。2，这里是 2。所以，这是 10 倍的乘法差异。好的，让我告诉你我们如何进行实验评估。所以，我们实际上生成了不同频率的数据集。所以，我们总共有五个频率，我们生成了一个数据集版本，在 32π 频率下有 10,000 个样本。然后有一个数据集版本，在 16π 频率下有 5,000 个样本，在 32π 频率下有 5,000 个样本，依此类推。所以，基本上，想法是，我们希望确保测量值的总数不取决于你使用的频率数量。它应该始终是总共 10,000 个样本显示给你的网络。然后我们比较了许多不同的方法。所以，前两种方法实际上受到单次散射机制的启发。其中一种是我们之前展示的 FY net。第二种是宽带蝴蝶网络，它包含了一些稀疏线性代数和层次化表示的思想。然后我们有一堆 Emphasis 的实现，其中两个只是天真的基线。所以，最天真的做法是，你可以为所有不同的频率准备许多不同的 FY net，然后将它们混合在一起，进行某种混合。所以，我认为这被称为 Emphasis fused。但真正让我们关心的方法是 Emphasis refinement 方法，它包含了所有这些架构和训练上的新颖之处。所以，让我先展示一些重建，我想是其中一个重建。所以，这是我们数据集中的一个真实散射势。这是你从这些先前的方法之一获得的重建，这些方法受到单次散射机制的启发。你可以清楚地看到空间分辨率不高。背景完全是错误的。甚至不清楚这应该是什么形状。它们基本上都是斑点。但是，当你使用这个新方法，它结合了三个不同频率的测量值和频率同伦的想法时，你就能获得更好的空间分辨率，而且你可以看出，这应该是一个正方形，而不是一个球体。所以，至少在视觉上，它似乎在做一些有趣的事情，而且你也可以通过查看残差图像得出相同的结论。对吧？所以，这些实际上是真实值和你的解决方案之间的误差。嗯，接下来我想展示的是一个表格，一个更正式和系统的评估。它有点复杂，因为有不同版本的数据集。所以，请注意这个数字。这是我们正在竞争的方法之一，它给你一个相对误差。261。这条线，这个宽带蝴蝶网络，它实际上得到了 3 * 3,333 个样本，因为它融合了不同的频率。它做得比这个好一点，但即使是我们的基线也已经更好。当你看到哪个是最好的，或者哪种方法是最好的时，总是 Emphasis refinement 的想法，它使用了这种频率同伦。另一个要点是，使用多尺度数据确实有帮助，对吧？所以，当你从两个频率增加到五个频率时，你做得越来越多。你越来越接近真实值。嗯，让我再次强调这一点。这个标准的递归线性化方法实际上非常非常慢。对吧？就像我之前告诉你的，它需要 277 次串行前向模型评估，才能处理你遇到的每个新样本。我们进行前向模型评估的唯一情况是为了生成数据集。所以，这些评估在测试时不会发生，对吧？当你看到所有这些所需的时间时，显然我们赢了，但这是因为我们不做任何前向模型求解。我喜欢这个方法的另一件事是，你可能已经注意到频率间隔不是那么小。你从 2π 到 4π，然后每次翻倍。它不是一个规则的频率网格。而当你使用其中一些算法时，你需要非常非常小心地安排频率。嗯，我想展示的最后一件事是一些实验证据，证明我今天所讲的一切实际上都是有用的。对吧？它具有消融研究的风格。它试图回答的问题是，是什么导致了性能的提升？这里有两种不同的做法。其中一种是你可以去掉顺序预训练。所以，你仍然可以使用这些中间重建，并惩罚它们变得糟糕。所以，这就是这个损失函数试图做的事情，但你可以直接端到端地训练所有东西。所以，你基本上不做任何预训练。第二件事你可以做的是，你可以直接丢弃那些中间重建，尽管我们认为这可能不是个好主意。所以，我们测试这个的方法是，我们训练了另一个具有相同架构的网络，但实际上在损失函数中不使用任何中间重建。我也有一个表格。嗯，忽略这两行。基本上，你只需要看到的是，当你去掉其中一些单独的组件时，你的表现就会变差。所以，没有顺序预训练，误差会增加一点点。没有渐进精炼，误差也会增加。然后你可能会想，好吧，但这些都在彼此的标准差范围内。这有点微妙，但如果你绘制一个散点图，比较完整方法和任何消融方法，所有点都会在 x=y 线之上。所以，标准差是相同的，但当你查看单个样本时，当你从方法论中去掉这些方法论上的改进时，你几乎总是会产生更糟糕的预测。嗯，到目前为止有什么问题吗？好了，让我谈谈我们正在进行的一些工作，因为我们自从在网上发布了这篇论文。所以，我想重新审视这个递归线性化思想，对吧？所以，这里的问题是，为什么这些传统方法如此昂贵？我们实际上可以做什么来加速它们？对吧？我之前确定的明显计算瓶颈是评估前向模型及其雅可比矩阵。对吧？之所以昂贵，是因为正如我之前提到的，前向模型是偏微分方程的解，甚至雅可比向量乘积或向量雅可比乘积也涉及相关的偏微分方程，它们基本上难度相同。好的。所以，一个自然的问题是，现在是 2025 年了。我们有 GPU。我们有 TPU，如果你喜欢的话。我们基本上有一大堆硬件非常擅长做特定事情，基本上是矩阵向量乘积。所以，我们能否利用这些硬件加速器来设计更好的求解器来解决这个问题？我想答案是，直到去年为止，可能还不行。所以，这是一个我只是做广告的幻灯片，我合作者的工作。但是，有一个非常好的求解器叫做 Jax HPS，它是对一种叫做 HPS 的分层蒙特卡罗方法的一种现代诠释。而欧文写的这个求解器的优点不仅在于它非常快，因为它利用了 GPU 的矩阵向量乘法，而且你实际上可以进行自动微分。所以，如果你真的很有野心，你可以想象你只需要插入一个神经网络，并希望发生一些有用的事情，对吧？所以，让我告诉你两件我们现在正在研究的事情。其中之一就是我刚才描述的想法，那就是也许一个可微分的前向映射能让我们更好地将其与一些神经网络解决方案集成。所以，也许我们可以直接插入求解器，而不是使用这些 FY 可训练的一维卷积，并获得更高的前向模型保真度。而且我今天没有结果。这有点像正在进行的工作，如何最好地做到这一点并不明显。但我确实想稍微谈谈加速一些经典的恢复方法。所以，我今天所说的一切都适用于近梯度法。但你可以想象使用一些相同的想法，比如高斯-牛顿类型的方法。对吧？所以，我将专注于一个低开销的方法，它使用加速近梯度法。为了确保大家都在同一个页面上，我想告诉你近梯度法在做什么。所以，当你有一个像这样的优化问题时，它是一个数据保真项，通常是可微的，以及一个正则化项，通常是不可微的。你不能只做梯度或次梯度下降。这通常是个坏主意。你可以做的是，你使用一个局部模型，它只对平滑部分进行泰勒展开，并保持非平滑部分。对吧？所以，这就是你最终得到这个更新，这个近梯度更新，而近算子基本上评估一个子问题，它包括一个线性函数加上一些不可微的非平滑映射。所以，在逆散射的背景下，你如何应用这个框架是，你将数据保真项设置为测量不匹配。这碰巧是一个连续可微的损失函数，而且对于许多感兴趣的应用来说，你想要的是具有平滑变化的背景的信号。所以，为此目的的标准正则化器是总变差范数，在二维上。所以，我们使用这种二维各向异性总变差公式。现在，这有一些问题。第一个问题是，除非你在一个一维情况下，否则没有解析公式来评估这个近算子。逆散射中的大多数问题都不是一维的。第二个问题，也是主要的计算负担来源，实际上是评估前向模型或数据保真项及其梯度，这涉及雅可比向量乘积。所以，有一些过去的工作，我命名了一个可用的求解器，但许多过去的工作都有类似的风格。它最终做的是，它使用所谓的截断玻恩级数来数值近似那些梯度，你可以将其视为一个简化的泰勒展开。但是，有了这个 GPU 加速的求解器，我们可以计算精确的梯度，对吧？我们可以非常快速、高精度地计算这个 f(q) 和梯度 f(q)。然后，我们还添加了一个简单的分裂方法来评估总变差范数的近算子。而由于不再使用近似而带来的关键好处是，我们可以使用比以前更大的步长。所以，这里不一定有方法论上的新颖性。它只是说，如果你有正确的工具，不要忘记基本原理。所以，让我展示一个重建。所以，这将在一个稍微不同的设置中。它将是一个来自法国研究所的实际数据集，这是一个电磁散射。所以，你在 4 吉赫兹有远场数据，而我将展示的重建是以零初始化，并具有一定的预设误差容差。所以，这是目标的样子。这是一个二维切片，有两个光束。把它们想象成由不同材料制成的泳圈面条。你从上面看它们，并取一个二维切片。这是我们用我们的方法获得的重建。这是这个重建的一维横截面。而在底部，我展示的是带限投影，从某种意义上说，这是在重建质量方面你能期望的最好结果。所以，显然我们有更多的伪影，但它实际上非常接近理想的重建。然后，当你比较时，我没有这个尺寸方法的重建，但我有一个比较，当我展示比较时，也许你会明白为什么我没有包含重建。所以，这里我正在比较这个尺寸算法，这是过去的工作，以及我们的提议，即在加速近梯度法之上使用这个加速的 HPS 求解器。而在左边，我比较的是相对误差与迭代次数的关系。而在右边，我比较的是相对误差与算法运行累积时间的关系。所以，不仅竞争方法在更高的相对误差处趋于平缓，而且花费了大量时间才达到那里。在迭代次数方面，它有点，差异更微妙。但关键是，即使使用玻恩近似来近似数据保真度损失的梯度，也需要更长的时间才能达到那里。如果你好奇的话，虚线是你通过带限投影获得的误差。这是最好的可能。所以，它看起来相当不错。你基本上获得了使用 GPU 的所有好处。这是一个非常好的故事，希望它能在两个月内上线。我想欧文最终会看到这个讲座。所以，总之，我想总结一下我今天所展示的内容。所以，我展示了一个受递归线性化启发的神经网络架构，它给了我们一些非常好的特性。所以，首先，我们可以实现高分辨率恢复，而无需在测试时进行偏微分方程求解，这就是你在推理时间“引号”中获得所有这些好处的地方。然后，由于这些架构思想和新的训练方法，你实际上可以利用数据的多尺度性质来稳定训练过程。嗯，然后我还谈到了我们正在进行的一些未来工作。嗯，我希望在将前向模型与神经网络解决方案集成方面有更多进展，因为它实际上是一个非常令人兴奋的想法。但我会在这里停下来，回答任何问题。[掌声]>> 所以，你提到了这个动机，你知道，石油和试图了解地下有什么，而许多这些基准看起来都非常像玩具形状之类的。是的。>> 这个东西如何转移到，我的意思是，动机性应用似乎复杂得多。>> 是的，这总是如此，对吧？你总是比你能做的更雄心勃勃，但例如，对于递归线性化，你确实解决了真实问题。所以，正在实现。所以，这是神经网络目前无法做到的，除非你有大量的，你知道，高保真训练数据。但这是你可以用近梯度方法做到的。只是我们还没有数据集或带宽。我想我们最终应该有带宽来尝试真实数据。>> 是的。>> 这是一个限制。这是计算限制。嗯，嗯，你可能需要做一些更聪明的事情，当你处理真实数据集时，关于你如何安排所有这些计算，但我认为关键思想会是一样的。>> 是的。>> 假设他们今天也这样做。>> 他们今天确实这样做。所以，他们今天所做的，我不想猜测太多。我假设它与递归线性化有关，也许他们以聪明的方式重用了某些计算。是的。天真地。所以，一开始你提到这个，嗯，高对比度机制是困难的，或者对以前的方法来说更困难，而天真地作为一个外行，我发现这有点违反直觉，因为我认为高对比度意味着信号与背景非常不同。所以，你能，有什么直观的解释吗？>> 是的。所以，高对比度之所以会造成问题，是因为一旦波穿透材料，就会产生更多的相互作用。所以，如果一切在某种意义上都是平坦的，那就更容易了，因为你不需要知道太多，就像你没有任何相互作用一样。基本上，波只是进去然后出来，就这样。是的，让我们再次感谢演讲者。