Transcription
我们下午的第一位演讲者是 Civa。他将要谈论统计最优传输中的稳定性界限。嗯，我就让他开始吧。
>> 好的。嗯，非常感谢。感谢大家的到来。感谢您的邀请。嗯，好的。那么，我先开始吧。今天我将谈论一些联合工作。嗯，我将要谈论的一切都是与 Tutor 的联合工作，他是 Larry 的学生，也是我的前学生，现在是 MIT 的博士后，还有 John Swede，他在 NYU。
嗯，好的，如果您有任何问题，请随时打断我。嗯，让我先从一些非常非常广泛的动机开始，介绍我们今天将要谈论的内容。几分钟后，我将为您提供一些最优传输的背景。嗯，但 OT，您应该将其视为，它是一个非常古老的领域。您会发现，大多数问题可以追溯到 1700 年代。它是一个介于运筹学和数学之间的经典交叉领域。
最近，人们重新产生了浓厚的兴趣，因为 OT 框架，您将在讲座中看到，它引入了一套工具。它为您提供了一种映射分布之间的方法，用于衡量分布之间的距离等等。这些工具有许多非常有吸引力的特性。因此，它们已广泛应用于机器学习和统计学。因此，有很多最近的例子。像扩散模型，在某种程度上，它们使用了某种最优传输的直觉。您可以考虑对抗性样本，它们就是用这种语言来表述的，等等。
嗯，也许这个讲座将侧重于试图更好地掌握统计方面。特别是当您尝试将这些工具应用于数据时，您可能想了解估计各种对象有多容易。那么，估计分布之间的距离有多容易，估计分布之间的最优传输图有多容易，等等。我将试图说服您，也许对于这些问题，即使是最基本的问题，我们也知之甚少。所以，这将是讲座的主要焦点。我将告诉您为什么其中一些问题既有趣又困难，而这正是主题的一部分，即试图理解或解决这些统计问题，即使它们纯粹是统计问题，试图理解它们并掌握它们，也需要以某种方式理解一定量的 PTE，一定量的凸分析。所以，它确实有一些有趣的挑战。
好的。有了这个非常广泛的动机，让我先介绍一下最优传输的全部内容。嗯，首先，让我们从一张图片开始。所以，只是试图理解传输意味着什么。这是通用设置。您将获得一对分布 P 和 Q。您想了解的是一种构建映射的方法，该映射将第一个分布映射到第二个。所以，您应该在脑海中想象，您有左边的分布和右边的分布。如果您想将一个分布映射到另一个分布，您被要求的是构建这个向量场，它只是告诉您在哪里推动质量，以便如果您从这个分布开始，并且您遵循这个映射，您将得到目标分布。所以，有峰值和一些低谷。所以，也许您想将质量从峰值推到低谷。
稍微更正式地说，您正在寻找的是以下内容。您正在寻找一个传输图 T。所以，如果您给我一个传输图，它必须满足这个属性。如果您从源分布中获得一个样本，并将其通过这个传输图，您将得到一个具有等于目标分布的分布的随机变量。这就是传输图的含义。它是一个将具有一个分布的样本随机变量，如果您将其通过映射，您将得到具有第二个分布的随机变量。
嗯，在整个讲座中，我将使用这种表示法，即 T 将 P 推向前 Q。这只是为了说明它是一个分布 P 和 Q 之间的传输图。
好的。如果您有任何问题，请随时打断我。很好。
现在，您可以说，哦，也许潜在地，分布之间存在许多传输图，所以您必须说，哦，您是什么意思，找到一个传输图，而这种表述，也许最初的表述可以追溯到 1700 年代的 Gaspard Munch，所以他说，哦，如果存在许多传输图，那么您要找的是一个成本最低的。所以我将写下一些东西，它是一个成本。我将说明，将一个样本从位置 X 移动到 T(X) 需要多少成本，而我现在要寻找的是，在所有传输图之间，在所有将 P 推向前 Q 的事物之间，找到成本最低的那个。所以，如果您将其视为传输图告诉您将样本从 X 移动到 T(X)，那么您将看到某种位移。所以，X 和 T(X) 相距多远？这就是我们的成本所编码的内容。然后您查看平均成本，然后尝试找到成本最低的那个。
嗯，在今天的讲座中，我们将讨论最典型、最漂亮的结构化成本，它拥有最美丽的理论，那就是平方欧几里得成本。所以，每当我提到“成本”时，我将只意味着查看 x - t(x)，查看二范数平方，然后查看平均值。所以，这就是我们今天将称之为 OT 图的东西。它是将 p 推向前 q 的传输图，它最小化了平方欧几里得距离。
好的。所以，您会意识到的一件事是，即使这个问题的表述非常自然，但它实际上非常难以处理。首先，甚至不清楚解决方案是否存在。分布之间并不总是有有效的传输图。所以，也许应该记住的典型例子是，如果源分布有一个原子，而目标分布有两个原子。不一定存在一个映射来分割原子。所以，不存在有效的传输图。所以，您需要一些条件，以便这个约束集甚至是非空的。
另一件需要注意的事情是，即使成本非常漂亮，也许它是一个漂亮的二次成本，这个程序中的约束是一个非常非线性的对象。所以，如果您考虑它为您编码的内容，即 t 将 p 推向前 q 的事实，它在某种意义上编码了变量替换公式。所以，至少在 nice 的情况下，它告诉您，对于每个 x，您必须满足此约束。所以，这是对 t(x) 的约束，您应该想象有无数个这样的约束，它们都是非线性和非凸的。
好的，所以您应该认为，嗯，Munch 写下了这个程序，它在它所寻找的东西方面是相当不错且直观的，但它有一个非常丑陋的约束集，而且很难推理。
好的，所以 Cantovich 在 1940 年代写下了这个程序的另一个松弛版本，这个版本在结构上会好得多。所以，他说，与其寻找传输图，不如寻找所谓的耦合。耦合只是一个联合分布，所以它是一个联合分布，您应该将其视为在 XY 对上，其中一个边际是第一个分布 P，第二个边际是第二个分布 Q。所以，一个边际是源分布，另一个边际是目标分布。您应该这样考虑：每个分布之间的耦合都提供了一种从 X 到 Y 的传输方式，只是它不是一个映射，而是一个随机传输计划。所以，它会说，取一个点 X，并将其移动到由这个联合分布定义的条件。所以，它会在目标空间中适当地分割质量。所以，它是一种随机映射，如果您从源边际开始并将其通过耦合，您将得到一个具有目标边际的东西。唯一的区别是，它不是一个单值映射，而是一个所谓的马尔可夫核。
好的。所以，您现在可以忽略它，但 Canvich 建议这样做，他说，让我们现在做 Munch 所做的事情，即潜在地，现在存在许多可能的分布之间的耦合。所以，您尝试找到成本最低的那个。所以，这就是我们将定义的 pi 0。它只是成本最低的耦合，并且成本已为您写出。
好的。而这正是 Munch 问题的松弛，因为任何有效的传输图。所以，如果存在一个，它就定义了一个有效的耦合。您应该将耦合视为 X 和 T(X) 的联合分布。这是一个有效的分布耦合。而且，可能还存在其他耦合。关于这个表述，其他需要注意的事情是，现在它是一个线性程序。它可能是一个无限维线性程序。但在线性变量 pi 中，它是线性的。对耦合的约束，即它具有正确的边际，只是线性约束。而目标本身只是对 pi 的积分，而 pi 是一个线性事物。所以，它是一个潜在的无限维线性程序。
是的。唯一的，如果我喜欢随机化，那就是唯一的松弛。
>> 是的，那好吧。嗯，也许从实践的角度来看，有人可能会争辩说，传输图比这个马尔可夫核或耦合更具可解释性，但也许不是。
所以，到目前为止，我们看到了什么？Munch 程序的松弛，而且它实际上是一个无限维线性程序。嗯，有一个定理，至少现在将为我们弥合差距，连接这两种观点。这是一个经典的 Brenais 定理。
所以，它说了什么？它说，如果您的源分布是绝对连续的，那么这两个程序的解是相同的。所以，特别是，Munch 的程序有一个唯一的解。所以，只要源分布是绝对连续的。所以，您没有分割原子的麻烦。那么，Munch 的程序就有一个解。它是唯一的。它将是凸函数的梯度。所以，解将具有这个漂亮的结构属性，它将始终是凸函数的梯度，并且它将与 Canarvich 程序的解相吻合。所以，Canarvich 的程序将有一个耦合。该耦合也将是唯一的。它将是 Munch 的东西定义的那个。所以，您可以将其视为 X，T0(X) 将是唯一的最佳耦合。
所以，Brenais 定理告诉您什么？只要源分布是绝对连续的，这两个程序实际上就具有相同的解，并且它们是唯一的。
好的。所以，某种程度上，在满足这个条件的情况下，您至少可以拥有这两种方法的优点。也许要记住的一点是，这个映射具有这个非常漂亮的结构。它是凸函数的梯度。这为您编码了一些漂亮的单调性属性，对吧？所以，凸函数的梯度满足一些非常漂亮自然的多元单调性，称为循环单调性。所以，这只是说，如果它是一个 OT 图，它将是最优的，并且它将具有这个漂亮的结构属性，它不会做次优的事情。
函数在样本空间上，比如 X，X 的空间，我想说的是，最优传输总是会把任何质量，你知道，无限小的质量移动到附近的位置。它从不跳跃。
>> 嗯，它可以跳跃。
>> 它可以跳跃。
>> 它不会交叉，这就是重点。也就是说，如果您回到我给您看的那个向量场，那么单调性只是告诉您，这些箭头永远不会交叉，所以某种程度上，您不会用 OT 图做任何特别次优的事情，但是的，它可以跳跃。所以，您可以想象，我不知道，是的，它们可以有不相交的支持，在这种情况下，OT 图实际上会跳跃。
好的。所以，对于我们来说，也许这个函数 f0，我们将称之为 Brenais 势。这只是一个需要记住的术语。
好的。您需要了解的第二个对象或最后一个对象是所谓的 Wasserstein 距离。所以，Wasserstein 距离是 Cantovich 程序的最佳值。所以，如果您给我一对分布 P 和 Q，然后我说，最佳耦合的成本是多少？所以，我在 Canvich 程序中可以达到的最小值，它定义了分布上的一个度量，我们称之为 Wasserstein 距离。所以，在这种情况下，因为我们使用平方欧几里得成本，这将是 w2 平方距离。
好的。这是 Wasserstein 距离的定义，也许在 Brenais 定理的条件下，您可以将其视为 OT 图的成本，也许一般来说，这就是思考最优传输框架的方式，它是一个非常强大的思想，告诉您如何将一个度量提升到地面空间。所以，地面空间上的度量编码了成本，您已经设法将空间上的度量提升到定义在该空间上的分布上的度量，它将以某种方式继承地面度量的良好属性。所以，如果我稍微扰动我的分布在底层空间中，距离不会爆炸。所以，这只是将空间上的距离提升到定义在该空间上的分布上的距离的一种方法。
>> 是的。
>> 特定于 L2。
>> 不。所以，您可以使用平方欧几里得成本来定义 Wasserstein 距离，但通常人们认为它是 LP 成本。所以，您取 x - t(x)，通常是欧几里得范数，然后取 p 次幂，这些就是 wp 距离，然后这些都是度量。如果您玩弄底层成本，它可能不会定义一个度量，然后您需要小心。是的，很好。谢谢。
>> 如果我使用 L1 并且没有平方，那仍然是正确的距离吗？
>> Z 想说些什么。
>> 我不知道为什么我没有。
>> 好的。是的。所以，那个是，但我认为如果我只是普遍地定义一个成本，而成本本身不满足三角形不等式等，那么提升的距离可能不是一个度量。
好的。所以，让我简单说几句关于距离的一些特征，也许在某种意义上，随着讲座的进展，您会看到更多直观的理解，但您应该将其视为某种程度上它不是易碎的，这就是为什么统计学家在 1960 年代和 70 年代使用它来推理自举和其他事物的原因，即它在离散分布和样本之间或连续分布和离散分布之间是明确定义的，所以通常当我们想到 KL 和 TV 和 Helinger 等距离时，它们只有在例如两者都是连续分布或者它们以某种方式共享相同的支持时才有意义，而 Wasserstein 距离仍然有意义。我可以考虑它在经验分布和总体分布之间，它仍然有意义，并且特别是在一些相对温和的条件下，经验分布将以 Wasserstein 意义收敛到真实分布。所以，如果您给我一个大小为 n 的样本，没有任何平滑，那么经验分布是总体分布在 Wasserstein 意义上的合理估计。对？所以，这是人们喜欢它的原因之一，您可以解决密度估计等任务，而无需平滑。
好的。而这个属性在您尝试最小化距离的应用中也可能很有用。另一件好事，而且再次是 Wasserstein 类型距离所独有的，是当您对这个距离进行平均时，某种程度上形状是保持不变的。所以，也许从右边的图更容易理解。所以，如果您说取左边的某个高斯分布和右边的某个高斯分布，然后问中间点是什么？质心是什么？这两个分布的平均值是什么？那么您可以定义 Wasserstein 质心。它将是中间的高斯分布。而如果您说这两个东西之间的欧几里得平均值是什么？它将是某种高斯混合。所以，在某种意义上，如果您根据度量对高斯分布进行平均，您将得到一个高斯分布，但对于其他事物，这不一定成立。
好的。所以，在某种意义上，质心在 Wasserstein 距离下是有意义的。
嗯，让我简要地说一下，有很多应用，它们都围绕着我们看到的这些属性，即当您使用最优传输时，您不仅得到一个距离，而且您还得到了一种在分布之间映射的方法，而距离本身具有一些良好的属性，因此在过去几年中，它在统计学和机器学习中有许多应用。
所以，现在我终于要进入讲座的重点了，我将告诉您一些关于估计最优传输图的内容。嗯，让我停顿一下，看看是否有问题。
好的。所以，我们今天要看的问题是。这是典型问题，称为统计最优传输。所以，您应该考虑的设置是什么？而不是给您访问两个分布，然后说告诉我一些关于它们之间传输图的信息，我将给您它们的样本访问。所以，您应该想象的设置是，我给您来自分布 P 的 n 个样本，以及来自分布 Q 的 n 个样本。现在我说，假设我们做一些假设。让我们说 P 是绝对连续的。所以，P 和 Q 之间存在一个明确定义的传输图。我想要的是您构建一个估计量，在没有访问分布的情况下，只有样本访问，并且希望该估计量在某种意义上是好的。今天，我们将通过说您的估计量 t_hat 与 t_0 在平均意义上根据源度量有多远来衡量您的估计量有多好。
>> 好的。所以，这是某种风险，某种 L2 类型风险，我们已经写下来了。
>> 是的。
>> 您有相同数量的样本对于方便至关重要。
>> 它不是至关重要的，但理论上将取决于这两个样本大小的最小值。您将在几分钟内看到原因。一个，你知道，是另一个的平方。我仍然卡在两者中较小的一个。多余的 P 或其他样本没有任何好处。
>> 是的。所以，这最终会像 miniax 一样。也就是说，即使我只给您一个分布，解决这个问题也并非必然容易得多。
>> 好的。所以，更广泛地说，统计最优传输的这个小分支是什么？它是一个关注类似问题的领域，您询问 OT 框架中出现的对象的估计和推断问题，例如传输图或 Wasserstein 距离，但您将要做的是从样本中进行估计和推断，所以而不是给您访问分布，您获得样本访问，所以这就是统计最优传输领域，大致如此。
好的。所以，现在我已经告诉您我们正在做什么，让我告诉您一些可能尝试构建传输图估计量的合理方法。所以，这是第一个，也许是最基本、最简单的做法，这些被称为第一个经验估计量。
所以，那是什么意思？所以，如果我给您 n 个源样本和 n 个目标样本，您可以计算所谓的最小成本匹配。所以，我可以问，从左边的样本到右边的样本的匹配，成本最低的是什么。所以，我将说，匹配 x1 到 y5 的成本是它们之间的距离的平方，等等。这只是一个线性程序。您可以通过所谓的匈牙利算法来解决它。所以，有一个相当快的算法来解决这个线性程序，并找出至少在样本内的匹配。
然而，统计任务要求您进行一些泛化。我希望您在样本支持之外也估计这个映射。所以，您必须给我一些原则来扩展它们。所以，最简单的扩展是最近邻扩展。所以，如果我给您一个新样本，然后问我应该如何传输它？您将在样本中找到最近的邻居，并按照它告诉您的方向移动。所以，这是将样本内匹配扩展到样本外的一种方法。
好的。这是最近邻映射。所以，大家都明白了吗？这只是传输图的一个估计量。
>> 是的，那么您构建的传输图将不会完全，我猜。
>> 是的，所以它不会是分布之间的一个精确的传输图，但您应该期望在统计设置中，您永远无法。
>> 我真的不知道确切的目标。
>> 确切地说，是的。但是，是的，这是一个需要记住的好点。这些不是精确的传输图，但那不是我关心的。我关心的是您在某种 L2 意义上估计真实传输图的程度。对？所以我从不强加它必须是两个底层分布之间有效映射的约束。
好的。嗯，另一种原则性的方法来尝试构建估计量是我称之为平滑估计量。所以，在某个地方应该是这样的，当您考虑最近邻时，您已经看到我没有利用任何平滑性。所以，也许如果我知道更多关于两个分布结构的信息，我应该能做得更好。所以，这里有一种尝试这样做的方法。您可以定义 T_hat 通过某种插件原则。所以，我将首先估计两个底层分布 P 和 Q。我将构建 P_hat 和 Q_hat，然后我说，好的，在某些条件下，它们之间存在一个明确定义的传输图，这将是我的传输图估计量。所以，这是插件估计量。所以，我首先估计 P_hat 和 Q_hat，然后将其插入一个黑箱中，它会告诉我它们之间的 OT 图是什么，这是另一种尝试估计传输图的方法。
实际上，这在实践中计算起来有点困难。唯一可以完全普遍计算它的方法是，现在您取您的估计量 P_hat 和 Q_hat，然后对其进行离散化或重新采样，然后计算某种最近邻。确保重采样足够大，这样您就不会因为这样做而失去一些统计效率。
是的。
>> 是的。所以，您可以做其他事情。是的。我的意思是，是的。是的。
>> 是的。嗯，是的。所以，您是在说，一般来说，是的，在这些非参数设置中，您应该期望一些计算问题将有一个答案，该答案与维度成指数关系。
>> 您需要，如果您想获得，您需要指数级的。
>> 是的，您会看到那种结果，但也许如果您假设足够的平滑性，那么您就不需要指数级的 D，我将在几分钟内向您展示类似的结果，但是的，您是对的。如果您正在解决非参数问题，您应该期望一些东西与维度成指数关系。
好的。这也许就是这个图的计算方式，它基于某种对这两个度量的离散化，通过某种采样方法。
嗯，让我稍微说一下，也许，至少在统计上，这两个估计量应该是相当合理的启发式方法，是尝试构建估计量的合理方法，但它们非常广泛地用于实践，但分析起来有点困难，我将告诉您一些关于如何分析类似估计量的方法。
好的。很好。所以，现在让我告诉您，嗯，至少在高层次上，我们正在做什么？我们正在分析这类插件式估计量。所以，这是您应该在脑海中考虑的设置。存在一个真实的 OT 图 T0，它是 P 和 Q 之间的 OT 图。我已经以某种方式构建了一些估计量 P_hat 和 Q_hat。我说 T_hat 是 P_hat 和 Q_hat 之间的 OT 图。也许直观地说，我们正在尝试问什么？我们正在尝试说，好吧，我希望 T_hat 接近 T0。所以，也许希望是，如果 P_hat 接近 P 并且 Q_hat 接近 Q，那么 T_hat 和 T0 应该接近。对？所以，这是关于最优传输程序作为优化程序对其输入参数的稳定性问题。
好的？所以，这就是我们正在问的。OT 图在多大程度上对输入参数的扰动是稳定的？请记住，我不知道在某个时候我告诉您这是一个线性程序。线性程序在某种意义上是出了名的不稳定。也就是说，如果您在脑海中想象，我不知道，您正在一个多面体上优化某事，您的最优值可能在某个顶点，也许如果我稍微改变成本，稍微改变事物，您应该想象解决方案会跳跃，但也许，这种直觉在这里是错误的，因为它是一个无限维线性程序，而且事实证明，OT 程序实际上可以在某些假设下是稳定的，这就是我们接下来要探讨的。
好的。很好。
好的。所以，这是将使这个程序以一种很好的方式稳定的关键正则性条件。所以，我们将假设这是这样的设置，即真实的最优传输图，我们知道它是凸函数的梯度。所以，至少在一些基本正则性条件下，如果我将 P 通过 T0，我得到 Q。所以，它总是凸函数，大致根据 Brenais 定理，我们知道这一点。我们将假设它不仅是凸的，而且是强凸和光滑的。对？所以，这是假设。所以，我们将假设这两个分布由 OT 图连接，而 OT 图是强凸和光滑函数梯度的。
好的。这个假设有点强，有一些情况，我们知道如何通过所谓的 Capelli 正则性定理来验证它。所以，如果您考虑幕后发生的事情，我们是 OT 图是某个 PDE 的解。所以，您可以说，假设我对输入分布 P 和 Q 做一些假设。什么时候这个 PDE 的解具有上面那样的正则性？而且事实证明，至少在您假设 P 和 Q 在某个漂亮的凸域上具有不为零且不为无穷大的密度的情况下，Brenais 势不仅是凸的，而且也是强凸和光滑的。
当 P 和 Q 是对数光滑和对数强对数凹时，它也成立。所以，有一些情况，我们知道如何从第一原理验证 BA 势满足这些条件。但现在我们将只做这个假设，看看它能给我们带来什么。也许这有点令人失望。人们喜欢 OT 框架的原因之一是它为您提供了一个明确定义的分布之间的距离，即使这些分布是不连续的等等。而这些假设比定义对象所需的假设要强得多。所以，在某种意义上，您应该这样考虑：如果您想解决某些统计估计任务，您不需要它们是明确定义的。您还需要它们是稳定的。而这需要比仅仅说它们是明确定义的更强的假设。
>> 这些也是必需的吗？比如这个条件是必需的，还是说。
>> 不，我们不知道任何如此强烈的东西。
>> 还有其他更像相对的条件吗？比如对 P 和 Q 之间的密度比率有什么说法？
>> 所以，我认为您应该将密度比率视为定义 f 散度等事物的有用方法。
>> 而这些在类别上是不同的。
>> 但我不确定。
>> 是的，好的。所以，很好。所以，现在终于到了要点。所以，假设您愿意做出那个假设，它能带来什么？
好的。暂时您可以忽略中间的项。所以，这是一个定理。嗯，它说了以下内容。假设 P 和 Q 由这个强凸和光滑的势连接。那么，取任何估计量 P_hat 和 Q_hat。那么，从 P_hat 和 Q_hat 我将给您一种计算 T_hat 的方法。您应该大致将其视为 P_hat 和 Q_hat 之间的 OT 图。嗯，那个对象实际上将非常接近 T0，特别是 T_hat 之间的距离，也就是说，您的估计量，您可以将其视为 P_hat 和 Q_hat 之间的 OT 图，它与 T0 的距离将由 P_hat 和 P 之间的平方 Wasserstein 距离以及 Q_hat 和 Q 之间的平方 Wasserstein 距离所界定。
好的。所以，这是什么意思？直观地说，它只是告诉您，OT 程序，如果您做出连接 P 和 Q 的势是光滑和强凸的假设，那么它对输入的扰动是稳定的，以 Wasserstein 距离。所以，只要您能控制右边的项。所以，您的 Q_hat 是 Q 在 Wasserstein 意义上的一个好估计量，而 P_hat 是 P 在 Wasserstein 意义上的一个好估计量，那么插件估计量将是 T0 的一个好估计量。
好的。所以，您应该将其视为一个相当强的稳定性界限，它几乎没有对 P_hat 和 Q_hat 的条件。对 P 和 Q 做了一些非常强的假设，但您得到的陈述非常有用且漂亮。
是的。
>> 在高维情况下，纯粹的收敛性也很糟糕，不是吗？
>> 是的。
>> 所以，如果您假设没有其他结构，您应该期望那些东西看起来像 n 的 -1 次方，指数级地糟糕。是的。但您可以对它们施加更多结构。所以，例如，如果您说它们属于某个参数类别。所以，也就是说，真实的分布是一个高斯分布，那么也许您可以获得右边事物的参数速率。所以，如果我说真实的分布是一个高斯分布，那么您可以构建 MLE 是一个合理的估计量，所以右边事物的 Wasserstein 距离实际上不会像维度那样成指数增长。
>> 我们不能取，但我们可以取 MLE。
>> 好的。是的。
>> 所以，对我们来说，关键的统计含义是什么？所以，在这些假设下，这些假设有点强。那么，要理解您能多好地估计一个传输图，就足以理解您能多好地以 Wasserstein 距离估计密度。
好的。
>> 是的。
>> 回去。
>> 是的。
>> 嗯，您能把 P_hat 替换成左边的 P 吗？那不应该集中吗？
>> 不那么容易，除非，所以请记住，这是某种，除非您能说那个东西是，我不知道，要么是 Lipschitz，要么 P_hat 除以 P 是有界的，您不能轻易地将 P_hat 替换为 P。
>> 我的问题是，这个传输图，它有没有什么正则性？您看到它们反正都是光滑的。
>> 是的，所以对于最近邻，这是您最常想做的情况，我们假设 T0 已经是 Lipschitz 的，那么最近邻图将是一个 Lipschitz 对象，然后您可以说，您可以限制 P_hat 到 P 的损失，但一般来说，您必须小心这样做。
>> 是的。
>> 所以，为什么这个结果与线性程序如此不同？
>> 嗯，我的意思是，您为什么在这个程序中获得稳定性？
>> 为什么您在这里获得稳定性，而不是在 Canarvich 程序中？
>> 我的意思是，它是一个线性程序。所以，我并不是说它只是一个无限维线性程序。所以，也许您关于顶点和多面体的直觉有点误导。它确实是这样的，某种程度上，这个程序有无数个顶点，所以当您移动事物时，它在这个意义上是稳定的，我想它不是，不是每个线性程序都不稳定，这个程序在这个假设下相当稳定。
好的。很好。嗯，另一件事是，也许如果我们有时间，我们会再回来，您也可以将这个稳定性界限视为通过对中间项进行上限和下限而产生的。而中间项是某种 Wasserstein 函数的泰勒展开。所以，您可以查看 P_hat 和 Q_hat 之间的 Wasserstein 距离，然后说它看起来像什么？它看起来像 P 和 Q 之间的 Wasserstein 距离，加上一些一阶线性修正，然后剩下的就是某种二阶对象。所以，这是泰勒展开中的第二项，它被上限和下限以得到这些东西。所以，它说，在这些项之间，左边和右边之间，有一个 Wasserstein 距离的某种线性化。
让我再说一下，这种定性稳定性界限，即说，哦，我不知道，如果 P_hat 在 Wasserstein 意义上收敛到 P，那么传输图就会收敛，在更弱的条件下是已知的。这是一个非常定量的界限，它精确地说明了传输图误差是什么，以及它如何精确地与 Wasserstein 距离相关。所以，它需要更强的条件。
其中一个问题是，您是否会得到维度上的指数级糟糕的速率，而且您通常会得到。嗯，让我指出，如果假设足够的平滑性，那么这将不会是指数级的糟糕，但您确实需要对平滑性有多少有非常强的假设。
嗯，好的。所以，在没有任何平滑性假设的情况下，您可以分析最近邻估计量等事物，您将得到大约 n 的 -2 次方速率。让我只说一点关于传输图估计速率的事情。在对 T0 做出一些平滑性假设的情况下，传输图估计速率看起来像这样，如果您考虑一下，它某种程度上比通常的非参数速率要快。所以，通常的非参数速率，如果您熟悉的话，看起来像 n 的 -2α / (2α + d)。所以，您在这里得到了一点升级，这是因为您正在估计的事物实际上具有更多的结构。它们不仅仅是光滑的，而且它们还是凸函数的梯度等等。所以，您有更多的结构可以利用，这导致了这里稍微快一点的速率。
嗯，另一个也许有趣的方面是，一旦我说“好吧，如何证明关于这个的定理？如何使用稳定性界限？”我所说的是，它告诉您传输图估计速率由 Wasserstein 意义上的密度估计速率所界定。所以，一个问题是，您如何理解您能多好地估计 Wasserstein 距离下的密度？
事实证明，至少有一件事是好的，那就是在您假设分布具有密度下界的情况下。所以，想象一下它支持在一个具有密度下界的紧集上。那么，事实证明 Wasserstein 距离的行为就像一个范数。特别是，它的行为就像 H-1 范数。所以，您可能以前没有见过这个，但所以，这是对应于函数类 S_1 的 IPM。所以，如果您以前没有见过这些反 S_1 范数，那么这只是一个有用的收获，那就是 Wasserstein 距离下的密度估计就像在积分概率度量下的密度估计。所以，您说 P_hat 和 P 在某个类别的测试函数上的距离有多远？在这种情况下，该类别将是 S_1 函数的类别。所以，如果您考虑一下，如果我只说 G 是所有有界函数，这将是某种总变差距离。而 Wasserstein 距离的行为就像是 TV 距离的一个稍微平滑的版本。它就像一个积分概率度量，其中测试函数是光滑的，这就是您获得稍微快一点的速率的原因。
还有另一种方法可以解释为什么在 Wasserstein 意义下获得更好的密度估计速率，因为测试函数是光滑的。
>> 是的。所以，我展示的每一个速率都有相应的下界。是的。
好的。所以，那么让我跳过这部分，然后，好的，让我只告诉您另一件事，那就是您也可以谈论统计最优传输中的另一个问题，即仅给定分布的样本，您能多好地估计两个分布之间的 Wasserstein 距离。所以，这是一个经典的函数估计问题。我不在乎您估计分布。嗯，我只关心尝试理解它们之间的 Wasserstein 距离有多大。而我可以将其用于假设检验等目的。
而我们可以从我们的稳定性界限中得出一个结论是，Wasserstein 距离的插件估计量。所以，我在这里插入 P_hat 和 Q_hat，其中 P_hat 和 Q_hat 现在是底层分布的核或小波估计量。至少如果您有足够的平滑性，它就是真实 Wasserstein 距离的一个有效估计量。特别是，至少如果您假设相当多的平滑性，您的平滑参数至少是 d/2 - 1，那么插件估计量就是底层 Wasserstein 距离的一个好估计量。而这再次只是我之前写下的稳定性界限的一个结果。
好的。所以，让我在这里停下来。所以，这只是一个可以考虑的不同问题，即您能多好地估计 Wasserstein 距离。所以，我们今天只谈论了两件事。其中一件事是尝试估计传输图，也许要记住的是，OT 程序满足一些非常强的稳定性条件，因此您可以分析这些插件估计量并说它们相当好。它们接近最优。我们谈论的另一件事是估计 Wasserstein 距离。而这里我们只是说，至少如果您假设了很多平滑性，那么插件估计量就是真实 Wasserstein 距离的一个好的渐近无偏最优估计量。
好的。我在这里停下来。谢谢。
所以，我想有一个问题是，您一直在考虑非参数情况，对吧？比如我没有参数形式的分布，也不只有分布，还有传输的形式，对吧？那么，假设我处于这样的环境中，比如我实际上是从一个假设类别中学习传输，从统计学上来说，速率仍然会被维度诅咒所主导，或者比如说传输类别的容量有助于限制事物并避免诅咒。
>> 是的。所以，您可以做您刚才说的，有论文，它们分析了所谓的函数空间上的传输图估计。我只假设传输图存在于我给您的某个集合中，然后您将获得某种覆盖数类型的界限。但您需要假设这些传输图，例如我给您的那些，都是光滑和强凸函数的梯度。在某个地方，您仍然需要稳定性假设来为您工作。对？所以，如果我给您一堆候选者，并向您保证它们都是光滑且强凸的某物的梯度，而您必须在它们之间进行选择，那么即使样本本身位于非常高的维度，您也可以获得这些覆盖数类型的界限。
>> 是的。
>> 没错。而且，只是为了确认您的最后一个结果，您是在说，如果分布 P 和 Q 本身足够光滑，那么您之前说您可以利用这一点，通过说首先进行密度估计，然后将估计的密度插入问题。您在这里说的是，您甚至不需要这样做。
>> 不，您需要。所以，这些是这些光滑估计量。您不能只插入平滑的平均值。
>> 是的，您不能只插入经验度量。
>> 是的，您确实需要利用平滑性。所以，这些是像核或小波估计量。
>> 好的。谢谢。
>> 这是否与 D 趋于无穷或 N 趋于无穷收敛？
>> 这是 N 趋于无穷。D 是，所以这就像通常的非参数设置。所以，您认为 D 是固定的。
>> 我只是说有一个 D。是的，这只是表示分布收敛。我很抱歉，由于各种原因，SAS 会话过载，但是的。
>> 是的。
>> 嗯，所以，我仍然想知道那个条件，你知道，在实践中，因为我知道人们在应用中经常使用它。有没有像，你知道，如果正则性条件假设它被违反了，或者稍微违反了，比如在实践中，人们仍然看到稳定性，或者真的广泛地偏离，或者至少有没有关于这些是否必要或其他更简单情况的猜想？
>> 我我不知道答案，我认为这是一个非常好的开放性问题，试图理解这个条件有多必要，以及当您违反它时会发生什么。当然存在不连续的传输图，您可以肯定地估计它们。我的意思是，所以它不是一个根本性的要求，就像如果您没有这个条件，您将无法估计传输图一样，但您应该以某种方式，正在发生的事情是，我们正在获得一个非常快的估计速率，并且我们可以说它是最优的等等，而其中一些将会破裂。所以，您可以构造传输图不连续的例子，而您无法以该理论建议的任何速率估计它，但说得更多就很难了，或者人们还没有做到。
您能否多说一点关于正则性假设在定性上意味着什么？比如，什么是这个条件的“墙壁条件”？
>> 嗯，是的，它某种程度上说明了，嗯，至少它告诉您，嗯，所以您应该将其视为对传输图梯度的假设。它说在某种意义上，传输图的梯度是 Lipschitz 的，但也有一个类似 Lipschitz 的下界。所以，它基本上不允许您拥有一个非常糟糕的不连续的传输图。而这会发生，例如，如果我说 P 和 Q 可以有孔，也就是说，它们可以下降到零，那么传输图将在各个点上不连续，而这某种程度上阻止了这种情况的发生。所以，我不知道，也许解释它的方式是，它是对传输图梯度的上限和下限 Lipschitz 条件。所以，说传输图是 Lipschitz 的。
>> 比如混合锁和立方体。
>> 不。
>> 您能把它解释为 LP 本身的可行集的一些几何条件吗？比如那个东西有一些均匀凸性或均匀光滑性属性。
>> 嗯，我认为有些事情是这样的，但我不知道如何确切地解释它们。但您可以将这些类型的条件解释为提供对偶的稳定性界限。所以，人们提出这个方法是这样的，好吧，您可以推导出 OT 程序的对偶。它也是一个线性程序。但这个条件将为您提供一些对偶的部分优化版本，它们具有二次增长。所以，这是一个为您提供最小化对偶的稳定性的条件。而这个定理基本上说，原始问题也继承了这种稳定性。
>> 超级愚蠢的问题。我只是很难理解这个 v0ero 梯度的事情，因为它对我来说感觉有些类型不匹配，对吧？因为对于传输，您试图将一个点空间 X 移动到另一个点空间 T(X)，对吧？但是一个势函数的梯度是一个方向，在空间中。为什么一个方向是一个位置？我不明白。
>> 我猜是。
>> 它是，嗯，也许另一种说法是，如果我设想这个，比如 b0，比如，它有一个最优值，最大值，那么梯度在那里是零，对吧？所以，说在那里您应该将点移动到零，所以某种程度上我觉得，如果您有一个 f0 的最优值，那就像一个特殊的事情，而目标空间中的零点有点像任意点。您明白我的意思吗？
>> 隐约地。
>> 但我认为您是。
>> 也许我会提个建议，然后我们有一个很好的大休息。
>> 因为我也有一个问题，但我会把它留到休息时间。但让我们，嗯，谢谢您。