IFDS Workshop–Private Evolution Converges

大家好，欢迎回来。呃，本场会议，我们将由一位 DTS 来拉开序幕。呃，他曾在卡内基梅隆大学（CMU）担任博士后，之后又去了伯克利大学（Berkeley）担任博士后，然后又回到卡内基梅隆大学（CMU）担任助理教授。呃，他获得了不少奖项，包括斯隆奖学金（Sloan fellowship）和职业生涯奖（career award），最近还获得了 P 奖。恭喜。嗯，是的，我想我们都了解他很多关于辅助工作的成果，并且迫不及待地想听到关于隐私演进（private evolution）的内容。

>> 嗯，是的，很高兴来到这里。我上次在这里做演讲，大概是七年前吧，当时我还在找工作。所以很高兴能回来。嗯，我将要讲的是一个非常新的工作。所以，如果你在网上看到了摘要，那么摘要是错误的。那是因为我不确定我是否能在假期期间完成，我是否真的能在宝宝睡觉的时候完成幻灯片，但我完成了我的幻灯片。所以，我将要讲一些可能与研讨会更相关的内容。所以，这个研讨会应该是关于理论理论基础的，嗯，是的，既然它应该是关于应用人工智能的理论基础的，那么这正好符合这个框架。我将要讲一个算法，它在去年被提出，并且在实践中非常受欢迎，但我们从理论上并不理解它为什么有效，或者它是否有效，等等。它属于差分隐私的范畴，这个算法叫做私有演进（private evolution）。所以，我们最近有一篇投稿，认为，嗯，我们能够在特定的理论模型中证明，我将解释一下，私有演进确实会收敛，它收敛的意义也很重要。在我告诉你们更多关于这篇论文之前，我想强调一下，AI Stats 2026。我是其中一位项目主席，它将在摩洛哥举行。主要的论文提交截止日期是 10 月 2 日，而且这里的几乎所有听众，无论你们做什么，都适合 AI Stats。它就是人工智能和统计学，对吧？所以，请把你们最好的论文提交过去。它比 ICML 的截止日期晚一周。嗯，是的，所以，如果你以前没去过，或者没听说过，或者人们来自不同的社区，这是一个中等规模的会议。我说的中等规模是指我们预计会有大约 2000 篇投稿，这比 ICML 小一个数量级，但比一些理论会议大一个数量级。所以，它介于两者之间。期待你们的投稿。

所以，我将要讲的这项工作，我的合作者是 Julia Fanti，她也是卡内基梅隆大学的副教授，以及我们共同指导的一位学生 Tomas Gonzalez Lara。

所以，这个私有演进领域及其相关的动机是产生合成数据的愿望。嗯，我们为什么要产生合成数据？事实证明，我们想训练机器学习算法，但我们拥有的很多数据都非常敏感，所以我们不能简单地将其公之于众。所以，你可以想象一下医院，也许有一个医院网络，拥有关于某种疾病非常有价值的数据。他们很想让机器学习人员在他们的数据上训练模型，但由于 HIPAA 的限制或其他原因，他们无法将他们的数据公之于众。所以，如果有一种方法可以发布模仿私有数据特性的数据，那么你就可以进行 Kaggle 竞赛。你可以发布某种数据集。你可以让数百人提交，然后你选取获胜的模型，然后说，好吧，也许这是一个好主意，然后你就可以在你的私有数据集上实际使用这个想法。所以，嗯，你，你知道，合成数据使得这种训练的众包和想法的产生成为可能。所以，许多行业对此都很感兴趣。例如，金融公司，比如摩根大通（JP Morgan）或类似的公司对此非常感兴趣，因为他们有自己的人在私下研究，但他们希望全世界都能参与进来，他们希望发布时间序列的合成数据集，然后让其他人来研究，构建基础模型等等。

所以，嗯，所以，所以，人们对发布合成数据非常感兴趣，但我们当然希望以某种私有的方式进行，这样我们就能有一些保证，即我发布的数据实际上不是，你无法真正推断出该数据集中个人的信息。这就是差分隐私的用武之地。嗯，所以通常的框架是，数据持有者拥有一份原始数据集，他们将使用某种模型，一个生成模型来生成合成数据，你将用它来训练，但你想防止攻击者从中推断出原始数据的信息。

所以，嗯，希望大家都见过差分隐私的定义。嗯，如果没有，这里有一个单页的介绍。这是一个非常简单的想法。事实证明，如果你想维护隐私，确定性算法是不够的。你必须注入某种外部随机性。所以，嗯，所以，差分私有的算法是随机算法，嗯，所以，他们思考隐私的方式是，你有两个相邻的数据集 D 和 D'。所以，相邻通常意味着它们相差一个个体。所以，也许一条记录不同，或者，你知道，少了一条记录，或者多了一条，或者类似的东西。所以，有一些相邻的定义，但你有两个相邻的数据集 D 和 D'，以及两个隐私参数 epsilon 和 delta。它们扮演着略微不同的角色。你应该像打包一样思考它，就像属性 1 减去 delta，某事是 epsilon 近似的。所以，大概是这样。

所以，它实际上说的是，嗯，所以，这个随机算法 G 接收一个数据集 D 并输出一些空间中的东西。所以，如果你在那个输出空间中调用 script R。如果你取 script R 中的任何子集 S，R 是范围。所以，如果你取 script R 中的任何子集 S，输出 G of D 落在 S 中的概率，非常接近 G of D' 落在 S 中的概率。所以，D 和 D' 只相差一个元素。所以，这两个概率应该很接近。换句话说，它就像似然比类型的界限。它说，我实际上无法区分，直到这个 epsilon 和 delta 的因子。如果 epsilon 是零，delta 是零，那么它基本上是，你知道，你有 D 和 D'，你可以交替，你可以交换 D 和 D' 的角色，所以，如果 epsilon delta 是零，你基本上说，我，D 的属性落在 S 中和 D' 的属性落在 S 中之间绝对没有区别。因为，你知道，一个小于等于另一个，如果你交换两者，你会得到相等，但这个 epsilon delta 允许你有一些松动，说，好吧，我，我，我无法知道原始数据集是 D 还是 D'。

所以，这是，嗯，是的，所以，相差一个训练样本。所以，相邻的数据集意味着相差一个训练样本，你知道，你应该认为 epsilon 是一个常数，delta 是一个非常小的数。所以，这在实践中是典型的。所以，我的意思是，如果你看看苹果公司如何使用东西，或者类似的东西，他们会发布一些数字，他们的 epsilon 是常数，delta 就像 1，你知道，很小。所以，你应该认为 delta 就像 10 的 -4 次方或 10 的 -6 次方，而 epsilon 比如是 1。

所以，如何获得合成数据，就像，嗯，是的，抱歉 >> 我很好奇，为什么 epsilon 等于 1 就足够了？>> 它不够。只是，如果你，如果你取更小的 epsilon，你会得到垃圾，所以人们认为，你知道，那是，那是行业数字，人们倾向于围绕它。事实上，即使对于所谓的局部差分隐私，这是一种更强的隐私概念，他们使用，比如苹果在其产品发布中说它使用 epsilon 等于 4。嗯，嗯，它给你一些，你知道，一些，我的意思是，它给你一些近似，它是一个，它是一个你可以调整的旋钮，你当然想要算法，你可以，你可以权衡 epsilon delta，但但那里没有规定 epsilon delta 的大小，所以，这些科技公司使用它的原因可能是，他们可以这样说，嘿，我们正在做一些私有的事情，但他们仍然想从中获得效用，所以他们正在调整一些隐私效用参数，并相应地选择他们的 epsilon 和 delta。我不知道他们为什么这样做，但让我们说，这些现在几乎是行业标准，比如谷歌和其他地方，我与之交谈过的人似乎也选择了这个范围，所以我没有一个好的答案，对他们来说，它们是变量，你的算法应该适用于任何 epsilon 和 delta，所以对我来说，它们无关紧要，但如果你只是想对数字有一个直观的了解，那么它们就是那样的。

所以，在基础模型出现之前，人们做了什么？他们做了所谓的 DPSGD。所以，如果你，嗯，嗯，你会有私有的训练数据，你知道，你会，嗯，而不是只用 SGD 进行训练，你会用差分私有的 SGD 版本进行训练，你知道，差分私有的 SGD 大致上是做什么的，它计算一个梯度。它对梯度进行裁剪以限制敏感性，然后添加高斯噪声。所以，这就是 DPSGD 的更新。如果你不裁剪，如果你不添加高斯噪声，那么它就只是 SGD。所以，你又到了下一步，有时你不需要裁剪，因为它比范数小，然后你再添加一些高斯噪声，然后你继续前进。

所以，大致的非正式保证是，你可以设置裁剪阈值和噪声参数 sigma 平方以及步数 t，你可以设置所有这些，以便最终你的输出最终满足 epsilon delta 隐私保证。我不会再多谈这个了。我只是，这只是先前的工作。人们就是这样生成合成数据的。所以，现在你有一个合成生成模型。你训练了一个深度学习模型。但你使用的是私有数据集，使用 DPSGD 训练的。所以，从技术上讲，现在你的深度学习模型是差分私有的。如果你用它来生成更多数据，所有这些数据也将是差分私有的。所以，问题是，这对于图像等结构化数据来说效果不太好。它效果不好。所以，嗯，是的，所以早期的 DP 合成数据就是这样做的，但是，你知道，生成的数据质量非常低，你在 MNIST 上可以看到，你知道，它不太好，它是私有的，但它不太好，同样，对于人脸也是如此，它们无法真正获得高保真度等等。所以，几年前，嗯，有一篇论文，我认为是微软的，但它似乎是微软的研究成果，他们提出了一种非常不同的方法，使用基础模型，称为私有演进（private evolution）。我猜这里的大多数人不知道私有演进，但能举手示意一下吗？知道私有演进的人有多少？好的，有一个人知道。太好了。这正是我所期望的。所以，我认为人们应该知道它，因为它是一个非常有趣的想法。它是一种实现你想要的差分私有保证的有趣方式，但以一种聪明的方式使用基础模型。

所以，嗯，所以，抛开 DPSGD 之类的东西。这个完全不同。所以，你有一些私有数据集 S。所以，你使用你的公共基础。所以，想想，你知道，你将使用一个扩散模型或类似的东西，它是现成的。嗯，嗯，有一个公共 API。你生成一些合成数据。我的意思是，最初，当然，这将是 S0，但这是一个迭代图，所以，我称之为 ST。所以，有一些初始合成数据 S0，它看起来一点也不像你的私有数据。它，它，它没有接触过私有数据。它只是完全从头开始生成的。所以，它是垃圾。然后，你所做的是，你比较私有数据和合成数据，然后你计算最近邻。所以，你问，对于你的私有数据集中的每个元素，你的合成数据集的最近邻是什么。

所以，你有一个，然后你计算一个直方图。所以，合成数据集中的一些点，没有一个接近。所以，它们将获得零票，而合成数据集中的一些点接近私有数据集中的许多点，它们将获得多票。所以，你只是计算一个最近邻直方图。这里的元素是合成数据集中的元素。而这里的票数来自这些人说，我喜欢，所以这个特定的合成数据点被许多私有数据点喜欢，而这个特定的合成数据点可能只被一个私有数据点喜欢，而且可能还有一些是零。所以，你得到一个直方图。现在，你，你给这个直方图添加噪声。所以，基本上，你添加，比如说，拉普拉斯噪声到每个条目，或者类似的东西。嗯，然后你，你甚至可能得到负条目。所以，其中一些可能会低于零，因为你添加了拉普拉斯噪声。然后，你必须将其重新变成一个直方图。所以，你只是，你知道，截断零，负条目，然后你可能需要进行归一化。比如说，你投影到单纯形。所以，你得到一个新的直方图。现在，这个直方图是私有的。所以，这个添加 DP 噪声和投影的步骤，这就是隐私得以维持的地方。

所以，现在我有一些投票点。我基本上要，嗯，从这个合成数据集中采样，比如说，一个新的数据集，但基于投票。所以，当我从 itilda 中采样时，我会得到一些点没有投票，而另一些点会得到很多投票。嗯，然后，我要做的是，我要让我的基础模型 API 给我类似的数据，这些数据是，嗯，你，这些被投票的合成样本。所以，我从合成样本开始，然后基本上，你可以认为这一步是对合成样本的重新加权。我有我原来的合成样本。我根据私有样本的投票重新加权它们，然后我问我的基础 API，嘿，这些是投票的，给我类似的东西，所以生成这些图像的变体。然后，它会循环，所以，你知道，希望下一次你生成被投票的东西，它会比 S 更相似，因为我丢弃了那些不是任何人最近邻的点，我保留了最近邻的点，然后我要求变体。

然后，我将迭代这个过程。希望每一步我的合成数据都越来越接近 S，因为最初 S 可能是狗和猫，但我的合成数据可能是人脸。天知道，对吧？我的意思是，我最初只是生成了一些奇怪的合成数据。然后，希望的是，当你开始生成变体并对它们进行投票时，合成数据 S 将会收敛。所以，你只需不断地循环。这叫做私有演进。私有演进的隐私保证非常直接。它就是这一步。从隐私的角度来看，我有一个直方图。我需要保持它的私密性。我添加，我添加适当的拉普拉斯噪声等等，我可以进行组合。由于我多次这样做，我进行自适应组合，我获得隐私。所以，这其中的难点在于理解它的效用，即它何时会生成与我的私有数据样本有些相似的合成数据样本。

>> 合成数据和原始数据一样吗？>> 这是一个很好的问题。这是一个超参数，而且它将是一个重要的超参数，我们将向你展示如何设置它，因为，我的意思是，你想要什么样的保证，有几个超参数在这里，但其中一个重要的是，你首先可以发布多少合成数据，而这将是一个函数，例如，n 和 epsilon。所以，我们将表明，你应该将其设置为 n epsilon。所以，如果 epsilon 很小，我只能给你少量合成数据，epsilon 越大，你就能获得越多的合成数据，但，我想，总之，这将是一个重要的点。

>> 问题，不，你问了，不，>> 嗯，你能评论一下，比如，比如在最近邻中使用的度量标准，比如，嗯，是的，当你>> 是的，这并不重要，这取决于你的底层基础空间，因为正如我所说，这对于隐私来说并不重要，对于隐私来说，它实际上只是，我有一个直方图，我需要保持它的私密性，所以没关系，对于效用来说，这很重要。对于图像来说，你称之为接近，将在其他度量标准中，或者你可能，它是在某个嵌入空间中的点积，或者类似的东西。对于文本，你的相似性概念会不同。它可能是一个 LLM 问，这段文字和这段文字是否相似？它们在语义上相似吗？类似的东西。但是，所以，这一步对于最终的效用很重要，但对于隐私来说不重要。

>> 是的。你有点在看私有数据。你是否需要限制这个的迭代次数？你必须限制迭代次数，因为总的 epsilon delta 隐私保证是个人步骤的自适应组合，所以，你运行的步骤越多，每个步骤就必须越嘈杂，所以，问题就出现了，我真的应该运行多少步？所以，这是问题。所以，再次，这是一个我们从理论上不理解的实际算法，但要从理论上理解它，我们必须问，我应该运行多久？所以，所有这些都是相关的问题。所以，它有潜力，所以，它是免训练的，这非常好。你不需要使用 DPSGD 在私有数据上重新训练巨大的基础模型。所以，这种免训练非常好。你只是通过 API 访问调用基础模型，并要求更多的图像等等，这非常便宜。嗯，它确实实现了，我的意思是，据过去几年的论文说，你知道，它实现了差分私有图像合成和差分私有文本生成的最新 FID 分数。嗯，在联邦学习设置中，私有演进效果更好，但在非联邦设置中，最近被另一种 DP 微调方法超越了。所以，让我们说，结论还没有出来，但至少对于图像来说，它确实做得很好。这是一个非常新的算法，感觉我们应该理解它并研究它。所以，不幸的是，它对表格数据生成效果不好。为什么？嗯，你知道，你可以问很多问题，比如，这个过程是否收敛？如果，你知道，何时收敛？为什么收敛？如果它收敛，为什么收敛？如果不收敛，为什么不？收敛速度有多快？当然，这取决于许多因素，我们将，嗯，解开其中一些因素。所以，问题中的参数是，比如样本量，私有样本量 n，这是给你的，数据维度 d，以及 epsilon delta 隐私预算，这些是你知道的参数，这些是给定的，但有超参数，许多问题问到的，这些问题正是相关的，迭代次数 t 非常相关，合成数据样本的数量非常相关，嗯，还有一些进一步的超参数调整，通常被隐私预算忽略，但也许不应该被隐私预算忽略。所以，我们，我们，我们实际上在实践中不知道如何很好地设置这些，比如说，在我们的工作之前。嗯，然后，第三件重要的事情是，我们有什么样的 API？所以，比如 LLM 或扩散模型或类似的东西的可用性，我们有什么 API？因为这是算法的第三个关键部分，我们通过这个 API 访问合成数据。

所以，它应该能够合成与敏感数据相似的样本，因为，例如，如果我的扩散模型只能生成人脸，而我的私有数据是狗和猫，那么我的合成数据就不可能看起来像我的私有数据。它将是私有的，但没有效用。所以，我确实需要对该 API 做出某种保证，即它可以覆盖私有数据的空间，嗯，你知道，它的，比如说，它的范围也覆盖了私有数据的范围。

>> 这是否意味着你在这里做了一个基本假设，那就是，如果我消除了差分隐私，只是反复进行直方图操作。>> 是的。>> 它会起作用吗？>> 是的。它不会在没有它的情况下起作用。>> 然后，在这种假设下，你将研究其余部分。好的。>> 好的。好的。所以，我们需要更深入地理解 PE 以确保良好的性能。

所以，基本上，我们在这项工作中证明了 PE 会收敛，并且在 DP 文献中，我们对收敛的含义有一个重要的理解，通常是当 n 趋于无穷时。在这种情况下，它不是当 t 趋于无穷时。所以，即使是 DPSGD，你也会选择 t，迭代次数，作为各种参数的函数，然后你说，我将运行它 t 步。所以，这里也是一样。我将告诉你需要运行私有演进的确切步数。我将设置 t，然后我将得到一个速率。我将告诉你，在什么度量标准下，它将趋于零，当 n 趋于无穷时。这就是在隐私领域，当你有一个，比如说，一个一致的估计器，一个私有的均值估计或类似的东西时。收敛总是当私有样本的数量趋于无穷时。所以，这就是我们所说的收敛。

>> 有一些，嗯，玩具分析。>> 是的。是的。我马上就会讲到。绝对。是的，我将讨论原始论文做了什么，以及为什么它不现实。所以，我们找到了一个理论公式，它非常接近实际运行的方式，并且确实保证了最坏情况下的收敛，当 API 是，我将描述它们。所以，你有一个任意的初始点集，它提供了合成数据，在我们的例子中，对于理论框架，变体将通过在不同尺度上添加高斯噪声来添加。所以，当我问 API，嘿，你能给我变体吗？它实际上在不同尺度上添加高斯噪声。我将告诉你这些尺度是什么，这就是我们的 API。

所以，我们有我们的合成数据集。对于合成数据集中的每个点，我们将通过添加高斯噪声来生成变体，但这些噪声不是在一个尺度上，而是在不同的尺度上。然后，我将把它们放在一起，我称之为 ST 的变体，你知道，然后它们将在下一步进行投票等等。所以，这就是我们的 API 访问将是什么样子。所以，在原始的东西中，你只是用文字问一个 LLM，嘿，给我这个的变体，或者类似的东西，但是，你可以调整很多参数，比如温度参数，关于你如何调整，你可以调整多少，对我们来说，重要的是你不要在某种意义上固定一个温度参数，你生成多个温度参数下的变体，你真的需要多个尺度，这对我们的理论很重要。

所以，嗯，这是提出它的原始论文。他们做了一个，他们做了一个隐私分析。但我会告诉你它的局限性。所以，他们依赖于所谓的 EATA 近似。他们证明了，在 S（你的私有数据）中的 E 项和 ST（你的合成数据）中的 E 项之间的距离，在每次迭代中都会缩小。所以，l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l

事情的真相，所以你看到在糟糕和良好的初始化之间的曲线变化非常平滑，嗯，嗯，我们认为你得到的曲线形状，人们在实践中经常会问，为什么它不起作用？为什么它起作用？这些事情都可以通过初始化的效果来解释。嗯，所以我们有几个我们认为最优的步骤 t，比如 log n epsilon 步，这是我们的理论所说的最优值，如果你实际绘制 um，你改变 t，所以你运行私有演化 100 步，然后你观察 Wasserstein 距离的误差，你会发现它先下降然后又上升，所以它不是单调的，嗯，你，你，而且你无法知道你是否处于最佳点，没有任何指标可以告诉你，哦，现在经验风险最小化了，我应该停下来了，或者类似的事情，所以，嗯，嗯，我们没有停止标准，我们有的是我们预测的 t，也就是 log n epsilon，这似乎是一个非常好的点，所以我的意思是 n 在这里是私有数据点的数量，500,000 和 2,000，这些只是三种不同大小的私有数据集，嗯，我们发现我们对如何设置 t 的理论预测，是实际情况的一个合理指标，它在某些轮次中有所改善，然后就变差了。这甚至不是关于 是的，抱歉。请继续。>> 但你不是必须知道 t 才能知道每一步需要多少噪声吗？因为你设置了>> 是的。是的。所以我的意思是这里发生的是，嗯，一旦你将 t 设置为 100，你就必须相应地设置噪声。所以它仍然是 epsilon delta 私有的。>> 所以运行，比如 16 是不同的。它不是连续的。>> 这是正确的。这是正确的。它不是连续的。这是正确的。是的。这只是如果我运行，如果我选择运行 100 步，因为隐私组合，我必须在每一步添加更多噪声，然后累积效应是你会变得更糟。所以它不是，它不容易理解你实际上会变得更好还是更糟。它是，嗯，作为迭代次数的函数。>> 如果你观察误差，比如单次运行，它变化得更单调吗？还是也会出现下降然后上升？嗯，那应该会趋于平缓。>> 是的。嗯，然后如果你有次优的合成样本数量，所以我们说你应该将合成样本数量设置为 npsilon。但如果你说，我想要更多的合成样本。我想要，比如，如果你的实际私有样本数量是，比如说一千，但然后你说我想要 500 或一千或两千个合成数据点。嗯，所以抱歉，上面的 n 是私有数据点的数量，而在这里我改变的是合成数据点的数量。虚线是我们理论所说的，这是最优的合成数据点数量。如果你真的想要一个小的 Wasserstein 距离，你应该释放这么多。你不应该释放更多。但如果你试图释放更多数据，它们必须更嘈杂。你不能逃避，你试图维持隐私保证。你不能只是生成越来越多的数据。如果你生成更多数据，它必须更嘈杂。所以如果你生成更多更嘈杂的数据，你会得到一个更差的 Wasserstein 距离。你在实验中确实发现，我们对合成数据点数量的预测，对于我们在实践中看到的非常准确。然后，嗯，我们也对一些简单的 SIP 10 类型的数据集进行了这些测试。嗯，这里 API 是一个扩散模型，嗯，是的，所以这里我绘制的是 FID 分数，所以再次，这是与迭代次数的比较，嗯，我认为其中一篇论文实际上只是说 T 是 20。他们只是说我们将运行 20 次迭代。而我们发现至少 20 是一个非常糟糕的设置点，而我们的预测，也就是 log n epsilon，无论它是什么，它是八。它比 20 好。有时它确实是最优的，但有时它不是最优的，但让我们说它比随机猜测一个任意数字并将其设置为那个要好。无论如何，epsilon delta 和 n 的选择在这个数据集的底部。然后类似地，所以这是你运行算法的迭代次数 t。这是样本数量 n。所以随着 n 的增长，Wasserstein，我们的理论说 Wasserstein 距离应该下降，并且随着 n 趋于无穷大而趋于零。私有演化在 n 趋于无穷大时收敛。我们在真实数据上也能在实验中看到这一点。我们确实看到 FID 分数似乎随着样本数量的增加而减少。好的。所以它相当，在我们的许多实验中，它似乎能很好地预测实际情况。好的。所以，所以就是这样。结论是 PE 似乎是一种有前途的无需训练的算法，但它，它没有被很好地理解。嗯，之前的理论做出了不切实际的假设，并且需要对实际的 P 进行重大的算法更改，以便理论分析能够成立。我们克服了这些限制，并证明了 P 在 Wasserstein 一距离方面收敛。我们的模拟似乎与理论一致，甚至在图像上的实验也令人鼓舞。你，你以某种方式使用我们设置超参数的方法，似乎在实践中指导了 P 的良好运作，嗯，一些限制，比如，你知道，我们再次使用高斯噪声，我们技术上是为了我们的分析，但我们不知道如何模拟基础模型的变异，所以也许做出更现实的 API 选择将是未来的一个工作。嗯，维度灾难是不可避免的，除非有进一步的假设。但是我们能否以某种方式，你知道，获得某种流形速率或类似的东西？我们能否在流形上干净地进行 PE？我们能否在流形上干净地分析 PE？嗯，是的。所以，无论如何，我将把这个留在这里，嗯，嗯，是的，谢谢。我，我时间到了，但非常感谢。我很乐意回答问题。我们有点落后了。所以，嗯，你为什么不上来，任何关于 DJ 的问题都可以在休息时进行。>> 谢谢。 [掌声]