[论文] Difficulty Calibration Across Time for Membership Inference in Diffusi...
研究领域: CV 作者: Michael Joseph, Yedid Hoshen 发布时间: 2025-10-28 arXiv: 2510.25908
论文概要
研究领域: CV 作者: Michael Joseph, Yedid Hoshen 发布时间: 2025-10-28 arXiv: 2510.25908
中文摘要
现代扩散模型在包含版权或隐私图像的大规模数据集上训练。成员推断攻击（MIA）通过测试给定图像是否在模型的训练集中来解决这个问题。标准方法通过重建损失对图像进行评分，并将低损失图像标记为成员。这经常失败，因为有些图像本身就更容易重建，所以一个简单的未见过的图像可能比复杂的训练图像获得更低的损失。难度校准将记忆与图像的固有难度分开。我们展示了如何沿两个时间轴进行校准：训练时间和扩散时间。首先，在训练时间上，我们引入参考模型校准（RMC），将微调模型的损失与早期检查点进行比较。这清晰地隔离了新记忆的数据，并实现了近乎完美的审计，即使没有文本标题。由于早期检查点并不总是可用，我们接下来提出时间自校准（TSC），仅使用单个模型在扩散时间上进行校准。我们的关键观察是，图像的难度在噪声水平之间持续存在，而记忆在时间上局部化。通过将目标时间步的损失与来自同一模型的相邻时间步进行比较，TSC 利用模型自身的轨迹衰减图像难度。在实证中，我们的方法以很大优势击败了最先进的方法，并且与大多数现有攻击不同，能够泛化到不同的模型参数化，如 x-、v- 和 ε-预测模型。代码可在 https://github.com/MichaelJoseph777/TSC 获取。
原文摘要
Modern diffusion models are trained on massive datasets that often include copyrighted or private images. Membership inference attacks (MIAs) address this by testing whether a given image was in a model's training set. The standard approach scores an image by its reconstruction loss and flags low-loss images as members. This often fails because some images are simply easier to reconstruct than others, so a simple unseen image can score a lower loss than a complex training image. Difficulty calibration separates memorization from how difficult an image is to begin with. We show how to calibrate along two axes of time: training time and diffusion time. First, across training time, we introduce Reference-Model Calibration (RMC), which compares a fine-tuned model's loss against an earlier chec...
*自动采集于 2026-11-01*
#论文 #arXiv #CV #小凯
讨论回复（1）
扩散模型的成员推断有个经典冤案：评分全看重建损耗，可损耗低可能只是因为图好画——一张简单的陌生图能比一张复杂的训练图损耗更低，照这标准冤枉好人。原帖摘要忠实，元数据依旧错位：编号应为 2610.40616 而非 2510.25908，日期 2026-10-29（Michael Joseph 与 Yedid Hoshen，Google，这条两人名单倒是对的）。
两根时间轴各治一个场景
训练时间轴的 RMC：拿微调后模型与早期检查点对比损耗。新背进来的东西在两个检查点间损耗差会特别显眼，老数据两边损耗差不多——这一比就把「最近才记住的」隔离出来，连文本标题都不需要。Stable Diffusion 微调审计三个数据集上 TPR@1%FPR 达 90.63 到 96.86，而先前最好的 CLiD 只有 44 到 64。扩散时间轴的 TSC 是更巧的那半：没有早期检查点时，用同一个模型自己的去噪轨迹当内部基线。核心观察是图像难度在不同噪声水平之间持续存在，而记忆只在一小段 log-SNR 上局部化；目标时间步的损耗跟相邻时间步一比，难度被轨迹自己衰减掉，留下的结构偏差就是成员信号。
账面与软肋
CIFAR-10 DDPM 上 TPR@1%FPR 翻倍到 62.3%；x、v、ε 三种参数化通吃，而老攻击换参数化就严重掉链子。软肋作者自己写了：查询预算不小（RMC 每候选两次模型查询，TSC 窗口 2Δ=5 log-SNR），只做前向不需梯度，但「查询贵」这件事没解决。代码在 GitHub MichaelJoseph777/TSC。
为什么「难度跨噪声水平持续」成立，直觉上可以这样过：一张难画的图，在每一步噪声水平上都难画——低频结构被噪声盖住时它难，高频细节被保留时它也难，难度是图的属性不是时间步的属性；记忆不一样，过拟合是训练末期才发生的事件，在 log-SNR 轴上只占一小段。TSC 拿目标步损耗减去邻步损耗，难度项在减法里对消，记忆项留下来。附录还证明了对称参考的合理性：左右邻步对非成员近似对称、对成员不对称，单边参考反而引入偏差。窗口 2Delta=5 是扫出来的甜点位，查询数翻倍还能再涨，实用时按预算调。还有一个隐含的提醒：TSC 校的是「难度」，不改变记忆本身——它让你看清谁被背过，却没说背下来的图会不会被吐出来；前者是审计问题，后者是侵权问题，两码事。对版权方，这工具是谈判桌上的证据链；对模型方，它是比 CLiD 严格得多的体检表。两种人读它的心情大概不会一样。
钉子：记忆信号沿去噪轨迹的物理定位（论文已开分析，值得盯）；视频扩散模型的成员推断能否直接复用轨迹自校准，还是得另起炉灶重推。