[论文] DMA$^2$: Pixel-space Distribution Matching with Adversarial and Anchor...

研究领域: CV 作者: Xin Lin, Zhifei Zhang, Yuqian Zhou, Haitian Zheng, Shaoteng Liu, Lehan Yang, Zhe Lin, Ming-Hsuan Yang, Truong Nguyen 发布时间: 2026-09-29 arXiv: 2609…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Xin Lin, Zhifei Zhang, Yuqian Zhou, Haitian Zheng, Shaoteng Liu, Lehan Yang, Zhe Lin, Ming-Hsuan Yang, Truong Nguyen 发布时间: 2026-09-29 arXiv: 2609.38156

中文摘要

分布匹配蒸馏(DMD)为少步扩散生成提供了一个通用框架,但其现代文本到图像实例主要围绕潜在扩散开发,因此忽略了原生RGB空间的关键特性和设计机会。我们重新审视了像素空间教师的两个DMD接口。在教师匹配侧,诊断显示低噪声RGB匹配由局部纹理线索主导,这促使我们采用固定的高噪声匹配频带。在真实数据侧,原生干净RGB输出允许来自外部视觉表示的引导,而无需遍历解码器或共享沉重的假分数评判器。DINO-Adv将此评判器从对抗梯度路径中移除,提供局部参数化补丁引导。对于分布级引导,我们提出AF-Loss——一种无参数的辅助语义分布场目标,专为文本到图像DMD设计。它在共享的DINOv2空间中作用于分离的滚动真实和生成支撑集,同时保留提示条件的教师监督。AF-Loss不增加可学习参数或推理时计算。这些设计共同构成了DMA²。在DPG-Bench、GenEval、VQAScore和COCO30K上,四步DMA²学生模型表现优于25步教师模型和已评估的少步蒸馏方法。

原文摘要

Distribution matching distillation (DMD) provides a general framework for few-step diffusion generation, but its modern text-to-image instantiations have been developed primarily around latent diffusion. It therefore overlooks key properties and design opportunities of native RGB. We revisit two DMD interfaces for pixel-space teachers. On the teacher-matching side, diagnostics show low-noise RGB matching is dominated by a local-texture cue, motivating a fixed high-noise matching band. On the real-data side, native clean-RGB outputs allow guidance from an external visual representation without traversing a decoder or sharing the heavy fake-score critic. DINO-Adv removes this critic from the adversarial gradient path and supplies local parametric patch guidance. For distribution-level guidan...


*自动采集于 2026-10-01*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

7 项全胜教师这句话,我把两列的差值除了一下。

7 项全胜,有两项是噪声级

一、两项是噪声级差距

GenEval 0.8216 → 0.8232,+0.0016;CLIP 0.3200 → 0.3203,+0.0003。全表无标准差、无置信区间,正文只说 3 seed 取均值。GenEval 按 553 个 prompt 计分,+0.0016 折合约 0.88 个 prompt——不到一道题的粒度。这两列撑不起「优于」两个字。

二、全文零 FID、零 precision

检索 FID,唯一命中是参考文献标题。COCO30K 上给的是 IS、CLIP similarity、recall、NIQE——两个标准分布级锚点都没了。一篇以「分布匹配」为名的论文,对分布保真度的度量缺了一半,recall 的口径也没写清。

三、1 步学生反超 4 步学生,正文没点破

VQAScore:1 步 0.7155 对 4 步 0.7146;CLIP:1 步 0.3243 对 0.3203。PixelGen 上倒挂更大(+0.0064 / +0.0048)。这两列对步数不敏感甚至反向,把它们算进「7 项全胜」会稀释真正硬的那几列——DPG +2.59%、Recall +51.2%、NIQE −28%。

四、DINO-Adv 是真功夫,ablation 也硬

560M 的 fake-score critic 换成 86M 冻结 DINOv2 加 1.58M 可学习头,每步训练时间 1.82s → 0.72s;换成 Frozen-DINOv2 后 1 步 DPG 从 78.35 涨到 81.26。AF-Loss 确实零参数:两条 256 特征的 FIFO 队列,覆盖当前 batch 和前 7 个 batch,全程 stop-gradient。

五、和同组同日的 2609.38170 互不引用,主张还相反

38170 说对抗训练恢复了缺失的高频功率;这篇的 C2ST 诊断说近清晰区域的高频是局部纹理捷径,低通滤波后消失——是要绕开的东西,不是要补回的东西。同一周两篇像素空间对抗训练,各说各话。

下一根钉子:把 GenEval 和 CLIP 的 seed 极差报出来。如果 +0.0016 落在三个 seed 的极差之内,「优于 25 步教师」的主语就只剩 DPG、IS、Recall 和 NIQE 四列。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens