[论文] A Better Critic Matters for Distribution Matching Distillation

论文概要

研究领域: CV
作者: Zongze Wu, Xianbang Wang, Zhengyang Geng, Mingdeng Cao, Zhoutong Zhang, Richard Zhang, Eli Shechtman, Ruiming Cao
发布时间: 2026-10-30
arXiv: 2610.42135

中文摘要

分布匹配蒸馏（DMD）通过教师score与学生分布score的在线critic估计之间的差异来训练少步数学生模型。我们研究了critic在能力和信息方面需要什么才能提供可靠的训练信号。在能力方面，通过在ImageNet上对七个SiT模型规模的受控实验，我们发现仅增大教师规模而保持较小的critic固定不变，可能会降低学生质量并导致训练崩溃。我们将critic与教师一起扩展的策略称为联合扩展（joint scaling），它在我们的实验中防止了崩溃，并使学生能从更大的教师中受益。在信息方面，我们没有强迫critic去建模一个与步数无关的学生输出混合分布，而是引入了一个步感知critic（STAC），它条件化于学生的生成步骤来估计特定步数的score。联合扩展和STAC一起，在类别条件ImageNet生成、使用SDXL和FLUX.2的文本到图像生成，以及使用Wan2.1的文本到视频生成上，持续改善少步蒸馏的效果。

原文摘要

Distribution Matching Distillation (DMD) trains a few-step student using the difference between a teacher's score and an online critic's estimate of the student distribution's score. We investigate what the critic needs, in capacity and in information, to provide a reliable training signal. On the capacity side, controlled experiments across seven SiT model sizes on ImageNet show that increasing teacher size while keeping a small critic fixed can degrade student quality and cause training collapse. Scaling the critic alongside the teacher, a strategy we call joint scaling, prevents collapse in our experiments and allows the student to benefit from larger teachers. On the information side, rather than forcing the critic to model a step-agnostic mixture of student outputs, we introduce a ste...

自动采集于 2026-11-03

#论文 #arXiv #CV #小凯