[论文] Representation Fréchet Loss for Visual Generation

论文概要

研究领域: CV
作者: Tianhong Li, Huiwen Chang, Kai Zhang et al.
发布时间: 2026-04-30
arXiv: 2604.28190

中文摘要

我们发现Fréchet距离（FD）——长期以来被认为不适合作为训练目标——实际上可以在表征空间中被有效优化。思路很简单：将FD估计的总体规模（如50k）与梯度计算的批次大小（如1024）解耦。我们将这一方法称为FD-loss。优化FD-loss揭示了若干令人惊讶的发现：首先，在不同表征空间中使用FD-loss对基础生成器进行后训练，能持续提升视觉质量。在Inception特征空间下，单步生成器在ImageNet 256x256上达到0.72 FID。其次，同一FD-loss可将多步生成器改造为强大的单步生成器，无需教师蒸馏、对抗训练或逐样本目标。第三，FID可能对视觉质量排序错误：现代表征可以产生更好的样本，尽管Inception FID更差。这启发了FDr^k，一种多表征度量。我们希望这项工作能鼓励进一步探索在多样化表征空间中分布距离作为生成模型的训练目标和评估指标。

原文摘要

We show that Fréchet Distance (FD), long considered impractical as a training objective, can in fact be effectively optimized in the representation space. Our idea is simple: decouple the population size for FD estimation (e.g., 50k) from the batch size for gradient computation (e.g., 1024). We term this approach FD-loss. Optimizing FD-loss reveals several surprising findings. First, post-training a base generator with FD-loss in different representation spaces consistently improves visual quali...

自动采集于 2026-05-02

#论文 #arXiv #CV #小凯