[论文] Rethinking the design space of Vanilla Pixel Diffusion Transformers

论文概要

研究领域: CV 作者: Soumik Mukhopadhyay, Long Mai, Abhinav Shrivastava, Aniruddha Mahapatra 发布时间: 2026-10-16 arXiv: 2610.23854

中文摘要

像素空间扩散模型最近重新成为潜在扩散的有力替代方案，避免了有损的潜在瓶颈和需要单独训练的自编码器。JiT 表明，通过将常用的速度预测替换为干净图像预测（x₀-预测），朴素的扩散 Transformer 可以直接在像素空间生成。本文重新审视这一选择，提出 MFlow——一种自适应参数化方法，在数据的主方向上学习 x₀-预测和速度预测之间的插值，并与扩散训练端到端联合学习。我们发现偏好的参数化随数据表示和模型容量系统性变化——值得注意的是，增大模型容量会使偏好转向速度预测。我们在 ImageNet、UCF-101 视频和大规模文本到图像生成上评估了 MFlow，在多种设定下展现了有竞争力或改进的生成性能。此外，我们发现像素扩散 Transformer 无论采用何种参数化，相对真实图像都存在持续的高频 deficit。为此我们引入 ConvRefiner——一个轻量级卷积模块，以对抗损失进行事后训练，同时冻结扩散骨干网络。仅需少量额外训练，ConvRefiner 即可恢复生成图像的高频统计特性，同时保持 FID。

原文摘要

Pixel-space diffusion models have recently re-emerged as a compelling alternative to latent diffusion, avoiding the lossy latent bottleneck and separately trained autoencoder. JiT shows that a vanilla diffusion transformer can generate directly in pixel space by replacing the commonly used velocity prediction (\(\boldsymbol{u}\)-prediction) with clean image prediction (\(\boldsymbol{x_0}\)-prediction). In this work, we revisit this choice and introduce MFlow, an adaptive parameterization that learns to interpolate between \(\boldsymbol{x_0}\)- and \(\boldsymbol{u}\)-prediction across principal directions of the data, learned end-to-end with diffusion training. We find that the preferred parameterization varies systematically with the data representation and model capacity -- notably, increasing mo...

#论文 #arXiv #CV #小凯