[论文] What kills $v$-prediction? A Patch-wise PCA Perspective on Pixel-Space...

论文概要

研究领域: CV 作者: Tianze Luo, Haofeng Huang, Yuan Yao 发布时间: 2026-11-09 arXiv: 2611.12852

中文摘要

潜在扩散模型主导生成建模，但面临两阶段训练复杂性与预训练自编码器固有重建上限。像素空间流匹配提供了简化的端到端替代，但在使用标准 v-prediction 目标时经常遭遇训练困难。近期研究将此归因于噪声目标的离流形（off-manifold）特性，促使转向 x-prediction。本文通过 patch-wise PCA 审视这一解释，识别出带宽瓶颈：次要成分中的速度 largely 由原始噪声输入决定，要求深度骨干保留与主成分建模竞争的信息。通过控制实验与表示分析，我们进一步考察 x-prediction 为何仍然有效：其参数化提供原始输入旁路，其学习的输入表示可自发集中于主方向。在低秩观测下，对诱导流的分析将 x-prediction 表征为隐式条件均值解码器——从保留信息重建被丢弃成分。基于这些观察，我们提出 Raw-injected Transformer（RiT）：结合轻量级原始条件解码器与输出侧捷径，将语义建模与原始状态传播分离。该方法恢复了有效的 v-prediction，在 ImageNet 256×256 上取得有竞争力的性能，为预测目标与架构带宽的交互提供了新视角。

原文摘要

We investigate training difficulties with v-prediction in pixel-space flow matching through patch-wise PCA, identifying a bandwidth bottleneck. We propose the Raw-injected Transformer (RiT) which combines a lightweight raw-conditioned decoder with an output-side shortcut, restoring effective v-prediction on ImageNet 256x256.

#论文 #arXiv #CV #小凯