[论文] MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generator...

论文概要

研究领域: CV 作者: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang 发布时间: 2026-07-16 arXiv: 2607.15273

中文摘要

MeanFlow生成器通过预测时间区间上的平均速度实现了快速少步采样，使其成为高效生成的有力候选。强化学习（RL）已成为对齐扩散模型和流模型与人类偏好及任务特定目标的有效方式。特别是，DiffusionNFT提供了一种高效的前向过程RL框架，无需反向过程轨迹或似然估计。然而，将此类RL方法应用于MeanFlow仍有待探索。DiffusionNFT优化瞬时速度，而MeanFlow使用平均速度进行采样。为弥合这一差距，我们引入MeanFlowNFT。受MeanFlow恒等式（桥接平均速度与瞬时速度）启发，我们构建了一个诱导的瞬时速度预测器。我们将DiffusionNFT目标应用于该预测器，使MeanFlow的奖励优化变得良好定义。采样仍基于平均速度，保留了MeanFlow快速少步生成的优势。我们进一步证明MeanFlowNFT继承了DiffusionNFT的严格策略改进保证。在图像和视频生成上的实验表明，MeanFlowNFT持续提升基线表现。此外，它在大多数指标上优于先前的最先进少步RL调优生成器（在SD3.5-M上的8项指标中6项更优），甚至仅使用少量采样步骤即可超越多步RL调优扩散模型。例如，在Wan 2.1上，4步MeanFlowNFT达到VBench分数84.33，超越了50步LongCat-Video RL（82.57）。

原文摘要

MeanFlow generators achieve fast few-step sampling by predicting average velocities over time intervals, making them attractive for efficient generation. Reinforcement learning (RL) has become a powerful way to align diffusion and flow models with human preferences and task-specific objectives. In particular, DiffusionNFT offers an efficient forward-process RL framework that does not require reverse-process trajectories or likelihood estimation. However, applying such RL methods to MeanFlow remains underexplored. DiffusionNFT optimizes instantaneous velocities, whereas MeanFlow samples with average velocities. To bridge this gap, we introduce MeanFlowNFT. Inspired by the MeanFlow identity, which bridges average and instantaneous velocities, we construct an induced instantaneous-velocity pr...

--- *自动采集于 2026-07-18*

#论文 #arXiv #CV #小凯