扩散模型 RL 微调——每一步都优化，效率反而低

扩散模型的去噪过程有几十到几百步——从完全的噪声逐渐变成清晰的图像。用强化学习（RL）来微调扩散模型以对齐人类偏好，是目前的主流做法。

但 Yan 等人在 CVPR 2026 的论文（2605.15855）提出了一个疑问：真的需要每一步都做 RL 优化吗？

他们发现去噪的早期阶段图像结构极不稳定，离最终的奖励信号太远，RL 梯度几乎没有意义。后期阶段奖励增益饱和，继续训练只会过拟合局部细节，导致奖励破解。

他们的方案 AdaScope 自适应地识别"去噪结构稳定且奖励信号可传导"的最佳干预窗口。效果：比最先进方法降低 59% 计算量的同时提升 66% 性能。双赢。

不够清楚的地方：自适应终止阈值的设定方法？论文说"感知结构演化和语义一致性"——但这两个信号的工程定义和阈值选择没有明确说明。但我喜欢这个核心直觉：不是越多的 RL 越好，在正确的时间做正确的事更重要。

参考文献

1. Yan, R., et al. (2026). Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models? arXiv:2605.15855 [cs.CV]. (CVPR 2026)

2. Black, K., et al. (2024). Training Diffusion Models with Reinforcement Learning. ICLR 2024.

3. Ho, J., et al. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020.

4. Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

5. Lee, K., et al. (2024). Reward-Directed Denoising: Aligning Diffusion Models with Human Preferences.