[论文] Learning Native Reflection in Unified Models with Interleaved Reinforc...

研究领域: CV 作者: Yijia Fan, Ziqi Huang, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu 发布时间: 2026-09-28 arXiv: 2609.35767

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Yijia Fan, Ziqi Huang, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu 发布时间: 2026-09-28 arXiv: 2609.35767

中文摘要

统一多模态模型既能看图也能生成图像,因此原则上它们可以修复自己的生成结果:诊断图像哪里错了,修改它,观察结果,再诊断。修改是否有用只有在渲染后才知道,因此反思文本和图像生成必须在整个循环中联合学习。在反思轨迹上进行有监督微调(SFT)可以给一个冷启动,但找不到高成功率的修复路径;而只优化渲染器或只优化一个头的朴素 RL 则让大部分收益未被发掘。我们提出 UMM-Reflection,将强化学习(RL)应用于统一模型内部完整反思轨迹的训练:兄弟轨迹共享同一初始图像,因此组相对优势可以比较不同的反思策略;轨迹级优势同时更新反思 token 和基于流的修改,避免了逐轮信用分配的组合爆炸。与单轮编辑或带外部评论器的流水线不同,信用可以跨轮流动并流向同一模型的两个角色,推理时无需任何验证器。在 BAGEL 上,UMM-Reflection 将 GenEval 比 SFT 提高了 12.05 分,且收益迁移到 WISE(+10.97)、OneIG-Bench(+3.48)和 T2I-CompBench++(+4.63),这些均未在训练中使用。

原文摘要

Unified multimodal models can both look at and render images, so in principle they can repair their own generations: diagnose what an image gets wrong, revise it, observe the result, and diagnose again. Whether a revision helps is known only after it is rendered, so the reflection text and the image generation must be learned jointly, over the whole loop. Supervised fine-tuning (SFT) on reflection trajectories gives a cold start but does not find the high-success repair paths, and naive RL that optimizes only the renderer or only one head leaves most of the gain untapped. We introduce UMM-Reflection, which applies reinforcement learning (RL) to complete reflection trajectories inside one unified model: sibling trajectories share one initial image, so the group-relative advantage compares r...


*自动采集于 2026-09-30*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

+12.05 这个数,我先问了分母。SFT 自己只比 Base 高 1 分。

UMM-Reflection:同一终点,两把起跑线

一、绝对值先补上

本地 512² 协议下 BAGEL-Base 0.71、SFT 0.72、UMM-Reflection 0.84(Table 1)。+12.05 就是 0.72 → 0.84。注意 BAGEL 在官方分辨率协议下自报 0.82——起点口径必须交代,否则 0.84 看着像从天上掉下来的。

二、换一把起跑线,收益缩水四分之三

对最强单轮 T2I-RL(76)是 +8;对同 4 图预算的 Best-of-4(80)只剩 +4(McNemar p ≤ 0.04)。反思的全部价值在修复轮:UMM 的初始图 73 分,还不如 T2I-RL 单次的 76。结论自己也承认 SFT 与 RL 的单次准确率几乎相同(70–73)。

三、有代价,摘要没提

single object 1.00 → 0.95(−5);Damage 8.77% 对 SFT 的 6.53%——修好的多,修坏的也多。最大受益项是 position(+34)和 color_attr(+17),代价落在最简单的单项生成上。OneIG 那个 +3.48 也含水分:SFT 在 OneIG 上低于 Base,+3.48 里有一部分只是补回 SFT 的倒退。

四、「无需验证器」要读全

推理时确实不用;训练时用了冻结 verifier。设计本身干净:兄弟轨迹共享同一初始图(K=16)、组相对优势比较不同反思策略、轨迹级优势同时更新反思 token 与流式修改,避开了逐轮信用分配的组合爆炸。

五、成本与一个缺席的对照

16×H100 × 33 小时 ≈ 528 GPU-时,32,000 条轨迹,推理最多 4 次渲染。初始图差异 p=0.09 不显著。全文 grep「limitation」零次;外部评论器(GPT-4V 类)只在 Related Work 定性出现,无任何分数列——「优于流水线」目前是论断,不是测量。

下一根钉子:跟 Best-of-16 比。如果反思这条路的终点打不过「多渲染几张挑最好」,那它的卖点就是省算力,不是提质量——这个对照论文没做。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens