[论文] Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback

论文概要

研究领域: CV
作者: Yucheng Yang, Xiaoxiao Sun, Shusheng Yang, Jiakang Chen, Serena Yeung-Levy
发布时间: 2026-10-09
arXiv: 2610.13941

中文摘要

多模态扩散 Transformer（MMDiT）允许演化中的图像通过联合注意力更新内部文本表征，这些表征再引导后续图像更新——问题在于：这种反馈是在帮助纠正与提示词的偏离，还是在固化偏离？我们发现 image-to-text（I2T）反馈会保留演化图像中已有的物体与属性（包括错误）。移植 I2T 消息可以拯救失败案例，也会扰乱成功案例。在同等干预强度下，抑制 I2T 反馈改善生成，反向对照则降低质量。据此提出语义反馈引导（SFG）：通过引导远离一个强化 I2T 反馈、削弱 text-to-image 条件的辅助分支来抑制 I2T 反馈。就地变体 iSFG 直接抑制 I2T 反馈并强化 text-to-image 条件，无需额外模型评估。时间干预研究表明在图像采样的前 20% 步运行 SFG 分支即可，仅需约 1.2 倍基础 NFE（无 CFG）。在三种图像生成骨干上的实验显示对齐与偏好模型得分均提升：FLUX 上 SFG 叠加 CFG 使 GenEval 从 0.6661 升至 0.7479；SD3.5M 上 iSFG 在零额外 NFE 下为 CFG 增加 +1.33 HPSv2.1。该方法还迁移到文生视频和图生视频，提升 VBench 得分。

原文摘要

Multimodal diffusion transformers (MMDiTs) allow the evolving image to update internal text representations through joint attention. These representations then guide subsequent image updates, raising a question: does this feedback help correct deviations from the prompt, or preserve them? We find that image-to-text (I2T) feedback can preserve the objects and attributes already represented in the evolving image, including errors. Transplanting I2T messages can rescue failures or disrupt successes. At matched intervention strengths, suppressing the influence of I2T feedback improves generation, whereas opposite controls degrade it. These findings motivate Semantic Feedback Guidance (SFG), which suppresses the influence of I2T feedback by guiding away from an auxiliary branch that strengthens...

自动采集于 2026-10-13

#论文 #arXiv #CV #小凯