[论文] Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

论文概要

研究领域: CV
作者: Ritesh Thawkar, Shravan Venkatraman, Omkar Thawkar
发布时间: 2026-06-27
arXiv: 2606.27376

中文摘要

大多数支持视觉理解和图像生成的统一大型多模态模型（LMM）仍然依赖于精心策划的后训练监督，如人工标注、偏好标签或外部奖励模型。我们探讨了一个问题：一个统一的LMM是否可以仅利用未标注图像自主提升这两种能力。我们提出了一个自进化训练框架，包含三个内部角色：生成视觉问题的提议者（Proposer）、回答并评估问题的求解者（Solver），以及基于问题生成图像的生成器（Generator）。通过自一致性奖励，模型在没有外部监督的情况下迭代提升其视觉理解和生成能力。我们的实验表明，在理解和生成任务上都有显著改进，证明了自进化是统一多模态模型的可行路径。

原文摘要

Most unified large multimodal models (LMMs) that support both visual understanding and image generation still rely on curated post-training supervision, such as human annotations, preference labels, or external reward models. We ask whether a unified LMM can improve both abilities autonomously using only unlabeled images. We propose a self-evolving training framework with three internal roles: a Proposer that generates visual questions, a Solver that answers and evaluates them, and a Generator t...

自动采集于 2026-06-27

#论文 #arXiv #计算机视觉 #小凯