InterleaveThinker深度解析：用一个「多智能体流水线」给任意图像生成器装上「交错图文生成」超能力

论文：InterleaveThinker: Reinforcing Agentic Interleaved Generation
作者：Dian Zheng, Harry Lee, Manyuan Zhang 等 (CUHK MMLab & Meituan)
论文链接：https://arxiv.org/abs/2606.13679
代码：https://github.com/zhengdian1/InterleaveThinker
模型权重：https://huggingface.co/InterleaveThinker

一、问题：现有图像生成器为什么做不出「交错图文」？

单一图像生成（SD/FLUX/Midjourney）已经很强了，但真实世界的需求远不止一张图。比如：

• 视觉叙事："给我画一个小孩学骑车的故事，分10步"
• 具身操作："机器人把苹果从桌上移到篮子里，每一步配图"
• 教程："如何煎牛排，图文交替展示"

这些需要交错生成（interleaved generation）——输入图文序列，输出连贯的多步图文序列。但现有图像生成器（扩散模型/自回归模型）天生只能输出单张图，架构上就不支持交错。

统一多模态模型（UMM，如Show-o、Emu3等）虽然架构上支持交错生成，但存在两个致命问题：

1.1 视觉过度依赖（Visual Over-reliance）

UMM生成序列时，每一步都严重依赖前一步的视觉状态。比如做俯卧撑教程，模型可能生成到中间某个姿势就停住了——因为那个中间状态在视觉上看起来像"完成了"。它失去了全局目标，被局部视觉反馈带偏了。

1.2 逐步误差累积（Step-wise Error Accumulation）

UMM没有可靠的自纠错机制。早期图像质量稍有下降，这个误差会逐步放大，最终毁掉整个输出。这和长链CoT的误差累积是同一个数学问题，只是发生在像素空间。

二、InterleaveThinker的核心思路：三个Agent，分工明确

InterleaveThinker的解法非常工程化——不改造图像生成器本身，而是给它套一个多智能体流水线。它认为UMM的两大病根（视觉依赖+误差累积）都是因为"同一个模型既做规划又做生成又做评估"，导致规划被生成过程中的视觉状态污染。

所以核心思路是：把规划、生成、评估三个职能彻底解耦。

2.1 三模块架构（Figure 3）

Planner（规划器）：

• 输入：用户的图文序列 S
• 输出：N步执行计划，每步包含：
  • 步骤指令 u_i（人类可读的描述）
  • 模型友好初始提示 p_i（从u_i适配）
  • 辅助文本 a_i（补充知识，如"牛排需要 rested 3分钟"）
• 关键：Planner在生成开始前就一次性输出完整计划，整个过程中绝不接触任何中间生成的图像。这从根本上切断了视觉反馈对规划的污染。

Generator（生成器）：

• 任意现成的图像生成/编辑模型（FLUX.2-klein、Qwen-image-Edit等）
• 接收Planner给的提示和上一张图，生成当前步骤的图像
• 不改动原模型，只是作为工具被调用

Critic（评估器）：

• 评估Generator的输出 I_i 是否符合Planner的原始指令 p_i
• 输出二元判断 j_i（合格/不合格）+ 优化后的提示 r_i+1（不合格时）+ 推理过程 R_i
• 如果不合格，Generator用新提示重试，直到合格或达到最大迭代次数 T_max

2.2 为什么这样能根治UMM的两大病？

视觉过度依赖：Planner一次性规划，完全不接触中间图像。它不会被"中间状态看起来像最终目标"这种局部幻觉带偏。全局目标从始至终锁定在初始计划中。

误差累积：Critic的逐步校验机制确保每一步的输出都符合原始指令，不合格就重试。相当于在每一步都加了"刹车片"，不会让早期小误差滚雪球。

三、数据工程：8大类75子类的「自造」数据流水线

多智能体框架最大的门槛是数据——现成的对齐数据根本不存在。InterleaveThinker自建了一套完整的数据流水线（Figure 5）：

3.1 文本Prompt构建

• 定义8大主类别：机器人、视觉叙事、艺术、工作流、日常生活、科学、专业技能、图像描述
• 细分为75个子类（如生物学、烹饪、物理）
• 用Gemini 2.5 Pro生成30+领域专用词汇库
• 填充100+预定义模板（"How to {Action}", "Show {Action} step by step"）
• 最终产出约40,000个多样化文本prompt

3.2 多智能体轨迹生成

• 用Gemini 2.5 Pro和Nano Banana Pro生成agentic轨迹
• 每个任务：Planner先生成全局步骤指令 → Generator逐步执行 → Critic评估并必要时修正
• 由于Nano Banana Pro生成的轨迹质量极高，为平衡数据集引入FLUX.2-klein-9B补充，防止Critic对特定生成器过拟合
• 严格的过滤pipeline保证质量

3.3 三个数据集

• Interleave-Planner-SFT-80k：Planner的训练数据，学会格式冷启动
• Interleave-Critic-SFT-112k：Critic的监督训练数据，学会判断和修正
• Interleave-Critic-RL-13k：Critic的强化学习数据，用GRPO优化逐步修正能力

四、训练：双奖励GRPO，单步优化实现轨迹级对齐

一个交错生成轨迹可能涉及25次以上生成器调用。端到端优化整个轨迹的计算成本极高，几乎不可行。

InterleaveThinker设计了双奖励策略来解决：

4.1 奖励设计

1. Accuracy Reward：最终输出与目标的对齐度（比如任务是否成功完成）
2. Step-wise Reward：每一步的修正质量（Critic的prompt优化是否有效，重试后是否合格）

通过GRPO（Group Relative Policy Optimization）做单步强化学习，以单步优化实现轨迹级对齐，大幅降低计算成本。

4.2 为什么这样有效？

GRPO的核心优势是不需要critic网络，用组内相对奖励来估计优势函数。对于Critic的逐步修正任务，每一步的奖励信号可以独立计算，不需要等待整个轨迹完成。这使得训练可在每一步并行，极大降低了长轨迹优化的开销。

五、实验结果：通用性拉满，推理基准也受益

5.1 交错生成基准

使用4-step FLUX.2-klein作为生成器：

• 超越所有现有开源UMM
• 性能接近闭源的Nano Banana和GPT-5
• 适配多种生成器（FLUX.2-klein、Qwen-image-Edit等），均获得一致提升

5.2 推理基准（意外收获）

更惊喜的是，InterleaveThinker在纯文本推理基准上也有大幅提升：

• WISE：从0.47 → 0.73（+55%）
• RISE：从13.3 → 28.9（+117%）

这背后的洞察：Planner-Critic的协同机制本质上锻炼了模型的长程规划与逐步验证能力。这种能力从交错生成泛化到了纯文本推理任务。

六、为什么这个项目值得关注？

6.1 架构解耦的优雅

InterleaveThinker没有动图像生成器的任何权重，只是在外层套了Planner和Critic。这意味着：

• 任意生成器都能升级——今天用FLUX.2，明天换Midjourney，后天上SANA，都可以
• 生成器专注于自己擅长的（高质量单图生成），不用被迫学规划
• 规划和验证独立迭代——Planner可以换更强的LLM，Critic可以换更准的VLM

6.2 数据飞轮潜力

论文的自建数据pipeline是长期护城河。40k+多样化prompt、8万+Planner数据、11万+Critic数据、1.3万RL数据，覆盖了从机器人到烹饪的75个子类。这意味着框架有很强的零样本泛化能力，面对新类型的交错任务不需要从零开始。

6.3 多智能体的实用范例

在Agent系统设计中，"多智能体"往往沦为概念炒作。InterleaveThinker给出了一个有明确分工、有数据闭环、有RL优化的实用范例。Planner-Critic-Generator的解耦思路可以迁移到任何"规划+执行+验证"的Agent场景。

七、局限

1. 延迟：Planner + Critic + Generator的多轮调用增加了端到端延迟。4-step FLUX.2-klein已经是较快的选择，但长轨迹（25+步）仍然慢
2. 数据依赖：虽然自建了数据pipeline，但高质量trajectory的生成仍依赖Gemini 2.5 Pro和Nano Banana Pro这样的强模型，成本不低
3. 迭代上限：T_max限制了Critic的重试次数，如果Generator能力本身不足，修正可能也无法拯救

八、总结

InterleaveThinker不是又一个图像生成模型，而是给图像生成领域引入了Agentic思维。它证明了一个关键命题：现有的强图像生成器不需要被重新训练来做交错生成，只需要一个会规划的Agent和一个会质检的Agent。

这个思路的价值远超交错生成本身——它展示了一种"外挂式Agent升级"的范式：保持底座模型不动，用多智能体协作赋予它新能力。

参考文献：

• Zheng, D., et al. (2026). InterleaveThinker: Reinforcing Agentic Interleaved Generation. arXiv preprint arXiv:2606.13679.

#AI #多模态大模型 #图像生成 #扩散模型 #多智能体 #交错生成 #视觉叙事 #具身智能 #AI论文 #深度学习 #小凯

#AI #多模态大模型 #图像生成 #扩散模型 #多智能体 #交错生成 #视觉叙事 #具身智能 #AI论文 #深度学习 #小凯