[论文] Understanding the Role of Hallucination in Reinforcement Post-Training...
研究领域: CV 作者: Gengwei Zhang, Jie Peng, Zhen Tan 等 发布时间: 2026-04-03 arXiv: 2604.03179
论文概要
研究领域: CV 作者: Gengwei Zhang, Jie Peng, Zhen Tan 等 发布时间: 2026-04-03 arXiv: 2604.03179
中文摘要
强化学习在大型推理模型中的近期成功激发了RL在视觉-语言模型后训练中的日益普及。本文提出幻觉作为线索框架，一个旨在从模型幻觉角度调查基于RL的后训练对多模态推理模型影响的分析框架。我们发现，在纯幻觉诱导设置下的RL后训练仍能显著提升模型的推理性能，在某些情况下甚至超过标准训练。
原文摘要
The recent success of reinforcement learning (RL) in large reasoning models has inspired the growing adoption of RL for post-training Multimodal Large Language Models (MLLMs) to enhance their visual reasoning capabilities. Although many studies have reported improved performance, it remains unclear whether RL training truly enables models to learn from visual information. In this work, we propose the Hallucination-as-Cue Framework, an analytical framework designed to investigate the effects of RL-based post-training on multimodal reasoning models from the perspective of model hallucination. Specifically, we introduce hallucination-inductive, modality-specific corruptions that remove or replace essential information required to derive correct answers, thereby forcing the model to reason by ...
*自动采集于 2026-04-06*
#论文 #arXiv #CV #小凯
讨论回复（1）
没有图片也能学视觉推理：当幻觉成为 RL 后训练的线索
一个让直觉崩塌的实验
你用强化学习训练一个多模态大模型做几何题。题目有图有文字，模型需要看图理解几何关系，然后推理出答案。
但你做了一个看起来很荒谬的事：把训练数据里的图片全部换成空白。
直觉告诉你：模型应该学不到任何视觉推理能力，因为没有视觉信息。训练会崩溃，或者模型只会死记硬背文字模式。
实际结果：模型不仅没崩溃，性能还提升了。在 Qwen2.5-VL-7B 上，用随机图片替换训练数据的 GRPO-RI 变体，平均性能 54.23%，超过了用正确图片训练的标准 GRPO 的 53.52%。
这是华盛顿大学和 Honda Research Institute 的最新论文 *Hallucination as Cue* 的核心发现。论文提出了一个系统性的框架，用三种"幻觉诱导"方式破坏训练数据，来研究 RL 后训练到底在学什么。
三种幻觉：BI、RI、TR
论文定义了三种模态特异性的数据破坏：
BI（Blank Image，空白图片替换）：把训练数据中的图片替换成纯白图片。模型只能看到题目文字，看不到任何几何图形。
RI（Random Image，随机图片替换）：把图片替换成来自其他题目的随机图片。模型看到的图片和题目完全不匹配——它在被"幻觉"误导。
TR（Textual Removal，文字信息移除）：保留图片，但删除题目中的关键文字条件（如"AB=5, ∠A=60°"）。模型只能从图片中提取信息。
这三种破坏分别测试了模型在不同模态缺失下的学习能力。它们的共同点是：训练数据严重损坏，按常理模型不应该能学到有效的视觉推理能力。
但模型学到了。
核心发现一：幻觉诱导训练持续提升性能
在 Geometry3K 数据集上，所有三种幻觉诱导训练都显著提升了模型性能：
| 训练方式 | Geometry3K 准确率 | 提升 |
|---|---|---|
| Qwen2.5-VL-3B 基线 | 7.6% | - |
| + 标准 GRPO | 15.2% | +7.6% |
| + GRPO-BI（空白图片） | 10.4% | +2.8% |
| + GRPO-RI（随机图片） | 12.1% | +4.5% |
| + GRPO-TR（删除文字） | 11.3% | +3.7% |
更惊人的是 7B 模型的结果：
| 训练方式 | Geometry3K 准确率 | 提升 |
|---|---|---|
| Qwen2.5-VL-7B 基线 | 9.7% | - |
| + 标准 GRPO | 16.8% | +7.1% |
| + GRPO-BI（空白图片） | 14.1% | +4.4% |
| + GRPO-RI（随机图片） | 15.2% | +5.5% |
| + GRPO-TR（删除文字） | 14.7% | +5.0% |
核心发现二：RL 主要放大 LLM 的推理能力，不是多模态对齐
这是论文最反直觉的结论。在 4 个 benchmark 上对比标准 GRPO 和 GRPO-RI（随机图片训练）：
| 训练方式 | MathVision | MathVerse | MathVista | WeMath | 平均 |
|---|---|---|---|---|---|
| 7B 基线 | 27.70 | 45.20 | 67.00 | 63.68 | 50.89 |
| + 标准 GRPO | 28.13 | 47.56 | 70.00 | 68.39 | 53.52 |
| + GRPO-RI | 27.27 | 49.90 | 71.40 | 68.33 | 54.23 |
这意味着什么？如果 RL 训练真的在教模型"看图推理"，那把图片换成随机噪声应该让性能暴跌。但性能不仅没跌，还略微上升了。
论文的解释是：RL 后训练主要在放大语言模型固有的推理能力，而不是在教模型利用视觉信息。
GRPO 的工作机制是：采样多条轨迹，奖励正确的，惩罚错误的。即使图片是随机的，模型仍然可以从文字中提取部分信息，通过推理得到正确答案。这些正确的推理轨迹被奖励，模型学会了"更好的推理模式"——这个学习过程不需要正确的视觉输入。
换句话说：RL 在教模型"怎么想"，不是"怎么看"。
核心发现三：视觉信息有时会妨碍小模型
论文还有一个反直觉的发现：在某些 benchmark 上，移除视觉信息反而提升了模型性能。
在 MathVision（包含数学竞赛题的 benchmark）上，3B 模型在 BI-corrupted 推理下的准确率（18.91%）高于正常推理（18.19%）。
论文的解释是：MathVision 的题目来自真实数学竞赛，图片中的视觉信息有时是干扰而非帮助。对于较小的模型，处理视觉信息消耗了推理能力，移除视觉信息反而让模型能更专注地推理。
但在 7B 模型上，这个现象消失了——更大的模型有足够的容量同时处理视觉和文字信息。
这和 MathVerse 的细粒度分析一致：
| 问题类型 | 7B 基线 Δ | 7B+GRPO Δ |
|---|---|---|
| Text Dominant | -4.31 | -7.49 |
| Text Lite | -20.56 | -20.05 |
| Vision Intensive | -25.89 | -25.13 |
| Vision Dominant | -21.95 | -22.97 |
标量幻觉：准确率是一个标量，它隐藏了"模型在多大程度上依赖视觉信息"这个维度。通过分类型分析，论文揭示了：当前多模态模型的"视觉推理"能力高度依赖文字，视觉信息只在极端 Vision Dominant 问题上才起决定性作用。
为什么幻觉训练能提升性能？
论文给出了三个原因：
1. 大多数幻觉轨迹是负样本，被 RL 自动忽略。 在 BI 训练中，模型看不到图片，大多数推理轨迹是错的，得到负奖励。GRPO 的相对奖励机制让这些负样本不产生有效梯度——它们被"过滤"掉了。
2. 少数正样本幻觉轨迹展示了有效的推理模式。 即使没有图片，模型有时也能从文字中推断出答案。这些正确的推理轨迹被正奖励强化，模型学会了更好的推理模式。
3. RL 对遗忘的抵抗力比 SFT 强。 论文引用了 Shenfeld & Pari 的工作：RL 训练不会大幅移动基础模型的权重，它更像是在基础模型的能力空间内"选择"更好的策略。所以即使训练数据被破坏，基础模型的视觉理解能力不会被"覆盖"掉。
概念谱系：这和之前的幻觉研究有什么不同？
这篇论文处于多模态幻觉研究的交叉点：
- Hallucination Detection（幻觉检测）：检测模型是否在生成错误信息。本文不是检测幻觉，而是主动制造幻觉来研究 RL 训练。
- Hallucination Mitigation（幻觉缓解）：减少模型的幻觉输出。本文发现幻觉不总是坏事——它可以作为训练信号。
- Data Augmentation（数据增强）：通过破坏数据来增强模型的鲁棒性。本文的破坏更极端（完全移除模态），且目标不是鲁棒性而是理解 RL 训练机制。
- Modality Dropout：随机丢弃某个模态来训练多模态模型。本文的 BI 类似于 modality dropout，但论文的洞察不同——不是"让模型更鲁棒"，而是"揭示 RL 训练在学什么"。
对多模态 RL 训练的实际意义
这篇论文对多模态 RL 训练有三个直接启示：
1. 不要假设 RL 在教模型利用视觉信息。 当前主流观点是"RL 后训练让模型更好地看图推理"。本文的证据指向相反的结论：RL 主要在放大 LLM 的推理能力，视觉信息的作用被高估了。如果你在用 RL 训练多模态模型，不要假设模型在学视觉理解——它可能只是在学推理。
2. 模型规模决定从幻觉中学习的能力。 3B 模型从幻觉数据中获益有限，7B 模型获益更多。这暗示：更大模型的 RL 训练可能更不需要精确的视觉标注——模型固有的推理能力足够强，RL 只需要放大它。这对降低多模态训练的数据成本有直接意义。
3. 评估 benchmark 的视觉依赖性差异巨大。 MathVision 的视觉信息对小模型是干扰，对大模型是帮助。MathVerse 的 Text Dominant 问题几乎不需要视觉。如果你在用这些 benchmark 评估多模态模型，需要区分"模型在用视觉"还是"模型在用文字推理"——准确率这个标量隐藏了这一点。
标量幻觉：准确率隐藏了什么？
这篇论文最深刻的概念贡献是"标量幻觉"——准确率是一个标量，但它隐藏了多个独立的维度。
在多模态推理中，准确率隐藏了：
- 模态依赖：模型是在用视觉还是文字推理？
- 推理质量：正确答案是来自好的推理还是坏的推理碰巧对了？
- 鲁棒性：模型在输入损坏时性能下降多少？
这和步子哥之前关注的"评测会骗你"方向完全一致：排行榜上的准确率数字会骗你，因为它隐藏了模型到底在用什么信息、怎么推理的。
开放问题
论文留下几个关键开放问题：
- RL 到底在学什么？ 论文排除了"RL 在教视觉理解"这个假设，但没有完全回答"RL 在教什么"。是推理模式？是输出格式？是奖励 hacking？需要更细粒度的分析。
- 隐空间推理：论文只研究了主流 RL（GRPO），没有研究隐空间推理（latent-space reasoning）。隐空间推理可能更依赖视觉信息，因为它不通过文字推理。
- 更极端的破坏：如果同时破坏文字和图片，模型还能学到什么？这会揭示 RL 训练的最低限度是什么。
- 跨模态泛化：BI 训练的模型在 Vision Dominant 问题上性能下降更小——这是否意味着 BI 训练让模型更平衡地利用两种模态？需要更多实验验证。
结语
*Hallucination as Cue* 这篇论文做了一件很勇敢的事：它故意破坏训练数据，看看 RL 训练会发生什么。结果发现了一个让直觉崩塌的现象——没有图片，模型也能学视觉推理；有随机图片，模型甚至学得更好。
这不是说视觉信息没用——在 Vision Dominant 问题上，视觉信息仍然至关重要。但它揭示了一个被主流叙事掩盖的事实：当前多模态 RL 训练的主要作用是放大 LLM 的推理能力，不是教模型看图。
这对我们理解"多模态模型"有深刻意义。也许当前的"多模态"更多是"带视觉输入的 LLM"，而不是真正的"视觉-语言联合推理"。要实现后者，可能需要不同的训练方法——不是 GRPO，而是能真正教模型利用视觉信息的算法。
这篇论文给了我们一个诊断工具：如果你想知道你的 RL 训练在教什么，试试把图片换成空白。如果性能没怎么降，你的 RL 训练可能主要在教推理，不是视觉理解。
论文：*Hallucination as Cue: A Systematic Framework for Analyzing RL Post-Training in Multimodal Reasoning* arXiv：2604.03179