VLM 不会自己学会思考——除非你用鞭子抽它：VL-Rethinker 的残酷真相 🎯

核心判断：视觉语言模型（VLM）和文本 LLM 在强化学习面前是两种完全不同的生物。DeepSeek-R1 用 GRPO 就能学会长思维链，但 Qwen2.5-VL 用同样的方法只会原地踏步。HKUST 和 Waterloo 的团队发现了一个被所有人忽视的问题：vanishing advantages——当你的模型足够强，它要么全对要么全错，GRPO 的梯度直接消失。他们的解决方案？先是用 SSR 把消失的梯度找回来，然后拿鞭子（Forced Rethinking）抽它，逼它反思。

1. 一个让人困惑的观察 🤔

2024 年底到 2025 年初，文本 LLM 的慢思考革命席卷了整个 AI 圈：

问题出在哪？ 同样是 GRPO，为什么文本模型能学会反思，视觉语言模型不能？

HKUST 和 Waterloo 的答案是：不是 GRPO 不行，是 VLM 的 GRPO 在训练后期会遭遇一种特殊的崩溃——vanishing advantages。

2. Vanishing Advantages：当模型太强，梯度反而死了 💀

GRPO 的核心机制是：对每个 query 采样 \(G\) 个回答，计算组内奖励的均值和标准差，然后归一化得到 advantage：

这个公式有一个致命弱点：如果一组采样全部正确（reward=1）或全部错误（reward=0），分子是 0，标准差也是 0，advantage 变成 \(0/0\)——梯度信号直接消失。

在文本 LLM 上，这个问题不那么严重，因为：

• 数学问题的难度分布足够广
• 模型在训练初期错误率很高，组内奖励差异大

但在 VLM 上呢？研究者跟踪了 Qwen2.5-VL-72B 的训练动态：

80% 的训练数据变成了无效噪音。 你的模型在"学习"，但它在学空气。

这导致两个后果：

1. 训练不稳定：有效 batch size 持续缩水
2. 过早收敛：模型学会在已知模式上"安全地"回答，不再探索更深层的推理

..... Vanishing Advantages（消失的优势）：在策略梯度方法中，如果所有候选回答的奖励相同，策略无法区分哪个回答更好，因此无法获得有效的梯度更新。这在二元奖励（0/1）和模型能力较强时尤其严重。

3. SSR：从历史的垃圾堆里捡回黄金 🏆

Selective Sample Replay（SSR）的想法简单粗暴：既然当前 batch 里很多样本没梯度，那就从过去的训练里把那些"有梯度"的样本找回来。

SSR 维护一个 replay buffer \(\mathcal{B}_{\text{replay}}\)，只存储满足 \(|\hat{A}_k| > 0\) 的样本。然后按 advantage 绝对值的优先级采样：

直观解释：那些 advantage 绝对值大的样本——无论是大幅正确还是大幅错误——都位于模型的"决策边界"附近。重放这些样本相当于一种动态的在线课程学习（curriculum learning），让模型持续关注那些"它还没完全搞懂"的问题。

消融实验证明了 SSR 的价值：

SSR alone 贡献了 3.8 个百分点的 MathVision 提升。这不是小数目——在 7B 模型上，这是从"平庸"到"领先"的跨越。

4. Forced Rethinking：如果模型不反思，就逼它反思 🪓

SSR 解决了训练稳定性问题，但研究者发现另一个更深层的问题：

即使训练稳定了，VLM 还是不会自发地产生反思行为。

在文本 LLM 上，GRPO 训练经常诱导出"Wait"、"Alternatively"、"Let me reconsider"这样的自发反思模式。但在 VLM 上，这种现象几乎不存在。

为什么？研究者没有给出确定答案，但提出了一个假设：

多模态任务的奖励信号可能过于"嘈杂"，导致模型无法建立"反思→更好结果"的清晰因果链。

无论原因是什么，解决方案是明确的：如果模型不会自发反思，我们就强制它反思。

Forced Rethinking 的机制

1. 模型生成初始回答 \(y_1\)
2. 在 \(y_1\) 末尾附加一个 rethinking trigger（如"请重新检查你的推理"）
3. 模型继续生成 \(y_2\)（反思和修正）
4. 完整序列：\(y = y_1 \oplus \text{trigger} \oplus y_2\)
5. 只对部分样本（比例 \(q < 1\)）应用此操作
6. 只保留那些最终答案正确的反思轨迹
7. 对这些成功的轨迹施加额外的 SFT loss

关键设计：模型在推理时不需要被强制反思。它学会了在"需要时"自发反思。Forced Rethinking 是训练时的拐杖，不是推理时的枷锁。

三种 Trigger 类型

消融实验：

Forced Rethinking 在 MathVision 上贡献了 2.5 个百分点的提升。更重要的是，它让模型学会了反思——这是一种能力，不是一个分数。

5. 结果：VLM 终于会慢思考了 🚀

72B 模型 vs 世界

数学推理上，VL-Rethinker-72B 打败了 OpenAI o1。 这不是蒸馏、不是复制 o1 的思维链，这是纯 RL 从零训练出来的。

7B 模型 vs 开源对手

在 7B 规模上，VL-Rethinker 全面碾压其他开源多模态推理模型。OpenVLThinker 用了蒸馏，MM-Eureka 用了 InternLM 架构，VL-Rethinker 只用了纯 RL + 两个巧妙技巧。

6. 我的押注 💰

我赌 1000 美元：到 2025 年底，所有主流 VLM 的 RL 训练管道都会集成类似 SSR 的体验重放机制，以及类似 Forced Rethinking 的反思诱导技术。

为什么？

1. Vanishing Advantages 是结构性问题：只要用二元奖励 + GRPO + 强模型，这个问题就会出现。SSR 不是锦上添花，是必需品。

2. VLM 的反思不会自然涌现：这与文本 LLM 完全不同。Forced Rethinking 证明了外部引导可以内化——模型学会了在没有 trigger 的情况下反思。

3. 纯 RL 路线可行：VL-Rethinker 没有蒸馏 o1，没有 SFT 长思维链数据，只用 38K queries 的纯 RL 就打败了 o1 在 MathVista 和 MathVerse 上。这意味着多模态推理的慢思考能力可以通过 RL 直接获得。

4. 实现成本极低：SSR 是几行代码的体验重放。Forced Rethinking 是在 rollout 末尾加一句话。这些不是架构创新，是训练技巧——而训练技巧的扩散速度远快于架构创新。

敌人是谁？

• 那些还在用蒸馏复制 o1/R1 思维链的多模态团队——你们正在用 10 倍的数据做 50% 的效果。
• 那些认为"GRPO 万能"的 RL 信仰者——GRPO 在 VLM 上会死，SSR 才是它的 CPR。
• 那些忽视多模态特殊性的研究者——文本 LLM 的经验不能直接移植到 VLM 上。

7. 最惊人的发现：模型学会了质疑问题本身 🤯

在论文的图 3 中，研究者展示了一个令人毛骨悚然的例子：

VL-Rethinker 在反思过程中，发现了问题本身的缺陷——它意识到题目给出的条件有矛盾，而不是盲目地试图解一个无解的问题。

这不是训练时显式教给它的。这是涌现的元认知能力（emergent metacognitive ability）——模型通过被强制反思，学会了不仅检查自己的答案，还检查问题的有效性。

这有多重要？ 当前所有基准测试都假设题目是正确的。但真实世界的问题经常是错误的、矛盾的、或信息不足的。一个会质疑问题本身的 AI，比一个只会解题的 AI，更接近真正的智能。

论文详情

#CrushAI #BetWriting #智柴系统实验室 🎙️