🎮 从反应到智慧：为什么你的 VLM Agent 需要扔掉 SFT 课本

2025 年，两个团队各自教 AI 玩 Super Mario Land。

团队 A 的做法：找来 1000 小时人类玩家的录像，用 SFT 微调一个 VLM。模型学会了模仿人类——看到敌人就跳，看到金币就吃。看起来很聪明。

团队 B 的做法：用同样的 VLM，但不做 SFT。直接让它自己玩游戏，死了扣分，通关加分。中间加了一个 lightweight critic 在每个回合告诉它"离通关还有多远"。

三个月后，团队 B 的模型平均游戏进度是团队 A 的 3 倍。

Shi, Li, Liang, Lu, Yang, Feng, Karten, Yang, Ding, Sarch, Chen, Narasimhan 和 Jin 在 2026 年 5 月 1 日提交的论文（arXiv:2605.00347）揭示了一个被忽视的真相：教 AI 玩游戏，SFT 是教练，RL 才是发动机。

---

我们都被同一个谎言骗了。从 DALL-E 到 GPT-4V，我们被训练成一个条件反射：VLM 够强了，微调一下就能做任何事。做 agent？SFT 人类轨迹。做游戏？SFT 人类录像。做机器人？SFT 人类演示。

但 Super Mario Land 不是图像描述任务。它需要 100+ 回合的连续决策——每一步都要考虑之前发生了什么、未来可能发生什么。看到敌人跳，只是反应；知道什么时候该冒险走隐藏通道，才是智慧。

SFT 只能教反应，教不了智慧。因为人类玩家的水平就是天花板。

---

让我用一个具体画面来解释。

想象你在教两个人从纽约开车到洛杉矶。

第一个人（SFT） 🗺️：你给他一张人类司机录制的行车记录。他跟着录像学——看到红灯停，看到绿灯走，看到限速牌减速。但他永远不会找到比人类司机更快的路线，因为他只是在模仿。

第二个人（RL） 🚗：你给他一辆车，告诉他"到洛杉矶越快越好"。他自己摸索。但问题是他开了 1000 英里后才发现走错了路——他怎么知道是在哪个路口错的？

这就是长程决策的核心难题：credit assignment。第 100 回合的死亡，是因为第 5 回合的错误决策，还是第 50 回合的，还是第 99 回合的？

┌─────────────────────────────────────────────────────────────┐
│              长程决策的 Credit Assignment 难题               │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│   回合 5    回合 30    回合 60    回合 90    回合 100       │
│     │         │          │          │          │            │
│     ▼         ▼          ▼          ▼          ▼            │
│   [跳]    [走隐藏]    [吃金币]    [踩敌人]   [死亡]         │
│                                                             │
│   "哪个动作导致了死亡？"                                     │
│                                                             │
│   SFT: 不知道，人类没死在这里                                │
│   GRPO: 等 100 回合后统一算，信号太稀疏                      │
│   PPO + turn-level critic: 每回合都有预言家告诉你价值        │
│                                                             │
└─────────────────────────────────────────────────────────────┘

论文的解决方案是 turn-level critic——一个轻量级的"预言家"。它在每个回合告诉 agent："根据当前画面，你预计最终能得多少分。"

> Annotation: Critic 与 Credit Assignment > > 在 RL 中，agent 的目标是最大化累积奖励 $R = \sum_{t=1}^{T} \gamma^{t-1} r_t$。问题是奖励 $r_t$ 通常是稀疏的——很多回合 $r_t = 0$，只在关键事件（通关、死亡）时才有非零值。 > > Critic 是一个价值函数 $V(s_t)$，估计从当前状态 $s_t$ 出发的期望累积回报： > $$V(s_t) = \mathbb{E}\left[\sum_{k=t}^{T} \gamma^{k-t} r_k \Big| s_t\right]$$ > > Turn-level critic 简化了这个估计——它不预测整个未来的精确回报，而是给出一个回合级别的价值信号。这让梯度更新更稳定：如果 $V(s_t)$ 预测很高但实际回报很低，说明第 $t$ 回合的动作有问题，惩罚可以精确分配。

如果预言家说"你还能得 1000 分"，但 agent 最终只得了 100 分——那说明中间某个动作搞砸了。惩罚可以精确分配到具体的回合，而不是等 100 回合后才给一个笼统的"你死了"。

论文发现，PPO + turn-level critic 比 critic-free 方法（GRPO、Reinforce++）在 100+ 回合的设置下稳定得多。

> Annotation: PPO vs GRPO 在长程任务上的差异 > > PPO（Proximal Policy Optimization）使用 clipped surrogate objective： > $$L^{\text{CLIP}}(\theta) = \mathbb{E}\left[\min\left(\frac{\pi_\theta(a|s)}{\pi_{\theta_{\text{old}}}(a|s)} A(s,a), \text{clip}(\cdot, 1-\epsilon, 1+\epsilon) A(s,a)\right)\right]$$ > 其中 $A(s,a) = Q(s,a) - V(s)$ 是优势函数，需要 critic 提供 $V(s)$。 > > GRPO（Group Relative Policy Optimization）是 DeepSeek-R1 使用的变体，它不用 critic，而是用同一问题的多个采样输出的相对奖励来估计优势。这在短程任务（20-30 回合）上有效，但在 100+ 回合时，组内方差太大，信号被噪声淹没。Turn-level critic 提供了稳定的基线，让 PPO 在长程设置下仍然收敛。

---

但 RL alone 不够。从头训练的 RL agent 需要数百万次尝试才能发现"按右键可以让 Mario 前进"这种基本常识。

这就是预训练 VLM 的 secret weapon 所在。🔮

预训练 VLM（如 Qwen2.5-VL）already know：

• 画面中哪个是 Mario
• 敌人从左边来应该跳
• 金币是加分项
• 掉坑里会死

这就像让一个已经会开车的人去学赛车——他不需要重新学怎么握方向盘，只需要学怎么过弯最快。

> Annotation: Action Prior 的数学含义 > > 预训练 VLM 提供了一个动作分布 $p_{\text{VLM}}(a|s)$——给定游戏画面 $s$，它输出每个动作的概率。这个分布是有偏的：合理的动作（如"向右走"）概率高，不合理的动作（如"站着不动等死"）概率低。 > > RL 在这个分布上优化： > $$\pi_{\text{RL}}(a|s) \propto p_{\text{VLM}}(a|s) \cdot \exp(Q(s,a))$$ > 其中 $Q(s,a)$ 是 RL 学到的动作价值。VLM 提供了先验，RL 负责优化。这显著提高了样本效率——agent 不需要探索整个动作空间，只需要在 VLM 认为合理的子空间中搜索。

"但 RL 不稳定啊？GRPO 在长程任务上不是经常发散吗？"

这是事实。论文发现，标准的 critic-free 方法（GRPO、Reinforce++）在 100+ 回合的设置下确实不稳定。但 PPO + turn-level critic 解决了这个问题——critic 提供了稳定的价值信号，让梯度更新不再像无头苍蝇。

而且，Odysseus 框架的模型在 in-game 泛化（同一游戏的不同关卡）和 cross-game 泛化（不同游戏）上都有 consistent improvement。同时保持通用域能力——它没有变成一个"只会玩游戏的傻子"。

---

这就是最让我不安的地方。

整个 VLM agent 行业正在做一件可能是错误的事情：花数百万美元标注人类轨迹数据，然后用 SFT 微调模型。

这些数据标注的成本——雇佣人类玩家、录制轨迹、清洗数据、过滤低质量样本——可能是 RL 训练成本的十倍。而且结果永远超不过人类。

如果你的 agent pipeline 是 SFT-first，你可能正在用黄金的价格买铜矿。💰⛏️

Odysseus 没有说 SFT 完全没用。它说的是：SFT 是起点，RL 是终点。

预训练 VLM 提供了常识和视觉理解。SFT 可以快速让模型上手。但如果想要超越人类水平的长程决策能力，RL 是不可避免的。

而那些已经投入数千万美元做 SFT 数据标注的公司，可能需要重新考虑一下：这些钱如果花在 RL 基础设施和 critic 设计上，会不会产出更好的 agent？

从反应到智慧，从模仿到超越，这条路很长。但至少现在我们知道，100+ 回合不是不可逾越的鸿沟。🏁

---

📚 论文详细信息