当老师才是问题：为什么你的 AI Agent 学会了拖延到死
想象你在学开车。教练坐在副驾，你每转一次方向盘、每踩一次油门，他都在旁边打分。你犯错了，他纠正；你跑偏了，他拉一把。听起来很合理——这就是"在策略蒸馏"（on-policy distillation）的标准做法：学生 Agent 在自己的轨迹上学习，老师给每个 token 打分。
当老师才是问题：为什么你的 AI Agent 学会了"拖延到死"
想象你在学开车。教练坐在副驾，你每转一次方向盘、每踩一次油门，他都在旁边打分。你犯错了，他纠正；你跑偏了，他拉一把。听起来很合理——这就是"在策略蒸馏"（on-policy distillation）的标准做法：学生 Agent 在自己的轨迹上学习，老师给每个 token 打分。
但有个反直觉的现象一直困扰着这个领域：学生明明在老师能搞定的状态下跑偏了，老师也确实能从那个状态下接管并完成任务，可学生就是学不会——它一直在"拖延"，直到轮次耗尽。
NVIDIA 的 Shu Zhao 和 Tan Yu 在新论文《Capable Teacher, Myopic Scorer》中找到了这个现象的根因，并提出了一个叫 R2S（Rollout-to-Scorer Distillation）的方法来修复它。在 12 个"老师-学生-环境"组合中，R2S 全部胜出，平均超出 SOTA 12.8 个百分点。
问题不在学生，在老师的"近视"
之前的主流解释叫"复合误差"（compounding error）：学生犯了小错 → 跑到老师不熟悉的区域 → 老师的评分不可靠了 → 学生越跑越偏。所以现有方法都在做一件事——让学生别跑太远，用课程学习、前缀回放、老师干预等手段把学生圈在"安全区"里。
但这篇论文发现了一个被忽略的事实：从学生偏离最大的那些状态出发，老师自己的接管（takeover）仍然能完成任务。 也就是说，老师的能力没问题，它知道怎么从那个状态走到终点。
问题出在哪里？出在老师"做"和"打分"之间的裂缝。
论文把这个裂缝叫 "rollout-scorer gap"（轨迹-评分裂缝）：
- 老师做的时候：它接管后一路生成到结束，看到了整个结局，知道哪些走法是浪费时间。
- 老师打分的时候：它只看当前这一个 token，给一个分数。它看不到这个 token 之后会发生什么。
用 outcome-based RL 的话说：如果一条轨迹没完成任务，整条轨迹的奖励是 0。但 agentic OPD 没有这个终端惩罚，所以学生永远不会因为"拖延"而被惩罚。
一个生活类比
想象你在教一个实习生做项目。有两种教法：
1. 每一步都打分：实习生每写一行代码，你看一眼说"这行没问题"。但你不管他整个项目能不能按时交付。 2. 看最终结果：项目做完了，交付了才算数。中间走了弯路？那算你的。
第一种就是当前 agentic OPD 的做法——老师给每个 token 打分，但看不到结局。第二种是 outcome-based RL——只看最终奖励。
问题在于：实习生学会了一种"安全拖延"策略。每一步看起来都在做事（打分都挺高），但项目永远做不完。因为他从来没被惩罚过"拖延"本身。
R2S：先修老师，再教学生
R2S 的核心思路特别巧妙：与其修学生，不如先修老师。
具体步骤：
1. 挖掘分歧状态：让未训练的学生跑一堆 episode，找到它和老师分歧最大的那些状态。 2. 老师接管：从这些状态出发，让老师跑 K 次接管（takeover），看看老师能不能完成任务。 3. 无奖励筛选：用共识（consensus）或 LLM judge 检查哪些状态下老师的接管确实能到终点。不需要外部奖励信号——这就是"reward-free"的含义。 4. 修复评分器：用这些"看到了结局"的接管数据微调老师，让它在打分时也能"看到"结局的影响。具体来说，从分歧 turn 开始，每个 assistant token 的目标都被替换成 takeover-informed 的分数。 5. 冻结老师，蒸馏学生：修复完的老师被冻结，作为学生唯一的评分器，进行标准 OPD 训练。
关键创新：R2S 不是在训练时干预学生（像 Guided-OPD 那样），而是在训练前先修好老师的"近视"。修复后的老师在打分时，会把"这个 token 会导致拖延"的信息编码进分数里。
实验结果
在三个环境（WebShop、WebArena、某个第三环境）、两个老师模型、四个学生模型的 12 个组合中：
- R2S 在全部 12 个 cell 中超过三个 SOTA 方法（Guided-OPD、FutureBridge、还有一个）
- 平均超出 12.8 个成功点
- 即使老师就是学生自己的 base model（self-distillation），R2S 仍然有效
我的看法
这篇论文最让我欣赏的是它对问题的诊断方式。很多人在改进 agentic OPD 时，都在想"怎么让学生别跑偏"——加课程、加干预、加前缀回放。但这篇论文先问了一个更根本的问题：老师真的在给正确的信号吗？
答案是不。老师的"做"和"打分"是两套系统：做的时候它有完整轨迹信息，打分的时候它只有当前 token。这个信息不对称就是 rollout-scorer gap。
这和人类教育中的一个问题完全同构：一个好老师不一定是一个好评分者。老师上课时知道整个知识体系，能引导学生走到终点；但批改作业时，如果只看每一步对不对，就会给那些"每步都对但整体跑题"的答案打高分。
R2S 的解法也很有工程美感：不需要改训练流程，不需要改学生架构，只需要在训练前花一些算力（19200 次接管 episode + 一次老师微调）把评分器修好。这比在训练循环里加各种干预机制干净得多。
一个限制是它需要可重放的环境——takeover 必须从学生的实际状态出发，所以环境得能"存档读档"。三个 benchmark 都支持，但真实世界部署可能不行。不过对于训练阶段来说，这个要求完全合理。
概念提炼
"判断-闸门解耦"再添一例：老师的"做"（判断：知道怎么走到终点）和"打分"（闸门：决定学生的训练信号）是两个独立的功能。R2S 的贡献是发现闸门出了问题，而不是判断出了问题。
"标量幻觉"再添一例：token-level 分数是一个标量，它隐藏了"这个 token 在完整轨迹中是否导致拖延"这个维度。同一个高分，可能对应"真的在推进任务"和"在安全拖延"两种完全不同的语义。
论文：Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation 项目页：https://tree-shu-zhao.github.io/r2s/ 代码：https://github.com/Tree-Shu-Zhao/miles-agent