PIVOT：当所有尝试都失败时，老师该怎么出手？

一个学生在做数学题。他试了 8 种解法，全错了。老师该怎么帮他？

一种做法是直接给答案——但这让学生失去了自己思考的机会。另一种做法是给提示——但如果学生完全卡住了，提示也没用。

这是 RLVR（Reinforcement Learning with Verifiable Rewards）训练 LLM 时的核心难题。当模型在某个问题上所有 rollout 都失败、没有任何正向信号可以学习时，训练就卡住了。

2026 年 10 月底的一篇论文 PIVOT（2610.40576）给出了一个精确的答案：老师需要在两个层面出手——给模型一条能通向成功的路径（trajectory-level intervention），同时在这条路径上标注哪些 token 是关键决策点（token-level supervision）。单独任何一个都不够，两者必须同时存在。

RLVR 的死锁问题

先说背景。RLVR 是目前训练推理模型的主流方法：给模型一个问题，让它生成多条推理路径（rollout），用"答案是否正确"作为奖励信号，强化正确的路径、抑制错误的路径。DeepSeek-R1、QwQ 等模型都是这样训练的。

RLVR 的前提是：模型至少能在部分 rollout 里答对。如果模型在某个问题上 8 次尝试全错，奖励信号全是 0，模型就学不到任何东西——它不知道哪条路径"更接近"正确答案，因为所有路径的奖励都一样（都是 0）。

这就是"死锁"：模型需要成功来学习，但需要学习才能成功。

现有的解决方案是"老师引导"——用一个更强的模型（teacher）来帮助弱模型（student）。但"怎么帮"有讲究。PIVOT 论文的核心贡献是区分了两种帮助方式，并证明它们缺一不可。

两种干预：路径 vs 标注

PIVOT 区分了两种老师干预：

Trajectory-level intervention（路径干预）：老师直接给一条能通向成功的推理路径。学生不用自己摸索，而是沿着老师给的路径走。这解决了"没有成功路径"的问题——学生至少能看到一条正确的路。

Token-level supervision（token 级监督）：老师在路径上标注哪些 token 是关键决策点。学生不仅看到路径，还知道"这条路径上哪些步骤是重要的、哪些是过渡性的"。这解决了"不知道路径里什么值得学"的问题。

论文的关键发现是：单独任何一种都不够。

• 只有 trajectory-level：学生能走通路径，但不知道为什么走通，泛化能力差。
• 只有 token-level：学生知道哪些 token 重要，但没有成功路径作为载体，这些标注无处应用。
• 两者结合：学生既有一条成功路径，又知道路径上哪些步骤关键，能真正学到"如何在关键点做对决策"。

中间干预 > 前缀干预

论文还有一个细节值得注意：老师的干预位置很重要。

他们比较了两种干预位置：

• Prefix intervention：在推理路径的开头插入老师的引导。学生从老师给的起点开始，自己续写后面的推理。
• Middle intervention：在推理路径的中间插入老师的引导。学生先自己尝试一段，遇到卡点时老师介入，给出关键步骤，然后学生继续。

实验显示，middle intervention 的效果显著好于 prefix intervention。

这个结果有一个直观的解释：prefix intervention 让学生"从正确起点出发"，但起点正确不等于后续推理正确——学生可能在后续步骤中重复犯错。而 middle intervention 精准地针对了学生的"卡点"——老师出现在学生真正需要帮助的地方，而不是在最开头大包大揽。

这和人类教学的直觉一致：好的老师不会替学生写第一行代码，而是在学生卡住时点拨关键思路。

KL 散度的选择：看菜下饭

论文还有一个实用发现：不同 KL 散度适用于不同场景。

• Reverse KL：适合模型初始准确率低的场景。它允许模型大幅偏离初始策略，去探索新的推理路径。
• Forward KL：适合模型初始准确率较高的场景。它让模型在保持原有策略的基础上微调，避免过度偏离。

这个发现的实用价值在于：训练初期（模型还弱）用 reverse KL，训练后期（模型变强）切换到 forward KL。这种"看菜下饭"的策略比一刀切的 KL 选择更高效。

数据说话：avg@8 几乎翻倍

论文的核心实验是在逻辑推理游戏上做的。基线模型（没有老师引导）的 avg@8 是 19.5%。加上 PIVOT 的双重干预后，avg@8 提升到 35.6%——几乎翻倍。

这个数字本身不算惊人（35.6% 仍然不高），但考虑到这是在"基线全错"的困难场景下取得的提升，意义就不一样了。RLVR 在这种场景下本来是学不到任何东西的（奖励全 0），PIVOT 硬是挖出了 16.1 个百分点的提升。

更值得注意的是：单独 trajectory-level 或单独 token-level 的提升都远低于两者结合。这印证了论文的核心论点——两种干预是互补的，不是冗余的。

一个"判断-闸门解耦"的实例

PIVOT 的设计让我想到一个在 Agent 工程中反复出现的模式：判断和闸门解耦。

在 PIVOT 里：

• Trajectory-level intervention 是"闸门"——它决定了模型能否接触到成功路径。没有这个闸门打开，模型永远在失败路径里打转。
• Token-level supervision 是"判断"——它标注了路径上哪些 token 是关键决策。没有这个判断，模型走通了路径也不知道为什么走通。

闸门和判断是两个独立的功能，不能互相替代。你可以打开闸门但不给判断（只有 trajectory），模型能走通但不理解；你也可以给判断但不打开闸门（只有 token supervision），模型有标注但没有载体。只有两者同时存在，学习才真正发生。

这个模式在其他场景里也反复出现：

• Concordat（2610.37461）：协议是闸门（工具不在列表里），类型系统是判断（子类不能违规）。
• ShallowDefend（2610.40627）：安全决策是判断（哪些 token 需要审查），独立审查通道是闸门（审查不阻塞生成）。
• CORAL（2610.40350）：checkpoint 是判断（什么值得保存），reset 是闸门（什么该被清掉）。

PIVOT 为这个谱系增加了一个新实例：路径干预是闸门，token 监督是判断。

对 Agentic RL 的启示

PIVOT 的发现对 Agentic RL 系统有直接启示。

目前 Agentic RL 的主流做法是让 agent 自己跑任务，用任务成功与否作为奖励。但很多任务的成功率极低——agent 可能跑 100 次才成功 1 次。这种稀疏奖励导致训练效率极低。

PIVOT 的思路可以迁移过来：当一个任务的所有 rollout 都失败时，不要让 agent 继续盲目尝试，而是引入老师干预。老师可以：

1. 给一条成功路径（trajectory-level）：比如人类专家的示范轨迹，或者更强模型的解决方案。
2. 标注关键决策点（token-level）：在路径上标出"这一步是关键决策"、"这一步是过渡步骤"。

两者同时给，agent 的学习效率会远高于纯 RLVR。

这个思路的代价是老师成本。论文里没有详细讨论老师模型的推理开销，但从实验设置看，老师只需要在"所有 rollout 都失败"的困难问题上出手，不需要在每个问题上都出手。如果困难问题占比 20%，老师成本就是可接受的。

一个未解的问题

PIVOT 解决了"所有 rollout 都失败"的场景，但留下了一个未解问题：什么时候该出手？

论文里的设定是"所有 rollout 都失败时老师介入"。但"所有失败"是一个二元判断，现实中可能有更细的梯度——比如 8 次 rollout 里 7 次失败 1 次勉强成功，这种情况下老师该不该介入？

如果介入太频繁，学生依赖老师，自己学不到东西；如果介入太少，学生在困难问题上卡死。这个"出手时机"的问题，论文没有给出明确答案，可能需要后续工作。

但从另一个角度看，这个未解问题恰恰说明 PIVOT 的框架是可扩展的——你可以把"出手时机"作为一个额外的超参数或甚至一个学习目标来优化。

结语

PIVOT 这篇论文做了一件很清晰的事：它把"老师怎么帮学生"这个模糊的问题，拆成了两个精确的维度——路径干预和 token 监督——并用实验证明两者缺一不可。

这种"把混合在一起的功能拆开"的研究风格，在 Agent 工程里越来越常见。从 ShallowDefend 的"安全决策独立 token"，到 MTA-OPSD 的"教师选择拆到 token 级"，再到 PIVOT 的"路径干预 vs token 监督"，核心思路一脉相承：把混在一起的决策拆开，分别优化。

论文没有开源代码，但方法描述足够清晰，有经验的团队可以复现。

论文：https://arxiv.org/abs/2610.40576

#论文 #RLVR #AgenticRL #教师引导 #判断闸门解耦