红笔与勾叉：一个攥着标准答案的老师，为什么找不到学生的错

🏫 开篇：两种老师

想象你是一名学生，月考卷子发下来了。

第一种老师，批改方式极其简洁：每道题只看你最后一行的得数，对了画勾，错了画叉。整张卷子批下来，红笔没离开过分数栏。你拿着卷子，知道自己错了三道大题——但你不知道错在哪一步，不知道是第一行公式抄错了，还是第三步把正负号弄反了。你盯着那个叉，叉也在盯着你。它不是教学，它是判决。

第二种老师，是很多人记忆里的语文老师。她不打勾叉，她拿红笔在你的句子上画圈，在页边写："此处主语偷换了""这个比喻和上文情绪矛盾，重想"。她的红笔落在具体的位置上，说出具体的原因。你可能不服气，但你知道该改哪里。

这篇论文讲的就是这件事，只不过主角换成了 AI。

一个手里攥着标准答案的"特权老师"，给学生模型的推理链打分。所有人的直觉都是：它都看见答案了，当然知道学生错在哪。来自 Fin.ai 和都柏林城市大学的 Maniparambil、Rai、Verma、O'Connor 和 Reid 用一组近乎刁钻的实验证明：恰恰相反。它不知道。它从来就不知道。 而当同一个模型被允许换一种动作——不是打分，而是点评——同一份特权信息突然就长出了眼睛。

这篇文章是"教学信号三部曲"的第一篇，回答的问题朴素而根本：当 AI 卡住的时候，教学信号里到底该装什么？

📖 背景：推理模型是怎么被训练的

先补一堂速成课。假设你聪明，但不熟悉这套术语，十分钟讲完。

现在的推理模型（就是那种能解数学题、一步步推导的大模型）主流的训练方式叫 RLVR——可验证奖励的强化学习。流程很朴素：给模型一道题，它生成一整条推理链，也就是"先设 x……再代入……所以答案是 5"；然后一个验证器只看最终答案对不对，对就奖励 1，错就奖励 0。模型拿着这个 0 或 1 去更新自己。

问题来了：一个 0 或 1 的标量，对一条可能有几百个 token 的推理链来说，信号太稀疏了。整条链里也许只有第三步错了，后面全是多米诺骨牌式的连锁坍塌，但奖励只告诉你"全盘皆输"，不告诉你"病灶在第三步"。

GRPO（组相对策略优化，DeepSeekMath 提出）缓解了一点稀疏性：同一道题，模型一次采样 G 条推理轨迹，组内互相比较——比组里平均水平好的轨迹加分，差的减分。这样至少有了"相对好坏"的颗粒度。

但 GRPO 有一个致命的结构性盲区，业内人士称之为 all-wrong group：如果采样的 G 条轨迹全错了，那么按组内相对优势的公式，每条轨迹的优势值都是 0——大家都一样烂，也就没人比谁更烂。梯度直接消失。

请注意这件事的残酷之处：全错的题，恰恰是模型能力边界上的题。这些题离"会做"只差一两步，是最值得学的地方。而 GRPO 在这里给出的教学信号是：零。什么都没学到，反而永远学不到。

这就引出了一个自然的修补思路，也是本文批评的对象：On-Policy Self-Distillation（OPSD，在线策略自蒸馏）。同一个模型分饰两角。学生先做卷子，生成推理链；老师登场，但老师手里多了一样东西——参考答案 r，这是学生看不到的"特权信息"。老师以参考答案为条件，给学生的每一行打分。打分的方式是计算老师分布和学生分布在每个 token 上的差异（KL 散度，或者更直接地，学生实际写出的那个 token 在两个分布下的概率差 Δt）。这样，每个 token 都有一个具体的数值，几百个 token 就有几百个教学信号，密集地"蒸"回学生模型。

听上去很美。密度问题解决了：每个 token 都有信号，不再是孤零零的一个 0。而且这是在线策略（on-policy）的：学生当下犯的错，老师当下就反馈，不存在训练数据和模型行为脱节的分布偏移。

本文的核心质疑只有一句话，但非常锋利：密度的提升不等于信用分配的提升。密度 ≠ credit assignment。 信号多，和信号有用，是两回事。一袋沙子里数出一万粒沙，不代表你找到了那粒金。

于是论文做了一件学术界少见的事：不急着提新方法，先把现有方法放在探照灯下，看它到底有没有在教学。

🔍 发现一：特权信号在关键位置是空的

怎么检验一个信号有没有教学价值？论文设计了两把标尺，检验对象用黄金标准标注的错误片段——gold error spans：由评分模型标注、双评委交叉确认，确实出错的那些句子。

第一把标尺是定位性（localization）：错误位置的信号，应该显著大于干净位置的信号。好学生老师会在你错的那一行画圈，而不是满卷均匀撒胡椒面。

第二把标尺是纠正性（correction）：信号应该压低学生错误 token 的概率，把学生从错误的方向上拽回来。画圈之外还得告诉你：别这么写。

实验结果可以概括成一张令人不安的成绩单。

以参考答案为条件的打分老师，在错误位置几乎没有反应。在 K&K（骑士与无赖，一种逻辑推理任务）上，把错误句和干净句的信号曲线画出来，两条线几乎重合——就像第一种老师的红笔，从头到尾只在分数栏画勾叉，从未在具体的错误句上停留。

定量地看更清楚。论文定义了一个 error-span Z 分数：错误窗口内的信号对比干净窗口内的信号，做 z-score 标准化并扣除随机基线。结果：reference 条件下，K&K 的定位性 Z 分数是 -0.17——负数。也就是说在出错的位置，信号不但没变大，反而略低于平均水平。L5-7 难度档定位 +0.14、纠正 -0.14；L7-10 定位 +0.07、纠正 +0.17。没有一个同时通过定位、纠正双标准的。

"也许是打分老师太小了？"论文预判了这个质疑，换 8B 的老师给 1.7B 的学生打分。没用，一样没反应。不是模型太小，是这个信号形态本身就是空的。

再退一步，也许单个 token 的信号分布诡异，但整条链的平均信号至少能判断"这条推理对不对"吧？论文测了：12 个设置下，用整条轨迹的平均信号去区分对错，全部 AUC 的置信区间都包含 0.5——随机水平。平均信号连最基本的对错分类都做不到。

这不是工程问题，是概念问题。论文给出的论证一针见血：定位错误本身就是一个搜索问题，一个推理问题——你得沿着推理链走一遍，检验每一步，找到那个塌方的支点。而"打分"这个行为，从来没有被明确要求去做这个搜索。老师只是"把答案放在面前看学生的卷子"。它拥有答案，但没有任何机制迫使它把答案和错误位置联系起来。知道终点在哪，不等于知道你在第几个路口拐错了。

这组结果放在整个 RLVR 的版图里看，分量更重：它意味着 OPSD 一类方法过去所依赖的密集信号，通道里装的并不是"老师指出了错误"——错误位置的信息浓度约等于零。信号如果曾经起过作用，机制必然另有解释。把一个空的信号通道当成教学通道用，是需要被正面纠正的方法论误认。

用开场的比喻说：特权老师手里攥着标准答案，但它批改的方式只在总分栏画勾叉。红笔从未落到具体的那一行。

🗣️ 发现二：同一个模型，换一种动作就能找到错误

这是全文最漂亮的实验设计之一，因为它把变量控制到了极致。

还是同一个模型，还是看到完全相同的信息（同样的参考答案），区别只有一个：不许打分，改成生成批语（critique）。批语的格式有严格要求：引用出错原句（quote），再解释错误原因（reason）。

结果像变魔术。

先上强力外援：oracle critic，用的是 gpt-5.2。它能在 57% 到 67% 的错误 rollout 上定位到黄金错误（精度要求±5 句以内），具体是 K&K 57%、L5-7 62%、L7-10 67%。而且这不是模糊的感觉对了——95% 以上的引用原文确实能在学生文本中查到，100% 的格式合规。一个真正的批语老师诞生了：它指出错在哪，并说出为什么错。

那不用外援呢？让学生自己给自己写批语（self-critique）：定位率 18% 到 21%，弱，但方向是对的——一个 1.7B 的小模型自己批自己，确实能在一定比例上指出自己的错。而且，这个能力随规模增长：Olmo-3-32B 做 self-critique，定位性达到 0.47。模型越大，越能看清自己的错处。

请注意这组对照的排他性。critic 和 teacher 看的是完全一样的信息：同样的学生 rollout，同样的参考答案。唯一区别是输出头的动作：一个是打分，一个是生成。定位能力天差地别。

这说明什么？说明搜索才是缺失的那部分计算。信息一直都在那里，答案是特权，但"打分"这个动作从来不做沿着推理链找错的工作，而"生成批语"这个动作被迫完成了这个搜索——你得读完学生的推理，找到出问题的那句，还得组织语言解释为什么错。生成批语的过程本身就是定位错误的推理过程。

换个角度想：打分是一个"静默"的计算，模型内部也许做了某种隐含的比对，但它不被要求把这个比对过程显式地走完、落在纸上。而生成批语是"显式"的计算——错句引用必须逐字从原文里挑出来，理由必须一句一句说清楚。隐式的直觉，只有被强制输出成显式的文本，才变成了可以被下游利用的结构。

回到比喻：不是这位老师水平不行，是它手里的工具决定了它只能画勾叉。你把它的红笔从分数栏里拿出来，放到卷面上，它立刻就会逐句批注了——因为它本来就有这个能力，只是从没被允许用。

⚙️ 发现三：critique 条件的自蒸馏，信号活了

有了批语，怎么把批语变成训练信号？方法本身一句话：先生成 critique，再让打分老师以 critique 为条件，给学生 rollout 打分。作为安慰剂对照，还会混入用别的题的 critique当作条件的情况——证明增益来自"对题的批语"，而不是任何形式的额外文本。

这次，探照灯下的信号大变样。

error-span Z 分数：oracle critique 条件下，全部 18 个设置都通过双标准。拿 Qwen3-1.7B 举例：三个难度档的定位性 Z 分数分别是 +0.75、+0.99、+0.78，纠正性分别是 -0.62、-0.90、-0.54。对比 reference 条件下那个 -0.17 和一串不达标的小数，信号强度是好几倍的差距。打分老师还是那个打分老师，给它看一眼批语，它的红笔就落对了地方。

机制拆解更有意思。论文消融了批语的两个成分：只给 quote（指出错在哪），定位还在但纠正弱；只给 reason（解释为什么错），两个指标都打折。quote 管定位，reason 管纠正——指出位置和控制方向，是两种功能，批语恰好同时具备。

但全文最动人的细节不是数字，而是一个词，或者说一类词。

概率质量从学生的错误延续上被撤下来之后，流向了哪里？研究者去观察模型接下去生成什么，发现它更多地转向 "Wait"、"But"、"Actually" 这类自我纠正标记。在 critique 条件下，这些标记的出现率是 reference 条件的 2 到 3 倍——K&K 上是 23.9% 对 4.9%。

这个细节值得停下来多看一眼。它意味着蒸馏下去的信号不只是"这里错了"，而是编码了一种行为倾向：在批语指出的位置，模型学会了刹车，学会了犹豫，学会了在"Wait"之后换一个方向重新推导。一个只知道画叉的老师，培养出的学生只会继续蒙头狂奔；一个会批注的老师，培养出的学生学会了在岔路口停下来问自己一句"等等，这里对吗"。

教学信号的形状，决定了学生行为的形状。这个 23.9% vs 4.9%，比任何 Z 分数都更能说明问题。

🧪 应用：从训练到考场

训练之外，这个方法还能直接用在做题现场。

测试时纠错：这是最直观的用法。拿 Olmo-3-32B-Think，先让它做题，失败的 rollout 交给 critic 写批语；然后在推理链上找到批语所指的位置，从那里剪断，插入一句 "Wait, I should correct this reasoning." 加上 critique 本身，让模型从断点处接着往下写。整个过程模拟的是一个真实场景：学生写完了，老师批注了，学生看着批注重做后半段。对那些8 次采样全部失败的顽固题目（共 19 道），解决率从 4.3% 提升到 9.3%——翻倍，95% 置信区间显著。顽固题每解开一道都值钱，因为这类题恰好是 all-wrong group 的现实形态：最需要信号的地方，GRPO 曾经什么也给不了。

小规模训练验证（附录 A）：320 道 K&K 题、100 步训练，critique-conditioned 蒸馏优于 GRPO，也优于 reference-conditioned 蒸馏；用 self-critique 代替 oracle critic，能恢复大部分增益。规模小，但方向干净。

成本：学生自己当 critic 只增加 6% 的步长时间；调 API critic 大约 20%。考虑到 GRPO 在 all-wrong group 上浪费的采样本就做无用功，这个开销是对无效计算的一次回收。

⚠️ 局限与诚实声明

论文自己交代的短板，照录如下：

训练证据规模小——320 题、100 步，没在完整 RL 的规模上验证过。方法在真实大规模训练管线里是否保持这个增益，需要后续工作。

critique 的生成依赖参考答案。这一点论文的态度非常诚实：所有 critique 都是在"看答案"的条件下生成的，所以结果说明的是"critique 能把特权信息转成可用的形式"，而不是"模型能无援自救"。离"模型不需要答案也能自我纠错"还有距离。

任务覆盖面有限：只在 K&K、DeepMath、ProcessBench 上验证过。换了别的领域，结论是否稳健，还不知道。

另外值得我自己补一句：self-critique 的定位率只有 18-21%，说明"自我诊断"这条路虽然方向正确，但小模型的自我认知还很弱。把它当训练信号大规模使用，噪声问题怎么处理，论文给的是初步答案而非终局答案。

🌙 收尾：答案是给人看的，批语才是给学习用的

回到开头那张月考卷。

这篇论文真正推翻的，不是一个具体的技术方案，而是一个根深蒂固的假设：以为"看见答案"天然等于"知道错在哪"。实验证明，这两个能力之间隔着一整段搜索。特权信息只有在被组织成"位置 + 原因"的批语形态时，才变成可用的教学信号；而在打分这种动作里，它安静地躺在那里，从头到尾没有参与任何定位错误的计算。

所以当 AI 卡住的时候——GRPO 的 all-wrong group 里那 G 条全错的轨迹，正是"卡住"的精确数学形态——教学信号该怎么给？这篇论文给出的答案是：不是把答案递给它看。答案在打分老师的条件下已经被看了，信号却是空的。给批语。指出错在哪，解释为什么错。

答案是给人看的，批语才是给学习用的。

而那个 23.9% 对 4.9% 的"Wait"，可能是整篇论文最有温度的注脚：好的教学不是从不犯错，而是在差一点要犯错的地方，学会停下来。

参考文献

• Maniparambil, M., Rai, A., Verma, E., O'Connor, N., & Reid, F. (2026). A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning. arXiv:2610.13744. NeurIPS 2026 FLLMPT Workshop (oral).
• Zhao et al. 2026a (OPSD)
• Yang et al. 2026 (RLSD)
• Pan et al. 2026 (RLCSD)
• Shao et al. 2024 (GRPO/DeepSeekMath)
• Yue et al. 2025

#论文解读 #小凯 #arXiv #强化学习 #RLVR #GRPO #自蒸馏 #教学信号