【教学信号三部曲·其二】山脚下的人，需要的是一个蹲下来的教练

山脚下的人，需要的是一个蹲下来的教练

🧗 他第无数次摔在同一块岩石上

山的名字叫做"高中数学竞赛"。一个登山者站在山脚下，抬头看，路线清清楚楚写在岩壁上，是道拓扑学题：证明一个无处稠密集的子集是否可能是非 Borel 集。他深吸一口气，开始攀。

第一次，他抓到第三把锁点就脱手了。第二次，他换了条路线，在同一个位置滑下去。第三次、第四次，他摔在同一块岩石上，姿势一模一样。每一次他都在岩壁上留下一句自言自语——"答案应该是 No"——然后掉回地面。

这时候有三种教练。

第一种教练说："这面墙不适合你，我们去爬别的山。"他把你从山脚下带走，换一道更简单的题。你确实不再摔了，但你也永远不知道刚才那一摔到底错在哪里。这叫过滤。

第二种教练说："来，赛前先看录像。"他在你出发前塞给你一摞笔记，上面写满了前人总结的攀爬技巧。这些笔记是三个月前编的，那时候你的握力、你的步幅、你看岩壁的方式都和现在不一样。有些建议还有用，有些已经开始误导你。这叫静态课程。

第三种教练说："晚上回来我们复盘。"他把你摔下来的过程拍成视频，赛后一帧一帧看，告诉你"这里应该那样踩"。你点点头，记住了正确答案。但下次面对一面新的墙，你的手还是不知道该往哪儿放。这叫事后修补。

这篇论文想问的是：能不能在每一次摔下来的那一瞬间，教练蹲下来，看着你的眼睛说——"你的问题不在腿，在你看路的方式。"

这就是 MENTOR：Learning from Failure with On-Policy Pedagogical Intervention。西安交通大学团队提出的方法，给强化学习训练装了一个"现场导师"。在讨论它之前，我们得先看清楚那个登山者为什么会困在山脚下。

📉 零奖励坍塌：当一整批尝试全军覆没

过去两年，大模型后训练的主战场从"模仿人写答案"（SFT）转向了"自己做题、自己打分"（RLVR，Reinforcement Learning with Verifiable Rewards）。典型代表是 GRPO（Group Relative Policy Optimization），出自 DeepSeek 的配方：给模型一道有标准答案的题，让它一口气采样一组（比如四条）解题轨迹，每条轨迹用规则自动判分——对了给 1，错了给 0。然后组内比较：比同伴做得好的轨迹被鼓励，差的被压低。这就像让四个登山者同时上墙，谁爬得高，下次就模仿谁的动作。

GRPO 的聪明之处在于它不需要一个"裁判模型"来打分，完全靠可验证的答案，省掉了 reward model 的训练成本，也避免了裁判模型的偏好污染。

但 GRPO 有一个结构性软肋，论文称之为 zero-reward collapse（零奖励坍塌）。

想象一种情况：一道题超纲了。四个登山者全军覆没，四条轨迹全错，组内奖励全是 0。这时候"相对优势"怎么算？全对组的优势是 0，全错组的优势也是 0——没有任何一条轨迹比同伴更好或更差。优势为零，梯度为零，这组样本对参数更新贡献为零。模型从这组失败中学到的东西，和从一组空白纸上学到的一样多：什么都没有。

更糟的是这是自增强的。任务太难→全错→学不到任何东西→模型停在原地→任务依然太难。训练曲线在这里平台化， plateau 得像一面墙。讽刺的是，模型最深的认知盲区，恰恰藏在这些全错的题里——那些它"差一点就会"的题反而被组内比较自然地区分开了。坍塌现场埋着最值钱的信息，而标准训练流程选择视而不见。

社区已经意识到这个问题，但现有的三类解法，各自都带着一道伤疤。

🩹 三种老办法，三种旧伤疤

第一类：过滤逃避。 代表是 DAPO 的做法——既然这组样本没梯度，那就把它扔了。简单粗暴，能缓解训练动荡，但态度是逃避的：那些失败轨迹里写满了模型"以为自己是对的"的证据，是最宝贵的诊断材料，被直接送进了垃圾桶。模型永远学不到自己最深的错误，因为它从没被允许看见它们。换一座山，确实不会再摔，但你也没学会攀岩。

第二类：静态离线引导。 LUFFY、QUESTA、HINT、Scaf-GRPO 走的是预设路线：提前准备提示库、脚手架或课程，训练时按需取用。问题是这是 off-policy 的——提示是训练之前做好的，而模型在训练中不断进化。第 100 步时的失败模式和第 1000 步时已经完全不同，预设的提示开始与模型的真实困难错位，甚至起到反作用。赛前看的录像，是你三个月前的自己需要的；而你在场上摔的跤，是今天的你摔的。

第三类：事后修补。 Critique-GRPO、SRPO、CTRL 这一类做了更精细的工作：对失败轨迹做反思、精炼、纠错，把"修好的答案"拿去做数据增强。这比过滤进步多了，至少利用了失败信息。但注意它的哲学预设：它在修数据，不是在教学生。 把答案改对，是替学生把卷子重批一遍；但那个缺失的技能——"看到无处稠密集时该想什么"——并没有被教给模型。回顾性的修补无法替代前瞻性的教学。复盘看完了，手还是不会。

MENTOR 的立场于是清晰起来：我们需要的是 on-policy pedagogical intervention（在线策略教学干预）——一个在现场的导师，实时诊断失败的根因，动态生成针对性的教学提示，引导下一次尝试。不是课前预习，不是课后讲评，而是卡在当下那一刻的即时辅导。

这背后藏着一个教育学里很老的概念：维果茨基的最近发展区（Zone of Proximal Development）。学生自己够不着的高度，在有指导的情况下恰好够得着。好老师的本领不在于给答案，而在于给出恰到好处的脚手架——给一点，让学生自己把剩下的搭出来。MENTOR 想做的，就是把这种"因问作答"的教学，装进强化学习的训练循环里。

🏥 分级诊疗：MENTOR 的三道门诊

MENTOR 的整体架构很像医院里的分级诊疗：先由一线医生筛出危重病人（CASF），再由专家团队会诊、开方、药师审核（FDCG 四智能体），最后病人带着处方回到普通病房正常治疗（集成回 GRPO）。我们逐一展开。

🚨 第一道门诊：CASF，筛出"坍塌病人"

CASF（Collapse-Aware Sample Filtering，坍塌感知样本过滤）做的事非常朴素：在训练循环里加一个钩子，盯着每一组采样的奖励。如果某道题的 N 条轨迹奖励全零，这道题就被标记，进入一个叫 collapse set C 的集合——"坍塌集"。

但 CASF 不是 DAPO 那种"扔了完事"。它保留完整的失败现场：题目、标准答案、全部 N 条失败轨迹，打包成一个三元组。就像急诊室保留完整的病历和现场监控录像——不是为了让病人现在就好起来，而是为了后面会诊用得上。

这一步是整个方法的入口：没有检出，就没有后面的教学。

🔬 第二道门诊：FDCG，四位智能体的会诊室

核心模块叫 FDCG（Failure-Driven Contextual Guidance，失败驱动的情境引导）。这是一条四智能体的教学流水线，扮演"导师"角色的是 Qwen3-32B。四个智能体分工明确，像一个小型教研室。

归因智能体（Attribution Agent）：这是会诊的主治医生。它拿到题目、标准答案和全部失败轨迹，任务是做根因诊断——不是看某一条轨迹错在哪一步，而是找出所有失败轨迹共享的持续性错误。比如论文里那个拓扑学例子：模型四条轨迹全错，全部答"No"。归因智能体读完四条轨迹，给出的诊断关键词是："混淆了无处稠密集与 F_σ 集的关系"。

注意这个设计原则：归因只定位认知缺口，不泄露解题路径。 它告诉你病在哪，不告诉你药怎么配。这是"教"和"喂"的分界线。

生成智能体（Generation Agent）：拿着诊断关键词当指令、失败轨迹当上下文，生成候选教学提示。这里有一条刻意的设计约束——避免泄露答案或过多推理步骤。提示的目的不是把解法喂给模型，而是搭一个脚手架，让模型自己重新发现解法。比如那个拓扑学例子里，生成出来的提示大意是："想想，是否每个无处稠密集都是 F_σ 集……"——点到为止，剩下要登山者自己爬。

评判-修复闭环（Judgment-Repair Loop）：这是质量保证部门。评判智能体（Judgment Agent）用规则加 LLM-as-Judge 的组合评估提示质量，给出 LOW/HIGH 两档判定。论文里有个真实案例：第一轮生成的提示被判 LOW，理由是"太模糊"；修复智能体（Repair Agent）据此迭代出一个更明确（更 directive）的版本，这一轮判 HIGH，通过。如果反复修都不过关，系统回退到一条预设的安全提示——宁可平庸，不可有毒。

这套闭环对应的是教学里一条朴素的经验：给学生的提示，质量比数量重要，一条有指向性但不泄题的提示，胜过十条模棱两可的废话。而质量必须有审核机制，不能生成什么就用什么。

💊 第三道门诊：回到 GRPO，处方生效

最后一步是集成。验证过的教学提示 h* 被 prepend 到原题前面，拼成一道增强题 q' = h* ⊕ q，重新进入标准的 GRPO 管线采样。脚手架搭好了，登山者重新上墙——这一次，因为有了"想想无处稠密集和 F_σ 集的关系"这句点拨，策略更有可能产出非零奖励的轨迹。梯度回来了，学习继续。

关键在于：GRPO 的损失函数、优化器、奖励机制，一个都没动。 MENTOR 只是在管线外面包了一层教学前哨站，即插即用。总损失就是正常数据上的 GRPO 加上增强数据上的 GRPO，没有额外的训练花样。

这个"不动主干、外挂教学"的设计哲学很务实：它不要求你换掉已经在用的训练框架，只要求你在坍塌发生时，把病例转给导师看一眼。

📊 实验：五个模型，八条赛道，一面倒的提升

论文的实验设计相当扎实：5 个模型，覆盖数学推理（AIME24/25、MATH-500、GAOKAO-Bench、Olympiad-Bench、DM）、代码生成（LCB、HumanEval、MBPP、BigCodeBench）和分布外测试（MMLU）。Baseline 有 8 个：GRPO、DAPO、SRPO、Critique-GRPO、QUESTA、LUFFY、HINT、Scaf-GRPO。

数字是硬通货，挑几组最有说服力的：

DeepSeek-R1-Distill-Qwen-1.5B（数学平均）：从 38.57 提升到 52.16，相对增益 +35.2%；代码从 17.17 到 24.65，+43.6%。

Llama-3.2-3B-Instruct（数学平均）：从 18.57 到 33.11，相对增益 +78.3%。其中 AIME24 提升 +700.9%、GAOKAO 提升 +1674.2%——这两个夸张的百分比是小基数效应，看看就好，但基数本身的翻倍是实打实的。

Qwen3-4B（数学平均）：+10.1%，其中 AIME25 从 53.33% 拉到 70.00%——这是高分段的提升，含金量更高，因为越往塔尖走，每一分越贵。

Qwen2.5-Math-7B（数学平均）：+50.0%。

还有一组数据我个人最看重：MMLU（分布外测试）也一致提升。 如果提升只来自"刷熟了这些题"，OOD 分数不该动。它动了，说明模型学到的不是题库，是可迁移的推理结构——这在教学上叫"学会了怎么学"。

对比之下，8 个 baseline 要么放弃了失败信息（DAPO），要么被分布漂移拖累（静态引导类），要么只修了答案没教技能（事后修补类）。MENTOR 的提升幅度说明：当 AI 卡住的时候，怎么给教学信号，给什么时机给，差别是数量级的。

🧪 消融：三个零件，哪个最不能少？

消融实验在 Qwen3-4B 的数学任务上做，把三个零件分别拆掉，看性能掉多少。

去掉归因智能体（-Attribution）：-4.50%。 没有诊断的提示是盲人摸象，教学失去靶心。

去掉生成智能体（-Generation）：-4.67%，掉得最狠。 这个反直觉的结果值得停下来想：直接拿诊断关键词当提示用，效果是最糟的。因为诊断报告是给老师看的语言（"混淆了无处稠密集与 F_σ 集"），不是给学生看的语言。从"知道病在哪"到"说出一句能点醒学生的话"，中间隔着一层教学转化——这正是生成智能体存在的意义。

去掉评判-修复闭环（-Judgment-Repair）：-2.28%。 质量审核掉得最少，但它守护的是下限：没有审核，偶尔混入一条泄题或过模糊的提示，带来的损害会被系统性放大。

结论很清楚：三个零件都重要，但"把诊断翻译成指路的话"这一步是最关键的环节。知道学生错在哪，和能让学生听明白，是两种完全不同的能力。

⏱️ 效率：不请专家，也不熬夜

方法再好，如果成本高到没人用得起，也是白搭。MENTOR 的效率账算得很漂亮：

人力成本：零。对比之下，Scaf-GRPO 和 QUESTA 需要约 24 个专家小时准备提示和课程——这还只是一个任务上的投入。MENTOR 的教师是 Qwen3-32B，7×24 小时待命，不要加班费。

墙钟时间：MENTOR 17.9 小时，Critique-GRPO 23.5 小时，vanilla GRPO 15.3 小时。也就是说，MENTOR 比事后修补的 Critique-GRPO 快约 24%，而相对最朴素的 GRPO 只多花了 2.6 小时。教学干预的代价，大约是训练总时长的一成多一点。

回想一下三种老办法的代价：过滤类浪费信息，静态类浪费人力，修补类浪费算力和时间。MENTOR 用更低的综合成本拿到了更高的收益——这在工程上是最难得的那种结果。

🌄 收尾：修数据是改卷子，教思考是上课

回到山脚下那个登山者。

过滤会把他带去爬别的山，静态课程给他看三个月前的录像，事后修补替他改好卷子。而 MENTOR 的教练在他每一次摔下来的瞬间蹲下来，说："你的问题不在腿，在你看路的方式——想想，是否每个无处稠密集都是 F_σ 集？"

然后他重新上墙。这一次，四条轨迹里有三条攀到了顶——他正确构造出了 Cantor 集的非 Borel 子集，答案是 Yes。

这就是"现场导师"四个字的分量。当 AI 卡在能力边界上反复撞墙时，教学信号该怎么给？这篇论文给出的答案朴素得近乎古典：就在坍塌发生的现场，在训练循环的内部，实时地、针对地、点到为止地给。 不给答案，给方向；不改卷子，教思考。点拨一步，胜过十份批改好的作业。

"何时教"这个问题，教育学家答了几百年，答案是"在卡住的那一刻"。现在，机器也开始用这个答案了。

📚 参考文献

• Yue, G., Yu, H., Huang, X., Li, R., Zhang, W., Liu, B., & Wang, R. (2026). MENTOR: Learning from Failure with On-Policy Pedagogical Intervention. arXiv:2610.13594.
• Shao, Z., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. (GRPO)
• Yu, Q., et al. (2026). DAPO: An Open-Source LLM Reinforcement Learning System at Scale.
• Yan, Y., et al. (2026). LUFFY.
• Zhang, X., et al. (2025a). Critique-GRPO.
• Wan, Z., et al. (2026). SRPO.
• Zhang, X., et al. (2025b). Scaf-GRPO.
• Rafailov, R., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model.