老师打分打到负无穷，学生就疯了

让三十B的大模型教八B的小模型做题，这事理论上很美好：老师会做的题多，学生照着学，不用人类标注，不用奖励模型，一道数学题丢给两个模型就行。这个路线有个正式名字，叫在线策略蒸馏。上个月一篇论文测了它，结果尴尬：八B学生跟着三十B老师学完，AIME 数学竞赛的成绩是 24.58 分。不跟老师、自己直接强化学习的学生，考了 30.10。

跟着老师学，比不学还差五分。问题出在哪？

打分的裂缝

在线蒸馏的机制是这样的：学生自己做题，老师逐字打分。学生每写一个词，老师给出「我认为这个词的概率」，跟学生自己的概率一比，取个对数当奖惩——老师觉得这词该写，加分；老师觉得这词离谱，扣分。

裂缝在分母。老师给出的概率如果是零点零零零一，而学生偏偏写了这个词，扣分是两个概率之比的对数，一个接近零的数除以一个正常的数再取对数，惩罚冲向负无穷。梯度爆炸，训练崩掉。

这不是罕见场景，是日常场景。学生本来就不会做题——会做题就不用学了。它写出来的东西经常恰好是老师眼里「几乎不可能」的词。老师越严格，学生越容易被一记负无穷砸晕。整条训练线在数学上就是不稳定的：论文给的原话，「这一无界惩罚使策略梯度极其脆弱」。

一行公式

修法朴素得让人想笑：把老师稀释一下。

不再拿纯老师的概率当标准，改成七分老师加三分学生——论文里这个混合体叫「近端老师」。公式就一行：老师的概率乘 α，加上学生自己的概率乘一减 α。

效果立竿见影。学生再写出离谱的词，近端老师给的惩罚也有底：标准里掺了三成学生自己，学生写的词按混合标准算至少有三成把握，惩罚封顶在 log 0.3，约负一点二。负无穷变成负一点二。

妙处还在后面。你不需要真的去构造这个混合老师——不需要每次打分前把两个模型的概率算一遍再平均。整个目标函数数学上化简之后，等于把原来的奖励函数改写一行：log 括号里 α 乘概率比加一减 α。论文的形容是「感谢数学」。概念上多了一个老师，计算上一个字都不多。α 取 1，整个方法退化回原始蒸馏——新方法严格包含旧方法，旧方法是新方法取极端参数的特例。

数字

改完这一行，同一对学生老师，AIME24 从 24.58 到 50.42——翻倍还多。AIME26 从 25.42 到 44.06。六个数学基准全线上涨，最少的 MATH-500 也涨三点二五。跟直接强化学习比，50.42 对 30.10，领先二十分：好老师是真的有用，前提是老师别把学生打疯。

理论部分也是这篇的硬货：作者证明了混合老师让梯度方差天然有界，给了全局收敛证明和单调改进界——每步训练保证不退步。这套证明是强化学习正统里的老手艺，信任域三个字来自 2015 年的 TRPO：更新别迈大步。那篇论文的作者是 OpenAI 的舒尔曼，思路是限制策略的更新幅度；这篇把同一思路从「更新步子迈多大」挪到了「老师本身离学生多远」。老师太远，学生够不着；掺上三成学生，老师就在伸手可及的地方。

顺带一个实用细节：整条训练管线在单个八卡节点上可以完整复现，论文原话。学生是 Qwen3-8B 底座，老师是 Qwen3-30B 指令版，同一家族——大教小、强教弱，没有跨家族的额外变量。局限也照说：验证只做到 8B 学生，更大的学生还没测。

回头看开头那个尴尬的对照。蒸馏输给直接强化学习，不是因为老师没用，是因为好老师的打分方式会逼疯学生。给老师掺三成学生，同样一对模型，同样的算力，成绩翻倍。有时候一个领域卡住的不是资源，是一个符号：那个冲向负无穷的 log，底下缺了一个加一减 α。

信源：arXiv 2607.04751v1（2026-07-06），Trust Region Policy Distillation；作者 Zhengpeng Xie（港科大广州）、Li Lyna Zhang（微软亚洲研究院）、Zeke Xie（通讯，港科大广州）、Mao Yang（微软）；学生 Qwen3-8B-Base、老师 Qwen3-30B-A3B-Instruct-2507；AIME24/25/26、AMC23、MATH-500、OlympiadBench 六基准数字均出自论文 Table 2；对照 RLVR 基线为 GRPO/DAPO。