Every Token Needs Its Own Teacher：每个 token 该选哪个老师，不该一刀切

一个被忽视的细节

训练大模型时，"老师"（teacher model）扮演什么角色？在知识蒸馏里，老师给每个 token 提供一个目标分布，学生模型去拟合。通常的做法是：选一个老师，从头到尾用它指导整个回复。

但慕尼黑工业大学、京都大学和阿尔托大学的团队在最新论文中提出了一个反直觉的问题：同一个回复里，不同位置的 token，真的适合同一个老师吗？

答案是：不适合。而且差异比你想象的大得多。

先导实验：50% 的 token 想换老师

论文做了一个精巧的先导实验。他们准备了多个候选老师模型（通过不同程度的"参考答案暴露"构造），然后在一个回复的不同 token 位置上测量：哪个老师给的指导最有用？

结果：在同一个回复内，不同 token 位置的"最佳老师"重叠率只有约 50%。

这是什么概念？想象一个数学推理过程："设 x 为...，代入方程...，解得 x=..."。开头定义变量的 token 可能适合一个擅长结构化推理的老师，中间代入计算的 token 可能适合一个擅长数值运算的老师，最后写出答案的 token 可能适合一个擅长格式化的老师。一刀切选一个老师，意味着有大约一半的 token 在"将就"。

更进一步的发现：最佳老师通常和学生模型的差异最大（KL 距离最大）。这符合直觉——老师要比学生"远"才能提供有用信号，但"远"的方向因 token 而异。

MTA-OPSD：让每个 token 自己选老师

基于这个发现，论文提出了 Multi-Teacher Adaptive On-Policy Self-Distillation（MTA-OPSD），第一个 token 级别的自适应蒸馏方法。

核心机制分两步：

1. 构建多教师池

不再只有一个老师，而是准备一个候选教师池。每个老师通过不同的"参考答案暴露程度"构造——比如有的老师看到完整参考答案，有的只看到部分，有的完全不看。这产生了不同风格的教师信号。

2. 每个 token 自适应选择

对于每个 token，学生模型从教师池中选一个"最佳老师"。选择机制有两种：

• 多数投票（Majority Voting）：多个候选老师投票，选被多数认可的那个
• KL 距离选择（KL-based Selection）：选和学生模型差异最大的那个老师——因为"远"的老师提供的信息量最大

这个设计的关键在于：选择是动态的、token 级别的。回复的第一个 token 可能选老师 A，第二个 token 切换到老师 B，第三个 token 又回到老师 A。

实验结果：+5.9 分的统一提升

论文在 Qwen3 系列模型上测试了 MTA-OPSD，任务是数学推理。

核心数据：

• MTA-OPSD 相比基线模型平均提升 +5.9 分
• 在所有现有 OPSD（On-Policy Self-Distillation）方法上都有提升——不是某个配置的偶然胜利，而是系统性的改进
• 消融实验证明：token 级别选择 > 回复级别选择 > 固定老师

一个值得关注的细节：论文发现"多数投票"和"KL 选择"两种机制的效果接近，但两者结合并不比单独使用更好。这说明它们捕捉的是同一个信号（哪个老师对这个 token 最有用），只是测量方式不同。

为什么这个发现重要

这篇论文的核心贡献不是 MTA-OPSD 这个方法本身，而是它揭示的一个被忽视的事实：教师偏好是 token 级别的，不是回复级别的。

这挑战了当前蒸馏领域的一个隐含假设：一个回复对应一个最佳老师。这个假设导致了两种主流做法：

1. 固定老师：整个训练过程用同一个老师（参考答案完全暴露）
2. 回复级别自适应：不同回复用不同老师，但同一回复内不变

MTA-OPSD 证明这两种做法都是"颗粒度不够细"的近似。真正的最优解在 token 级别。

类比：从"一对一辅导"到"走班制"

传统的蒸馏像是一对一辅导：一个老师从头教到尾，不管学生某个知识点是否适合这个老师的风格。

回复级别的自适应像是"分科目换老师"：数学课换数学老师，语文课换语文老师。但同一堂数学课内，代数部分和几何部分可能适合不同风格的老师。

MTA-OPSD 是"走班制"：每个知识点（token）都去最适合的老师那里学，学完再回来。代价是调度复杂度上升，但学习效率也更高。

和"判断-闸门解耦"的呼应

这篇论文让我想到一个正在形成的跨论文主线。2026 年的多篇论文都在做同一件事：把一个看似不可分割的决策拆成更细的颗粒度。

• ShallowDefend（2610.40627）：把"安全判断"从"回复生成"中拆出来，给一个独立的决策 token
• Concordat（2610.37461）：把"安全规则"从 prompt 搬到接口层，用类型系统做闸门
• MTA-OPSD：把"教师选择"从回复级别拆到 token 级别

三篇论文的共同逻辑：当决策颗粒度变细，你才发现原来的"统一选择"是一种粗暴的近似。ShallowDefend 发现安全判断需要独立步骤，MTA-OPSD 发现教师选择需要 token 级别。都是把一个混合在一起的决策拆开，然后发现拆开后的世界比想象中复杂。

局限与诚实评价

论文有几个值得注意的局限：

1. 仅测试数学推理：token 级别教师偏好是否在代码生成、文本写作等任务上同样存在，论文没有验证。数学推理的 token 序列结构性强，可能更容易体现教师差异
2. 教师池构造依赖参考答案：多教师是通过不同程度的"参考答案暴露"构造的，这需要参考答案存在。在无参考答案的场景下如何构造多教师池，论文没有讨论
3. 计算开销：每个 token 都要计算多个教师的分布并选择，训练成本比固定教师高。论文没有详细报告开销比例

但核心发现——教师偏好是 token 级别的——是一个不需要方法验证就成立的实证发现。即使 MTA-OPSD 这个具体方法不是最优的，这个发现本身已经改变了我们对蒸馏的理解。

论文链接：https://arxiv.org/abs/2610.40574

HTML 版本：https://arxiv.org/html/2610.40574v1

开源代码：https://github.com/xingzhejun/MTA-OPSD