学生不必复述老师的原话

学生不必复述老师的原话

昨天讲过一篇蒸馏论文：老师逐字打分，学生写出一个老师眼里「几乎不可能」的词，惩罚冲向负无穷，训练崩掉。修法是把老师稀释一下，掺三成学生。那篇的战场在数值稳定性。

今天这篇是同一个领域的另一场革命，革得更彻底：干脆不再按词打分。

清华大学上周的论文 ActionOPD，把蒸馏的问题重新问了一遍：教一个学生模型做智能体，到底该对齐什么粒度？旧范式有两个答案，各有各的病。离线模仿：拿老师写好的完整示范当教材，逐词学——教材密，但学生遇到的状态和老师写教材时的状态对不上。在线蒸馏（就是昨天那篇）：学生自己走，老师在旁边逐词打分——状态对上了，但要求老师能给出每个词的概率，还要求师生俩用同一套分词器。闭源大模型只开放生成接口、不开放概率，直接被排除在外。

换一个单位

论文的观察很干净：智能体输出的自然单位不是词，是「语义动作」。一次工具调用，它的内容是工具名加参数——查巴黎天气，写成 city="Paris", unit="celsius" 还是参数顺序倒过来，是同一个决定。一段自然语言回复，它的内容是意图和事实——「订不了，这个票是基础经济舱不能改」这句话有无数种说法，说的都是同一件事。同一个决定可以用不同的措辞实现。

所以对齐的目标从「复现老师写的那个序列」改成「在学生遇到的每个状态上，做出和老师语义相同的决定」。学生自己探索，每到一处，老师在被询问同一状态后给出若干个动作样本；学生的候选动作和老师的样本比语义，匹配上有奖励。整个目标推出来是 REINFORCE 形式的策略梯度，奖励就是语义匹配度。

这一换，解除了两道门禁。第一道：老师只需要能被调用来生成——黑盒 API 就行，不需要概率输出，不需要同族分词器。最强的闭源模型第一次成了可用的老师。第二道：学生不必模仿老师的推理过程和措辞——老师写「让我想想，巴黎的天气……」，学生直接调天气工具，只要决定相同就算对。学决定，不学腔调。

匹配器怎么造

语义匹配听起来玄，实现分两档，都很便宜。工具调用类：程序校验——工具名对上、参数标准化后对上，就算匹配；剩余的参数差异用一个冻结的小模型判断。比如查天气的调用，city 是 Paris、单位是摄氏度，参数键的顺序不同无所谓。自然语言类：先试标准化后的精确匹配，不中再让小模型比较意图和事实是否一致。匹配器只看动作内容，不看推理文本。

优化用状态分组：每个状态下采多个学生候选，统一用老师动作集打分，只执行最高分的那个往前走（环境只走一条路），但全部候选都进训练（信息不浪费）。组相对优势加 PPO 式裁剪，稳住更新。没有监督的组、奖励全同的组直接跳过。

数字与自蒸馏

学生 Qwen3-4B 和 8B，老师两个家族各上一位（DeepSeek-V4-Flash 和 Qwen3.7-Flash），在工具调用任务上训练，考四个没见过的智能体基准：平均涨 3.3 到 6.9 个百分点。两条缩放规律都顺：学生越大成绩越高，老师越强教出的学生越强。

更有想象力的变体在最后：Self-ActionOPD。老师和学生用同一个模型，区别只在于「老师」能看到特权上下文——学生只能看公开信息，分身则额外拿到任务的关键信息。同一个模型，靠信息差教自己。留出集上成绩提升，这条路通往智能体自我迭代：不需要更强的外部老师，只需要一个更知情的自己。

论文的局限段照录，三条都诚实：一，语义一致不等于正确——老师犯错，错误也成了学习目标；二，语言类匹配靠小模型判断，会有误判，奖励可能发错；三，固定大小的采样集在「合理决定很分散」的长任务里可能覆盖不足，加大采样能缓解但代价未测。

两篇连读

和昨天那篇连起来读正好是一个完整的谱系。昨天的问题在词级别：奖励无界，炸训练；解法是把老师的概率和学生掺一起，让惩罚有底。今天的问题也在词级别，但解法是不玩词了：对齐上移到语义动作层，词怎么写随学生便。前者修船，后者换海。

一个佐证细节：这篇论文在 τ²-bench 上和逐词在线蒸馏打过照面，成绩有竞争力——不靠老师的概率输出，打得平需要概率输出的方法。对闭源前沿模型来说，「只能生成、不给概率」从能力迁移的障碍变成了不影响效果的接口特征。老师出决定，学生出措辞，各干各的活。

*信源：arXiv 2610.19820（2026-10-14），ActionOPD: Distilling Decisions, Not Tokens；清华大学，Huining Yuan 与 Xiangmin Yi 共同一作，Yu Wang、Chao Yu、Xiao-Ping Zhang 通讯；学生 Qwen3-4B/8B，老师 DeepSeek-V4-Flash 与 Qwen3.7-Flash；训练数据 Agent World Model + EnvScaler；四基准为分布外评测。*