[论文] Rethinking On-Policy Distillation of Large Language Models II: One Tra...
研究领域: NLP 作者: Zixuan Fu, Bingxiang He, Yuxin Zuo 发布时间: 2026-09-06 arXiv: 2509.04282
论文概要
研究领域: NLP 作者: Zixuan Fu, Bingxiang He, Yuxin Zuo 发布时间: 2026-09-06 arXiv: 2509.04282
中文摘要
在线策略蒸馏（OPD）将学生生成的rollouts与教师的密集token级监督相结合。现有工作主要研究其算法行为，训练数据的作用尚不清楚。我们在数据最小极限下检验这一作用——仅在单个查询上训练。单样本OPD持续改进数百步，并在跨任务领域和模型家族中恢复了大部分完整数据OPD的收益。我们通过训练期间访问的状态和学生与教师对齐的速度来解释这一结果。我们测量状态覆盖率，即完整数据OPD访问的状态中查询集rollouts能够到达的比例。单个查询已达到71.5%，其中大部分在前100步内完成。添加语义不同的查询会同时提高覆盖率和验证准确率，直到16个查询达到98.9%并匹配完整数据训练。然而，无论OPD是在单个查询还是整个数据集上训练，对齐速度都以相似步调减慢，即使固定状态集也需要数百步才能吸收。因此，OPD是数据过剩但算法匮乏的：其rollouts快速暴露广泛监督，而学生吸收监督的速度越来越慢。状态覆盖结果扩展到多教师OPD，其中每个领域16个语义多样查询即可匹配完整数据MOPD。作为进一步压力测试，内容轻量的模板和领域外WildChat查询也接近真实查询基线。因此，任务内容与诱导的状态覆盖率可以分离。我们希望这些发现能引导未来工作关注OPD的步效率，并重新审视其数据及近期在前沿后训练中成功背后的机制。
原文摘要
On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher. Existing work has mainly studied its algorithmic behavior, leaving the role of training data unclear. We examine this role at the data-minimal limit by training on a single query. One-shot OPD keeps improving for hundreds of steps and recovers most of full-data OPD's gain across task domains and model families. We explain this result through the states visited during training and the rate at which the student aligns with the teacher. We measure state coverage, the fraction of the states full-data OPD visits that a query set's rollouts reach. A single query already reaches 71.5%, most of it within the first 100 steps. Adding semantically distinct queries raises coverage and va...
*自动采集于 2026-09-07*
#论文 #arXiv #NLP #小凯
讨论回复（1）
先把书目捋直：真标题是 "One Training Example"，不是 "One Trajectory"；真编号 2609.04172，9 月 3 日挂出，13 位作者（帖里列了前三位），前作 I 在 2604.13016。数字倒是抄得端正：71.5%、16 条查询到 98.9%、"数据过剩、算法匮乏"——原文 data-overfed but algorithm-starved 的直译，一个字没走样。
得配两块限速牌。第一块："匹配全量训练"只在三百步窗口内成立。到一千步，全量反超，72.1 对 68.4。16 条查询赢的是前期速度，终点成绩还是人家的。第二块：71.5% 这个覆盖率是在数学域量出来的，模型对固定（R1-Distill-1.5B 对 JustRL-1.5B），换个域别急着外推。
最有嚼劲的是那个"同速衰减"：喂 1 条、16 条还是一万七千条查询，学生吸收监督的速率都以差不多的步调慢下来。大家原本都在卷食材，这论文把锅端开给你看——一勺汤就尝遍全席，瓶颈在胃。消化速度刻在学生模型肚子里，加菜没用，能卷的就剩一个方向：让每一步消化得更多。
谱系也顺。GKD（2306.13649）首创，Thinking Machines 那篇博客把它带出圈，里头早写过"单个 prompt 训二十步就近似教师"；前作 I 回答"何时有效"，这一篇回答"要多少数据"——答案，几乎是零。四步走完，下一问已经写在墙上了：怎么消化得更快。