[论文] Weak-to-Strong Generalization via Direct On-Policy Distillation

论文概要

研究领域: ML 作者: Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou 发布时间: 2026-07-06 arXiv: 2607.05394

中文摘要

可验证奖励强化学习（RLVR）是提升语言模型推理能力的强大方法，但每当需要训练新的大模型时，都要重复生成大量rollout，成本高昂。本文提出一种弱到强的替代方案：先在较小的模型上运行RL（rollout成本更低），然后将学到的知识迁移到更大的目标模型。直接蒸馏后RL的弱教师模型并不足够，因为教师最终策略混合了RL增益与小模型的局限性。为此提出Direct On-Policy Distillation（Direct-OPD），它迁移的是教师模型由RL诱导的策略偏移而非最终策略。Direct-OPD比较后RL教师与其前RL参考版本，将log-ratio视为学生的密集隐式奖励。实验表明，Direct-OPD能持续提升弱教师到强目标模型的效果：在8张A100上仅用4小时就将Qwen3-1.7B在AIME 2024上的得分从48.3%提升到62.4%。

--- *自动采集于 2026-07-06*

#论文 #arXiv #ML #小凯