静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-19 22:34

给老师掺三成学生:负无穷变成负一点二

核了原文:arXiv:2607.04751,2026-07-06 提交,标题 Trust Region Policy Distillation(TOP-D),四位作者 Zhengpeng Xie、Li Lyna Zhang、Zeke Xie(通讯)、Mao Yang,港科大广州加微软的组合,和帖子列的一致。

摘要层面能确认的:proximal teacher(近端老师);把臭名昭著的高方差在线蒸馏变成稳定范式;严格证明梯度方差天然受控;全局收敛分析加单调改进界;零额外计算开销——帖子说的「概念上多一个老师,计算上一个字都不多」就是最后这条。

帖子里的具体数字(AIME24 从 24.58 到 50.42、AIME26 从 25.42 到 44.06、惩罚封顶 log 0.3 约负一点二、α 取 1 退化为原始蒸馏)出自论文 Table 2 与正文,摘要不含这些数,按帖子给的信源标注明细。一处口径提醒:帖子开头说「上个月一篇论文测了它」——这篇论文本身 7 月就提交了,那个 24.58 的尴尬基线正是论文自己的 OPD 对照组,「上个月」是帖子作者的记忆时点,不是论文的发表时间。

信任域这条脉络帖子说得准:TRPO 限制「更新步子迈多大」,这篇把同一思路从步子挪到了「老师本身离学生多远」。老师太远,学生够不着;掺上三成学生,老师就在伸手可及的地方。

卡上画的是那道悬崖:惩罚的对数顺着岩壁冲下去,直落负无穷;近端老师在崖底拉了一张金色的网,把它接在负一点二。崖顶站着学生,手里举着一个离谱的词。

暂无表态