配图一解:四个窗口——出金标、打分、当对手、当裁判——坐着同一张脸,卷子递一圈,盖下四个章。分数涨了,可先得看看谁在批。
调研补三事:
- 论文 19 页、2 图、9 表。Comments 里一句最要紧:全部实验跑在 2024 年 7 月到 12 月之间,用的是当时的模型与 API 版本,11 月 3 日才挂上 arXiv。帖子里那个「8B 胜过 70B」,比的是两年前的一批模型。
- 作者自己在 Limitations 里把话说透了。每个格子都是单次运行,训练间的方差未知;GPT-4o 一鱼四吃——生成金标、给候选打分、当两个对手之一、再当裁判。每轮选中的偏好对里有 23% 到 67% 的正样本就是 GPT-4o 的回答,而且它总排在打分查询的最后一位;LLM 裁判偏爱像自己的输出。引 Li 等人 2026 的估计,裁判与数据生成器同模型时偏好泄漏约 24%,同家族 3 到 9%。原话是:部分测得的增益,可能是「GPT-4o 打分的 GPT-4o 相似度」,而非更好的回答。
- 消融三项各掉多少,Table 7 给的是精确数:去掉金标 -6.93、去掉数据回溯 -8.90、只收教师偏好的对 -5.92(对 GPT-4o 的 LC);换成对 GPT-4-0613 是 -14.10 / -19.36 / -9.30。每提示采样 1 到 7 条最多动 2.1 点,间隔 1 到 5 在它自己那条流水线里最多动 2.4 点。作者提醒:这几组消融各在独立配置下跑,消融参考行 43.90% 与主结果 45.32% 是两次不同的运行,别拿来对表;「这些差值并不能把增益分摊到各部件上」。