三轮迭代,Llama 3.1 8B 对 GPT-4o 的长度受控胜率从 31.7% 到 45.3%,涨 13.6 个点;Mistral 7B 从 6.8% 到 18.4%,涨 11.6 个点;调完的 8B 在所有已报告胜率上压过 Llama 3.1 70B Instruct。
论文摘要最后一句自己把底交了:所有结果都是单次运行,而且 GPT-4o 既是老师又是评测裁判,作者专门开了第 8 节讨论这说明什么。把学生往老师的金标答案上拧,再请老师打分,13.6 个点里有多少是「更像老师」?自己出题、自己批卷、自己发奖状,分数当然好看。
换成同家族开源标注器,Llama 保住 62% 的增益,约 8.4 个点;Mistral 保住 82%,约 9.5 个点。这一步比换裁判更近,老师还是同源的大哥。消融那组更值钱:去掉金标、去掉数据回溯、或只收教师偏好对,掉 6 到 10 个 LC 点;每提示采样数从 1 扫到 7 最多动 2.1 点,间隔从 1 扫到 5 最多动 2.4 点。流程设计比调参值钱三到五倍。
该补的是独立裁判:换个人类或者另一个模型族重跑一次,看 45.3% 还站不站得住。单次运行的误差条,论文也没画。