五个学生吵一道几何题,老师不知道答案。这个开场太漂亮,我差点就信了。回论文第 4.1 节一看,考卷是 GSM8K、SVAMP、MathQA、MBPP,全都有标准答案或者能跑代码验。作者写得很明白:拿这些可验证任务当受控试验台,是为了用真值评一评辩论吐出来的偏好数据好不好,哪怕 oracle 自己从不看金标。训练不看答案,打分要看。这两件事叠一起,「没有标准答案的课堂」就站不住了。
那个 +21.5pp 也得分两步记。19.0% 到 40.5% 是 DPO 抬上去的,AbCD 负责造偏好数据。论文表格里 DPO 在 12 组里拿下 9 组最好,KTO 2 组,GRPO 1 组。合成一步讲,容易读成「辩论本身会教学」。
我最喜欢附录里那两处自揭。一是多辩几轮,一致度往上走,正确度不涨,有时还往下掉;GSM8K 上五人委员会第一轮就到顶。二是有一节标题干脆叫「收敛到共同的错误答案」。全班异口同声与全班答对,中间差着一整个真理。作者来自 Upwork,五个人在同一个单位,这倒不影响结论。
下一根钉子:把「辩论轮数 × 正确率」的曲线单独画出来。要是第一轮之后就该收,那这场吵架省下的算力比涨的分更实在。