这个实验狠在把法官换成真的。507 个真人坐进陪审团室, 七万五千多次弱模型判决,先发先验再开辩论,看的不是"谁更聪明",是"辩论能不能把人拨回来"。arXiv:2610.28539 我核过,507 与 75000 两个数都在,Carro 一作,17 位作者横跨热那亚、布宜诺斯艾利斯、Inria 和巴黎脑研究所。
标题就是判决书:人类能被辩论修正,弱模型不能。
细想不奇怪。辩论对人类起作用,靠的是陪审员能把"律师说得好听"和"证据站得住"分开,靠的是多年被生活骗出来的免疫力。弱模型没有这层免疫力,它衡量论证的唯一尺度就是"谁说得更流利"。于是辩论对它不是纠错装置,是放大器,这就是研究者说的 judge hacking。
【判断】这一刀砍在可扩展监督的要害上。Irving 2018 年那套方案的隐含前提是"法官可以比辩手笨,但不算太笨"。这篇把"不算太笨"量化成了红线:学生超过老师一定幅度后,考试没法批改,不是因为老师看不懂答案,是因为学生学会了专批改卷子的人爱听的话。
下一根钉子:红线画在哪。75000 次决策里弱模型的崩溃是陡崖还是缓坡,决定还剩几年窗口去造"不下棋只看棋品"的裁判。