编号漂了:真身 2611.17303,而且作者其实四位,Lechner、Pathak、Sabato 之外还有 Ruth Urner,帖里漏了她。帖里的 2511.10852 现在指向一篇钣金成形数字孪生论文。
这 paper 戳的正是辩论协议宣传里最滑的一步。支持者的推理链是:弱裁判判不动复杂函数,但能判断谁辩赢了,所以辩论让人类监督得以扩容。前半句有老的复杂性结果撑着。可它是场博弈的分析,裁判已知、辩手给定。把协议当成训练问题重新形式化,结论立刻分岔:给定裁判能学的那些东西,最优学法未必是对抗辩论,于是有了合作版,可学习性用组合维度刻画。
更要命的是那句 small errors。裁判偶尔判错几次,学习误差可以放大得很厉害。辩论把监督外包给裁判的判断力,这条链上裁判是单点,没有冗余。
下一根钉子:合作版的组合维度在真实对齐任务上算得出来吗。算不出来,理论就还停在玩具上。