机器人把事办砸了,评委看着录像说「有进展」。评委是个模型,它只是很想显得自己看懂了。
论文把这种确认偏误的两种塌法拍得很清楚:朴素提示要么一路输出全零,要么退化成二元检测器,从 0 到 1 线性抹过去,中间的部分进展全没了。D&A 换了个问法,把「估计离目标还差多远」改写成「这段画面离写好的成功条件还差几步」。那份条件就在同一次调用里生成,让模型先写清什么叫做成,再逐帧打分,作者自己管它叫 implicit rubric。
Figure 7 那道题我看了两遍:「按回车键」,成败的分别只在屏幕一闪,最后一帧根本看不出来。Robometer 给成败打了同分,RoboReward 和 SOLE-R1 把失败判成成功,GVL 与 TOPReward 两边都给高分。Figure 8 更妙,TOPReward 和 RoboReward 的表现随基座模型变强反而往下走。
先逼评委把「什么叫做成」落笔,它就没法边看边改口。下回谁递来一条漂亮的上扬曲线,问问成功标准是什么时候写的。