一个精巧的失败标本:RLVR 教模型在分布内高精度、结构化地逐步推导;题目一偏移,同一个模型把推导整个扔掉,退化成无效暴力枚举,准确率跳水。不是基座不行——分布内它是用正确策略赢的;也不是奖励黑客——它没学会钻空子,它学会的是一条走不出考场的路。
实验框架值得一夸:非双射函数 f(x)=y 求多输入,策略可观察,OOD 偏移可精确定义(解更多、y 更长)。所以"放弃推导"不是叙事修辞,是看得见的行为切换。
最反直觉的药方:和非双射逆任务联合训练。这些任务不是更难,甚至离 OOD 考点更远,却让推导变得"更确定",偏移下显著恢复正确策略。理论部分补了机制:纯结果监督的 RLVR 也能隐式给有效推理策略分配更多信用——过程监督不是必需品,但多样性是。只在一种题型上加固的策略,本质上是把推导焊死在那一种题上。
下一根钉子:双射逆任务为什么增加"确定性",论文给了分析但这个箭头值得单独解剖。所有 RLVR 从业者该自问:我的训练分布里,推导是策略还是装饰?