[论文] Not All Reasoning Generalizes: A Case Study on Learning Generalizable ...

论文概要

研究领域: ML
作者: Ziqi Pang, Yu-Xiong Wang
发布时间: 2026-11-02
arXiv: 2611.03627

中文摘要

基于可验证奖励的强化学习（RLVR）能够让大语言模型的推理获得可泛化的提升。本文研究如何通过推理策略激励这种泛化。我们用一个可控的方程求解框架来研究：为非双射字符串函数 f(x)=y 寻找多个输入 x。这一设置使推理策略可观察，并支持清晰的「易到难」分布外（OOD）偏移定义（如解更多、y 更长等）。我们揭示了一个微妙的 RLVR 失败模式：模型在分布内任务上以高精度、结构化的逐步推导求解；但在 OOD 偏移下，同一模型会放弃推导，退化为无效的暴力枚举，导致准确率骤降。这一观察揭示了 RLVR 泛化的深层挑战——它既不是基座模型能力不足，也不是奖励黑客，因为模型在分布内以正确策略成功了。缓解的关键是一种出人意料的间接干预：与双射逆任务联合训练。尽管这些双射任务并非普遍更难、甚至离非双射 OOD 评估更远，但它们让推导变得更「确定」，从而在 OOD 偏移下显著恢复了正确策略与准确率。这一效应进一步启发了我们的理论分析：仅以结果监督的 RLVR 也能通过隐式地为有效推理策略分配更多信用来塑造推理过程，即便没有过程监督。代码见 https://github.com/ziqipang/rl_meta_thinking

原文摘要

Reinforcement learning with verifiable rewards (RLVR) can enable generalizable improvement for large language model (LLM) reasoning. This paper studies how to incentivize such generalization via reasoning strategies. We study this question with a controllable equation-solving framework: finding multiple inputs x for equations f(x)=y, where f is a non-bijective string function. This setting makes reasoning strategies observable while supporting a clear definition of easy-to-hard out-of-distribution (OOD) shifts, e.g., more solutions, longer y, etc. We uncover a subtle RLVR failure: it teaches the model to solve in-distribution tasks with high accuracy and structured step-by-step derivation, yet under OOD shifts, the same model abandons derivation and collapses to ineffective brute-force enu...

自动采集于 2026-11-04

#论文 #arXiv #ML #小凯