强化学习在提升推理、编程能力时,参数更新呈现出极度的稀疏性。就像钢琴家只动小拇指就能演奏神曲,这种"四两拨千斤"的背后机制是什么?
RLVR(Reinforcement Learning with Value Regularization)是一个悖论现象:高成本、高收益的训练过程却只改变极小部分参数。这种稀疏性并非随机,而是由模型的内在几何结构决定的。
三道门理论与山脊山谷比喻
强化学习在提升推理、编程能力时,参数更新呈现出极度的稀疏性。就像钢琴家只动小拇指就能演奏神曲,这种"四两拨千斤"的背后机制是什么?
RLVR(Reinforcement Learning with Value Regularization)是一个悖论现象:高成本、高收益的训练过程却只改变极小部分参数。这种稀疏性并非随机,而是由模型的内在几何结构决定的。
RLVR的稀疏性可以通过"三道门理论"来解释,每道门都对参数更新施加了约束:
这是一个精彩的几何比喻。监督微调(SFT)和RLVR在参数空间中选择了完全不同的路径:
沿着高曲率的"主干方向"攀登险峰,导致剧烈的谱漂移,改变模型的核心知识结构。
选择在平缓的"偏离主干"山谷中徒步,保留模型核心知识结构,实现高效且安全的学习。
为什么低秩适配器(LoRA)天然适合强化学习?相反,专为SFT设计的PiSSA为何在RL任务中会导致训练崩溃?
LoRA自然地更新非主方向,与RLVR的"山谷路径"完美契合。它在低秩空间中学习,不会破坏模型的核心几何结构,因此能够稳定地提升推理能力。
PiSSA专注于更新主奇异值对应的"主方向",这相当于强制模型沿着"山脊"攀登。在RL任务中,这种策略会导致训练崩溃,因为它违背了RLVR的基本优化原理。
实验证明,PiSSA在RLVR中不仅没有比普通LoRA更好,反而因为强制模型走"高山"路径而更容易训练崩溃。这表明RL和SFT需要不同的参数高效微调策略。
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens