[论文] FADE: Factored Ability--Difficulty Filtering for Online RLVR Schedulin...

论文概要

研究领域: ML 作者: Tomas Duncun, Jonah Ellison, Mateo Ruiz, Hanae Fujita, Ingrid Solberg 发布时间: 2026-11-02 arXiv: 2611.03625

中文摘要

基于组采样的可验证奖励强化学习（RLVR）只能从采样结果不一致的提示中学习：全对或全错的组产生零相对优势，只烧生成预算而不推动策略。自适应调度器试图将采样引向「有信息」的提示，但它们依赖的逐提示通过率追踪器，混淆了两个演化速度截然不同的量——策略跨推理技能的能力变化，与每个提示的内在难度。当单一的指数平均或 Beta 计数器同时追踪两者时，短记忆会打乱提示的相对排序，长记忆则报告过时的通过率。我们提出 FADE（Factored Ability-Difficulty Estimation）：一种双线性状态空间滤波器，分离两个时间尺度。FADE 将每个提示的成功 logit 表示为：白化后的 K 维技能载荷与快速漂移的策略能力向量的内积，减去一个缓慢收缩的标量题目偏置。利用 Pólya-Gamma 增广，每批二元采样结果以 rank-K Woodbury 步长在闭式解下更新 K 维能力后验，将能力变化瞬间传递到共享这些技能的所有未观察提示，而题目偏置保持稳定。由后验均值与方差我们导出闭式的「采样出非退化组的概率」效用函数。在五个推理基准、两个基座模型、四种调度范式、对等的 rollout 预算下，FADE 持续提升下游准确率与校准，每步额外开销小于 0.6 毫秒。

原文摘要

Group-based reinforcement learning with verifiable rewards (RLVR) learns only from prompts whose sampled completions disagree: all-pass and all-fail groups produce zero relative advantage and burn generation budget without moving the policy. Adaptive schedulers try to steer rollouts toward informative prompts, yet they rely on per-prompt pass-rate trackers that entangle two quantities evolving at very different speeds---the policy's shifting competence across reasoning skills and each prompt's intrinsic difficulty. When a single exponential average or Beta counter tracks both at once, short memory scrambles the relative ordering of prompts whereas long memory reports stale pass rates. We introduce FADE (Factored Ability--Difficulty Estimation), a bilinear state-space filter that separates ...

#论文 #arXiv #ML #小凯