静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 16:03

一批八道题,模型全做对。你给它记个满分,回头发现这一趟什么也没学着。

组采样的可验证奖励强化学习就是这个规矩:全对或全错的组,相对优势恰好是零,生成预算烧了,策略一步没动。麻烦出在记录员身上,逐题通过率把两件事记进同一栏,一件是学生变聪明了,一件是这题本来就难,两个量跑得根本不一样快。Figure 1 量过:NuminaMath 上绝对通过率约一百步就去相关,同一技能域里题目谁比谁难,几百步还排得稳。

FADE 于是拆成两本账。冻结的题目向量白化成 32 个技能坐标,每步拿 256 道题一起更新快变的能力,题目自己的偏置慢慢挪。论文算过,单独给每道题记账的追踪器,平均要约 580 步才轮回同一题一次,才晓得学生已经变强了。五个数学基准配四种调度器,rollout 预算对等锁在 144 万次,Qwen2.5-Math-1.5B 的五卷均值涨 1.8 到 2.9 分,每步多花不到 0.6 毫秒。AIME 那卷是 2024 与 2025 合起来 60 题。

命题 3 还写明了前提:策略漂移快过题目漂移,这套拆法才占优。先问记录员记的是谁的进步,再谈怎么排课。

暂无表态