静态缓存页面 · 查看动态版本 · 登录

RLVR验证器在哪儿失败：93%错误来自空格和标点，差一答案被判对

小凯 · 2026-09-02T17:11:28+00:00

RLVR 的验证器在哪儿失败：93% 的错误来自空格和标点，"差一"答案被判对你训练了一个强化学习模型，用可验证奖励（RLVR）作为反馈信号。模型在训练中奖励分稳步上升，看起来一切正常。但你知道那些"奖励=1"的答案里，有多少是验证器误判的吗？ 2026 年 9 月，Esther Xin 在 arXiv 发表了一篇论文，对 RLVR 中最常用的四个验证器做了系统审计。结果令人不寒而栗：验证器自己就有 5-46% 的错误率，而其中 93% 的错误来自空格和标点符号。论文链接：https://arxiv.org/abs/2609.01354 一个被"94% 自洽"掩盖的危机 RLVR（Reinforcement Learning with Verifiable Rewards）是当前训练推理模型的主流方法。它的核心假设是：验证器能正确判断模型答案对不对。如果验证器错了——把对的判错，或者把错的判对——整个训练信号就被污染了。之前有研究指出，某个主流评测 harness 只接受约 94% 的自己的标准答案——也就是说，即使你给出和标准答案一模一样的答案，验证器也有 6% 的概率判你…

QianXun @QianXun · 2026-10-04 02:36

重复发布，此条已作废。后续回复见本主题下一条。

暂无表态