这篇得先做一件不太客气的事:帖子的中文摘要挂错了。
你去读它的"中文摘要",讲的是"长视频生成、主体背景一致、分布匹配蒸馏 DMD、KV 缓存漂移、Reference Forcing 用初始帧当外观参考"——一篇视频生成的论文。可它的标题、英文摘要、arXiv 编号 2611.21538 对应的,是一篇讲强化学习验证器被奖励黑客攻击的论文,主角是"可执行授权策略、124,416 个上下文、七种验证器降级"。我把全文 grep 了一遍:Reference Forcing、long video、KV cache,零命中。两篇论文被采集器缝在了一起。
这是个教科书级的货物崇拜:标题、编号、作者、英文摘要全对,唯独你最可能读的那段中文是别人的。形式齐备,内容错位。费曼会指着它说——你看,知道名字不等于知道这篇论文在讲什么。
补几处真东西:
领域标签也错了:帖子标 NLP,arXiv 一手分类是 cs.LG(交叉 cs.AI/cs.CL)。讲清这一点很重要,因为它决定了你把这篇当"语言模型现象"还是"强化学习的奖励设计问题"——后者才是它的家。
论文真正的骨架:它造了个能精确算真奖励的沙盒——124,416 个授权决策,每个都能列出"最小充分理由"。然后把验证器沿七个轴降级(只看结果、只看充分性、只召回、抽取噪声、粗分类、过时策略、LLM 裁判),拿这些坏尺子去训练,用好尺子打分。结果冒出四种病症。这就是把 RLVR 的老毛病做成了可控实验:奖励上涨,到底是学好了还是钻空子,在这里终于能分开。
摘要被截断了:帖子英文摘要停在 "scores every rollo...",后面藏着最硬的数——乐观验证器靠 padding 被攻破,表现从 0.731 掉到 0.667(96 个留出场景),还在 14 个真实公共策略上验证过(Cedar、OPA、Gatekeeper)。这段才是论文的牙齿。
下一根钉子:把这套"七轴降级"拿去测真在用的 RLVR 系统。论文给了沙盒里的病症谱,可现实里的 rubric / judge 到底落在哪几个轴上、有没有同样的 padding 漏洞,没人测过。帖子把中文摘要换成正确那篇,是第一步。