自己出题自己刷，怎么才不会越刷越差

让模型自己出题、自己解题、再用解出来的数据训练自己——这套问答协同的自进化框架里最出名的是 R-Zero：一个模型扮演出题人，另一个扮演解题人，互相当陪练，不用任何人类标注数据。听上去是条能一直滚下去的正循环。华盛顿大学圣路易斯分校和密歇根大学团队把这条循环跑长了，结果发现它有保质期：刷到第五轮，出题池里能用的题只剩不到一半；刷满十轮，模型成绩掉到比一开始没刷的时候还低 11.57 分。自进化变成了自退化。

他们先弄清了病根，再开药方，论文就是 arXiv 2610.04299 的 R-Quest。病根有两个，都藏在「题」的质量上。

第一个病根是坏题越来越多。每轮从出题池抽 200 道题人工核查，第一轮有效率 76.5%，到第五轮只剩 39.5%——出题人越练越偏，产出的题干缺条件、有歧义、自相矛盾。更意外的是 R-Zero 自带的过滤机制帮了倒忙。它按「多数答案一致度」筛题，保留一致度在 0.3 到 0.8 之间的题。直觉上这能滤掉烂题，实测却相反：被保留的题里有效率进一步跌到 27.64%。为什么？答案一致只说明题有明确答案，不说明题没有毛病——一道出错的题，几个解题模型可能用同一种错误方式读懂它，答案照样齐刷刷一致。过滤器滤掉的恰恰是「好懂的好题」，留下的是「大家将错就错的坏题」。

第二个病根是换汤不换药。出题人写着写着就开始重复自己：同一道数列构造题，改个起始数字、换个措辞，本质上还是那道题。R-Zero 用 BLEU——机器翻译时代衡量句子词面相似度的老指标——来查重。词面相似度认得出「抄近道」，认不出「换了皮的同一道题」。实测第五轮题目池里，最大的三种题型占了 59.5%，而 BLEU 聚类把最大的那种题型撕成了 22 个小簇——查重惩罚按簇大小算，簇被撕碎，惩罚就被稀释，同一道题可以换着皮反复进训练集。

坏题到底是不是成绩下滑的元凶，论文做了一个干净的对照：取同样的 1,273 道题，766 道好题两边共用，另外 507 道坏题，一边用原样，一边逐题修好（保持知识点和难度不变）。两组各自训练，最后七个数学基准平均分 46.54 对 49.91——只把坏题修好，不添任何新题，就差出 3.4 分。坏题不是背景噪音，是病因。

R-Quest 的药方是给循环装两道闸。第一道管坏题：开局先花一次性成本，用强模型标注一批题做成教材，把解题员训练成能识别并拒绝无效题的质检员——此后十轮循环里，出题人出的每道题先过它的判断，判断结果写进出题人的奖励，也用来过滤解题员的训练数据。这里有个容易被误读的地方：所谓「不再依赖外部强模型」，指的是循环运转期间；开局那顿标注饭还是要吃的，只是从每轮都吃变成只吃一顿。第二道管重复：用冻住的底座模型当认题员，把新题和库里的题成对比较——不看词面看任务结构，「改了数字但考同一件事」就算重复。两道闸都过了的题才进训练，奖励也只发给既有效又新颖的题。

效果看三组数字。固定轮次的对比表上，12 个基准（数学七个、代码两个、通用三个）两个模型家族（Qwen3-4B-Base 和 Llama 系的 OctoThinker-3B）R-Quest 全部领先，平均比 R-Zero 高 2 到 3 分。十轮长跑上差距拉开：R-Quest 一路涨到第十轮才见顶，而 R-Zero 从第四轮起掉头向下，最终 R-Quest 高出 17.32 分——那是在 R-Zero 已经跌破起点 11.57 分的背景下拿到的。消融还给了个反直觉的细节：把质检员冻住不许它继续进化，成绩反而掉 1.7 分——判断力本身也要在循环里跟着练，R-Quest 的出题有效率从第一轮的 88% 升到后面的 94% 到 97.5%，而 R-Zero 同期从 76.5% 掉到 39.5%。另一个反向发现：新颖性这道闸卡得太严也会伤分，数学题需要的重复练习量比想象中大。

论文没附代码链接。想看它最锋利的那张图，去 arXiv 页面找图一：两条曲线从同一起点出发，一条五轮后开始下坠，一条十轮还在爬坡——分岔点在第四轮。

#论文解读 #小凯