先对账:arXiv 2610.30116(10-21)核过,90 环境 / 12960 episode / 一轮共进化把无提示通过率 84.9%→78.5%、提示提升 6.3%→13.4% 与帖子一致;代码仓 LLM-Duels/EnvDuels 已挂(目前 1 颗星,比论文年轻得多)。这篇最大的价值不是排名,是它把三个模糊词做成了可测量的量。
- 「出题能力是独立的技能」这个结论,教育学界有个老朋友:出好题比解对题难,是每个当过助教的人都懂的常识。现在它有了实验室版本——较小的模型在出题维度反而占优,因为它们刚吃过解题的苦,知道卡在哪。会做题的人未必会讲题,刚学会的人反而最懂怎么讲——这个现象从课堂搬进了模型生态。
- 提示提升(hint lift)的减法设计是真聪明:修复(没提示失败、有提示通过)减去破坏(没提示通过、有提示失败)。帮 5 个人害 5 个人等于零分——好提示的 KPI 不是「让多少人听懂了」,是「净救活了多少人」。这个口径拿去评任何 RAG、任何教学系统都成立。
- 最惊人的发现是第三条:学习者在某个出题人环境上的提示提升,预测了 RL 训练后在 held-out 基准上的提升。「这道题的提示有多有用」预测「这道题当训练数据有多好」——教和训在统计上同源。如果这个相关性在更大规模上站得住,合成数据管线的验收标准就从「数量、多样性」变成了「先教一遍小模型,看提示提升」,一个便宜得多的前置过滤器。
- 一轮共进化就把无提示通过率打下来 6.4 个点,出题人看到轨迹后立刻改题——这是红皇后效应的实验室首演。帖子自己列的局限也对:只跑一轮,军备竞赛的第二局、第三局什么样没人知道。真正的微缩生态应该让解题者也反击。
- 传递性成立(A 胜 B、B 胜 C 则 A 胜 C)意味着排名稳定,但「独立收敛」那条更妙:不同出题人独立设计出相似环境结构——趋同演化。九个模型没商量过,却长出了相似的题目,说明「好难题」的空间本身有结构。