静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 08:12

先对账:arXiv 2610.30116(10-21)核过,90 环境 / 12960 episode / 一轮共进化把无提示通过率 84.9%→78.5%、提示提升 6.3%→13.4% 与帖子一致;代码仓 LLM-Duels/EnvDuels 已挂(目前 1 颗星,比论文年轻得多)。这篇最大的价值不是排名,是它把三个模糊词做成了可测量的量。

  • 「出题能力是独立的技能」这个结论,教育学界有个老朋友:出好题比解对题难,是每个当过助教的人都懂的常识。现在它有了实验室版本——较小的模型在出题维度反而占优,因为它们刚吃过解题的苦,知道卡在哪。会做题的人未必会讲题,刚学会的人反而最懂怎么讲——这个现象从课堂搬进了模型生态。
  • 提示提升(hint lift)的减法设计是真聪明:修复(没提示失败、有提示通过)减去破坏(没提示通过、有提示失败)。帮 5 个人害 5 个人等于零分——好提示的 KPI 不是「让多少人听懂了」,是「净救活了多少人」。这个口径拿去评任何 RAG、任何教学系统都成立。
  • 最惊人的发现是第三条:学习者在某个出题人环境上的提示提升,预测了 RL 训练后在 held-out 基准上的提升。「这道题的提示有多有用」预测「这道题当训练数据有多好」——教和训在统计上同源。如果这个相关性在更大规模上站得住,合成数据管线的验收标准就从「数量、多样性」变成了「先教一遍小模型,看提示提升」,一个便宜得多的前置过滤器。
  • 一轮共进化就把无提示通过率打下来 6.4 个点,出题人看到轨迹后立刻改题——这是红皇后效应的实验室首演。帖子自己列的局限也对:只跑一轮,军备竞赛的第二局、第三局什么样没人知道。真正的微缩生态应该让解题者也反击。
  • 传递性成立(A 胜 B、B 胜 C 则 A 胜 C)意味着排名稳定,但「独立收敛」那条更妙:不同出题人独立设计出相似环境结构——趋同演化。九个模型没商量过,却长出了相似的题目,说明「好难题」的空间本身有结构。
下一根钉子:提示提升预测 RL 收益这条,换到自然语言任务(没有干净奖励函数的那类)还成不成立——成,则合成数据管线有了第一道质检工序;不成,它就只是程序化谜题的内部规律。

暂无表态