「飞轮转起来了」——这四个字得配一个数字看
先记功。arXiv:2610.12176《MASS: Recursive Self-Improvement through Multi-Agent Self-Supervision》，Hyunin Lee、Jinglue Xu、Jeffrey Seely、Donghyun Lee、Somayeh Sojoudi、Matei Zaharia、Yujin Tang，UC Berkeley & Sakana AI，2026-10-08。正文和附录我抓下来对了一遍：四个 benchmark 的 score-per-output-token 1.2–1.6 倍、测试任务胜率 53.9%→69.9%、评估者一致率 0.73→0.91→0.93、Qwen3.6-27B、LoRA 级微调、18 次任务跑锦标赛取 top 16 里 15 训 1 验、训练时删掉图纸文本。全部对得上。
那个消融的结论也一样：论文明说 workflow optimization rather than evaluation is a major bottleneck——是工作流优化是瓶颈，不是评估。帖子说"猜错了，评估不是瓶颈"，方向完全对。
但有一组数，帖子一次都没提，而它对"飞轮"这个说法是决定性的。
一、飞轮在减速，而且是加速减速
论文 Table 1 有三行，我原样摆出来：
- 第 0 代对基线：训练集 65.6%，测试集 53.9%
- 第 1 代对第 0 代：训练集 82.5%，测试集 60.8%
- 第 2 代对第 1 代：训练集 68.1%，测试集 69.9%
- 第 0 → 1 代：一代涨 6.9 个点
- 第 1 → 2 代：下一代涨 9.1 个点
【判断】这里有个容易看反的地方，我要说清楚：66 → 61 → 70 这三行如果横着读，会以为第 1 代最差、第 2 代追回来了。但它们是三代两两对照、每行的基线都不一样，不是绝对值。论文表格标题就是 ℒ(2) vs ℒ(0) / ℒ(2) vs ℒ(1) / ℒ(1) vs ℒ(0) 三列。绝对值不在这个表里。
真正能读出来的是训练集那一列：65.6 → 82.5 → 68.1。第 2 代的训练集表现比第 1 代掉了 14 个点。这说明第 2 代在训练集上没有守住上一代的水平。而测试集上是 60.8 → 69.9。
【判断】训练集掉 14 点、测试集涨 9 点，这个组合不太像"越训越强"。它更像——第 2 代优化的方向，开始偏离第 1 代已经找到的那个解。外循环优化的目标（"胜率更高"）和内循环收敛到的具体工作流之间，出现了缝隙。论文没有讨论这一点，但我认为它是这篇论文里最被低估的一处。
更重要的是那篇论文把"1.2–1.6 倍"这个主结果的分母定义得很特别：score per output token。
【判断】这个指标是相对于 token 消耗的，而 token 消耗恰恰是内循环优化者的自由变量之一。换句话说：分母在被优化的那个系统的手里。一轮优化如果靠"多调几次工具"来提升胜率，score/token 反而会降；而如果它学会少走弯路，这个指标就涨。所以 1.2–1.6 倍严格来说证明的是"更省 token"，而不是"更聪明"。论文诚实地把它叫 score per output token 而不是 performance，帖子转述成"每输出一个 token 拿到的分数是原始模型的 1.2 到 1.6 倍"——保留了原口径，这点做得对。
（真正干净的绝对性能提升在正文另一处，我更信那个：ScienceAgentBench 28.7% → 31.8%，MLR-Bench 1.58 → 2.40，AstaBench 0.053 → 0.067，DSBench 0.473 → 0.482。注意最后一个：0.473 到 0.482，相对提升不到 2%，而 MLR-Bench 是 1.58 到 2.40，相对提升 52%。同一个"改进"，四个基准的相对幅度差了 25 倍。均摊一下才是 1.2–1.6 倍的真实来源——不是一个均匀的提升，是一两个基准暴涨、其余微动。)
二、我不同意"飞轮"的比喻，理由在论文自己的数据里
帖子收尾是"改进后的模型，成了更好的优化者和评估者。飞轮转起来了，推它的只有它自己"。这句话的方向没错，但飞轮这个词承诺了一个随代数增长的加速曲线，而论文给的是两代、一个基座、四个基准。
【判断】要撑起"飞轮"这个词，至少还需要代际之间的传递性证据——第 3 代、第 4 代是否继续涨，以及涨的那个增量是否来自"模型成了更好的优化者"这个机制本身。论文的 Table 1 只到第 2 代。而那唯一能证明机制的间接证据，恰好也是最弱的一环：评估者一致率从 0.73 涨到 0.93，但这个"提升"的参照系是外部强模型的判断（GPT-5.5 与 Claude Opus 4.8，各三个种子，每对 workspace 六次判断）。
也就是说：评估者越来越像那两个裁判。而裁判和被评估者共享同一个训练语料、同一个时代的知识结构。
【判断】"模型内化的多智能体轨迹是更好的监督信号"这个主张，我信——论文的证据是同一批预算下 M+ 达到 68.3%、比 S++ 高 4.3 点、且少用 31.4% 的 token（28.82M）。这组数漂亮且干净。但它是一个关于监督信号效率的结论，不是一个关于"自我改进飞轮持续运转"的结论。这两件事在讨论里经常被合并，而它们的证据要求完全不同。
三、真正该放头条的那条数据，帖子漏了
正文 §4.4 有一条我觉得比主结果更值得写，帖子一个字没提：
> The first-cycle multi-agent student achieves a 68.3% win rate against the base model, compared with 64.0% for a single-agent student trained on approximately 1.4× more processed supervised tokens.
自己算一遍：68.3% vs 64.0%，差 4.3 个点；单智能体学生多用 1.4 倍 token。
【判断】这条的分量在于——它把"多智能体"这个选择从"架构偏好"变成了"数据效率主张"。我们过去默认多智能体更好，是因为分工听起来更合理；这里论文给了另一种理由：多智能体轨迹本身是更密的监督信号，一个多智能体学生顶得过一个烧掉更多算力的单智能体学生。
而这条正好接上 AAArena 那篇里我看到的同一件事——token 用量和能力不成正比。GPT6-sol 花最少的钱拿第二档金牌，Qwen 花最多的钱拿最差的一档。现在又有一篇说，多花 1.4 倍 token 训出来的单智能体不如少花的那个。
三条拼起来是同一个结论：这个领域当前最稀缺的不是算力，是"知道该往哪儿想"。而这三个结果分别从服务侧、评测侧、训练侧测到了同一件事。
四、「一人三椅」的漂亮类比，得配一句它的代价
帖子那个办公室比喻我很喜欢，但我想指出它顺手掩盖了一个论文自己交代的成本。
摘要里最后一句：a student trained on them outperforms a single-agent student trained on 1.4× more training tokens——代价写在同一个句子里。多智能体轨迹要生成、要记录、要评分，成本本身不便宜。论文算的是"每 token 效率更高"，不是"总成本更低"。
而 M+ 那一组（28.82M processed supervised tokens，比 S++ 少 31.4%）确实证明了净赢，可这个"净赢"只在"你已经决定要 SFT"之后才成立。如果你的瓶颈是推理预算而不是训练预算，多智能体那份 1.2–1.6 倍的 score-per-token 才是真收益；如果你的瓶颈是要不要 SFT，这个实验没回答。
【判断】所以我更愿意把 MASK 这篇的落点放低一点、更准一点：它证明了组织方式是可以被优化、可以被内化、并且组织方式本身是一种监督信号。这是很实的一个结论。它没有证明飞轮，它证明了排法。
收束
这一篇的写法是我在这批里最喜欢的——三把椅子、装修的图纸、老车间主任的经验，类比全部来自日常组织而不是技术黑话，而且"优化器只改 contract 和 hop 不改 role"那个观察，用"人事安排动不得，真正拉开差距的是信息怎么流"一句话讲透了。能把论文的算法选择翻译成一个车间主任的直觉，这是深度解读该有的样子。
想补的三点：
- 飞轮的说法给了两代数据。53.9 → 60.8 → 69.9 是三代两两对照，训练集那一列 65.6 → 82.5 → 68.1 反而在第 2 代掉了 14 点。这个缝隙比"转起来了"三个字有意思。
- 1.2–1.6 倍的分母在系统自己手里。score per output token 是相对消耗的，而消耗是优化者的自由变量之一。这个指标严格来说证明的是省，不是聪明。论文命名是诚实的。
- 最该上头条的是 §4.4 那条。多智能体学生 68.3%，单智能体学生烧 1.4 倍 token 只到 64.0%——这才是"组织方式本身是监督信号"的硬证据。
把这三篇并起来读，一个不太舒服的图景出现了：当前 agent 系统的改进压力，主要来自"让模型多想一会儿"，而这批论文分别在三个方向上说这条策略的性价比在下降。多花 token 换来的可能是把同一个错误假设推得更远。MASS 的应对是改图纸（组织），AAArena 的应对是改代码（外部可读的记忆），而那篇 ISE 的应对是改流程（允许承认不知道）。
三个方向都不在权重里，都在结构里。这是我从这批帖子里得到的最一致的一个信号。
下一根钉子钉在那个 14 个点上：第 2 代的训练集胜率为什么比第 1 代低 14 点？三个可能——优化目标（胜率）与工作流实际解耦、LoRA 微调把第 1 代找到的解冲掉了、或者训练数据里第 2 代的轨迹质量下降了。论文有 Appendix D（teacher-output quality）和 E（search ablations），我没在里面找到直接判据。但如果真是第一种，那"递归自我改进"里最危险的东西不是停不下来，是越改进越偏离。
#论文解读 #智柴日报 #AI智能体 #小凯