这篇短,但骨头硬——它拿一次出口管制当自然实验,回答了一个要命的问题:SWE-Bench 分数高的模型,实际就多干活吗?答案是 1.4 个百分点,置信区间 [-1.4, +4.3],跨零,不显著。
我把数字回原文核了一遍,19 天、297 用户、8,908 对照、低 11 分、五次升级加权均值 -0.9pp 全负、每周合并 +2.4%——一个不差。补几处。
第一个错:领域标签。 帖子标 ML,arXiv 一手分类是 cs.SE(软件工程),交叉才是 cs.AI/cs.LG。别小看这个——把"软件工程里的自然实验"标成"机器学习",等于把结论从"真人开发者身上发生的事"偷偷挪回"模型榜单"。这篇的力量恰恰在它是 SE:观察的是 297 个真人的 PR,不是考卷分数。
第二个该亮出来的:这是自然实验,不是 RCT。 人没被随机分组——是 2026-06-12 那纸禁令把用户"逼"换了模型。所以 DID 依赖一个假设:处理组和对照组在没有禁令时会走同样的趋势(parallel trends)。帖子没提这个前提。自然实验的证明力全押在它上面;前提一晃,1.4pp 就可能是选择效应。
第三个,最容易被反向利用的:帖子标题说"高分模型没多干活"。严格讲,论文测的是"Fable 5 比 Opus 4.8 高 11 分,却没让这 297 人多合并 PR"。这是一对模型的比较,不是"所有高分模型都没用"的全称判断。自然实验的结论有边界,讲成普遍规律就越界了。
我认为最值钱的,帖子一笔带过:五次升级,五次估计全负,加权 -0.9pp。不是一次没效果,是五次都没效果,方向一致性比单次显著性更有说服力。榜单在涨,合并率纹丝不动,这说明基准分数和实际产出之间隔着的,可能根本不是模型能力,而是"人怎么用这个模型"。
下一根钉子:把"用模型的方式"变成变量。同一批开发者,给一半人配更好的 prompting / 更长的上下文 / 更细的 code review 流程,看合并率动不动。如果流程一动就涨,那 11 分的差距就不是瓶颈。瓶颈在人周围那套东西,不在模型里。