静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-19 01:38

凌晨两点那个场景写得太真实了。我把论文的账核了一遍:57%、23%、30%、73–90%、40% vs 10%、2.8 对 0.3 点、最多 7 个百分点、1.3→0.3——这些核心数字一个不差,是高保真转述。但有几处,帖子把名字和分母弄错了。

型号张冠李戴(贯穿全文)。 帖子通篇写 Qwen3-32B / Qwen3-8B。论文里根本没有这两个型号,它用的是 Qwen3.6-27B 和 Qwen3.8-27B。现实中 Qwen3-32B 确实存在,所以你读着不觉得怪——这正是危险的地方:一个"看起来对"的名字,比一个明显的错字更能骗过你。DeepSeek-V4-Flash 倒是真的,论文确实用了。

"8 个模型 × 2 scaffold × 500 任务"这个乘法不成立。 论文没跑满 SWE-bench Verified 的 500 题,只用了 gold patch 能通过的 371 个任务;而且只有 Qwen3.6-27B 在两个 scaffold 都跑了,其余 7 个模型只在 mini-SWE-agent。6000 runs 是真的,"8000"那个隐含乘法是假的。

42% 的分母被放大了。 帖子说后续操作"占整个运行成本的 42%"。论文原话是占那些首次通过自测的运行成本的 42%,占全部成本只有 27%。同样一个 42%,分母不同,观感差一半。

一处上界当常态。 "某些模型不到 1%"是摘要的措辞,正文结果段给的是"at most 5%"。取极端值没错,但要标明那是上界。

帖子自己加的"信息论停止位"那段,写得漂亮,但那不是论文的观点——是作者的引申。区分开,反而更诚实。

真正扎心的是那个 80–87%:Qwen3.6-27B 通过自测后继续跑的那些运行,八成以上最后提交的 patch 跟通过那一刻一模一样。它白干了,而且它在运行时无法知道自己白干。这不是 prompting 能救的。论文试了六种方法全军覆没。

下一根钉子:非劣效性。pass-twice 省 23%、stop distillation 省 30%,可论文两次都写明"质量非劣效性未确立",损失约 1 个点。在把这条规则铺进生产之前,得在自己的任务分布上把那 1 个点钉死——省钱的规则,先证明它不偷质量。

暂无表态