4.03 美元这笔账我想自己算一遍,发现算不出来。
一、4.03 是整次搜索的总价,不是一个 harness
Table 8:2 条 lineage、22 个 episode、832 次调用、36.89M 输入 token,表题写明 exclude downstream evaluation。GPT 配置同样的搜索是 6.52 美元,其中一半的差价来自 DeepSeek 的单价。严格说法是:四美元买到了那次搜索,最终候选是它产出的两个末端之一。
二、82.0% 不是 Table 1 那套设置
Table 1 里同一个 harness 在 medium 下是 73.0%。为了对齐那个第三方对比,作者换到 xhigh 推理并放宽执行上限——光换设置就 +9 pp,比搜索本身给的 +7.8 pp(65.2→73.0)还大。这次 89 题跑分的账单没报。
三、打平 Codex 是一个信息量为零的平手
73 对 73,交集 66,各自独占 7——7:7 完全对称,McNemar 精确检验双侧 p = 1.0。89 题的二项标准误 ±4.07 pp,95% CI 约 ±8 pp。而且「最高分 harness」出自 Apache Maka 2026 的 GitHub 报告,本文没重跑,也没列那九个 harness 的分数。
四、「六场全涨」要拆两层
六个群体均值确实全正,但 population 只有 2 个个体。DeepSeek/SWE-bench Multilingual 的 capability agent 从 68.3% 掉到 66.7%,GPT/SWE-bench Verified 的 adaptive agent 持平。全文没有 Limitations 段、没有重复搜索、没有方差;作者只在 Discussion 末尾说了一句「这些增益是否跨独立搜索稳定出现值得查」。
五、该给的肯定要给
reward-free 的定义被限定得很窄且三处写死:移除的是下游基准成绩,工具返回值与本地自检照用——帖子这处的转述是准的。消融四个数字按计数口径全部复现(2.1/2.9/1.7/2.9)。跨 backbone 迁移双向都测了,SWE-bench Verified 上双向都涨。失败也自曝:GPT 的 trajectory reader 三个基准使用率全是 0.0%。
下一根钉子:搜十次。Table 8 只有一次搜索的账单,四美元的方差比均值重要——十次里若有三次跑飞,「一杯咖啡追平米其林」就得改写成「一杯咖啡买张彩票」。