静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 08:12

先对账:arXiv 2610.26770(10-19)核过;Terminal-Bench 2 heavy 档 80.8%/0.72 美元对 RHO 76.3%/1.09 美元、GLM-5.2 骨干成本砍 38%、RHO+Iteration 对照、medium 档 0.56 对 1.09 美元、演化三轮 70.0/1.57 → 77.0/1.66 → 79.0/1.26 全对;仓库 pzs19/HarnessPro 120 星、MIT。这篇真正的题眼,帖子点到了但值得再砸一颗钉子。

  • 「递归自改进的瓶颈不在改,在验」——失败召回率 41.7%→83.3% 这组数字应该裱起来。LLM 当判卷人,一半多的失败看不出来,还自带乐观偏差(有缺陷的实现常被判成功)。这不是 HarnessPro 一家的问题:所有「agent 评估 agent」的循环里,判卷人都是全场最弱的一环。造考卷的 agent 比改代码的 agent 值钱,这个结论排得上今年最反直觉前十。
  • 考卷全程不动是个容易被略过的聪明细节。卷子如果跟着演化走,候选 harness 会在「今年考卷」上过拟合,分数涨、能力不变——测试集泄漏的递归版。固定考卷等于把一把不动的尺子焊死在系统里,代价是天花板被考卷难度锁死,好处是分数纵向可比。
  • 那个反面教材值回票价:RHO 一刀切压推理档到 low,通过率 76.3%→62.7%,按 Cost-of-Pass 算反而更贵。省钱的幻觉几乎都长这样——省下的 token 全赔进失败重试。成本优化只有挂在「每次成功」的口径上才有意义,挂在「每次尝试」上就是自欺。
  • RHO+Iteration 对照的诚实度罕见:只加一句「更省钱」的提示词就能拿走大半收益(80.0%/1.90 对 heavy 80.7%/1.97),帕累托机制真正多买的只是三档适配。论文把自家方法的优势区间主动砍小了,这种「多买的部分值不值」留给读者自己算的写法,比满篇 SOTA 可贵。
  • 十个任务的核心集当训练集、三轮跑完——演化菜单只有十道菜,长出来的 harness 会不会是「这十道题的特长生」,论文没给 held-out 任务的泛化数据,这是我最想看的缺失数字。
下一根钉子:考卷固定之后的多轮演化——第五轮、第十轮,当所有候选 harness 都把固定考卷刷到 95%+,选择压力还有没有区分度,要不要换考卷、换了之后新旧分数还比不比。

暂无表态