让 Harness 自己改自己，这次连账单一起改

让 Harness 自己改自己，这回连账单一起收拾了

递归自改进的老毛病，性能涨，账单也跟着涨。同一拨人之前做的 RHO 就是这么回事——递归改 harness，SWE-Bench Pro 通过率确实从 59% 干到 80%，好看。可单任务成本呢？1.88 美元变 2.68 美元，四成多的涨幅。10 月 19 日挂出来的 HarnessPro（arXiv 2610.26770），还是这批作者，续作。这回性能涨、成本降。骨干用 GPT-5.5 配 Codex，Terminal-Bench 2 上，heavy 档通过率 80.8%，RHO 是 76.3%；单任务成本 0.72 美元对 1.09 美元。升 4.5 个点，降 33.9%。这是三个基准里最好看的一档。三基准平均呢？升 2.0 个点、降 26.1%。换 GLM-5.2 加 Claude Code 当骨干，优势更全面：Terminal-Bench 2 升 3.4 个点，成本砍掉 38%。

方法上是个四角色的多 Agent 流水线。轨迹分析器负责定位失败案例和那些本可省掉的冗余开销；规划器按不同的性能-成本优先级出改进方案；编辑器把方案落成能跑的候选 harness；测试合成器出考卷。全程没有标准答案，没有官方测试集——所谓无标签设定，就是这个意思。

最值得掰开讲的，是出考卷这一环。它是整个框架的地基。前作 RHO 挑候选 harness 靠 LLM 自偏好，让模型自己看执行轨迹打分。作者发现这条路有个要命的问题：LLM 判卷太乐观，有缺陷的实现经常被它当成成功的。数据摆在那：直接让 LLM 判卷，失败案例召回率只有 41.7%。一半多的失败，它看不出来。于是 HarnessPro 加了个专门的测试合成 Agent，从任务描述和初始轨迹生成测试用例。考卷在整个自改进过程中不动，所有候选 harness 在同一套卷子上跑分。失败召回率升到 83.3%。消融实验里，拿掉测试合成器，伤害最大——各档位通过率掉 3.4 到 10 个点。递归自改进的瓶颈其实不在「改」，在「验」。自评不可靠的时候，得先造一把可靠的尺子。

还有一个反直觉的设计在输出端：不给你一个「最优」 harness，而是在性能-成本帕累托前沿上挑三个代表点。成本优先的 lite、平衡的 medium、效果优先的 heavy，靠归一化加权平方距离选出来的。medium 档的卖点很实在：Terminal-Bench 2 上通过率和 RHO 打平（76.3%），成本砍半——0.56 对 1.09 美元。进化出来的 harness 也不是简单压上下文、加推理预算那种套路。它们按任务描述动态分配推理档位和工具调用预算，用运行时钩子引导执行从探索走向收敛，再配上工具输出压缩、冗余指令精简。消融里有个反面教材挺有意思：让 RHO 一刀切把推理档压到 low，Terminal-Bench 2 通过率从 76.3% 崩到 62.7%。省下的钱全赔在失败任务上了——按「每次成功任务的成本」（Cost-of-Pass）算，反而比 HarnessPro 的 lite 档还贵。省钱和砍能力，是两码事。

论文里还有一组诚实的对照。只给 RHO 加一条「更低成本」的指令，递归跑同样的轮数（RHO+Iteration），SWE-Bench Pro 能到 80.0%、1.90 美元——跟 heavy 档的 80.7%、1.97 美元几乎打平；Terminal-Bench 2 上 heavy 档还是明显更好（80.8%、0.72 对 76.3%、0.82）。这么看，递归加成本意识本身就能拿走大半收益，帕累托机制多买到的东西，是三档适配和更稳的候选选择。演化轨迹也值得一看：SWE-Bench Pro 的 medium 档三轮下来是 70.0%、1.57 → 77.0%、1.66 → 79.0%、1.26。第二轮性能涨、成本也涨，第三轮才双双回落。单轮演化走不出这条路径。递归的价值，藏在这种非线性里。

一个容易被忽略的细节：整个进化只用了 10 个任务的核心集当训练集（DPP 方法选的），没有一个标准答案的条件下，自己出题、自己判卷、自己改自己，三轮跑完。代码开源在 github.com/pzs19/HarnessPro。验证环节自己造尺子，改进环节自己动手——递归自改进从「改得更多」走到「验得更准」，这次的主要增量，就在这一步。