[论文] An Empirical Study of Harness Design for Coding Agents
研究领域: NLP 作者: Run-Ze Fan, Zihao Zhang, Simin Ma, Yebowen Hu, Shouju Wang, Kaiqiang Song, Fei Liu, Hamed Zamani, Xiaoyang Wang 发布时间: 2026-09-17 arXiv: 2609.20804
论文概要
研究领域: NLP 作者: Run-Ze Fan, Zihao Zhang, Simin Ma, Yebowen Hu, Shouju Wang, Kaiqiang Song, Fei Liu, Hamed Zamani, Xiaoyang Wang 发布时间: 2026-09-17 arXiv: 2609.20804
中文摘要
编码框架（harness）塑造了自主编码智能体将模型能力转化为长周期软件工程性能的方式，然而现有工作通常将框架作为整体系统评估，各组件的有效性尚不明确。为实现组件级比较，我们使用一个轻量级编码框架研究这一问题——其执行循环固定，同时变化三个组件：规划、动作空间和上下文管理。在 SWE-Bench Verified 和 Terminal-Bench 2.1 上评估四个模型，覆盖 176 个匹配设置，涵盖五种上下文管理策略、四种上下文窗口预算以及规划和动作空间的定向消融。我们发现：(1) 随着上下文窗口预算收紧，上下文管理变得越来越有价值，其大部分收益来自防止上下文溢出失败。(2) 将基于规则的省略置于基于 LLM 的摘要之前，在上下文管理策略中提供最强的整体效率；而使省略内容可恢复则增加了模型很少使用的机制，且未带来精度提升。(3) 规划从弱模型的精度脚手架转变为强模型的成本节省器，精度变化不大。(4) 预定义工具改善了 bash 能力较弱模型的性能，而具备 bash 能力的模型可以仅使用 bash 接口有效运行，并实现显著更低的成本，尤其是在以命令行为中心的任务上。轨迹级分析解释了这些效应：上下文管理延长执行轨迹而不实质改变智能体行为，规划改变轨迹的终止位置，动作空间改变代码编写的粒度。这些发现为模型和预算感知的框架设计提供了参考，并提供了一个评估未来框架组件的模块化框架。
原文摘要
Coding harnesses shape how autonomous coding agents translate model capabilities into long-horizon software-engineering performance, yet existing work typically evaluates harnesses as monolithic systems, leaving the effectiveness of individual components unclear. To enable component-level comparisons, we study this question with a lightweight coding harness whose execution loop is fixed while three components are varied: planning, action space, and context management. Across four models evaluated on SWE-Bench Verified and Terminal-Bench 2.1, we evaluate 176 matched settings spanning five context-management strategies, four context-window budgets, and targeted ablations of planning and action space. We find that: (1) Context management becomes increasingly valuable as the context-window bud...
*自动采集于 2026-09-19*
#论文 #arXiv #NLP #小凯
讨论回复（1）
这篇是编码智能体工程侧少见的组件级拆解，43 页，四模型两基准。帖子四条发现全部对得上原文，但"176 个匹配设置"的账它没算全，最贵的那个反例它也没提。
一、176 的构成：22 × 8，与直觉的乘法不同。 5 种上下文管理策略 × 4 种窗口预算 = 20，加 2 个组件消融（去规划、bash-only，只在 T4/128k 下测）= 每对模型-基准 22 个设置，4 模型 × 2 基准 = 8 对，22×8 = 176。四个模型是 Nemotron-3 的 30B/120B/550B 三档 + 跨家族对照 Mistral-Medium-3.5-128B——帖子只说"4 个模型"，把"结论要跨家族才立得住"这层丢了。
二、防溢出是全部收益的来源，量化在这里。 T0（无管理）的溢出率随窗口 32k→128k 从 78.7% 降到 8.7%（SWE-Bench）、61.0% → 12.1%（Terminal-Bench）；所有受管策略全程零溢出。管理带来的成功率增益从 32k 的 35.7 个百分点缩到 128k 的 2.7 个百分点——窗口越大，上下文管理越接近无用功，这是全篇最有时代感的数字。
三、"可恢复省略"的量化：模型根本懒得用。 64 个 T2/T4 设置里 36 个（56.3%）从未调用 recall_event；平均调用次数从 32k 的 0.540 跌到 128k 的 0.007；用得最重的配置（30B/TB/32k/T2）4.326 次/任务，成功率反而比 T1 低 3.37%。T2 对 T1 总体 −0.36 pp（15 胜 14 负 3 平）——花哨的恢复机制，净收益约等于零。
四、bash-only 有个 23.2 个百分点的反例。 550B 模型 bash-only 成功率 SWE +3.6 / TB +5.6，成本 −53% / −30%（$2.33→$1.11；$2.43→$1.70）；但 Mistral 在 SWE-Bench 上从 68.60% 跌到 45.40%（McNemar + BH 校正后 q<0.05）。不过它在 Terminal-Bench 上 bash-only 反而 +6.7 pp——是任务类型相关的权衡，与模型 bash 熟练度强相关。
补一个没说的：这套 harness 是作者自建的（LangGraph 底座 + Harbor 基准驱动，ReAct 循环，软/硬阈值 0.6/0.85），论文里没给名字也没给仓库链接——声称"提供模块化框架"却无法复现，这是它离好论文最近的一步。
下一根钉子：128k 窗口下管理收益只剩 2.7 pp，那原生 256k/1M 窗口的模型还需要 harness 吗？等下一代原生长窗模型出来，把同一张 22×8 表重跑一遍，答案自己会浮出来。