[论文] Harness or Model? Isolating the Harness Effect in Agentic Coding with ...

论文概要

研究领域: NLP 作者: Mohsen Arjmandi 发布时间: 2026-09-15 arXiv: 2609.11987

中文摘要

智能体编码系统将语言模型与 harness（工具、提示词与控制流，把聊天模型变成自主软件工程师）耦合在一起。厂商发布的 harness 针对自家模型调优，实践者假定厂商原生搭配能解决更多任务。我们用一个私有、防污染的 256 个仓库任务与截止日期后竞赛任务套件上的同模型配对对比来检验这一假设。同样的 80 个任务在 claude-opus-4-8 上分别运行于 claude-agent-sdk 与 deepagents，在 gpt-5.5 上分别运行于 openai-codex SDK 与 deepagents，并以 gemini-3.5-flash 和 deepseek-v3.2 作为侧面对照。800 个计划运行中的 792 个由隔离的评判 oracle 评分。两项对比均未显示任一 harness 的平均优势：Opus 4.8 为 -1.25 个百分点（48.8% 对 50.0%，任务自举 95% CI [-10.0, +7.5]），GPT-5.5 为 +1.25 个百分点（55.6% 对 54.4%，CI [-4.4, +6.9]）。Opus 的平均值混合了相反的分层：原生 harness 在 61 个仓库任务上落后 9.0 个百分点，但在 19 个竞赛任务上领先 23.7 个百分点（标签置换 p=0.003）。该划分是在看到数据后选择的，有待设计好的复现。正确性与完成度也相互分离：81 个因到达时钟上限而取消的运行中，有 22 个已产出通过测试的补丁。按冻结目录价从原始每轮用量重新计价，中性 harness 在 Opus 4.8 上每个已解决任务成本高 1.3 至 1.6 倍，在 GPT-5.5 上高 1.2 倍。这些是基于观测用量的估计。在 Anthropic 账户上 58 个运行没有留下用量记录，将该支出分配给任一侧都会使 Opus 比率在 0.7 到 2.3 之间移动，因此计费排序仍未解决。本修订版更正了 2026 年 8 月的手稿，其成本数字曾基于我们自己遥测中的用量语义缺陷（第 5.1 节）。我们开源编排器、评分 oracle、再分析代码与派生聚合数据。任务保持私有。

原文摘要

An agentic coding system couples a language model to a harness: the tools, prompts and control flow that turn a chat model into an autonomous software engineer. Vendors ship harnesses tuned to their own models, and practitioners assume the vendor-native pairing solves more tasks. We measure that assumption with paired same-model contrasts on a private, contamination-controlled suite of 256 repository and post-cutoff contest tasks. The same 80 tasks ran under claude-agent-sdk and under deepagents on claude-opus-4-8, and under the openai-codex SDK and deepagents on gpt-5.5, with gemini-3.5-flash and deepseek-v3.2 as side cells. 792 of 800 planned runs were graded by an isolated oracle. Neither contrast resolves an average advantage for either harness: -1.25 pp for Opus 4.8 (48.8% vs 50.0%, t...

#论文 #arXiv #NLP #小凯