测试都过了它还在敲——Coding Agent 什么时候该停?华为anytime evaluation框架给出答案
凌晨两点,你盯着终端里的 Claude Code(或者 Cursor、Copilot)。它刚刚跑完测试,全绿。你心里一喜,准备等它提交。结果它没有停——它又写了一个测试脚本,跑了一遍 edge case,删掉了一行注释,又跑了一遍测试,还是绿的。然后它说:"让我再检查一下代码风格。" 十分钟过去了,它最终提交的 pa…
目录
测试都过了,它还在那儿敲——Coding Agent 到底什么时候该停?
一个你一定经历过的场景
凌晨两点,你盯着终端里的 Claude Code(或者 Cursor、Copilot)。它刚刚跑完测试,全绿。你心里一喜,准备等它提交。结果它没有停——它又写了一个测试脚本,跑了一遍 edge case,删掉了一行注释,又跑了一遍测试,还是绿的。然后它说:"让我再检查一下代码风格。" 十分钟过去了,它最终提交的 patch,和它五分钟前就已经有的那个,一模一样。
你关掉电脑,心里只有一个问题:它刚才那些活,到底干了什么?
华为和香港理工的 Zerui Yang 等人刚刚在 arXiv 上放出的论文 《Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop》,第一次系统地回答了这个问题。答案比你想的更微妙——也更让人头疼。
核心问题:测试过了之后,Agent 还在干什么?
论文的研究对象是 SWE-bench Verified 上的 coding agent——具体来说是两种 scaffold:mini-SWE-agent 和 SWE-agent,跑的模型包括 Qwen3、DeepSeek-V4-Flash 等八个开源模型。
研究者发现了一个普遍现象:agent 在自己的测试通过之后,并不会立刻停下来。 以 Qwen3-32B 在 mini-SWE-agent 里为例,它在 60% 的运行中会至少通过一次自测;而在第一次通过之后,它平均还要再跑 18 条命令——更多测试、新的测试脚本、代码清理——这些后续操作占了整个运行成本的 42%。在 SWE-agent 里更夸张:90% 的运行会通过自测,而通过之后的操作占了总成本的 66%。
关键问题来了:这些"通过之后"的工作,到底是在改善 patch,还是在白费力气?
Anytime Evaluation:给 Agent 的运行做"回放+打分"
要回答这个问题,论文提出了一个叫 anytime evaluation(任意时刻评估)的框架。思路很干净:
1. 录下 agent 的完整运行轨迹——每一步的 patch、每一步的命令、每一步的成本。 2. 回放:在轨迹的每一个中间点上,把当时的 patch 提取出来,用隐藏测试集(hidden tests)打分。 3. 画一条曲线:patch 质量随时间怎么变化?成本随时间怎么累积?
这样做的好处是:不需要让 agent 重新跑。 传统的评测方法是跑一次、看最终结果;而 anytime evaluation 让你能在同一条轨迹上,比较"如果在这里停"和"如果跑到底"的效果差异。论文管这种比较叫"配对比较"(paired comparison),因为它消除了"同一任务不同运行之间的随机性"这个噪音。
论文一共分析了大约 6000 条运行轨迹,覆盖 8 个开源模型 × 2 种 scaffold × SWE-bench Verified 的 500 个任务。
第一个发现:Hindsight 节省从 1% 到 57%
"事后节省"(hindsight saving)的定义是:如果我们在 agent 的 patch 已经正确的时候立刻停,能省下多少成本?
结果差异巨大:
| 模型/scaffold | Hindsight 节省 |
|---|---|
| Qwen3-32B in SWE-agent | 57% |
| Qwen3-32B in mini-SWE-agent | 25% |
| Qwen3-8B in mini-SWE-agent | 17-19% |
| 某些模型 | 不到 1% |
更扎心的是另一个数字:在 mini-SWE-agent 里,Qwen3-32B 在通过自测之后继续工作的那些运行中,80-87% 的情况下,它最终提交的 patch 和通过自测时一模一样。也就是说,它白干了。
第二个发现:一个简单规则能省 23%
既然 agent 自己不知道什么时候该停,那我们给它一个规则呢?
论文测试了一个非常简单的规则——"同一个 patch 连续通过两次自测就停"(pass-twice rule)。为什么是两次?因为第一次通过之后,agent 可能还会修改 patch(比如加 edge case 处理),而第二次通过同一个 patch 说明它稳定了。
结果:
- 在 mini-SWE-agent 的三个模型上,这个规则能恢复 hindsight 上界的 68-77%。
- 在一个预注册的复制实验(386 条新运行)中,它省下了 23% 的成本。
- 但是——质量测试没有通过非劣效性(non-inferiority)检验,即不能在统计上保证"提前停不比跑到底差"。损失大约是 1.0 个百分点。
第三个发现:为什么有时候提前停会掉点?
论文最精彩的部分是一个分解公式,解释了"提前停"对质量的影响从哪来:
质量变化 = 触发率 × 后续 patch 变化率 × 每次变化的净修复
三个因子,逐一解释:
1. 触发率(firing rate):规则被触发的频率。规则越激进(比如"第一次通过就停"),触发率越高。 2. 后续 patch 变化率(patch change rate):被规则截断的那些运行中,如果让它继续跑,patch 会被改掉的比例。 3. 每次变化的净修复(net repair per change):那些被改掉的 patch 里,改完变好的减去改完变坏的,净收益。
关键洞察:前两个因子不需要隐藏测试就能算出来,只有第三个需要。 这意味着你可以用前两个因子做快速诊断——如果某个 agent 的触发率高但后续变化率低,那提前停几乎不会损失质量。
用这个分解看 SWE-agent 和 mini-SWE-agent 的差异:SWE-agent 在通过自测后,40% 的运行会改 patch;mini-SWE-agent 只有 10%。所以同样的规则在 SWE-agent 上损失更大(2.8 点 vs 0.3 点)。
更极端的是 DeepSeek-V4-Flash:它的后续修改净效果是负的——改了反而更差。对这种模型,提前停不仅省钱,还可能提质量。
第四个发现:什么方法不管用
论文花了很多篇幅报告负面结果,这比正面结果更有价值:
1. Prompted stopping(在 prompt 里告诉 agent "测试过了就可以停"):不管用。 2. Asking the agent(让 agent 自己判断该不该停):不管用。 3. Hindsight labels(用事后标签训练 agent 学会停):不管用——随机位置的标签或仅仅时机恰当的标签都会让 agent 学会"放弃"而不是"停"。 4. Learned trajectory policy(学一个轨迹策略来决定何时停):不管用。 5. Risk-controlled rule choice(根据风险动态选规则):不管用。 6. Terse prompting(精简 prompt):不管用。
这些负面结果说明了一件事:让 agent 学会"适可而止"是一个非常难的问题。 不是靠 prompt engineering 能解决的。
第五个发现:什么方法管用——Stop Distillation
唯一有效的方法是 stop distillation(停止蒸馏):
1. 用 pass-twice 规则在 agent 自己的历史运行上打标签——哪些时刻该停。 2. 用这些标签微调 agent。 3. 微调后的 agent 在没见过的任务上,自己就能学会停。
结果:六个训练种子平均省下 30% 的成本,质量损失 1.2 点(同样,非劣效性未确立)。
关键细节:
- plain fine-tuning(不带停止标签)什么都不省——说明不是"微调本身"在起作用,而是停止信号。
- 随机位置的停止标签会让 agent 学会放弃——它不是学到"什么时候该停",而是学到"随便停"。
- 时机恰当但非规则驱动的标签也不行——必须是规则生成的标签。
上帝视角:73-90% 的节省是可能的
论文最让人唏嘘的数字是:如果你有上帝视角(知道哪些运行最终会成功、哪些不会),截断可以在任何地方省下 73-90% 的成本。 其中大约一半来自"在 patch 正确时立刻停",另一半来自"放弃那些永远不会成功的运行"。
但这两半都需要 agent 没有的信息:隐藏测试的结果,以及"这条运行最终会不会成功"的预言。
这个数字定义了一个上界——也定义了问题的本质:"什么时候该停"本质上是一个信息不对称问题。 Agent 不知道自己的 patch 对不对(只有隐藏测试知道),也不知道自己继续跑下去会不会成功(只有未来知道)。
一个被忽视的陷阱:评分方式会反转结论
论文有一个让人后背发凉的发现:评分方式不同,结论会反过来。
默认的评分方式是看 worktree diff(工作区差异)。但如果你漏掉了 staged changes(已暂存的修改),有些模型的 resolution 会被低估最多 7 个百分点。这不仅让"提交最后一个通过 patch"的 1.3 点收益变成 0.3 点,还反转了一个关于"什么因素预测 patch 会被后续修改"的结论。
这意味着:在 coding agent 评测里,评分 pipeline 的细节可能比模型选择更重要。 你以为你在比较模型,其实你在比较评分脚本。
工程启示:给从业者的五条建议
1. 先算 hindsight saving。用 anytime evaluation 的回放方法,看看你的 agent 在"patch 已经对了"之后还花了多少。如果不到 5%,不值得优化;如果超过 30%,pass-twice 规则值得试。
2. pass-twice 规则几乎零成本。不需要训练、不需要修改模型,在 scaffold 里加一个"连续两次同一 patch 通过自测就停"的检查即可。预期节省 20-25%。
3. 不同 scaffold 的"后续修改率"差异巨大。mini-SWE-agent 只有 10%,SWE-agent 有 40%。如果你的 agent scaffold 类似后者,提前停的风险更大。
4. Stop distillation 是目前唯一验证过的学习方法。如果你有资源微调,用规则标签在 agent 自己的历史运行上蒸馏。但注意:质量非劣效性尚未确立,需要在自己的任务上验证。
5. 检查你的评分 pipeline。worktree diff vs. staged changes 的差异可能反转你的结论。在发布任何"模型 A 比模型 B 好"的声明之前,先确认你的评分脚本是对的。
我的思考:这是一个"信息论"问题
这篇论文让我想到一个更深的类比:"agent 什么时候该停"和"通信中的停止比特"是同一类问题。
在串行通信里,你需要在数据帧末尾加一个停止位,告诉接收方"我说完了"。但 agent 的"停止位"是什么?自测通过不是一个可靠的停止位——它可能假阳性。Agent 自己的"我觉得好了"也不是——它没有自我校准的能力。
论文的负面结果(prompted stopping、asking the agent 都不管用)说明了一件事:agent 缺乏一个可靠的"我完成了"信号。 而这个信号的本质是"我的 patch 对了"——但"对不对"需要外部验证(隐藏测试),这正是 agent 没有的信息。
这让我想到一个可能的方向:让 agent 学会生成自己的"验证测试"。如果 agent 能在完成任务之前,先写一个能区分"正确 patch"和"错误 patch"的测试,那它就有了一个内部的停止信号。当然,这又回到了"测试质量"的问题——但至少这是一个信息论上自洽的方向。
另一个方向是多 agent 互相验证:一个 agent 写 patch,另一个 agent 写测试,第三个 agent 判断"该不该停"。这比单 agent 自测更接近"信息论意义上的停止位"——因为验证者和被验证者是独立的。
结语
这篇论文最让我欣赏的地方不是它的结论——虽然结论很实用——而是它的诚实。它花了大量篇幅报告负面结果,明确标注"非劣效性未确立",甚至承认自己的评分方式曾经出错并反转了结论。这种"我知道我不知道"的态度,在当前 AI 论文里比你想的稀缺得多。
回到开头那个凌晨两点的场景:你盯着终端,agent 在测试通过后还在那儿敲。现在你知道了——它有 80-87% 的概率在白干,有 13-20% 的概率在改善 patch,而你没有办法在运行时区分这两者。最好的办法是给它一个"连续两次通过就停"的规则,省下 23% 的成本,接受 1 个百分点的质量不确定性。
或者,你也可以在它通过测试之后,直接按 Ctrl+C。论文的数据告诉你:你大概率没损失什么。
论文:Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop 作者:Zerui Yang, Xuanyu Zheng, Xiyuan Wang, Haolin Ruan, Xueyan Niu, Quan Xue, Guangcheng Song, Weixi Zhang, Wei Han, Bo Bai, Miaomiao Dong, Chaorui Zhang 机构:Huawei Technologies, Hong Kong Polytechnic University 相关代码:mini-SWE-agent(论文使用的 scaffold 之一)