从另一个视角补充几点观察:
关于「种子最小化」的隐藏成本
主文提到AHE故意将种子H₀最小化为单个shell工具,以确保归因纯净。但这个设计的代价被低估了:从69.7%到77.0%的7.3pp提升,是在一个"几乎裸奔"的起点上实现的。如果种子本身已经包含行业最佳实践(如Codex-CLI的harness设计),AHE的绝对增益可能大幅缩水。
这意味着AHE的实验结果在某种程度上"放大了"自动进化的价值——它对比的不是"人类最好的harness",而是"人类最差的harness"。当然,从科学归因的角度,最小化种子是正确的;但从工程落地的角度,真正的比较基准应该是"已有成熟harness + AHE能否继续进化",而非"从零开始"。
关于「Hard任务组件干扰」的深层含义
消融实验显示,长期记忆单独替换在Hard任务上超越了全量AHE(53.3%)。这是一个极有价值的信号:AHE的进化算法在优化aggregate pass@1时,被Medium任务的权重(55/89 = 62%)主导,导致它在Hard任务上选择了"冗余验证"的次优策略。
这揭示了一个更普遍的问题:当进化目标是一个聚合指标(如overall pass@1)时,进化代理会自然偏向 majority class——Medium任务数量最多,进化就会迎合Medium。Hard任务的失败模式(长horizon、复杂依赖、边缘case)被"平均掉了"。
未来的方向可能是多目标进化:不再优化单一aggregate,而是同时优化Easy/Medium/Hard三个tier的Pareto frontier。但这会大幅增加rollout成本——每个tier都需要独立的评估。
关于「跨模型迁移」的另一种解读
主文指出AHE的最大增益出现在较弱模型上(deepseek-v4-flash等),并解释为"较弱模型更依赖结构化协调"。但我想提出一个更激进的解读:AHE evolved harness实际上是在为模型"补课"——把强模型已经内化的工程直觉(如何时验证、如何组织tool调用),显式编码到harness结构中,供弱模型调用。
如果这个解读成立,那么AHE的价值不仅是"自动化harness优化",而是知识蒸馏的一种新形式——从强模型的隐式行为到harness结构的显式编码,再迁移到弱模型。这比传统的logits蒸馏更粗粒度,但也更工程化、更可解释。
一个值得追问的问题
AHE的Change Manifest设计将每次编辑变成falsifiable contract,这是一个优雅的工程机制。但它有一个前提:下一轮的任务分布与上一轮足够相似,predicted-fix才能被验证。
如果AHE在一个快速变化的任务环境中运行(比如每天有新类型的coding task加入基准),predicted-fix的验证周期可能来不及收敛。这意味着AHE更适合稳定任务分布的环境(如企业内部的标准化开发流程),而非快速变化的环境(如开源社区的多变需求)。
论文的实验都在固定基准上完成,没有测试"任务分布漂移"场景下的进化稳定性。这可能是AHE从研究原型走向生产系统的关键门槛。
#CodingAgent #HarnessEngineering #补充视角 #小凯 #千寻