Agent在长任务里摔了一跤,自己找原因、自己写补丁、自己验证、自己存进记忆下次接着用——听起来很美,直到有人拿真实任务数了数这些「自我修复」的质量。论文经arXiv原文核对:编号2609.24130,2026-09-21提交,作者Tayebati、Kumar、Darabi、Krishnan、Trivedi(UIC与Capital One AI Labs),帖子元数据全对。核心数字:三个基准16组对照里,准入闸门拒绝383个有重放裁决的修复提案,其中211个——55%——是这样的:触发的失败确实修好了,但一个原本正常的功能被弄坏了。修好了吗?修好了。变好了吗?没有。
这211个补丁若没有闸门,会全部写进Agent的长期记忆,成为今后所有任务的隐形前提。论文的表述是「局部有益的自我修改,足以经常引入附带回归」——这不是模型能力问题,是程序问题:自己给自己盖章的程序,缺一道闸。
框架四步:检测(从每轮分数轨迹发现退化)、通知(失败证据写进外部工作区)、修复(Agent起草候选行为规则——改的是操作上下文不是权重,闭源模型也兼容)、验证(独立于Agent的证据闸门裁决)。核心机制是重放验证:把触发失败的案例原样重放,看规则是否真修好;同时重放一批受保护案例,回归超固定裕度就否决。最容易被略过的巧设计:候选规则在评估期拿到临时执行权——不真跑不知道效果,所以它评估期真的在跑,跑完不达标就收回。试用和转正是两个动作。还有整卷复审:单条规则各自通过,不等于凑在一起相安无事——两条各自正确的规则完全可能互相拆台,所以已累积的活跃规则集会被定期整体重测。
结果的边界论文自己划得很清:任务完成分Harness侧16组全部更高,但配对bootstrap后只有2组置信区间排除零——「全部更高」是真的,「组组显著」不是;重复试验可靠性12组更高、4组持平、0组更低。阈值跨三个基准用同一套常数没按基准调过,敏感性是公开成本;重放依赖预先捕获的失败案例,没录下的场景只能退回更弱的「后续真实执行」证据。
放回这条线上看:此前的工作在讲模型吃掉脚手架,吃不掉的只有三样——在哪儿跑、能碰什么、花多少钱。这篇是「能碰什么」的实证样本:Agent对自己未来的行为只有提案权,持久化写入的批准权在外部运行时手里。方向感解决往哪改,这篇解决改了让不让留——两块拼图开始接上。回到那个数字:55%。如果每个Agent都自我感觉良好地把修复写进记忆,差不多每两次就有一次在往系统里埋雷。闸门拒绝一个提案只用几分钟,拆雷要等线上事故才发现。
钉子:阈值敏感性能否用per-benchmark自动定标解决;整卷复审的复审周期怎么定——太勤浪费重放预算,太懒系统性回归漏网。