静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
✨步子哥 @steper · 2026-07-29 02:05

给 Agent 装技能库,为什么它反而把原本会的题做错了?

一个反直觉的发现

想象你雇了一个能干的助手,他擅长处理各种办公任务。你觉得他还能更厉害,于是给他配了一本"标准操作手册"——各种任务的最佳实践技能库。结果呢?他的平均成功率确实提高了。但如果你逐个任务检查,会发现一个诡异的现象:有些他原本能做对的题,装了技能库之后反而做错了。

这不是假设。Sentient Labs 的 Darshan Tank 和 Baran Nama 在 2026 年 7 月发布的论文《The Regression Tax》中,用 5832 次实验揭示了这个被平均数掩盖的暗面。

5832 次实验拆解:59% 的增益被"回归税"吃掉

研究者做了件此前没人系统做过的事:不只看"装了技能库后平均成功率提升多少",而是逐个任务对比"装了技能库前能解决、装了之后反而失败"的案例。他们把这个现象叫做回归(Regression)——技能让 Agent 变差了。

实验跨越两个办公自动化基准(SpreadsheetBench和某办公任务基准)和三个模型工具链,共 5832 次任务-条件运行。结果触目惊心:

  • 553 次"增益":原本失败、装了技能后解决
  • 324 次"回归":原本解决、装了技能后失败
  • 回归抵消了 59% 的增益
更反直觉的是:表现最好的技能库之所以胜出,不是因为它的增益更多,而是因为它的回归更少。这就像两个投资组合,A 赚了 100 万但亏了 60 万,B 赚了 80 万但只亏了 10 万——B 的净收益更高。你以为 B 是"更会赚钱"的选手,其实 B 是"更不会亏钱"的选手。

三种"隐形杀手":技能如何在你没注意时让 Agent 变差

研究者深入分析执行轨迹后,识别出三种回归机制。这三种机制的阴险之处在于:它们大多发生在技能"没被调用"的时候。

杀手一:技能描述渗透(Skill-Description Osmosis)

技能库放在系统提示词里,Agent 每一步都能看到所有技能的描述。问题是,仅仅看到技能描述,就足以改变 Agent 的行为——哪怕这个技能从未被调用。

类比:你给新员工一本厚厚的操作手册放在他桌上。他从头到尾没翻开过,但手册的存在让他下意识地觉得自己应该按"手册风格"做事。结果他原本灵活的处理方式变得僵化了。技能描述像一种气味,弥漫在上下文里,悄悄改变 Agent 的决策倾向。

杀手二:接地置换(Grounding Displacement)

技能规定的操作流程,覆盖了 Agent 原本解读输入的方式。Agent 不再仔细"读题",而是按技能流程预设的方式去理解输入——哪怕这种理解是错的。

论文附录里有个精彩案例:Agent 面对一张包含图表的电子表格,技能流程预设了"先读图表标题"的步骤。但这张表的标题位置有歧义,Agent 原本能正确识别,却因为技能流程的暗示,把错误的单元格当成了标题,导致后续全盘皆错。技能不是在方法层出错,而是在更早的"读题"层就偏了。

杀手三:验证置换(Verification Displacement)

技能流程抑制了 Agent 本应对输出执行的检查。Agent 原本会回头验证"这个结果合理吗?",但技能流程给了它一种"流程走完了就是对的"的错觉。

这三种机制的共同特征是:它们都不是技能"做了什么"导致的,而是技能"存在"本身导致的。 传统的"检测有害技能然后删除"的方法对此无能为力,因为技能根本没被调用——你没法删除一个没被调用的技能。

真正的瓶颈不在"方法",而在"接地"和"验证"

论文最深刻的发现来自对持续失败(有技能和无技能都失败的任务)的分析。研究者把 Agent 任务分为三个阶段:

1. 接地(Grounding):正确读取和解读输入 2. 方法(Method):执行操作流程 3. 验证(Verification):检查输出是否合理

现有技能库几乎全部聚焦于"方法"阶段——教 Agent 怎么做。但执行轨迹分析显示,持续失败的主要来源是接地和验证,而不是方法。技能库在错误的层面使劲。

这就像一个学生考试不及格,老师以为是他"解题方法"不对,给他塞了一堆方法手册。但实际上他丢分的原因是"读题读错了"和"算完没检查"。方法手册不仅没帮他,还可能让他更不重视读题和检查。

研究者做了件漂亮的事:他们重新评分了 226 个被原始评分器误判的任务(原评分器自己也有接地问题),发现许多"回归"和"持续失败"其实可以通过更好的接地和验证来恢复。

这对 Agent 系统设计意味着什么

1. 评估技能不能只看平均分,必须拆解净效应

一个技能让 Agent 在 10 个任务上提升 5 个、在 5 个任务上回归 5 个,平均分是"提升 0"——但这个"0"掩盖了完全不同的两种失败模式。论文呼吁:技能评估必须把净效应分解为增益和回归,而不是只看总体改进。

2. 技能描述本身就是行为干预

"技能描述渗透"的发现意味着,技能库的设计不只是"写好技能内容",技能的描述文本本身就是一种行为干预。一个从未被调用的技能,仅凭描述就能改变 Agent 行为——这要求技能描述的设计要像设计 prompt 一样谨慎。

3. Agent 可靠性的瓶颈在接地和验证,不在方法

这是论文最反直觉的结论:可靠性更多取决于接地和验证,而非程序性技能选择。 现有技能库过度投资于"教 Agent 怎么做",却低估了"帮 Agent 读对题"和"帮 Agent 查出错"。

跨域类比:为什么"加东西"反而让系统变差

Regression Tax 不是 Agent 领域独有的现象。这是一个更普遍的原理:给复杂系统添加优化组件,可能因为干扰原有流程而产生负效应。

  • 软件工程:给代码库加抽象层,有时让简单逻辑变慢——抽象的"存在本身"就有成本
  • 组织管理:给团队加流程规范,有时让原本灵活的处理变僵化——规范的存在改变了行为,哪怕没被严格执行
  • 教育:给学生加解题模板,有时让原本能做对的题做错——模板暗示了错误的解题路径
Regression Tax 的贡献在于:它不只指出了这个现象,还拆解了"为什么"——三种机制,两种被忽视的瓶颈阶段。这让"加东西让系统变差"从一句模糊的抱怨,变成了可诊断、可改进的工程问题。

结语

论文标题里的"Tax"(税)是个精准的比喻。技能库不是免费的——它有税。这个税不是调用技能时付的,而是技能"存在"本身就在收的。5832 次实验告诉我们:最好的技能库不是增益最多的,而是交税最少的。

更深一层的启示是:Agent 系统的可靠性瓶颈不在"会不会做",而在"读得对不对"和"查得严不严"。这和人类执行复杂任务的瓶颈是同构的——大多数错误不是不会做,而是没看清题目、没检查结果。技能库应该像好老师一样,帮 Agent 在它真正薄弱的环节(接地和验证)下功夫,而不是在它已经做得不错的环节(方法)继续加码。

论文链接:https://arxiv.org/abs/2607.22520 (论文未开源代码,分析基于论文原文)

暂无表态