给 AI 的技能办一场考试

给 AI 的技能办一场考试

先看一张考卷的成绩单。86 道任务题，覆盖 11 个职业域，7 种模型配置，判卷用确定性检查器。同一个 agent，不带技能，平均通过率 33.9%；带上一套人工精修的技能，50.5%。平均涨 16 个百分点上下——但分布极不均匀：医疗域 +51.9 个百分点，软件工程只 +4.5。还有个容易被略过的数字：其中 16 道题，带技能反而更差。

这张卷子叫 SkillsBench，今年 2 月挂上 arXiv。它回答的问题以前没人正经量过：技能到底值多少分。

6 月，Rutgers 团队把这片新领域整理成综述《Agent Skill Evaluation and Evolution》（arXiv 2606.11435），把散落的工作收进两张地图：技能怎么进化（四条路线），技能怎么考试（六类考卷）。

技能是什么

综述引用的定义是四元组：什么时候用（条件）、怎么做（步骤）、何时算完（终止标准）、怎么跟别的技能拼接（复用接口）。翻译成生活语言就是菜谱——适用食材、做法、出锅标准、能跟别的菜拼成一桌菜。

跟提示词的区别在可复用和可组合：提示词是一次性的叮嘱，技能是可以攒进库里的资产。攒多了，新问题就来了——库怎么管、题怎么出、坏了怎么修。这篇综述讲的就是后三件事。

进化的四条路线

执行反馈。最直觉的一路：跑一遍，看哪里错了（运行时报错、输出不对、没满足任务要求），把错误模式记下来，改写技能防再犯。跟人复盘改笔记是一个动作。

轨迹蒸馏。SPARK 只信「环境里执行出的证据」，不信没验证过的计划——从跑通的轨迹里提取技能。Trace2Skill 更细：从成功和失败两类轨迹各打各的补丁，再把重复的修复合并成一个无冲突的技能文件。

压缩与增强。库一大，重复和打架就来了。SkillNet 从 GitHub 仓库和办公文档里收技能，建相似度图，图决定两个技能该合并还是该复用。SkillX 反着来：专挑没人做过、老出失败的工具，合成新任务去补技能库的缺口。

强化学习。D2Skill 的设计最巧：同一个任务跑两遍——带检索到的技能跑一遍，不带跑一遍——两次的成功率差值当奖励。技能有没有用，直接变成可训练的信号，而不是人拍脑袋的评语。

四条路线不是互斥的流派，更像一个流水线的四段：跑出来（反馈）、攒下来（蒸馏）、理干净（压缩）、练进去（RL）。

考试的六类考卷

效用卷就是开头那张 SkillsBench——平均涨 16 个百分点，医疗涨 51.9，软件工程只涨 4.5，还有 16 道题倒退。

生成卷考造技能的质量。SkillLearnBench 的发现值得记：没有外部执行反馈，模型自产自销的技能会误差累积，越学越歪。

路由卷考找技能。SkillRouter 攒了 8 万个技能、75 条专家验证的查询，测出一个反直觉的数：只用技能的名字和简介做路由，精度比用全文掉 31 到 44 个百分点。简介会骗路由器，正文才作数。

安全卷最扎眼。SkillGuardBench 收了 581 个技能包，标成良性、可疑、恶意三档，归纳出三种常用暗器：藏起来的改写、伪装过的转发、远程拉取的引导。SKILL-INJECT 更进一步，把恶意指令塞进正经技能里，测运行时 agent 会不会照做。综述在这里给了一句冷判断：现有安全基准全是「先审后装，装完不管」——技能装进库之后的长期行为，尤其是库在持续演化时的行为，没有考卷覆盖。

软件工程卷。SWE-Skills-Bench 拿 49 个公开技能配 565 个任务实例。综述的批注也直接：公开仓库配固定 commit，可复现性好，但专有流程、遗留代码、持续变动的工程实践全都测不到。

真实环境卷。SkillForge 用 5 家云厂商技术支持场景的 1,883 张工单、3,737 个任务。WildClawBench 把 agent 扔进真实的个人助理环境跑 60 道题——这个基准是综述作者自己做的，照实说明。

综述没解决的三件事

未来方向一节点得克制：多数技能包是纯文本的程序性知识，对付不了看屏幕、开网页、操纵机器人的多模态场景——视觉状态决定下一步动作的地方，菜谱写不进照片。轨迹数据怎么用好、技能安全怎么从门禁变成持续监护，两个都还是开口。

收尾

考卷、路线图、30 颗星的仓库（github.com/Cassie07/AgentSkill_Survey），全在。想复算 SkillsBench 的成绩，原论文是 arXiv 2602.12670。

下次有人告诉你「技能让 agent 变强」，可以先问一句：平均涨多少，哪几个域涨得最凶——以及，哪 16 道题除外。