一个尴尬的现状
你给 Claude Code 装了 20 个 skill:一个负责写测试,一个负责 SQL 优化,一个负责安全审计。每个 skill 都有精心写的 README、示例代码、使用说明。你觉得你的 agent 现在很强。
但有人问你:这些 skill 里,哪几个真的让 agent 变强了?哪几个是噪音?哪几个甚至有害?
你答不上来。因为目前业界评测 AI agent,评的是"整个 agent 的表现"——跑 SWE-bench、跑 HumanEval、跑各种 benchmark,得到一个总分。但这个总分无法告诉你:到底是哪个 skill 贡献了提升?哪个 skill 在拖后腿?
这就像你给运动员吃了 20 种补剂,然后测了成绩——成绩提升了 5%,但你不知道是哪种补剂起的作用,也不知道哪几种在互相抵消。
NVIDIA 的 SkillEvaluator 就是来解这个问题的。
核心理念:评测技能,不是评测 Agent
SkillEvaluator 来自 NVIDIA 的 Agent Skills 规范 生态。它不评测 agent 本身,而是评测 skill——一个由指令文件和支撑资源组成的文件夹,遵循 Agent Skills 开放标准。
这个区分很关键:
| 评测对象 | 粒度 | 能回答的问题 |
|---|---|---|
| Agent 整体 | 粗 | "这个 agent 在 SWE-bench 上得多少分?" |
| 单个 Skill | 细 | "这个 SQL 优化 skill 真的让 agent 写出更好的 SQL 了吗?" |
NVIDIA 在他们的论文《Evaluating Skills, Not Just Agents》(arXiv:2608.20614)里提出了 ACES 框架(Agentic Continuous Evaluation of Skills),核心论点是:skill 是 AI agent 能力的新单元,需要独立的、持续的评测。
这和软件工程的演进很像:从"测试整个系统"到"单元测试每个模块"——不是因为系统级测试不重要,而是因为模块级测试才能定位问题。
三层流水线
SkillEvaluator 的设计是三层独立流水线,每层回答一个不同的问题:
Tier 1:Validation(验证)—— 这个 skill 安全吗?规范吗?
问题:skill 文件夹是否安全、是否符合规范、是否兼容 Agent Skills 标准。
检查内容:
- 静态质量检查(无需 LLM,无需 API key)
- 安全扫描(SkillSpector + Gitleaks + 可选 Semgrep)
- 规范兼容性(arness-compatible)
关键点:Tier 1 不需要 LLM。这意味着你可以免费、快速地跑完这一层。示例 skill 跑出来是 86.2/100(B 级),通过阈值默认 70。
Tier 2:Deduplication(去重)—— skill 之间有重叠吗?
问题:你装了 20 个 skill,其中 5 个都在做"代码格式化",3 个都在做"SQL 优化"——它们在语义上重叠了吗?
检查内容:
- 用 embedding 计算 skill 之间的语义相似度
- 支持
--catalog参数做跨 skill 比较 - 检测指令重叠和功能重叠
为什么重要:skill 重叠不只是浪费——它会让 agent 困惑。当两个 skill 都声称处理"代码格式化"时,agent 不知道该调哪个,可能两个都调,也可能都不调。Tier 2 在安装时就发现这种冲突。
Tier 3:Live Evaluation(实测)—— 这个 skill 真的让 agent 变强了吗?
问题:skill 在实际任务中是否提升了 agent 的表现。
方法:A/B 测试——同一个 agent,同一个任务,跑两次:一次有 skill,一次没有。比较任务完成质量。
基础设施:
- 用 Harbor 做沙箱化 agent 运行
- 支持多种 agent 后端
- 自动生成评测数据集(或用用户提供的
evals/EVAL.md)
这是最关键的一层——它不是在问"skill 写得好不好",而是在问"skill 有没有用"。一个写得漂亮但没用的 skill,和一个写得粗糙但效果显著的 skill,Tier 3 能区分出来。
三种使用方式
SkillEvaluator 的入口设计得很好——同一个 CLI,三种路径:
| 路径 | 场景 | 门槛 |
|---|---|---|
| 直接 CLI | skillevaluator validate ./my-skill |
装个 pip 包就行 |
| CI 集成 | skillevaluator ci init 自动创建 GitHub Actions |
在 PR 里检查 skill 变更 |
| Agent 自评 | 把 SkillEvaluator 本身作为 skill 装给 Claude Code / Codex | Agent 问自己"我的 skill 好不好" |
第三种最有意思——SkillEvaluator 本身是一个 skill,你可以让 agent 用它来检查自己的其他 skill。这就像让程序员用 linter 检查自己的代码一样自然。
NVIDIA Verified Skills 生态
SkillEvaluator 不是孤立工具——它是 NVIDIA Verified Skills 流水线的一部分。这个生态的愿景是:
- Skill 作为标准单元:遵循 Agent Skills 规范的文件夹,可跨 agent 平台使用(Claude Code、Codex、Cursor、Antigravity、Gemini CLI)
- Verified 标签:通过 SkillEvaluator 三层检查的 skill 获得 "Verified" 标签
- CI 门禁:在 PR 里自动检查 skill 质量,防止劣质 skill 合入
这和 npm 的 package.json + CI 检查、Python 的 pytest + coverage 类似——把质量保障嵌入开发流程,而不是事后检查。
一个更深的问题
SkillEvaluator 引出了一个值得思考的问题:AI agent 的能力到底属于谁?
目前主流观点是:agent 的能力 = 模型能力 + prompt 工程。但 SkillEvaluator 暗示了另一种观点:agent 的能力 = 模型能力 + skill 集合。skill 是独立于模型的"能力包",可以安装、卸载、评测、组合。
这和软件工程的演进一致:从"程序员的能力在脑子里"到"能力在代码库里"——单元测试、模块化、持续集成让代码质量变成可管理的工程问题。SkillEvaluator 在做同样的事情:把 agent 的"能力"从模糊的 prompt 工程变成可评测、可管理的 skill 工程。
当 skill 可以被独立评测、持续检查、CI 门禁时,"agent 能力"就不再是一个黑箱——它变成了一个可以被工程化管理的资产。
仓库信息
- 项目:NVIDIA/SkillEvaluator
- 语言:Python
- 协议:Apache-2.0
- 论文:arXiv:2608.20614
- 文档:docs.nvidia.com/skills/skillevaluator
- PyPI:
pip install skillevaluator
SkillEvaluator 做的事情,本质上是在问一个问题:当 AI agent 的能力可以被拆成一个个"skill"时,我们该怎么管理这些 skill 的质量?
答案和软件工程几十年来的答案一样:分层评测、持续检查、CI 门禁。只不过这次评测的对象不是代码,而是 AI 的"能力包"。
这可能是 AI agent 从"prompt 工程时代"进入"skill 工程时代"的标志。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。