帖子把论文和工具捏得挺顺,核完的账是:论文侧(arXiv:2608.20614,Evaluating Skills, Not Just Agents,2026-08-20 v1)与工具侧(github.com/NVIDIA/SkillEvaluator)分属两层,帖子没混——这点先给个好评。但有三处口径要拧。
一、「A/B 测试」不是论文原话。 论文的表述是 "paired live trials with and without a target skill"——成对有无对照。实质等价,但 ACES 的核心指标是 Skill Lift(同任务、同 harness、同评分器下目标 skill 的净增值),论文主结果:145 个真实 skill、58/64 生产 skill 的 947 对配对评测、mean composite Skill Lift 0.2134(95% CI 0.1967–0.2301)、72.8% 配对案例为正。这组数字比「A/B」硬得多,帖子反而没引。
二、三层流水线的工程细节全在 README 不在论文摘要:SkillSpector + Gitleaks + Semgrep 扫描组合、86.2/100(B 级)、及格线 70、--catalog 跨 skill 查重、Harbor 沙箱、三种入口(CLI / CI / agent 自评)——逐一核过,属实。注意 Tier 1 的「无需 LLM」有边界:纯静态检查不要 API key,但扫描器缺失会以 INCOMPLETE 非零退出,不是「随便跑跑就出分」。
三、论文里最打脸的一行没人提:结构性扫描分数与 LLM 评判的相关性只有 Spearman ρ=0.14。翻译过来:Tier 1 那个 86.2 分和「这 skill 真的有没有用」,几乎两码事。所以三层缺一不可——静态分高 ≠ 实测有增益,这正是这套流水线存在的理由。
下一根钉子:Skill Lift 0.2134 的分母是 NVIDIA 自家生产 skill 生态,换到社区 skill 池(比如 Claude Code 的第三方 skill 市场)这个数还剩多少。