PACE：用100道题预测Agent能力——把评测成本砍掉99%
> 论文：PACE: A Proxy for Agentic Capability Evaluation > 作者：Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng, Yunze Xiao, Daniel Lee, Aditya Bharat Soni, Vincent Lo, Xiang Yue, Graham Neubig > 机构：Carnegie Mellon University / Salesforce AI Research > 论文链接：https://arxiv.org/abs/2607.02032 > 代码库：https://github.com/neulab/pace-bench > 一句话：Agent评测太贵太慢？用100道原子能力题，预测精度接近全量评测，成本不到1%。
---
一、Agent评测的痛点：贵、慢、难
做Agent研究的人都有一个共同噩梦：跑一遍评测。
以SWE-Bench为例：
- 每个模型需要处理真实的GitHub issue，调用工具、读代码、写patch、跑测试
- 单模型评估成本：数千美元
- 单模型评估时间：数天
- 需要复杂的基础设施：Docker、GPU、API密钥、并行调度
结果是：
- 小团队根本玩不起——没有算力、没有预算、没有infra团队
- 模型开发迭代周期被评测拖死——改完模型要等几天才知道效果
- 模型选型靠猜——不知道哪个模型适合自己场景，因为跑不起评测
- 快速（秒级）
- 便宜（几乎零成本）
- 简单（不需要复杂环境）
---
二、PACE的核心思路：从原子能力到系统能力
PACE的直觉很简单：
> Agent能力是原子能力的组合。如果知道模型在推理、代码、数学、工具使用等原子能力上的表现，理论上可以预测它在组合这些能力的Agent任务上的表现。
关键挑战：不是"能不能预测"，而是"用哪些原子题、怎么加权、预测精度够不够"。
PACE框架分三步：
第一步：构建候选池
从19个非Agent基准中收集大量原子能力实例，覆盖：
- 推理（MMLU、BIG-Bench-Hard等）
- 代码生成（HumanEval、MBPP等）
- 数学（GSM8K、MATH等）
- 工具使用（各种API调用基准）
- 长上下文（L-Eval、RULER等）
- 指令遵循（IFEval等）
第二步：双准则实例选择（核心创新）
从候选池中选出一小撮（~100个）最有预测力的实例。PACE用了两个互补信号：
局部信号（Target-Relevance）：
- 衡量单个实例与目标Agent基准的秩相关性
- 如果模型A在这道题上比模型B强，模型A在目标基准上是否也比模型B强？
- 选那些"局部排序能反映全局排序"的题
- 通过SVD leverage score挑选信息量大的实例
- 避免选太多高度相关的题（冗余）
- 保证覆盖不同能力维度（多样性）
第三步：噪声稳定回归
用选出的100个实例的得分，回归预测目标Agent基准的得分。
关键问题：目标标签（Agent基准成绩）本身有噪声——同一模型多次运行Agent评测，结果可能波动。PACE用bootstrap重采样的最小二乘回归来降低噪声影响，提升预测稳定性。
---
三、实测结果：精度与成本的完美平衡
跨模型、跨基准的泛化能力
在14个模型、4个Agent基准（SWE-Bench、GAIA、WebArena、AppArena）、19个非Agent基准上测试：
| 指标 | 结果 |
|---|---|
| LOOCV MAE（留一法交叉验证平均绝对误差） | < 4% |
| Spearman相关系数 | > 0.80 |
| 成对模型排序准确率 | ~ 85% |
| 成本 | < 1% 的全量Agent评估成本 |
- 如果GPT-5和Claude 4在PACE上得分分别是85和82，它们在SWE-Bench上的真实得分很可能也是这个顺序
- 用100道原子题（几分钟、几美元），可以预测全量评测（几天、几千美元）的结果
对未见过模型的泛化
最关键的问题：在训练集（已知模型）上选出来的代理实例，能不能预测训练时没见过的新模型？
答案是能。跨4个主流Agent基准，Spearman相关度都超过0.8，模型排序准确率约85%。
这说明PACE选择的不是"过拟合到特定模型"的题，而是真正反映Agent能力的原子能力组合。
成本-精度Tradeoff
预测精度随代理实例数量提升平稳上升：
- 50个实例：已经能用
- 100个实例：甜点区（精度接近饱和）
- 几百个实例后：收益递减
---
四、可解释的能力分析：Agent任务到底需要啥？
PACE的另一个价值：分析每个Agent基准最依赖哪些原子能力。
通过看选中的代理实例来自哪些非Agent基准，可以反推：
- SWE-Bench最需要：代码生成 + 长上下文 + 工具使用
- GAIA最需要：推理 + 多模态 + 知识检索
- WebArena最需要：网页理解 + 导航 + 表单交互
- AppArena最需要：GUI理解 + 操作序列 + 状态跟踪
- 如果你想提升SWE-Bench成绩，优先强化代码和长上下文能力
- 而不是盲目堆通用推理
五、为什么这事值得重视？
1. 评测民主化
Agent评测一直是头部玩家的游戏。PACE让小团队也能做正规的Agent能力评估：
- 100道原子题，几分钟跑完
- 不需要Docker、不需要GPU集群、不需要复杂infra
- 预测精度足够做模型选型、迭代评估、能力分析
2. 开发效率的革命
模型开发的核心循环：训练→评测→分析→改进。PACE把这个循环从"天"压缩到"分钟"：
- 快速迭代：改完模型立刻知道大概效果
- 早期淘汰：不好的模型不用浪费全量评测
- 能力诊断：知道短板在哪，针对性改进
3. 模型选型的科学依据
企业部署Agent时面临选型问题：用GPT-5还是Claude 4还是开源模型？PACE提供低成本预测：
- 跑100道原子题，预估各模型在目标场景的表现
- 避免"买最贵的"或"跟风选"的盲目决策
4. 从"黑箱评测"到"可解释分析"
传统Agent评测给你一个分数，但不告诉你为什么。PACE不仅预测分数，还揭示能力结构：
- 这个Agent任务需要哪些原子能力？
- 我的模型在这些原子能力上表现如何？
- 优化哪个原子能力对目标提升最大？
---
六、局限与边界
1. 代理评测 ≠ 真实评测
PACE是预测，不是替代。在关键决策（如论文发表、产品上线）前，仍然需要全量Agent评测作为最终验证。PACE的价值在开发阶段和筛选阶段。
2. 原子能力的假设
PACE假设Agent能力可分解为原子能力的组合。对于涌现行为（emergent abilities）或高度依赖特定工具链的任务，这个假设可能不完全成立。
3. 目标基准的覆盖
论文测试了4个Agent基准。对于更多样化的Agent任务（如机器人操作、科学实验、创意写作），PACE的有效性需要验证。
4. 回归模型的局限
线性回归假设原子能力和Agent能力之间存在线性关系。实际可能是非线性的、有交互项的。论文的bootstrap重采样缓解了部分噪声问题，但模型形式本身是简化。
5. 非Agent基准的选择
PACE依赖现有的非Agent基准池。如果某些关键原子能力没有被现有基准覆盖，PACE就无法捕捉。
---
七、一句话总结
PACE的核心洞察是：Agent能力不是魔法，它是原子能力的组合。只要选对原子题，用对预测方法，100道单元测试就能预测全量集成测试的结果。
这不仅是评测成本的优化，更是Agent研究方法论的一次升级——从"黑箱跑分"到"可解释的能力诊断"。对于任何做Agent开发、模型选型、能力分析的人来说，PACE都值得仔细研究并接入工作流。
---
参考信息
- 论文：PACE: A Proxy for Agentic Capability Evaluation (arXiv:2607.02032)
- 作者：Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng, Yunze Xiao, Daniel Lee, Aditya Bharat Soni, Vincent Lo, Xiang Yue, Graham Neubig
- 机构：CMU / Salesforce AI Research
- 代码库：github.com/neulab/pace-bench
- 测试模型：14个LLM（含闭源和开源）
- 目标Agent基准：SWE-Bench、GAIA、WebArena、AppArena
- 源非Agent基准：19个（MMLU、HumanEval、GSM8K、MATH等）
- 核心指标：MAE<4%、Spearman>0.80、排序准确率~85%、成本<1%
- 技术：双准则实例选择（局部相关性+全局信息量）+ Bootstrap最小二乘回归
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用，智谱新一代旗舰模型 GLM-5 已上线，在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens