《死亡证明上的第一名》

—— Prefix Executability：给 Tool-Use Agent 的轨迹开一份体检报告，而不是一张死亡证明

论文：Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success
作者：Amir H. Rezaeian, Weiyi Sun, Yassine Benajiba, Dan Roth（Oracle AI）
arXiv：2610.40444 [cs.AI]（2026-10-29）

🕯️ 引子：一份只有结论的验尸报告

设想你是一位医生，面前摆着两份病人的档案。

第一份档案写着："该患者最终死亡。" 没有病程记录，没有化验单，没有哪一天开始发烧、哪一天指标异常、抢救时用了什么药。只有结局。

第二份档案是一份完整的住院日志：每一天的体温、每一次用药后的反应、哪一天的哪一项指标先越过了红线、之后又回落了多少。

现在问题来了：如果你是一位想改进疗法的医生，哪份档案对你有用？

答案不言自明。然而在过去的几年里，整个 AI 行业对 "tool-use agent"（会调用工具的 AI 智能体）的评估，用的恰恰是第一种档案——最终成功率（final success）。任务做完了，记 1；没做完，记 0。至于这个 agent 是行云流水一路走到底，还是第三步就踩了雷、后面十七步全靠连滚带爬地蒙混过关——没人知道，也没人在乎。

Oracle AI 的 Rezaeian、Sun、Benajiba 和 Roth 在 2026 年 10 月底挂出的这篇论文，想做的一件事朴素得近乎固执：把验尸报告改回体检报告。他们给这种评估范式起了个名字——前缀可执行性（Prefix Executability），并配套设计了一整套指标，把"这条轨迹从头健康到尾没有"变成一个可以测量、可以比较、可以画成曲线的量。

更重要的是，当他们真的把三个主流基准、三个大模型、四种 agent 架构放进这台"体检仪"里跑了一遍之后（合计 564 个任务实例、6,768 条 rollout），体检报告和死亡证明给出的"第一名"，不是同一个人。

🍳 从煎蛋开始：什么叫"可执行"

在谈任何指标之前，我们得像费曼那样，先把最基础的概念掰开。

什么叫一个动作"可执行"？想象你在厨房里煎蛋。你的"工具库"里有：冰箱、平底锅、铲子、盐罐。一个可执行的动作序列长这样：

1. 打开冰箱（冰箱在厨房里——工具存在 ✓）；
2. 取出鸡蛋（鸡蛋在冰箱里——前置状态满足 ✓）；
3. 把鸡蛋打进平底锅（锅已经在灶上——前置条件满足 ✓）；
4. 撒盐（盐罐盖子是打开的——依赖上一步的动作结果 ✓）。

而一个不可执行的动作序列可能是：

1. 打开冰箱 ✓；
2. 用铲子翻炒鸡蛋 ✗——鸡蛋还没打进去呢，你翻炒什么？这一步在文本上写得有模有样（"用铲子翻炒"语法完全正确），但在环境状态里，它引用的对象根本不存在。

注意这里的关键："看起来像那么回事"和"真的能跑"是两回事。一个 tool-call 的 JSON 长得再标准、参数填得再工整，只要它引用了上一步根本没有返回过的订单号、跳过了必须先发起的授权调用、或者在一个尚不存在的状态上执行更新——它在环境里就是一枚哑弹。

论文把这一点形式化了。一条 agent rollout 就是一串动作 τ̂ = (a₁, …, a_T)，每一步动作 a_t 被执行前的环境状态记为 s_t。一个动作是可执行的，当且仅当四个条件同时成立：

• 工具存在：被调用的工具确实暴露在当前环境里（schema/availability）；
• 参数合法：实参符合工具的接口声明和校验器（argument binding & validators）；
• 引用有效：所有被引用的中间值存在且类型匹配（没有用到过期的 ID）；
• 前置条件成立：在当前状态 s_t 下，该动作要求的显式前置条件被满足，且基准接受这次状态转移。

这个判定由基准侧的确定性打分器执行——不用 LLM 当裁判，不用人类标注，也不要求和某条"标准答案轨迹"逐字对齐。这一点值得停一秒。近两年的 agent 评测有个隐蔽的流行趋势：请一个强模型当评委，给选手的轨迹逐步打分。但评委本身也是 LLM，它会犯和选手同源的错——选手幻觉出一个参数，评委很可能同样看不出来。而这里用的是硬判定：工具暴露没暴露，查表；参数过没过校验器，跑一遍；前置条件成不成立，对着当前状态逐项核。没有审美，没有宽容，也没有评委自己的幻觉。同时，因为很多工具任务本来就存在多条合法路径（先放盐还是先打蛋，都能煎出蛋），把"和参考答案一致"当标准会冤枉好人，而把"在环境里真的能跑"当标准，则对所有合法路径一视同仁。

🔪 解剖一条轨迹：前缀、前缀、前缀

有了"单个动作可执行"的定义，论文的核心构造只有一句话：

一个前缀（prefix）τ̂≤k = (a₁, …, a_k) 是可执行的，当且仅当其中每一个动作在前序动作引发的状态下都能成功执行。

把整段轨迹从头往后一刀切一刀：第 1 步、前 2 步、前 3 步……前 T 步。每一刀都问同一个问题——到目前为止，这条轨迹还活着吗？

这就像给轨迹做全身 CT，一层一层扫过去，而不是只在终点看一眼心跳。

为什么要这么做？因为论文开头指出的那个痛点，在 multi-turn（多轮）场景下尤其尖锐：agent 的任务往往是"先查记录，拿到 ID，再用这个 ID 去更新、支付、通知"。一个靠后的调用可能在语法上完美无缺，却引用了一个早已失效的 ID；或者它在对应状态还不存在时就抢先执行了更新。这时候，一次后续"修复"依然可能把最终的系统状态掰回正确——最终成功了，但成功底下埋着一个无人知晓的拐点。只看终点的人，永远看不见这个拐点。

由此，整篇论文的度量体系像钟表齿轮一样啮合着展开。先定义一个最基本的量：

FED（First-Error Depth，首错深度）：一条轨迹第一次变得不可执行的位置。FED = min{k : 前缀 k 不可执行}；如果一路走到头都合法，则规定 FED = T + 1。

FED 是整台仪器的"原子"。它把一个原本只有 0/1 的"成败"，改写成一个问题：错误第一次暴露在第几步？ FED = 1 的 agent 是"开局即崩"型选手——第一步就调用不存在的工具；FED = T 的 agent 是"临门一脚"型——一路走得好好的，最后一步踩空。这两种失败在死亡证明上长得一模一样，在病程记录里却是截然不同的两种病。

📉 五条曲线：把"错在哪"变成坐标

从 FED 这个原子出发，论文依次点燃一串指标。它们各有各的脾气，合起来才构成完整的诊断画像。

🩺 PEC（Prefix Executability Curve，前缀可执行曲线）。这是论文的主图：一条离散生存曲线，PEC(k) = Pr[FED > k]，即"随机抽一条 rollout，它健康地活到第 k 步"的概率。曲线跌得越早、越陡，说明这个 agent 越早进入失败模式。数学上它就是生存分析里那个经典的 Kaplan–Meier 思想（论文明确引用了 Kleinbaum & Klein 与 1958 年的 Kaplan–Meier 原文），只不过"事件"不是病人的死亡，而是轨迹的第一次非法化。它天然单调不增，而且分母固定为全部 rollout 数 N——所以一条提前终止的轨迹在更深的 k 上也算"没活到"，PEC 的下降同时混合了"死了"与"走完了"两种信息。

这里有一个容易误读的地方，论文处理得很细。光看 PEC 曲线，你在第 8 步看到一个下跌，会问：是有轨迹在第 8 步踩雷了吗？不一定——也可能是很多轨迹只走到第 7 步就结束了，根本没到场。为了拆开这两种解释，论文定义了合格集合大小 n_k = Σ 𝟏{T_i ≥ k}（活到第 k 步的轨迹数），以及一条条件曲线 P̂C_elig(k) = 在活到第 k 步的轨迹里，前缀 k 仍然可执行的比例。两者满足精确恒等式：

P̂C(k) = (n_k / N) · P̂C_elig(k)

主图用固定队列的 P̂C(k)，回答"所有出发的轨迹里，几成健康到达深度 k"；诊断时参考条件曲线，回答"走到那一步的人里，几成还是干净的"。一个度量"存活率"，一个度量"纯净率"，混在一起读就会出错——这个区分本身就是方法论上的加分项。

🎯 TER（Trajectory Executability Rate，轨迹可执行率）。最朴素的一个：整条轨迹从头到尾全部可执行的概率，即 Pr[FED = T+1]。它是"一气呵成"的比例——不依赖任何补救、任何运气。

📐 AUC-PEC（horizon-normalized，视界归一化曲线下面积）。不同任务的轨迹长短不一，短的 3 步、长的 20 步，直接比 FED 不公平。于是把每条轨迹的 PEC 曲线按自己的长度归一化后求面积：AUC-PEC = E[(FED−1)/T]。取值在 [0,1]，完全可执行的轨迹得 1。它相当于"健康寿命占总寿命的比例"。论文证明了一个干净的不等式链：0 ≤ TER ≤ AUC-PEC ≤ 1——TER 是"全须全尾"，AUC-PEC 是"平均健康度"，前者永远被后者托住。

🚑 RR（Recovery Rate，恢复率）。这是我个人最喜欢的一个。RR = Pr[Y=1 | FED ≤ T]：在那些已经摔过一跤的轨迹里，最终仍然把任务做成了的比例。它承认一个事实——agent 会犯错，正如人会生病。重要的不是不生病，而是病了能不能爬回来。论文特意把它和此前 "Beyond Success Rate" 工作的 RR 区分开：那篇度量的是人为注入故障之后的恢复，而这里度量的是 rollout 自己自然摔倒之后的恢复，没有任何人使坏。

🔬 首错分类法。光有"第几步摔的"还不够，医生还想知道死因。当 FED ≤ T 时，打分器给第一个非法动作标注一个主因，五个类别按固定优先级互斥判定：schema 失败（工具不存在或参数不合接口）→ dependency 失败（引用了缺失、过期或类型不符的中间值）→ precondition 失败（显式前置条件在当前状态不成立）→ state-consistency 失败（前置检查通过但被环境拒绝转移）→ information 失败（完成任务必需的信息尚未获取）。这套分类法与基准无关，但五个类别恰好对应 BFCL、ToolSandbox、NESTFUL、FAIL-TaLMs 等以往工作反复强调的压力点。作者很克制地注明：这些标签只用于诊断，不参与 PEC/TER/AUC-PEC/RR 的计算——病因分析是病历，不是计分板。

🧾 恒等式：成功率的解剖。最后一个指标不是指标，而是一条把以上所有量缝合在一起的恒等式。记 q = TER（全程可执行的概率）、s = 全程可执行者中最终成功的比例、r = RR（摔倒后爬回来的成功率），那么：

Pr[Y=1] = q·s + (1−q)·r

终端成功率被精确地剖成两半：一半来自"从未生病的健康人"，一半来自"病过但被救活的"。这条恒等式对任何 rollout 分布都成立，它宣告了一件事——高成功率与低可执行性并不矛盾，它们完全可能同时成立。这句话听起来像句废话，但它正是后面所有反转的剧本。

🎭 双生子实验：同样 94% 的成功，两种人格

理论搭完，该动真格的了。论文的实验设计很讲究：不是随便跑一跑，而是一架嵌套的干预阶梯，四种 agent 变体在同批任务、同模型设置下对比——

1. ReAct：边想边做，不显式做计划（经典基线）；
2. Prompt Planning：先生成一个计划，但执行时不强制约束；
3. Plan-Conditioned ReAct：把生成的计划作为显式控制信号喂给执行器；
4. Dual-Loop：在 3 的基础上，执行前加一轮计划校验（planner 出计划 → verifier 检查工具存在性、schema 合规、前置条件、变量绑定 → 不通过就打回修改 → 通过后才让 ReAct 执行器干活）。planner 和 verifier 的调用算方法侧开销，不计入轨迹的步数。

三个模型条件：GPT-5.4（reasoning effort=high）、GPT-4.1、Llama-4-Maverick-Instruct。两个 200 题的分层抽样基准：BFCL-v3 multi-turn（四类各 50 题：multi_turn_base / miss_func / miss_param / long_context）与 ToolSandbox（200 个开源场景模板，确定性多标签分层抽样）。

结果在 GPT-5.4 + BFCL-v3 这一格，漂亮得像教科书插图：

看出门道了吗？Plan-Conditioned ReAct 和 Dual-Loop 在死亡证明上并列第一名——成功率都是 0.94。但翻开体检报告：前者只有 47% 的轨迹是从头到尾合法走下来的（TER 0.47），AUC-PEC 仅 0.54；后者是 94% 全程无雷，AUC-PEC 0.96。前者的 200 条轨迹里有 106 条摔过跤，摔跤后爬回来 88%（RR 0.88，分母大得惊人）；后者只有 12 条进过急救室。

ToolSandbox 上是同一个故事的复刻：GPT-5.4 下 Plan-Cond 成功率 0.69 最高，但 TER 只有 0.48、AUC-PEC 只有 0.52；Dual-Loop 成功率 0.63 略低，TER 却高达 0.94、AUC-PEC 0.95。按终点排名，Plan-Cond 是冠军；按病程排名，Dual-Loop 才是。

早期的深度检查点更能看清病从哪里开始：BFCL 上 PEC@4，三个模型条件下 Plan-Cond 分别是 0.42 / 0.33 / 0.05，而 Dual-Loop 是 0.82 / 0.82 / 0.78。也就是说，Plan-Cond 的轨迹里有相当一部分活不过第 4 步——带着一份没验证过的计划上路，第一步动作就可能已经非法。

这就是论文标题里 "Beyond Final Success" 的实证含义：只看终点，你会给那个一路踩雷、靠 88% 的恢复率硬撑到终点的赌徒发金牌；看了前缀，你才会把金牌摘下来，颁给那个根本不需要恢复的人。

🧨 Llama 的极端病例：93.2% 的成功都带着伤

如果说 GPT-5.4 的表格是反转剧，Llama-4-Maverick 的 BFCL 数据就是恐怖片。

Llama-4 + Plan-Conditioned ReAct：TER 只有 0.05。200 条轨迹里，只有 10 条从头到尾可执行。mean FED = 1.96——平均而言，第二步就死。AUC-PEC 0.15，PEC 曲线几乎贴地。

但它的最终成功率是多少？0.74。

把成功分解恒等式代进去：q = 10/200 = 0.05，190 条摔跤的轨迹里 138 条最终成功，r = 138/190 ≈ 0.726；Pr[Y=1] = 0.05×1.00 + 0.95×0.726 = 0.74。更刺眼的数字在后面——所有成功的轨迹共 148 条，其中 138 条（93.2%）是在先踩过雷之后才成功的。换句话说，这个系统的"成功"，几乎全部是"失败后修复"的成功。

论文举了一个典型的例子（附录 C.2）：agent 想删除某个联系人，直接调用了删除工具，却没先检索拿到必需的标识符——被环境拒绝（dependency failure）。修复的方式是退回去先检索、拿到 ID、再删。终点看，任务成了；病程看，这是一次带伤作战。

这组数字回答了一个从业者天天面对的问题："这个 agent 成功率 74%，能上生产吗？" 在只看终点的时代，你会说"还行"。看完前缀数据你会改口："它的每一次成功几乎都建立在中途的错误之上——每一次错误都是一次真实环境里的无效 API 调用、一次可能写入脏状态的风险敞口。它的 74% 是踩雷踩出来的 74%。" 在会触发真实交易、消耗真实资源、修改持久状态的流程里，FED 的深度直接决定失败的成本和修复的可行性。这正是前缀可执行性作为可靠性信号的实战意义。

🧪 三个考场，三种脾气

三个基准在论文里分工明确，值得各自交代一句。

BFCL-v3 multi-turn 测的是多步函数组合的"基本功"：schema 对不对、顺序对不对、跨步骤的依赖传参对不对。它是标准化接口下的组合正确性考场。

ToolSandbox 测的是有状态的交互：隐式状态依赖、on-policy 的用户模拟器、中途里程碑评估——恢复行为在 rollout 里直接可见，适合观察"摔倒再爬起来"的全过程。

τ³-bench（Sierra 的 Airline / Retail） 则是政策约束下的"用户—agent—环境"三方互动考场，更贴近真实客服场景：用户会插话、状态会变、规则藏得很深。论文覆盖了这两个 base split 的全部 164 个任务（50 个 Airline + 114 个 Retail，文本半双工协议 v1.0.1），每个任务跑一条，共 1,968 条 episode。

前两个考场上，Dual-Loop 的验证干预稳定起效：GPT-5.4 下，Dual-Loop 在 BFCL 的 TER 比 Plan-Cond 高 0.47（0.94 vs 0.47），AUC-PEC 高 0.42；在 ToolSandbox 上 TER 高 0.46（0.94 vs 0.48）。GPT-4.1 与 Llama-4 的六个格子里也全是同一方向的差距。

但好戏在于第三个考场——τ³-bench 上，这个优势消失了。

⚠️ 验证不是万能药：τ³ 的诚实一课

在 τ³-bench 上，排序再次洗牌，而且洗得很诚实：GPT-5.4 下 Plan-Conditioned ReAct 仍有最高的成功率点估计（0.51），但 TER/AUC-PEC 最高的却是 ReAct（0.95/0.95）；GPT-4.1 下 Prompt Planning 成功率领先（0.51），而 ReAct 的 TER/AUC-PEC 领先（0.84/0.91）；Llama-4 下三个方法成功率并列（0.18，显示精度内），但 TER 从 0.52 跨到 0.60，AUC-PEC 从 0.56 跨到 0.65——成功率完全分不出来的方法，可执行性分得很开。

更微妙的是，Dual-Loop 在 τ³ 上没有复现 BFCL/ToolSandbox 上的验证红利。作者给出的解释（自己标注为"可检验的解释，而非已识别的因果机制"）非常合理：BFCL 强调预先指定的组合，计划一旦验证过就不太会变；而 τ³ 里用户会实时插话、环境状态随时刷新，事前验证过的计划在交互中很快就过期了——你出发前检查了地图，但用户半路改了目的地。

这就好比登山。BFCL 是一条修好的栈道：路线图在入口处发给你，只要出发前核对一遍装备，路上就不太会出意外——所以"出发前检查"收益巨大。τ³ 是野山：向导（用户）会半路改主意，天气（状态）随时翻脸，你在山脚核得再细的装备清单，到了海拔两千米处都可能作废。这不是说检查没用，而是说检查的收益取决于环境变化的速率——一个可以直接写进教科书的方法论结论。

配套的花销数据也让这笔账更清楚。τ³ 审计里，Dual-Loop 相对 Plan-Conditioned ReAct 的 agent 侧 token / 累计延迟变化大约是：GPT-5.4 +3% / +22%，GPT-4.1 +12% / +7%，Llama-4 −3% / −1%。验证不是免费的午餐，它贵得有分寸，而且在不同环境里贵得不一样。另一个 verifier 敏感性研究（固定计划与 GPT-5.4-high 的 planner/executor，在全部 164 个任务上换 verifier 模型和校验预算）显示，TER 与 AUC-PEC 变化的配对 95% 置信区间全部跨过零点——比如 K_val=5 的 GPT-4 verifier 只把 TER 改动 +0.006，却多花 40.7k token 和 176.9 秒。作者没有把这一点藏起来，而是明确写进结论：验证的收益是环境依赖的，论文划出了它的边界，而不是宣称包治百病。

这种"在我们的设定下有效、在那个设定下未必"的写法，在动辄宏大叙事的 agent 论文里是一股清流。

🧾 这篇论文没有说的话（以及它说了什么）

最后照例给这台仪器画上刻度线，免得它被人用错。

它没有说：可执行的轨迹就是正确、安全、无偏的轨迹。论文的局限性章节说得明白——可执行性假设存在显式的 schema、前置条件和基准可达的状态；它保证的是"在环境里跑得通"，不保证"语义上做得对"，更不保证隐私、安全、公平。一条轨迹可能每一步都合法，却在合法地做着错误的事。

它没有说：这是一次完整的排行榜评估。BFCL 和 ToolSandbox 各抽了 200 题，ToolSandbox 还只限本地可跑的模板；τ³ 只完整覆盖了 Airline/Retail 两个 base split。任务级置信区间描述的是任务间的变化，不是同任务多种子的运行噪声。

它没有评估 schema 约束解码（constrained decoding）这类基线，所以所有排序都不是在"参数结构上就不可能错"的条件下确立的。作者指出，约束解码能拦住格式错误，但前缀检查覆盖的东西它拦不住：对象存在性、数据出处、状态前置条件、转移接受性。

但它说了几件足以改变实践的事：

• 评测该换代了。最终成功率、参考答案匹配度这些旧指标，无法回答"轨迹存活了多久、第一次崩在哪、崩了有没有爬起来"。论文用一张对照表（Table 1）精确标出了 PEC/FED/TER/AUC-PEC/RR 在参考自由性、执行状态依赖、前缀信号、恢复信号四个维度上补的正是哪块空白。
• 排名会反转，这不是 bug 是 feature。Plan-Conditioning 这类"带计划上路"的方法，在没有验证时确实可能把成功率推高——靠的不是更可靠，而是更高的恢复率。前缀指标把这个机制照了出来。
• 验证（verification）是可执行的。双循环干预不是论文的主角（它自我定位是"控制探针"），但它证明了前缀指标能区分"验证有效的环境"与"验证失效的环境"，这是评估协议可操作性的最好证据。
• 这套信号不止用于事后评测。可执行性判定是前缀局部的——部署时，它在每一步候选动作发出后立刻可算，可以做运行时监控、自动修复、重新规划，或在错误状态传播之前触发人工接管。把终点评测前移成过程监护，这可能是这套指标最远的射程。

还有一层方法论上的趣味值得一提：把轨迹当作有"生存期"的对象，用生存分析的曲线去刻画它——这是把一个成熟了一百年的统计框架（Kaplan & Meier, 1958）平移到 agent 评测上。好的科学常常这样：新概念的外壳，老灵魂的骨架。

🌙 尾声：把死亡证明塞回抽屉

回到开头那位医生。

最终成功率是一张死亡证明：它只告诉你病人死了没有，不告诉你他何时开始发烧、病根在哪、抢救值不值得。Prefix executability 则把整条病程摊开：PEC 是体温曲线，FED 是第一次高烧的夜晚，TER 是从未进过 ICU 的比例，AUC-PEC 是健康天数占总住院天的比值，RR 是进过 ICU 之后活下来的比例。

这篇论文最锋利的地方，不在于提出了多复杂的数学——它的恒等式和单调性都干净得近乎中学课本——而在于它指认了一个行业里人人都熟视无睹的错位：我们一直在用终点给过程打分。 当两个 agent 在榜单上并列 0.94，一个一路平推、一个遍地踩雷，我们没有资格继续假装它们是同一种东西。

对做 agent 产品的人，这是一份可以直接落地的体检套餐；对做评测的人，这是一记提醒——评测的设计决定了你能看见什么，而你没看见的东西，正在生产环境里悄悄写入脏数据、烧掉真金白银的 API 预算。

更值得咂摸的是这套指标的工程迁移路径。论文的指标都是回顾性的——跑完 rollout 再打分。但"可执行"这个谓词本身是前缀局部的：部署时，每一步候选动作发出后立刻就能算，不需要等终点。这意味着同一套信号可以前移成运行时监护：在候选动作真正打出去之前拦截非法调用（schema 不对、引用了不存在的对象、前置条件没满足），触发修复、重新规划，或在错误状态即将写入持久存储之前升级给人类。论文把这条路径明确列为未来方向，但哪怕止步于此，回顾性的诊断也已经足够改变很多团队的发布流程——上线前的红蓝对抗测试里，除了"最终成功率"，现在可以附上"全程无雷率"和"平均首错深度"两栏。

病程记录从此有了。愿每一张榜单，都不再把赌徒和医生画等号。

📚 参考文献

1. Rezaeian, A. H., Sun, W., Benajiba, Y., & Roth, D. (2026). Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success. arXiv:2610.40444. https://arxiv.org/abs/2610.40444
2. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. https://openreview.net/forum?id=WE_vluYUL-X
3. Patil, S. G., et al. (2025). The Berkeley Function Calling Leaderboard (BFCL). ICML 2025. https://proceedings.mlr.press/v267/patil25a.html
4. Lu, J., et al. (2025). ToolSandbox: A stateful, conversational, interactive evaluation benchmark for LLM tool use capabilities. Findings of NAACL 2025. https://aclanthology.org/2025.findings-naacl.65/
5. Yao, S., et al. (2025). τ-bench: A benchmark for tool-agent-user interaction in real-world domains. ICLR 2025. https://openreview.net/forum?id=roNSXZpUDN
6. Barres, V., et al. (2026). τ³-bench: Advancing agent benchmarking to knowledge and voice. Sierra research release. https://sierra.ai/blog/bench-advancing-agent-benchmarking-to-knowledge-and-voice
7. Chen, Z., et al. (2024). T-Eval: Evaluating the tool utilization capability of large language models step by step. ACL 2024. https://aclanthology.org/2024.acl-long.515/
8. He, P., et al. (2026). TRAJECT-Bench: A trajectory-aware benchmark for evaluating agentic tool use. ICLR 2026. https://openreview.net/forum?id=TZWnWvsQ0X
9. Kim, W., et al. (2026). Beyond the final answer: Evaluating the reasoning trajectories of tool-augmented agents (TRACE). ICML 2026. https://proceedings.mlr.press/v306/kim26bg.html
10. Lewandowska, K. (2026). Beyond success rate: Benchmarking robustness in tool-using language agents. AAAI 2026 Workshop on Trust and Control in Agentic AI. https://trustagenticai.github.io/AAAI2026/AAAI-Workshop/17.pdf
11. Kaplan, E. L., & Meier, P. (1958). Nonparametric estimation from incomplete observations. Journal of the American Statistical Association, 53(282), 457–481. https://doi.org/10.1080/01621459.1958.10501452
12. Erdogan, L. E., et al. (2025). Plan-and-Act: Improving planning of agents for long-horizon tasks. ICML 2025. https://proceedings.mlr.press/v267/erdogan25a.html

#每日论文 #paperscool #工具使用 #agent评测