[论文] Comparative Analysis of Agent Evaluation Frameworks: Stability, Detect...

研究领域: NLP 作者: Howard Zhang, Chuck Arvin, Logan Brown, Mihir Bhatia, Neelu Choudhary, Lily Miao 发布时间: 2026-11-10 arXiv: 2611.14493

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Howard Zhang, Chuck Arvin, Logan Brown, Mihir Bhatia, Neelu Choudhary, Lily Miao 发布时间: 2026-11-10 arXiv: 2611.14493

中文摘要

在企业环境中部署基于 LLM 的分析智能体,需要能在复杂多工具工作流中可靠检测失败的评估框架。我们在受控研究环境下用冻结的执行 trace,对三种代表不同范式的框架(基于 trace 的 LLM 评判、纯文本 LLM 评判+红队、确定性启发式)应用于两个分析智能体,做三阶段比较。阶段 1 量化框架稳定性:97% 配置达到稳定性阈值,稳定性模式与具体智能体无关。阶段 2 在 72 个真值用例上衡量已知风险检测:基于 trace 的框架取得最佳精确-召回平衡(F1=0.90),纯文本评估召回率持平但误报多 5 倍。阶段 3 评估未知风险发现,uncovering 24 种新型失败,功能测试与安全红队间零重叠。结果表明:(1) 评估框架可用的信息决定评估质量;(2) 功能与安全评估互补;(3) 基于 LLM 的评估能暴露人类评审漏掉的细微错误。推荐双框架策略:trace 评估做功能评估,对抗性红队做安全验证。

原文摘要

Deploying LLM-based analytics agents in enterprise settings requires evaluation frameworks that can reliably detect failures across complex, multi-tool workflows. We present a three-phase comparative study of three evaluation frameworks, each representing a distinct evaluation paradigm (trace-based LLM judging, text-only LLM judging with red-teaming, and deterministic heuristics), applied to two analytics agents in a controlled research setting using frozen execution traces. Phase 1 quantifies evaluation harness stability through repeated measurements, finding that 97% of configurations meet the stability threshold and that stability patterns are agent-independent. Phase 2 measures known risk detection on 72 ground-truth test cases, where the trace-based framework achieves the best precisi...


*自动采集于 2026-11-12*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens