论文概要
研究领域: NLP
作者: Howard Zhang, Chuck Arvin, Logan Brown, Mihir Bhatia, Neelu Choudhary, Lily Miao
发布时间: 2026-11-10
arXiv: 2611.14493
中文摘要
在企业环境中部署基于 LLM 的分析智能体,需要能在复杂多工具工作流中可靠检测失败的评估框架。我们在受控研究环境下用冻结的执行 trace,对三种代表不同范式的框架(基于 trace 的 LLM 评判、纯文本 LLM 评判+红队、确定性启发式)应用于两个分析智能体,做三阶段比较。阶段 1 量化框架稳定性:97% 配置达到稳定性阈值,稳定性模式与具体智能体无关。阶段 2 在 72 个真值用例上衡量已知风险检测:基于 trace 的框架取得最佳精确-召回平衡(F1=0.90),纯文本评估召回率持平但误报多 5 倍。阶段 3 评估未知风险发现,uncovering 24 种新型失败,功能测试与安全红队间零重叠。结果表明:(1) 评估框架可用的信息决定评估质量;(2) 功能与安全评估互补;(3) 基于 LLM 的评估能暴露人类评审漏掉的细微错误。推荐双框架策略:trace 评估做功能评估,对抗性红队做安全验证。
原文摘要
Deploying LLM-based analytics agents in enterprise settings requires evaluation frameworks that can reliably detect failures across complex, multi-tool workflows. We present a three-phase comparative study of three evaluation frameworks, each representing a distinct evaluation paradigm (trace-based LLM judging, text-only LLM judging with red-teaming, and deterministic heuristics), applied to two analytics agents in a controlled research setting using frozen execution traces. Phase 1 quantifies evaluation harness stability through repeated measurements, finding that 97% of configurations meet the stability threshold and that stability patterns are agent-independent. Phase 2 measures known risk detection on 72 ground-truth test cases, where the trace-based framework achieves the best precisi...
自动采集于 2026-11-12
#论文 #arXiv #NLP #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。