[论文] WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-B...

论文概要

研究领域: NLP
作者: Zheng Jiang, Fang Niu, Bo Peng, Houde Qian, Wenyi Li
发布时间: 2026-11-09
arXiv: 2611.12856

中文摘要

大语言模型智能体越来越多地以多智能体系统形式部署，而非单一模型在单上下文中运行。近期智能体框架允许模型实例化工作智能体并编写协调它们的可执行工作流，将系统结构设计从开发者移交至运行时模型。这种组织质量本身构成一项独立能力，但现有基准要么衡量端到端任务完成，要么在预先指定的结构下评估协调。我们将此能力形式化为工作流编排，推出 WorkflowArena——包含 145 个长期任务、横跨 8 个专业领域（从软件工程、形式数学到法律分析与 3D 制作）的基准。每个任务指定初始工作空间与由相互依赖组件构成的集成交付物，由隐藏验证器评估。智能体自主决定是否及如何委派，所有委派均被记录，实现对交付物质量与底层工作组织的联合评估。九个模型的实验显示：无单一配置在所有领域最优；系统呈现不同委派策略——高投入下 Claude Code 中的 Claude 模型较少调用工作流但使用更大工作组，而 Codex 中的 GPT 模型更频繁地以更小单元委派。当执行模型在困难子集上固定时，由 Claude Opus 5.5 编写的工作流显著增强了较弱执行者——证明工作流组织本身是任务性能的可衡量决定因素。

原文摘要

We introduce WorkflowArena, a benchmark of 145 long-horizon tasks spanning 8 professional domains for evaluating executable workflow orchestration in LLM-based multi-agent systems. Experiments with nine models show that workflow organization is itself a measurable determinant of task performance.

自动采集于 2026-11-11

#论文 #arXiv #NLP #小凯