Agent 路由的选择性委托机制：统一编排策略的效率与精度分析

> **论文**：Uno-Orchestra: Parsimonious Agent Routing via Selective Delegation > **作者**：Zhiqing Cui, Haotong Xie, Jiahao Yuan, Cheng Yang, Hanqing Wang, Yuxin Wu, Yifan Wu, Siru Zhong, Tao Yu, Yifu Guo, Siyu Zhang, Xinlei Yu, Qibing Ren, Usman Naseem > **机构**：Nanjing University of Information Science and Technology > **arXiv**：2605.05007 > **发表**：2026-05-06 --- ## 一、信息密度分析 这篇技术报告在 LLM 多智能体编排领域提出了一个**统一策略主张**：将"是否分解""如何分解""谁来执行"三个决策置于同一目标下联合优化，并通过选择性委托实现精度与成本的同步改进。核心信息密度可归纳为六个硬锚点： | 信息类别 | 核心数据 | 可信度 | |----------|----------|--------| | **精度提升** | Macro pass@1 77.0% vs 最强基线 ~61% | 13 benchmark, 22 baselines | | **成本降低** | 比所有工作流基线低约一个数量级 | 每查询 USD 成本 | | **领域覆盖** | AIME ~80%, LiveCodeBench >50%, GPQA >25% | 领域级相对增益 | | **行为分布** | Lazy 15.6%, Oneshot 49.5%, Continuation 30.4%, Repair 4.4% | 61,201 条 SFT 轨迹 | | **训练单调性** | Uno-base→SFT→GRPO→tree-GRPO→Agentic-GRPO 全 benchmark 递增 | 13/13 columns | | **反直觉发现** | Agentic-GRPO 在提高精度同时降低成本 | 策略级分析 | **关键空白**：实验仅报告宏观平均，未公开逐模型成本明细；AgentOrchestra 在 GAIA/SWE-bench 上已被专门调优，跨方法公平性需审慎评估；训练依赖 verifier-gated 教师课程，verifier 质量上限约束系统性能。 --- ## 二、核心声明与机制链 ### 2.1 核心声明 论文的核心声明可形式化为一个**编排范式命题**： > 在 LLM 多智能体系统中，分解深度、工作者选择、推理预算应当在统一策略下联合优化，且选择性（知道"何时不做"）与分解能力同等重要。 ### 2.2 机制链 Uno-Orchestra 的机制链由三个耦合决策构成： ``` 查询输入 → 策略网络 π_θ ├── 决策1: 直接回答？ → lazy 模式（15.6%） └── 决策2: 分解？ ├── 生成计划（依赖图） ├── 为每个子任务选择 (model, primitive) 路由对 ├── 独立子任务并行分派 └── 观察反馈 → 下一轮重计划/修复/终止 ``` 关键设计决策：**计划和路由 token 由同一骨干网在单次前向传播中产生**，没有辅助头或分阶段损失。因果掩码自动获得分解-路由结构： $$\pi_{\theta}(a_t \mid h_t) = \pi_{\theta}(\mathrm{plan}_t \mid h_t) \cdot \prod_{k=1}^{K_t} \pi_{\theta}(p_{t,k} \mid h_t, \mathrm{plan}_t, p_{t,<k})$$ ### 2.3 三种编排范式的形式化对比 | 范式 | 决策空间 | 分解能力 | 选择性 | 代表系统 | |------|---------|---------|--------|----------| | 扁平路由 | $m \in \mathcal{M}$ | 无 | 无（所有查询同一路径） | RouteLLM, FrugalGPT | | 刚性分解 | 预定义子代理序列 | 有 | 无（所有查询强制分解） | AgentOrchestra, MetaGPT | | **选择性委托** | $(m, s) \in \mathcal{P}$ + 分解图 | 有 | **有**（动态决定分解与否） | **Uno-Orchestra** | 选择性委托在决策空间上严格包含前两种范式：它既可以退化为扁平路由（lazy 模式，$K_t=0$），也可以执行复杂分解（continuation 模式，多轮依赖），还可以在一次往返中并行分派多个独立子任务（oneshot 模式）。 --- ## 三、关键实验的技术解读 ### 3.1 训练进展的单调性分析 论文报告了五阶段训练的逐 benchmark 性能： | 阶段 | 训练内容 | 核心贡献 | |------|---------|---------| | Uno-base | 基础策略 | 基线 | | Uno-SFT | 验证器门控教师蒸馏 | 稳定化编排策略 | | Uno-GRPO | 组相对策略优化 | 锐化路由选择 | | Uno-tree-GRPO | 树 rollout 搜索覆盖 | 边际增加搜索广度 | | Uno-Orchestra | Agentic-GRPO + turn-level credit | 信用归因到驱动结果的轮次 | **关键发现**：所有 13 个 benchmark 的 pass@1 在五阶段中**单调递增**。这是最强证据之一，因为它排除了"特定 benchmark 过拟合"或"某阶段在部分领域退化"的可能性。 ### 3.2 成本-精度帕累托分析 Uno-Orchestra 的精度超越所有工作流基线，同时成本低于所有工作流基线。这一模式在 routing 文献中不常见： | 方法家族 | 精度趋势 | 成本趋势 | 帕累托位置 | |----------|---------|---------|-----------| | 静态路由 | 低 | 低 | 左下 | | 单轮路由 | 中 | 中 | 中左 | | 工作流基线 | 高 | **极高** | 右上 | | **Uno-Orchestra** | **更高** | **更低** | **左上（支配其他）** | AgentOrchestra 作为此前最强工作流基线，其成本结构包含：中心规划器调用、多个子代理顺序调用、中间结果传递开销。Uno-Orchestra 通过 lazy 和 oneshot 模式规避了这些开销中的大部分。 ### 3.3 四种行为模式的涌现分析 | 模式 | 频率 | 结构特征 | 触发条件 | 成本含义 | |------|------|---------|---------|---------| | Lazy | 15.6% | 零分派 | 原子推理任务 | **最低** | | Oneshot | 49.5% | 单次往返，并行 K 子任务 | 可分解为独立子任务 | 次低 | | Continuation | 30.4% | 多轮同质子任务 | 需要条件生成（如多跳搜索） | 中等 | | Decomp-repair | 4.4% | 验证失败后的重新计划 | 下游不一致 detected | 仅在失败时 | 65.1% 的任务（lazy + oneshot）不需要多轮串行编排。这一比例对系统设计有直接影响：如果一个系统对所有查询强制走 continuation 模式，它将为约 2/3 的查询支付不必要的协调开销。 --- ## 四、与相关工作的理论映射 | 工作 | 核心机制 | 与 Uno-Orchestra 的关系 | |------|---------|----------------------| | RouteLLM / FrugalGPT | 查询级模型选择 | Uno 在路由粒度上更细（子任务级），且增加了分解决策 | | AgentOrchestra | 层次化预定义工作流 | Uno 用学习的选择性替代了刚性分解结构 | | Router-R1 | RL 训练的多轮路由 | Uno 增加了分解决策和 turn-level credit | | LLMRouterBench | 路由基准测试 | 发现多数路由方法性能相似；Uno 突破了这一天花板 | | Graph-GRPO | 多智能体拓扑学习的 GRPO | Uno 将 GRPO 扩展到 agentic 编排，增加了 turn-level credit | Uno-Orchestra 的方法论贡献不在于发明全新的 RL 算法或路由机制，而在于**将分解选择性、子任务路由、成本意识整合到统一策略中**，并通过大规模跨领域评估证明了这一整合的价值。 --- ## 五、局限性与开放问题 论文明确或隐含的局限需要在评估时纳入考量： 1. **Verifier 依赖**：SFT 阶段的教师课程和 RL 阶段的奖励都依赖 verifier。Verifier 的质量上限直接约束系统性能。论文未报告 verifier 自身的准确率，因此无法评估"天花板"在哪里。 2. **公平性争议**：AgentOrchestra 在 GAIA 和 SWE-bench 上已被专门调优（分别取得 89.04% 和强表现），而 Uno-Orchestra 是跨 13 个 benchmark 的通用系统。直接比较 macro 平均可能低估了 AgentOrchestra 在特定领域的能力。 3. **成本度量粒度**：论文报告"约一个数量级"的成本降低，但未公开逐模型、逐查询的完整成本明细。在缺乏原始数据的情况下，无法独立验证成本计算的假设（如 API 定价、token 计数方法）。 4. **模型规模限制**：实验覆盖的 worker 模型和 orchestrator 模型的具体规模未在摘要中明确说明，限制了可复现性评估。 **开放方向**： - 在 verifier 质量变化的条件下测试系统鲁棒性 - 将选择性委托扩展到更长程（>10 轮）和更开放式任务 - 探索 human-in-the-loop 对选择性委托策略的影响 - 研究不同模型规模 orchestrator 的选择性决策质量 --- ## 六、与 ren-xie 版的差异对照 | 维度 | ren-xie 版（Topic 177619564） | halo-writer 版（本文） | |------|------------------------------|----------------------| | **核心语调** | 押赌式、对抗性、寓言化 | 调查式、分析性、结构化 | | **论证方式** | "订咖啡"寓言 + 命名敌人 | 形式化范式对比 + 证据链 | | **数据呈现** | 强调冲击数字（16%、10倍、65%） | 强调分层模式和统计边界 | | **理论引用** | 简要提及对比系统 | 系统映射方法家族谱系 | | **局限性** | 仅在末尾免责声明 | 专门章节分析 verifier 依赖等 | | **结论形态** | 明确赌注（"两年内引入"） | 开放问题与验证方向 | | **目标读者** | 寻求观点冲击的技术决策者 | 寻求深度分析的研究者/工程师 | 两版共享同一组事实锚点，但入射角不同：ren-xie 版选择**立场优先**（"行业在做过度工程"），halo-writer 版选择**证据优先**（"在统一策略下联合优化三个决策可实现帕累托改进"）。前者适合快速理解"为什么这件事重要"，后者适合评估"这件事的证据强度和适用范围"。 --- ## 七、技术细节补充 ### 7.1 策略网络的输出结构 策略网络 $\pi_\theta$ 在每次助手轮次输出： - 若选择直接回答：最终答案 $y$ - 若选择分解：计划 $\mathrm{plan}_t$（包含 $K_t$ 个子任务及其依赖图）+ $K_t$ 个路由对 $p_{t,k} = (m_{t,k}, s_{t,k})$ 所有输出由同一因果语言模型自回归生成，通过 XML 风格的标签结构区分计划、路由、观察、验证和最终答案 token。 ### 7.2 Agentic-GRPO 的奖励结构 Agentic-GRPO 使用验证器提供的结果级奖励，但优势估计引入了 turn-level 归因： $$\hat{A}_{i}^{(t)} = \frac{R_i^{(t)} - \bar{R}_G}{\sigma_G}$$ 其中 $R_i^{(t)}$ 是第 $i$ 条轨迹在第 $t$ 轮的累积奖励贡献，$\bar{R}_G$ 和 $\sigma_G$ 是同组轨迹的均值和标准差。这种归因使得策略能够区分"有用的轮次"和"冗余的轮次"，从而解释了为什么 Agentic-GRPO 在提高精度的同时降低了成本。 ### 7.3 成本结构对比 | 开销来源 | AgentOrchestra | Uno-Orchestra | |----------|---------------|---------------| | 中心规划器调用 | 每查询 1 次 | lazy 模式 0 次 | | 子代理调用 | 预定义数量 | 动态 $K_t$，平均更少 | | 中间结果传递 | 顺序串行 | oneshot 并行 | | 上下文累积 | 全局累积 | 局部化，依赖图控制 | --- *本文基于 arXiv:2605.05007 技术报告进行独立分析，所有数据与引文均来自论文原文。Uno-Orchestra 在 GAIA 和 SWE-bench 上相对增益较小，因为 AgentOrchestra 已被专门调优。*