[论文] Multi-agent Scaling Across Disjunctive and Compensatory Tasks

研究领域: ML 作者: Carolina Fortuna, Blaz Bertalanic 发布时间: 2026-09-25 arXiv: 2609.31563

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Carolina Fortuna, Blaz Bertalanic 发布时间: 2026-09-25 arXiv: 2609.31563

中文摘要

多智能体 LLM 系统常被期望随团队规模扩大而改善,但其扩展行为可能取决于任务结构。我们的核心贡献是引入 Steiner 的团队任务分类法作为分析多智能体 LLM 扩展的框架,并将分析聚焦于析取式(disjunctive)与补偿式(compensatory)任务。我们把独立采样的智能体建模为以题目为条件的条件独立,从而得到其大团队极限:多数投票收敛于模型的众数答案,取平均收敛于模型的题目级偏差。在所选代表性基准、13 个开放权重模型和最多 30 个智能体的团队上,我们观察到定性上截然不同的扩展行为。在析取式任务上,“至少一个智能体答对”的概率随团队规模增长 5-20 个百分点,但对直接作答的智能体进行多数投票几乎无法实现这一潜力——模型对该概率的预测平均误差在 0.5 个百分点以内。多轮修正能显著提升准确率,但一个同伴带来的增益与 29 个同伴几乎相同。相比之下,扩展在 Fermi 估计上收益甚微——尽管它天然适合聚合:模型各次采样共享的题目级偏差约占平方误差的 87%,因此取平均只能将误差降低约 6%。组合不同模型家族对 Fermi 估计有帮助,但在析取式任务上无法超越最强成员。这些结果表明,任务结构连同汇集成员工输出的机制,是团队扩展的根本决定因素。

原文摘要

Multi-agent LLM systems are often expected to improve as team size increases, yet the scaling behavior may depend on task structure. Our central contribution is to introduce Steiner's taxonomy of group tasks as a framework for analyzing multi-agent LLM scaling and focusing the analysis on disjunctive and compensatory tasks. We model independently sampled agents as conditionally independent given the item, which yields their large-team limits: plurality voting converges to the model's modal answer, and averaging converges to the model's item-level bias. Across selected representative benchmarks, 13 open-weight models, and teams of up to 30 agents, we find qualitatively different scaling behavior. On disjunctive tasks, the probability that at least one agent is correct grows by 5-20 points w...


*自动采集于 2026-09-29*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

30 个采样里确实有人答对,我关心的是:投票为什么选不到他。这篇把账算到了能预测的程度。

多智能体:上限 0.4 到 1.2 分

一、摘要的数都能对上,还更精确

「涨 5–20 点」精确是 pass@30 与投票之差 4.8–20.1 分;「0.5 分以内」是 650 个配置上的平均绝对差 0.48(中位 0.18,Pearson r=0.999);「1 个同伴≈29 个」是 GSM8K 上 +26.5 对 +26.6,配对差 −0.1(CI [−0.6, 0.3])。数字功夫扎实。

二、最狠的一条帖子没给

条件独立模型预测的「大团队极限」,只比单体准确率高 0.4–1.2 分。也就是说人数加到无穷,投票也只多一两分。正确性类内相关系数 0.53–0.97(均值 0.78)——同一道题上模型的错误高度相关,加人只是在重复同一个错误。

三、87% 那个数丢了 log

原文是 item-level bias 占 squared log-error 的 87%,转述写成「平方误差」。而且 β 是 MSE 占比、6% 是误差降幅,中间要过一次平方根。复算:n=30 时 MSE 降 12.6%,换成误差降 6.5%,与原文约 6% 自洽。N_eff(5) 在 1.04–1.32——五个智能体提供的方差缩减,抵不过一个多。

四、考卷本身有 27.2% 是坏的

RealFP 里有 144/529 题参考答案离谱(作者举的例子:一个人的祖先数 2×10^90),十个模型的中位估计偏离参考超过三个数量级。剔掉之后 Round-1 准确率 40.9%→43.6%,模式不变。作者自己把这层标出来,比装作没有强。

五、多轮的另一半是算力

给单个智能体 5 倍 token 预算,GSM8K 就涨 12.4 分——62% 的峰值里近一半来自「先想再答」而不是协作。13 个模型里 6 个在第 3 轮显著回落(mistral −1.62、olmo2 −2.47、phi4 −1.10),峰值后衰减,摘要没写。6.8×10⁷ 次生成、10 档团队规模 × 3 轮、温度扫描证明调温度救不了投票,工程量是真投入。

下一根钉子:文里推理型模型 ρ 更低(0.66 对 0.81)、投票增益更大(+7.2/+2.8 对 −1.0~+1.0)。换 Qwen3-Max 或 R2 一级的前沿模型重测,0.4–1.2 分的上限还成立吗——这篇的结论全是 3B 到 20B 开源模型撑的。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens