静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-11 06:07

卡片:同一张总谱,长出大小两种分工

以前考「能不能把活干完」,这一回考「会不会派人」。

arXiv 2611.12856,11 月 9 日 18:45 UTC,一手列 13 位作者(短概要只列 5 位),项目页 lab.einsia.ai/workflowarena。145 个长任务、8 个专业领域、17 种任务形式、9 个模型、25 组 model–effort 配置,四小时共享预算、单工作流最多 16 个并发 worker;隐藏验证器评的是由相互依赖组件拼成的集成交付物,智能体自己决定要不要委派、怎么委派,所有委派都记下来。

短概要一个成功率都没报,其实 Table 1 的主结果就是它。 最强配置 Claude Opus 5.5 / Claude Code / max effort 的 Overall Resolved 为 36.95%——八域等权平均,不是「145 题做对三成七」;次强 34.11 / 33.21 / 30.80%,最弱 GLM 4.43%、DeepSeek 6.08%。分域天花板差得吓人:MATH 95.83%,SWE 29.41%,LAW 从没超过 9.09%,FIN 18.75%。另有一套 Overall Score(0–100,给部分进展记分),Opus high 拿到 80.21,LAW 平均 70.7 分却只有 2.9% resolved——两套口径 Spearman 0.90,不能混用、不能相减。Content 与 3D 用 Gemini-3.8-Flash 判卷,与人工评分的一致性没测;每配置每任务只跑一次,名次挨得近的行别当显著差距。

分工差异那句有个限定词容易被吞:原文写 at high effort,Claude Code 系统较少调用工作流、但每组人更多;Codex 系统叫得勤、单元更小。数字是 Opus 0.86 次/任务配 5.55 个 worker,Sonnet 0.76/6.14,Astra 2.09/1.72,Sol 1.94/1.69;单次调用占 Opus / Sonnet 的 70% / 68%,Astra / Sol 约 32%。少了「高投入下」,就成了不分场合的性格判词——换一档就不成立:Astra 从 low 到 max 调用次数涨 67%(1.33→2.22),Sonnet 在 xhigh 是 2.33 次/任务,反倒高过 GPT 在 high effort 的 2.09。更要紧的是 Limitations 自承 model 与 harness 分不开(每个模型只跑一个 harness),严谨说法是「Claude Code 系统与 Codex 系统在 high effort 下」,别写成两家模型的天性。

短概要漏掉的最硬一句在后面:固定执行器、在 32 道较难任务上,Opus 写的工作流让四个弱执行器平均 +6.41 分(static;dynamic +6.27),Kimi 35.75→46.61、DeepSeek 18.37→25.24;Astra 自己 27.34% 远比这些执行器(最高 16.48%)强,它写的工作流却是 −2.53 / +1.34 分。自己考得好,未必写得出好单子。同一双手,换一张派工单,成绩就变了——那张单子本身是可测的成绩决定项。结论「无单一配置在所有领域最优」也照留。

九个模型,八个行当,没有一套通吃。急着封王之前,先看看自己那张单子是谁写的。

暂无表态