[论文] [论文] SWE-Serve: Benchmarking Agentic Engineering For Production I...

论文概要 研究领域: Agent 作者: Jennifer Williams, Dave Farris, Jeff Farris, Jiantao Jiao 发布时间: 2026-09-22 arXiv: 2609.26777

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: Agent 作者: Jennifer Williams, Dave Farris, Jeff Farris, Jiantao Jiao 发布时间: 2026-09-22 arXiv: 2609.26777

中文摘要

我们推出 SWE-Serve——评估智能体生产推理工程能力的基准。实现一个推理功能常需在推理栈上协调多处改动:模型支持、运行时执行与公开 API。现有基准覆盖有限:仓库级 SWE 基准不针对推理;通用终端智能体基准仅含少量推理任务;专门推理基准又多关注孤立内核生成或性能优化,而非仓库级生产特性实现。SWE-Serve 提供 53 个扎根于 SGLang 近期生产改动的仓库级任务,覆盖六个推理工程家族;每个任务在 CPU 或单 GPU(H100)上执行,以隐藏功能与回归测试评估,含端到端服务测试与校准性能门槛;可执行空操作与预言机对照、对抗验证者审查、闭卷执行保障评测完整性。11 个模型 × 31 个模型-effort 配置中最佳达 75% 平均 pass@1。基准暴露"本地完成"与"生产正确"的巨大差距:19 个有 E2E 覆盖的任务上,E2E 测试拒绝约三分之一通过其余所有测试的补丁(45.9% vs 不计 E2E 的 69.4%)。SWE-Serve 让生产正确性差距可直接测量,追踪智能体能否从"本地完成"迈向"生产正确"。

原文摘要

We introduce SWE-Serve, a benchmark for evaluating agents on production inference engineering tasks. Implementing an inference feature can require coordinating multiple changes across the serving stack, including model support, runtime execution, and public APIs. Existing benchmarks provide limited coverage of production inference engineering: repository-level software engineering benchmarks do not target inference, while general terminal-agent benchmarks include only a few inference tasks. Dedicated inference benchmarks, meanwhile, focus primarily on isolated kernel generation or performance optimization rather than repository-scale production feature implementation. SWE-Serve provides 53 repository-grounded tasks derived from recent production changes to SGLang, spanning six inference engineering families. Each task executes on either CPU or a single GPU (H100) and is evaluated with hidden functional and regression tests, including, where applicable, end-to-end (E2E) serving tests and calibrated performance gates. Executable no-op and oracle controls, adversarial verifier review, and closed-book execution support task validity and evaluation integrity. Across 11 models and 31 model-effort configurations, the best-performing configuration achieves 75% mean pass@1. SWE-Serve exposes a substantial gap between completing tasks locally and achieving production correctness. On 19 tasks with end-to-end coverage, model-serving E2E tests reject roughly one-third of patches that pass every other test (45.9% under the verifier versus 69.4% with E2E tests excluded from scoring), with pass rate increasing for each model's best-performing configuration. By making the production correctness gap directly measurable, SWE-Serve enables the field to track whether future agents move beyond completing tasks locally to achieving production correctness.


*自动采集于 2026-09-24*

#论文 #arXiv #Agent #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

一个补丁在你机器上跑通了测试,在你同事的集群上却起不来——SWE-Serve 把这个"看着都对"量成了 23.4 个百分点

SWE-Serve 拿 SGLang 近期真实生产改动做成 53 个仓库级任务,核心发现是"本地通过"和"生产正确"之间差着一大截。帖子那句"E2E 测试拒绝约三分之一通过其余所有测试的补丁"是准确的,但正文里有几组数字比这句话更有信息量,帖子都没带。

一、先把这句里的"三分之一"算准

原文:在 19 个有 E2E 覆盖的任务上,完整 verifier 通过率 45.9%,把 model-serving E2E 测试移出评分后 69.4%。

69.4 − 45.9 = 23.4 个百分点。同批 627 个补丁,19 个任务。

"约三分之一"是从 69.4 往回算的:(69.4 − 45.9) / 69.4 = 33.7%。这个说法没错,但两个数放一起才见力度——去掉端到端测试,四分之三的补丁"及格";加回来,不及格的三成。

论文还做了我最喜欢的那种对照:不是简单地把 E2E 全删了,而是构造 10,000 个随机测试移除组合,每次同时移除 38 个 E2E 测试和 38 个同任务、同角色的非 E2E 测试。移 E2E 平均产生 16.1 个 fail-to-pass 转换,移非 E2E 只有 8.0 个,2.0 倍;在 92.2% 的随机组合里,移 E2E 都产生更多"新通过"的补丁。

【判断】这一步是把"分数变了"和"分数变了是因为 E2E 真的在测东西"分开。没有这个对照,23.4 个点也可以解释成"E2E 测试更难"。有了它,是"每删一个 E2E 测试,平均凭空多出两个本该不合格的补丁"。

还有个容易被跳过的数:这 19 个任务里 4 个根本没有非 E2E 测试,剔掉这 4 个,提升仍有 22.8 个百分点。

二、四个模型都拿 64%,成本差 7.6 倍

11 个模型里,有四个的最好成绩并列在 64%:

模型pass@1每任务成本墙钟时间
GPT-5.6 Luna64%$0.9528.9 分钟
GPT-5.6 Terra64%$5.0625.5 分钟
Claude Sonnet 564%$6.6140.6 分钟
Kimi K364%$6.71→$7.2499.9 分钟
$7.24 ÷ $0.95 = 7.6 倍。墙钟时间 99.9 ÷ 25.5 = 3.9 倍。

榜首都做不到 75%:Claude Opus 5 与 GPT-5.6 Sol 并列 75%,其后直接掉到 64%,再往下是 55%、48%、46%、35%(Inkling S)。最高与最低差 40 个百分点。

原帖说"最佳达 75% 平均 pass@1",这个数没错,但它容易让人以为"现在的模型已经能做生产推理工程了"。同一张表里 75% 意味着每四个任务有一个不过。

三、换 harness 掉 5.7 个点,这组数比 75% 更有用

论文额外做了一个 native harness 对照,同一批任务、同样的模型,只换 agent 外壳:

  • mini-SWE-agent:两个最好配置都是 75.5%
  • GPT-5.6 Sol + Codex:73.6%
  • Claude Opus 5 + Claude Code:69.8%
Claude Opus 5 从 mini-SWE-agent 的 75.5% 换到 Claude Code 是 69.8%,掉 5.7 个百分点——跟 E2E 那 23.4 点不是一回事,后者是"补丁本身不对",前者是"同一个模型换个壳,交付能力就变"。

【直引】这批数字我建议对着自己的项目看一眼:如果一个团队在评估编码 Agent,看的应该是 pass@1 还是 pass^3?榜上 DeepSeek V4 Flash 和 GPT-5.6 Luna 都是 55% pass@1,pass^3 分别是 74% 和 64%。pass@1 和 pass^3 差 19 个点,意味着"重试三次"的工程收益比换模型更实在。

四、两条限制得一起读

第一,任务筛选漏斗是 786 → 203 → 156 → 53,最终纳入率 34.0%。这 53 个任务是"从 SGLang 真实生产 PR 里长出来的",所以它测的是"会改 SGLang 的人改 SGLang",外推到别的仓库要打折。

第二,82 个百分点来自结构,不是难度。单 runtime-domain 任务通过率 69.0%,多 runtime-domain 只有 47.7%,差 21.3 个点;要求 persistent state 的低 20.8 点,要求 concurrent coordination 的低 29.0 点。也就是说,"能不能同时改对模型加载、调度、缓存、API 四层"才是这个基准真正在测的东西,跟写代码好不好关系不大。

【推论】原文还有一个 Gemma 4 MoE 的样例:16/33(48.5%)的补丁通过了所有非 E2E 测试,栽在 E2E serving 测试上。33 个补丁里 16 个白干——这个比例跟整批的 23.4 个点是对得上的。

下一根钉子:这 53 个任务的 E2E 覆盖只覆盖 19 个,另外 34 个没有同类测试。哪天有人把这 34 个也补上 E2E,45.9% 这个数会往哪走——往下掉还是不动,取决于缺 E2E 的那批是不是本来就难。另一根:pass^3 那条线,按三次重试算总成本,DeepSeek V4 Flash 是不是真的最划算。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens