Senior SWE-Bench：评估 AI 智能体作为「高级工程师」的开源基准

发布时间：2026-07-02 19:14（北京时间） 来源：Hacker News 热门（Snorkel AI） 原文：https://senior-swe-bench.snorkel.ai/ 精选分：71

事件内容

Snorkel AI 发布 Senior SWE-Bench——一个评估 AI 智能体作为「高级软件工程师」而非初级工程师能力的开源基准测试。

跟 SWE-Bench / SWE-Bench Pro / DeepSWE 的区别是：任务「更不明确」、「更长」、「更多样」。

三个设计维度：

1. 更自然的不明确指令——中位指令长度仅为 SWE-Bench Pro 的 31%。读起来像「自然语言消息」而不是「过度细化的需求文档」。 2. 更多样化的任务范围——每个功能任务平均涉及 11 个文件，跨 Python 服务、Elixir、Go、SQL、TypeScript 库、Rust 等多个技术栈。 3. 更长的任务周期——即使最强智能体也需要数百个步骤才能完成。

任务设计两类：

• 功能任务：现实指令，靠验证智能体（基于专家设计的配方）编写行为测试来评判
• Bug/性能任务：来自需要大量运行时调查的 PR（日志、性能分析数据、复现步骤）

任务来源：从 posthog、electric、gitea、better-auth、harbor 等仓库 PR 中选取，由有数百次提交的工程师编写。50 个公开 + 50 个私有。

评测榜单

排名	模型	Agent / 算力	通过率
1	Claude Opus 4.8	Mini-SWE-Agent · max	24.0%
2	Claude Sonnet 5	Mini-SWE-Agent · max	19.4%
3	GPT-5.5	Mini-SWE-Agent · xhigh	16.0%
4	Claude Opus 4.7	Mini-SWE-Agent · max	14.1%
5	GPT-5.4	Mini-SWE-Agent · xhigh	14.0%
6	GLM-5.2	Mini-SWE-Agent · max	12.5%
7	Kimi K2.6	Mini-SWE-Agent · default	8.2%
8	Claude Sonnet 4.6	Mini-SWE-Agent · high	8.2%
9	Gemini 3.1 Pro	Mini-SWE-Agent · high	6.1%
10	Gemini 3.5 Flash	Mini-SWE-Agent · medium	3.0%

关键数据：顶尖前沿模型在超过 75% 的任务中未能达到高级工程师级别的正确性与品味。

「品味评分」维度（>2/5）：功能膨胀 <2×、代码实践 >2/5、相对品味 >2/5——三个指标都通过的解决方案才算「解决」。

深度剖析

SWE-Bench 时代结束的两个信号越来越明显：SWE-Bench Pro（06-26 Cursor 攻击研究）→ Senior SWE-Bench（07-02 Snorkel）。

一、SWE-Bench 的「饱和危机」是行业共识。 当 06-22 Google Labs「洞察策略」批评 Jules、06-26 Cursor 攻击 SWE-bench Pro 奖励、07-02 Senior SWE-Bench 同步推出——三家在同一周内用不同方式表达「SWE-Bench 不够用了」。Senior SWE-Bench 的 24% 顶格通过率，跟 SWE-Bench Pro 60%+ 的饱和形成鲜明对比——新基准的难度提升是数量级的。

二、Snorkel 把「高级工程师」定义为「处理模糊需求」+「跨服务协调」+「运行时调查」。 这三个维度对应的是真实软件工程的核心难题：

• 模糊需求：高级工程师的「理解 + 主动澄清」vs 初级工程师的「按需求文档字面执行」
• 跨服务：高级工程师的「系统设计视野」vs 初级工程师的「单服务 CRUD」
• 运行时调查：高级工程师的「日志 + profiling + 复现三件套」vs 初级工程师的「重启试试看」

SWE-Bench 之前的评测全是「需求清楚 + 单服务 + 给定测试用例」——这是把 AI 智能体当「初级工程师」考核。Senior SWE-Bench 第一次把它当「高级工程师」考。

三、GLM-5.2 排第 6（12.5%）是个被低估的信号。 Kimi K2.6 第 7（8.2%）、Claude Sonnet 4.6 第 8（8.2%）、Gemini 3.5 Flash 第 10（3.0%）——中国大模型在国际榜单的可见度越来越系统。GLM-5.2 在 5 万美元算力级别跑出 12.5%，跟 Sonnet 5 在更高级别算力的 19.4% 差距在收敛。

四、「品味评分」是 Senior SWE-Bench 跟其他基准的最大差别。 5/5 维度的「膨胀 <2×」+「实践 >2/5」+「相对品味 >2/5」——这是「代码不只是 work，还得 well」的工程化表达。AI 智能体第一次被「代码品味」打分——这跟千问朱达 07-02「C 端 Agent Harness『多快好省』工程哲学」是同一种「工程美学」回归。

值得关注的原因

1. SWE-Bench 时代的结束是新基准时代的开始。Senior SWE-Bench 把 AI 智能体评测从「初级工程师」拉回「高级工程师」——未来 6 个月，所有 coding agent 公司都会被这个榜单卡脖子。 2. 「代码品味」作为评测维度的工业化。膨胀率 <2× 是个工程现实约束（团队不喜欢 PR 太长），品味评分 >2/5 是个主观标准（人类评审打分）——这是把工程美学变成机器可量化指标的关键尝试。 3. 「75% 任务失败」是 AI coding 的清醒剂。Claude Opus 4.8 在最强算力下也只有 24% 通过率——意味着即使在 2026 H2，AI 也不能独立完成 76% 的高级工程任务。市场对 AI coding 的预期需要校准。 4. GLM-5.2 + Kimi K2.6 在榜单上同时出现。中国大模型在国际高级工程师基准上第一次集体亮相——跟 LongCat-2.0 06-30、RedKnot 06-29 一起，构成中国 AI 基础设施层「连续信号」。

风险与待观察

• 50 公开 + 50 私有的样本量太小。SWE-Bench Lite 300 个任务、SWE-Bench Pro 数百个、Senior SWE-Bench 100 个——过拟合风险高，模型的真实泛化能力难以判断。
• 验证智能体的可靠性未知。Snorkel 用「验证智能体」写行为测试——但验证智能体本身可能 bug。「用 AI 测 AI」的循环验证偏差需要持续审计。
• 榜单被 Mini-SWE-Agent 主导。9 个模型都用 Mini-SWE-Agent，评测的是「Agent 框架 + 模型」的组合能力，而非「纯模型能力」。这跟 SWE-Bench Pro 的「同 Agent 多模型」设计相比，变量更多。
• 没有提「成本」。 Senior SWE-Bench 评测不报告每个任务的 token 消耗——结合 07-04 pxpipe（60-70% 成本下降）的发布，AI coding 评测需要补一个 $/task 维度。

一句话：Senior SWE-Bench 不是「更难的 SWE-Bench」——它是「SWE-Bench 评测对象错了」的反思。AI 智能体被当成初级工程师考了一年半，现在第一次按高级工程师考。Opus 4.8 也只有 24%——这个数字是 AI coding 行业在 2026 H2 必须面对的现实。