字节 Seed 发布 EdgeBench:真实任务 12 小时超长程评测,前沿模型学习速度每三个月翻倍

2026-07-06 · 字节跳动 Seed · AI coding/Agent 评测
原文链接:https://seed.bytedance.com/zh/blog/edgebench-%E8%A1%A1%E9%87%8F%E7%9C%9F%E5%AE%9E%E4%B8%96%E7%95%8C%E7%8E%AF%E5%A2%83%E5%AD%A6%E4%B9%A0-%E5%8F%91%E7%8E%B0%E6%96%B0-scaling-law
项目链接:https://seed.bytedance.com/edgebench
论文:https://edge-bench.org/paper.pdf
代码:https://github.com/ByteDance-Seed/EdgeBench
数据:https://huggingface.co/datasets/ByteDance-Seed/EdgeBench

7 月 6 日,字节 Seed 团队发布 EdgeBench——一个 134 个真实任务、六大领域、每个任务支持持续工作 12 小时以上的超长程评测集。

它跟传统评测最大的差别是:不是测「模型已经知道什么」,而是测「模型在跟环境持续交互时,会怎样学习并改进」。

数据规模:134 个真实任务、约 38000 小时环境交互记录、402 条学习曲线 / 模型、51 个任务 + 完整框架已开源、可复现。

发现:Agent 的环境学习表现遵循一条高精度 log-sigmoid 曲线,平均拟合精度 R²=0.998。前沿模型从 2025 年 9 月到 2026 年 5 月,环境学习速度每三个月翻一倍。

EdgeBench 在测什么:跑得久比答得对更重要

业界已有的评测集(SWE-Bench、Terminal-Bench、HumanEval、Aider Polyglot 等)大多测两件事:一次性完成的能力 + 一次性答对的概率。这两件事重要,但都是在「开盒即用」的瞬间判断模型。

EdgeBench 想测的不是这个。

它关心的是:给模型足够时间、足够反馈、足够改进空间,它能不能从环境中「学到东西」并持续提升?

要做到这个,任务本身必须符合几个条件:

• 真的来自真实问题,不是合成 toy
• 反馈信号清晰:评分、错误信息、改进线索
• 长时程可运行:不能几秒就结束

所以每个任务至少支持 12 小时持续运行,部分延长实验超过 72 小时。人类专家完成单个任务的平均时间是 57.2 小时,最高达到 320 小时。

六大领域:不是堆数字,是「真实」

EdgeBench 涵盖六个领域:

1. 科学(引力波分析、材料模拟、计算化学等)
2. 复杂软件工程(跨多仓库的 bug 修复、依赖升级)
3. 白领知识工作(报告生成、数据分析、流程优化)
4. 算法优化(从 LeetCode 不算,是从特定性能瓶颈反向推算法)
5. 前沿数学(论文级猜想探索)
6. 数字游戏(作为可控代理测试场)

这里面有几个关键细节:

90% 的任务是全新构建的——不是从已有数据集搬迁。这意味着评测集的质量控制更严,也意味着模型没法靠「刷题」获得高分。

134 个任务中只有 51 个开源——其他 83 个保留。这意味着基准不被污染,只能通过 API 测,不能下载下来训练。这是当前 AI 评测(尤其是中国的)较少见的严肃做法——但跟 Terminal-Bench、FrontierScience 看齐是必然方向。

反馈信号是真实环境的反馈——不是「对错」二分,而是「具体错哪、错到什么程度、可以怎么改」。这种反馈密度让学习曲线有意义,不是「对了就不动」的死局。

关键数字:R²=0.998 的 log-sigmoid 曲线

跑完数据后,字节团队画了所有模型的平均学习曲线。所有前沿模型都收敛到一个形状——log-sigmoid 曲线——平均 R²=0.998(就是拟合度高到离谱)。

这条曲线的意思是:模型不是线性变好,而是「前慢中快后平台」。刚开始慢(在搞懂任务)、中间加速(掌握了反馈模式)、末尾平稳(达到了任务上限)。

R²=0.998 是有意义的:它暗示环境学习的动力学有某种底层规律,不是模型特定。这让预测「再过 5 个小时,这个模型能拿多少分」变成可能。

具体案例:GPT-5.5 在引力波任务的 12 小时运行里,247 次评分尝试把分数从 42.8 提到 67.0。这种「长跑中提升 24 分」的曲线,在传统 benchmark 里是不可见的——因为传统 benchmark 测的就是开盒即用的那一刻。

更戳人的发现:学习速度每三个月翻一倍

字节 Seed 选了 18 个「初始表现相近」的任务(为了排除基础能力差距),拿来测从 2025 年 9 月到 2026 年 5 月发布的 6 代前沿模型,用 2 小时内性能提升幅度衡量「学习速度」。

结论:对当时最强的前沿模型来说,这个学习速度每三个月翻一倍。

也就是说:2025 年 9 月最强模型 2 小时能学到的能力,2026 年 3 月的最强模型只要 1 小时就能学到。这跟预训练 Scaling Law 是平行的——但运行在「环境学习」轴上。

把这件事推到更远:如果这个速度继续维持,2027 年初的最强模型在 2 小时内的学习能力,会比现在强 4 倍。具身智能、长任务 Agent、AI Scientist 这类「需要时间出真章」的产品,它的体验天花板会跟着这个学习速度曲线向上抬。

跟已有评测的关系:不是替代,是接续

EdgeBench 不是替代 SWE-Bench、Terminal-Bench、HumanEval,是接续它们:

• SWE-Bench:测 coding 任务的「一次性答对」,导向一次性 PR 修复
• Terminal-Bench:测命令行环境操作,导向「shell 上的助手」
• FrontierScience 之类:测科学推理的深度,但仍是单次提交

EdgeBench 测的是「可以跑 12 小时还能持续进步」——这是「Agent」这个词的本意,跟「LLM」严格区分开来。

接续带来的产业影响:近一年 AI Agent 公司疯狂卷「在 SWE-Bench 上 +X 分」,现在终点开始变成「在 EdgeBench 上,X 模型在 2 小时内的提升幅度」(这比一次性的绝对分数更稳定可信)。下一代 Agent 产品的 KPI 会从「答对率」转到「单位时间内的提升斜率」。

为什么中国团队在出这个

EdgeBench 的 134 个任务里,科学、工程、白领工作三类,中国团队在数据上不缺。真实任务的多样性是 EdgeBench 能成立的根本原因——这也是 06-26 以后中国 AI 团队在评测和基础设施上开始有领先贡献的范式延续(RedKnot 推理引擎、LongCat Owl 全 ASIC 训练、ASPIRE 机器人框架、Elements Claw 超导材料发现,都是这个逻辑)。

而 51/134 的开源比例,说明字节在做事时留了「封闭区」——后续可能有商业 API 版本供第三方评估。这跟 Anthropic 在 Claude Safety 评测上的做法类似:核心数据公开 + 评测能力开放 + 数据生成管线商品化。

局限和待观察

任务数量还是小。134 个任务在统计意义上勉强——如果一个基准想被广泛接受,通常需要 500+ 任务。字节可能在等第二批放出。

领域偏向中国场景。六个领域里大量任务可能更接近中文产业界的真实场景——对中国 AI 工程师有优势,但海外学术社区的采用率会被这一关卡住。

评测结果对模型迭代速度敏感。「每三个月翻一倍」这个数字,如果 2026 年下半年有 wave 跃升式的模型发布(比如 GPT-6、Gemini Ultra 3),可能短期内击穿这个曲线。

83 个任务未开源是双刃剑——保护基准不被污染,但也意味着任何论文引用都得通过合作渠道。

值得关注的原因

EdgeBench 给了 Agent 评测一个新范式:不再问「模型做不做得到」,而是问「模型学不学得会」。这是根本不同的测什么。

对 AI coding 公司:这两个月的 Agent 产品迭代会从「刷 SWE-Bench」转到「在长任务场景里提高学习斜率」——这跟「长时间工作的 Agent 体验」是直接绑定的。

对具身智能:EdgeBench 的 6 大领域里有「复杂软件工程」,这意味着具身厂商可以拿这套评测去测他们的机器人代码 agent——不是测机器人跑得多快,是测它「12 小时跑下来能不能学到东西」。

对学术界:这条 log-sigmoid 曲线 + R²=0.998 的精度,意味着环境学习有自己的 Scaling Law——这是跟预训练 Scaling Law 平行的第二条曲线。一个新 Scaling Law 的出现,通常意味着一个新的研究浪潮正在生成。

我的判断:接下来的 6 个月里,所有主流 AI 实验室(OpenAI、Anthropic、Google、xAI、Meta)都会针对 EdgeBench 类基准做调优——不是因为他们更爱国,而是因为「学习斜率」会变成新的产品 KPI,跟「答对率」分庭抗礼。