引擎 × Agent · 一座 2004 年的 MMO 变成考场:天梯榜昨天刚收下 GPT-6.2 的成绩单
口径自查:RuneBench 不是新项目,仓库 2026 年 2 月建立,演讲视频十月十七日走红(Hacker News 250 分),本文的由头是榜单还在滚动进新成绩——十一月十七日仓库刚收进 GPT-6.2 Astra 与 Sol 的批次。四月批次与九月、十一月批次的计分口径一致(十五秒窗峰值经验速率),跨批次对…
引擎 × Agent · 一座 2004 年的 MMO 变成考场:天梯榜昨天刚收下 GPT-6.2 的成绩单
口径自查:RuneBench 不是新项目,仓库 2026 年 2 月建立,演讲视频十月十七日走红(Hacker News 250 分),本文的由头是榜单还在滚动进新成绩——十一月十七日仓库刚收进 GPT-6.2 Astra 与 Sol 的批次。四月批次与九月、十一月批次的计分口径一致(十五秒窗峰值经验速率),跨批次对比仅作量级参考。以下数字逐条对仓库官方数据。
一群最高级的代码智能体,走进了一款 2004 年的游戏。有的盯着矿石发呆,有的采到一半中途取消,有的在平地上原地打转。这不是恶搞视频,是一条持续运行了九个月的天梯榜的最新切片。做这个榜单的人叫 Max Bittker,游戏设计师,写过好几个叫得出名字的创意编程工具。他把 RuneScape 的 2004 年开源复刻服务器改造成了一座考场:十六种技能,各出十五分钟和三十分钟两张卷子,外加八道挣金币的应用题。卷子一直在考,模型一直换新,十一月十七日入库的最新成绩,是前一天刚发布的 GPT-6.2。
交互方式值得先说清楚,这决定了它和像素类基准的根本区别。智能体不用眼睛看屏幕。它拿到一套 TypeScript SDK,通过 MCP 的 execute_code 接口读写代码片段:读游戏状态、下发移动指令,用写代码的方式玩游戏。每个任务跑在独立容器里,游戏服务器开八倍速,旁边配一份从游戏 wiki 抽出来的知识库供检索。官方明说连不上正式服务器,也没有游戏公司的背书——这是一座私搭的考场。
计分规则的演变是整个项目里最值得抄走的一课。最初按固定时限内的总经验值排名,赢下榜位的全是最无脑的刷级流:选一个点位,重复同一个动作三十分钟。后来改成十五秒窗口的峰值经验速率,画风突变——上榜的运行开始换地图、绕路、用高级技巧。设计者自己的总结很直白:模型是不知疲倦的优化器,你设计什么指标,它就优化什么指标,连你没想到的漏洞一起。
成绩的跨度比想象中大。四月那批成绩里,GPT-5.4 的十六任务均值领先,Claude Opus 4.6 紧随其后,Gemini 3 Pro 掉到第三,小参数模型几乎交白卷。单任务的账单也很说明问题:Opus 4.6 跑一次三十分钟的偷窃任务,吃掉两百零四万输入 token、调用五十多次工具、花 3.67 美元。而最新一批数字把跨度拉到了另一个量级:十一月十七日入库的 GPT-6.2 Sol 在三十分钟技能任务上的中位峰值经验速率约 3820,同批 GPT-6.2 Astra 约 3230——九月十八日入库的 Claude Opus 5.5,中位数是 661。两个月,五倍多。
这座考场真正不可替代的东西,是那套共享经济。设计者给服务器开了一个玩家集资的大交易所,收 5% 的卖家税,然后看着智能体们做出一个反直觉的选择:几乎没人交易。作者的原话是,前几个月全服只有几十笔交易——当采集可以扇出一百个智能体去刷,自己刷永远比找卖家快,贸易在算力面前不划算。人类玩家经营了二十年的市场经济,在自动化面前换了一套运行逻辑。这条观察对研究多智能体经济的人是现成的实验田。
坑也是真实的。模型训练数据里见过 RuneScape 的攻略,知识却大量出错,提示里只要塞进一小段正确的游戏资料,分数就明显上浮;开着游戏聊天频道的智能体会被服务器里的骗子和提示注入盯上,文档专门留了一个关聊天的开关。围观过公测服的人类玩家留下的观察更生动:机器人用菜鸟的方式做菜鸟事,不去需要带水袋的沙漠,却有人无奖励地玩起了小游戏。
二十年前,一批人因为给这款游戏写外挂入了编程这一行;二十多年后,同一款游戏成了衡量前沿模型长时程能力的天梯。考场还是那座考场,考生换了物种。榜单还在滚动,下一个入库的名字,大概不会等太久。
信源:runebench 与 rs-sdk 开源仓库及结果站(官方数据文件,最新批次 2026-11-17)、Recurse Center 演讲视频(2026-10-17)、Hacker News 讨论区(83 条评论)。