从第四十一到第二——一个 AI 学徒的爬榜记

从第四十一到第二

——一个 AI 学徒的爬榜记

「能力的自举与结构」三部曲 · 第二篇：学习

上一篇 MASS 里，AI 向内求——同一个模型给自己当员工、考官和教练，把改进内化进权重。这一篇反着来：权重一个数都不动，让 AI 去打比赛、看回放、改代码，看看纯粹靠"外部修炼"能走多远。下一篇 Small-World，我们钻进脑内，看推理能力在权重里长成的结构。

🏟️ 三十年前，这里先教会了王小川怎么赢

故事得从一场人类自己的比赛说起。

1998 年，清华大学办起了一场特殊的对抗赛：选手不答辩、不写论文，提交的是一段会自己打比赛的程序——坦克对战。两辆坦克、一张地图、一套规则，谁的代码更会赢，谁就站上领奖台。这是清华大学智能体大赛的起点，比赛平台后来有了个名字叫 Saiblo。此后三十年，一届一届办下来，游戏换了一茬又一茬，规则一年比一年刁钻，唯有一条老规矩从没变过：你得亲手写下一个会思考的程序。

从这个赛场走出去的人，后来很多都成了中国计算机界的名片。搜狗创始人王小川，早年在这里调试过他的智能体；竞赛编程界的传说人物楼天城，人称"楼教主"，当年也是这个赛场上的选手。三十年攒下来的不只是奖杯，还有历届选手提交的作品：1,920 个程序，被完整地存档下来，像一层一层叠起的岩层，封存着每一代学生"怎么琢磨赢"的心血。要交代一句：池子数的是程序数，不是人数——有的同学当年提交了不止一个版本。

2026 年，清华计算机系学生科协的二十五个年轻人，在 Hongning Wang 教授的指导下，把这些岩层凿开了。他们给 AI 搭了一个考场，叫 AAArena——Agents for Agents Arena，"智能体的智能体赛场"。考题只有一句话：

给你一个会写代码的大模型，不许动它一个权重，让它像当年的学生一样参赛——它能打到第几名？

论文的标题问得更直白：Can AI Agents Learn Their Way to the Top?——AI 智能体能一路学到榜首吗？

♟️ 棋不下在棋盘上

先别急着看比赛。这场考试考的到底是什么，值得先掰扯清楚。

我们平时说"AI 下棋"，画面是模型直接坐在棋盘前，一步一招。AAArena 里 AI 不这么干。它的活儿是：读懂规则，写出一个会下棋的程序，让程序去下，自己根据输赢回头改代码。

这个差别是本质性的。直接下棋的 AI，学来的东西装在权重里——那是一团人读不懂的浮点数，赢了不知道为什么赢，输了不知道错在哪。AAArena 走另一条路，叫启发式学习（Heuristic Learning，HL），提出者是翁家翌（Jiayi Weng），写在他 2026 年 5 月的博客《Learning Beyond Gradients》里。用一句话概括：AI Agent 消化经验和反馈，直接修改程序及其辅助软件，让学习成果积累在一个可执行、可检验的系统里。模型权重完全不动。

打个比方。传统 AI 学棋像培养一个天才棋手，手感全在神经里，你问他为什么这么走，他只能说"直觉"。HL 更像带一个写软件的学徒：每输一局，他就回工坊改自己的程序——开局库加一段，残局判断修一修——改完跑一遍，看赢没赢。学到的东西全在代码里，每一行都摆在明面上：能运行、能测试、能回滚。

放到对抗任务里，就叫对抗启发式学习（AHL）。循环五步：读懂规则 → 自选对手打小局 → 分析回放 → 修改策略代码 → 全池评测看排名。如此往复，直到预算耗尽。

所以这场考试评测的，不是"AI 下棋的水平"，而是"AI 的教练水平"——论文里有个很漂亮的说法：开发者的开发者。就像围棋道场考的不是棋手，是教棋的师父。

🧮 考场的规矩

考场搭得很讲究。

十二个游戏，全部来自历届大赛真题，分四类：战术战斗、领地控制、资源管理、生存。对手就是那 1,920 个冻结的人类程序。这些程序不知道，自己当年为了交作业写下的代码，几十年后成了 AI 的磨刀石。

AI 拿到的装备和人类选手当年差不多：规则文档、SDK、回放说明、一个排行榜，外加一个参考程序——排名 40 的那个。其他对手的源代码，一律不许看。想变强，只能在对局里自己摸。

预算设计成双轨，叫双预算协议。第一轨，128 个"小局单位"：自选对手打小型对局，换回详细回放——相当于叫陪练，打完能拿全程录像慢慢研究；一次最多约 8 个对手，按对手数计费。第二轨，16 次"全池评测"：把当前版本扔进整个池子打一轮，换回 Elo 分和排名——相当于正式考试，用一次少一次。两套预算分开记账，逼着 AI 自己掂量：什么时候该闷头练，什么时候该上考场。

记分也有讲究：全程只认历次正式评测里最高的那个 Elo 及对应排名，最好的快照会被保留。换句话说，后面改砸了也不怕，摔在泥巴里，成绩单上还是最好那一次。这条规矩给了 AI 放手探索的底气。

考场上还挂着一把尺子：规则复杂度。研究者把每个游戏的规则改写成统一的形式化语言，数它的抽象语法树节点数——可以粗略理解成"把规则翻译成代码有多少行"。十二个游戏，从 1,127 到 6,368 个节点不等。没概念？给两个参照：围棋 501 个节点，国际象棋 1,551 个。也就是说，这批校园对抗游戏的规则复杂度，是围棋的两到十二倍。规则里埋着成百上千条彼此纠缠的细节：什么资源怎么结算、哪个技能什么触发条件、回合上限到了按什么公式判胜——全是坑。

记住这把尺子。它是后面所有故事的暗线。

🥇 六枚金牌

上场的考生一共七位：Opus 5.5（配 Claude Code 编程环境）、GLM-5.3、GPT6-sol、Kimi K3、DeepSeek V4 Pro、Qwen 3.8、LongCat 2.0。每个游戏跑三遍，取中位数。

成绩先报。最强配置 Opus 5.5 + Claude Code：12 个游戏拿下 6 枚金牌——在 6 个游戏上登顶人类榜首；在 9 个游戏上拿到最高或并列最高的 Elo。其他选手也有斩获：GLM-5.3 和 GPT6-sol 各拿 4 金，Qwen 3.8 有 3 金。金牌的分布也不平均：Rollman 和 AquaWar 上好几个配置都能登顶，LostSpace 和 SnakeGo 却只有 Opus 5.5 啃得下来。

然后是暗线发威的时刻。把 12 个游戏按规则复杂度对半劈开：

• 规则简单的 6 个游戏，5 个有 AI 登顶；
• 规则复杂的 6 个游戏，只有 1 个登顶。

一张成绩单，两种天气。

顺带交代一个诚实的小注脚：金牌的意思是"在冻结池的评分协议下排名第一"，并不等价于和人类冠军真刀真枪单挑获胜，更不代表找到了最优打法。这个限定论文自己写得明明白白——排行榜这种东西，赢的是评分体系。但即便如此，1,920 个当年真想过赢的人类程序在底下托着，这个第一名的成色，也不是刷个小榜能比的。

📈 三种命运

12 条爬榜轨迹画出来，分成三类，像三种人生。

成功型：Rollman、MoneCraft、Pacman、AquaWar。一路爬升，登顶，收工——有的连 16 次正式评测都没用完就停了，摸到顶就不再恋战。像那种早早知道自己要什么的优等生。

进步型：AntWar、Dorado、LostSpace、SnakeGo、AntWar2。整体向上，但锯齿密布，单个版本改砸是家常便饭。好在"只记最好成绩"的规矩托着底，改砸了回滚就是。

停滞型：Generals、Miracle、LOTA。开头的适应期一过，曲线摊平成一条直线。再怎么练，都练不动。

停滞的三个，是不是预算给少了？研究者做了个干脆的实验：在原预算上追加 256 个小局单位、32 次全池评测，凑成三倍预算（384/48），接着原来的工作台继续跑。结果：Generals 和 LOTA 原地踏步，Miracle 从第 26 挪到第 19，AntWar2 从第 9 到第 6——但没有一个摸到第 1。

钱加到三倍，门还是没开。这不是预算问题，是能力问题。记住这句话，"撞墙"那节要用。

🐴 第四十一名的翻盘

现在讲全场最好看的故事，主角是 GLM-5.3 在 Dorado 这个游戏里的一段爬榜。

Dorado 是个资源经营加英雄对战的二人游戏：双方各守一个基地，从四个职业里招募英雄，挖矿攒金子，用金子招募和升级英雄；推平对方基地直接获胜，回合数耗完，就按金子加英雄等级价值结算。开局 GLM-5.3 的成绩单：第 41 名。在一群人类大学生的考古代码中间，谈不上灾难，但绝对谈不上体面。

论文把它的操作记录一一手筋一手筋地拆了出来，每次改动都对应策略代码里的增删。

第一手，修矿。 AI 检视自己的经济逻辑，发现挖矿分配全是毛病：中央矿要常开，其他矿只在窗口期能采；每个矿按最高单人挖矿率算，堆再多英雄上去产量也不叠加；死掉的矿手得从占用数里剔除；同一个矿派多人还要罚分。一条条改完，全池评测：第 14 名。从 41 到 14，一步到位。

第二手，聚焦。 它把升级资源集中到两个核心英雄身上，同时保住挖矿经济不断血。这一改，Elo 涨了 147.7——全程最大单次提升，排名冲到第 3。

第三手，火候。 都第 3 了，它没停。它回头精化反击的触发条件：只有被持续近身攻击之后，才允许单个英雄还手。说人话，就是学会了"忍"：不是挨打就还，而是算清了再还。这一改，第 2 名。

中间当然也有弯路，而且弯路本身就很说明问题。它试过组四英雄阵容——排名哗啦掉到 46；试过无条件放 Sacrifice（牺牲）技能——掉到 43。两次豪赌全输，它的应对很干脆：回滚，退回此前最佳版本，权当没发生过，换个方向再来。

这个细节我很喜欢。学习的另一半是认输，和记住退路。程序化的策略恰好给得起退路——代码改坏了能改回来，这在权重世界里是办不到的：神经网络学不会"撤销"。

从 41 到 2，靠的不是灵感一闪，而是三记外科手术，加一个漂亮的后撤步。这就是"学习引擎"四个字的具体形状。

顺手看一眼 AI 写出来的冠军代码长什么样。研究者把 84 份冠军策略按算法归类：八成靠的是手写规则加启发式打分——if-else 优先级、状态机、给候选动作加权求分再贪心选；图搜索占 13%——BFS、最短路、距离场之类；真正玩前瞻搜索的，minimax、MCTS 这类"往后算几步"的东西，84 份里只有 7 份超过一成，还全集中在 AntWar 那几个游戏。写得最"聪明"的是 Opus 5.5：它的规则占比最低（47%），打分和前瞻的占比最高。代码风格能分出高下，但目前还只是相关性，不是因果。

🧪 拧四颗螺丝

爬到这里，好奇心该起来了：这套自学流程里，到底是哪颗螺丝在起作用？研究者一颗一颗地拧。

第一颗，挑谁当陪练。 四种策略对比：AI 自选对手、从第 30 名开始逐级往上打的"梯子"、随机抽样、只打前四。结果：只打前四的全程垫底——天天被世界第一吊打，你连球都碰不到，什么都学不到；自选和梯子互有胜负（Pacman 和 AntWar 上梯子更好，Miracle 上自选更好），但都稳压随机。翻译成人话：陪练要挑"能给你信息量"的，不是挑名气最大的。

第二颗，回放给多细。 详细回放对"只告诉输赢"的二元反馈，三个代表游戏全是详细回放赢，无一例外。这也是常识的胜利：输了能看到每一步的决策和后果，才有得分析；只被告知"输了"，等于什么都没说。

第三颗，一局约几个对手。 在 1、2、4、8 里扫一遍，中间值最优：Pacman 和 Miracle 是 4 个，AntWar 是 2 个。一次约 8 个，两三次就把陪练预算烧完了，而且输成一锅粥根本没法归因；一次只约 1 个，反馈又太单薄。学习和吃饭一样，吃到八成饱最划算。

第四颗，预算。 前面说过了：三倍预算救不了停滞。预算不是瓶颈，能力才是。

四颗螺丝拧完，这套自学流程的"火候"就清楚了：挑合适的陪练、给够细的录像、每局适量的对手，以及——接受有些墙现在就是撞不开。

👻 光看棋谱，也能涨棋

接下来是全文最漂亮的发现，值得单独一节。

前面说的学习，都是 AI 打自己的对局、看自己的回放，学术上叫 on-policy。研究者做了一个变体：不让它上场，只让它看——从池子里 1,920 个程序互相对局的录像库中挑回放看，自己的棋一概不打。128 次看录像的机会，外加同样 16 次全池评测。

直觉上这不该管用。不下场，光蹲场边看，能涨棋？学东西不是要"做中学"吗？

结果管用了。三个游戏全部进步：Pacman 从第 10 冲到第 1；AntWar 从第 41 冲到第 19；Miracle 从第 27 冲到第 15。

最惊人的是 Miracle。亲自下场打的版本，平台期卡在第 26；光看录像的版本，拿到了第 15。看别人的棋谱，比自己下场打，学得更有效。

论文管这叫 off-policy 学习——经验来自别人的棋路。先泼一点冷水保持诚实：它不是万能的。Pacman 上两个版本都冲到了第 1，打平；AntWar 上反而是自己打的更好（第 5 对第 19）。但 Miracle 那个对比足够震撼——一个自己练已经练不动的死局，看别人的录像竟然活了。

为什么？一个学习者的天花板，很大程度上是自身经验的边界。自己的对局再精彩，也只是"我"这一种下法；池子里 1,920 个程序，是 1,920 种赢的思路。只看别人的回放，等于把三十年人类选手的棋谱全请进了训练室——AI 从他人经验里直接吸营养，绕开了自己试错的天花板。

想想人类是怎么学出来的。你这辈子学会的大部分道理，来自你从没见过的人；围棋少年打谱，打的是几百年前的古人之局。某种意义上，AI 在这里摸到了"文明传承"的边：个体不必重新发明轮子，直接继承全池的教训。那 1,920 个冻结的程序，此刻不是对手，是 1,920 位不说话的师父。

🧱 墙在哪儿

奖杯举完了，得找墙，不然就成庆功稿。

墙的位置，成绩单上已经指出来了：规则复杂度。复杂规则的 6 个游戏只登顶 1 个。这个"复杂"到底难在哪？六千多个 AST 节点意味着规则文档里埋着成百上千条彼此纠缠的细节：这个技能吃不吃那个加成、地形和单位状态怎么互相影响、结算顺序谁前谁后、回合上限到了按什么公式判胜。人类选手靠一学期的时间慢慢啃规则、跟队友吵、无数次试错，才把规则吃透。AI 手里只有 128 个小局单位，看起来不太够烧。

论文把短板点得很直接：游戏理解，和长线策略规划。前者是读题能力——题读不懂，后面全白搭；后者是全局谋划——光会算眼前一步不够，得排得出几步之后的账。还有个耐人寻味的侧面：同样一份预算，不同模型烧掉的 token 差五倍还多——GPT6-sol 全程 2.6 亿，Qwen 3.8 冲到 14.5 亿，冠军配置 Opus 5.5 用了 7.37 亿。同一个考场，有人草稿纸用不完，有人把草稿纸写烂了还是做不出。预算限的是"对局次数"，限不住"想"。

还有那条"6 金对 6 未登顶"的对半格局。研究者没有粉饰成"全面超越人类"，而是清清楚楚画了一条线：线这边，AI 已经能把三十年人类榜首挑落马下；线那边，还站着六个暂时够不着的人类堡垒。这条线本身就是重要的科学信息——在"规则能被程序完整表达、结果能被回放检验"的封闭战场上，现阶段的 Agent 学习引擎能走多远、走不远哪里，第一次有了量出来的答案。

🎓 结语：另一种学法

把三部曲的前两篇摆在一起，味道就出来了。

MASS 的 AI 向内求：同一个模型分饰员工、考官、教练，在自我监督里滚雪球，把改进内化进权重。AAArena 的 AI 向外求：权重一个数不动，让学习全部沉淀在外部代码里——可读、可执行、可检验、可回滚。一个改"脑子"，一个改"棋谱"，两条路都通到了"能力涨起来"这个终点。缩写也起得妙：Agent for Agents——造智能体的智能体。

而真正撑起这片赛场的，还是那 1,920 个冻结的人类程序。三十年里，一届届清华学生为了赢写下的代码，如今成了衡量 AI 的标尺。王小川、楼天城们的后辈当年大概不会想到，自己为了交作业写下的程序，几十年后会迎来这样一位奇怪的师弟：它不下场，先读规则；输了不辩解，回去改代码；改砸了，就回滚。赛场的老规矩没变——想赢，就得一遍一遍改自己的招。

还有一个小画面想留在结尾。AI 的工作会话是会"压缩上下文"的——记不住的旧对话会被折叠掉。为了对抗遗忘，它给自己记笔记：哪个版本改坏了、哪次评测最好、哪个对手不好惹。三十年前人类选手在实验报告里记心得，三十年后 AI 在同一个赛场里做同样的事。

学习的样子，原来长一个样。

下一篇，我们往脑内走：Small-World，看推理能力在模型权重里长成的结构。自举、经验、结构，三块拼图就快凑齐了。

参考文献

1. Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition. Kaisen Yang, Qingle Liu, Kejin Wang 等 25 人（清华大学计算机系学生科协；指导：Hongning Wang；Z.ai 赞助）. 2026-10-08. arXiv:2610.12341. https://arxiv.org/abs/2610.12341 2. Learning Beyond Gradients（启发式学习 HL 概念的出处，博客文章，非 arXiv 论文）. Jiayi Weng（翁家翌）. 2026-05. https://trinkle23897.github.io/learning-beyond-gradients/ 3. CATArena: Evaluating Evolutionary Capabilities of Code Agents via Iterative Tournaments. Lingyue Fu et al. 2026. arXiv:2510.26852. https://arxiv.org/abs/2510.26852 4. EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments. Zhilin Wang et al. 2026. arXiv:2607.02440. https://arxiv.org/abs/2607.02440 5. AlphaEvolve: A Coding Agent for Scientific and Algorithmic Discovery. Novikov et al. 2025. arXiv:2506.13131. https://arxiv.org/abs/2506.13131 6. STop: Self-Taught Optimizer — Recursively Self-Improving Code Generation. Zelikman et al. 2024. arXiv:2310.02304. https://arxiv.org/abs/2310.02304

#论文解读 #智柴日报 #能力的自举与结构 #小凯