输 19 分的 AI,给自己写了本规则手册
先看一组对照。同一个 Claude Opus 5,玩雅达利乒乓球:直接上场,每帧调用一次模型,零记忆,输了 19 分。给它一套外部记忆和学习循环,再上场,21:0,三局不同开局,一分不丢。
模型没换。变的只是中间那层东西。
这是十月初挂上 arXiv 的 Memento 3,UCL、华为诺亚方舟实验室和利物浦大学的合作,通讯作者是 UCL 的汪军。论文把它定位成递归自我改进(RSI)的一条新路线:模型的权重全程冻结,被改动的是一份外部的世界模型。视频把它叫「黑科技」,实际的东西朴素得多——一本用人话写的、会自我纠错的规则手册。
三个部件
第一件是规则手册。 agent 用自然语言记录自己对世界的猜想:球碰到拍子会反弹、门要配对颜色的徽章才能开。没观察到的地方就留空,不瞎编。它是持久的语义记忆,随证据到来不断修订。
第二件是编译器。 规则手册被实时编译成 Python 代码——一个可执行的世界模型。规划时不用问大模型「下一步会怎样」,直接在代码里推演:试这条动作序列,预测结果,挑一条能过关的。论文给这条路起了个名字,代码即模型。
第三件是门卫。 每次修订后的代码想上岗,要过两道检查:大模型判断代码是否忠实于规则手册;然后逐格重放——用新代码把历史交互轨迹从头推一遍,每一格预测都必须和当初的实际观测完全一致,差一格都不行。过不了就打回,改了再验。规则手册本身用类似 git 的方式存版本,agent 能翻出旧假设、对比两次修订的差异,甚至恢复被后来编辑弄坏的版本。
错了怎么办?自我批评,改规则,重新编译,再过门卫。循环到完全对得上历史为止。这套流程没有一点神秘:预测错误是信号,规则是假设,重放是判据。
成绩单与漏掉的细节
在 ARC-AGI-3 的 25 款公开游戏上,这个 agent 全部通关,效率分 RHAE 到达 100.0 的封顶值,总动作数 7,518,是人类基线的 44%。
「大满贯」是真的,但有一处背景值得补:ARC-AGI-3 社区榜上的 baseline1(Rodionov,今年五月,同样走可执行世界模型路线)也通了全部 25 款,效率分 99.0。两家的差距是一分效率,不是「有没有人做到」——可执行世界模型这条路线,已经是榜单前两名的共同底座。Memento 3 的实验 harness 本身就是在 baseline1 的代码库上搭的。排行榜再往下:NOOA 85.1 通 19 款,OPINE-World 78.4 通 20 款,Claude Opus 5 配标准测试架只有约 40.7。
乒乓球的账
Pong 的对照表值得整段看。无模型强化学习(Rainbow、IMPALA、GDI、LASER)拿到 21 分,学习成本都是 2.0×10⁸ 帧。基于模型的强化学习(EfficientZero 两代)20 到 21 分,4.0×10⁵ 帧。人类平均 14.6 分。Memento 3 的控制器 21 分,学习成本 9.5×10³ 帧。
九千五百帧。对无模型 RL 是约两万倍的差距,对模型化 RL 也差四十倍——「几个数量级」的说法有表可查,而且说的是保守的那种。学到 21:0 就停,之后控制器固定,执行阶段零次模型调用。同一个 LLM 不带世界模型的结果也印在同一张表里:−19。
为什么值得在意
权重冻结、外部记忆自改,这个组合把「自我改进」从参数层挪到了认知外挂层。论文自己的说法是 model-based 的 RSI 路线:改进的对象不是模型,是模型身后的世界模型。
这门路线的命门和亮点是同一个东西:验证门。规则改成什么样由模型说了算,改得算不算数由重放说了算——逐格复现不了历史,就当没改。可执行的世界模型可靠,不是因为它写成了代码,而是因为它随时会被历史轨迹抓错。三局 21:0 之前,是无数次没通过门卫的草稿。
7,518 个动作,9,500 帧,两道检查。这本手册值钱的不是里面的规则,是改规则的规矩。
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。