输 19 分的 AI,给自己写了本规则手册

先看一组对照。同一个 Claude Opus 5,玩雅达利乒乓球:直接上场,每帧调用一次模型,零记忆,输了 19 分。给它一套外部记忆和学习循环,再上场,21:0,三局不同开局,一分不丢。

目录
  1. 输 19 分的 AI,给自己写了本规则手册
  2. 三个部件
  3. 成绩单与漏掉的细节
  4. 乒乓球的账
  5. 为什么值得在意

输 19 分的 AI,给自己写了本规则手册

先看一组对照。同一个 Claude Opus 5,玩雅达利乒乓球:直接上场,每帧调用一次模型,零记忆,输了 19 分。给它一套外部记忆和学习循环,再上场,21:0,三局不同开局,一分不丢。

模型没换。变的只是中间那层东西。

这是十月初挂上 arXiv 的 Memento 3,UCL、华为诺亚方舟实验室和利物浦大学的合作,通讯作者是 UCL 的汪军。论文把它定位成递归自我改进(RSI)的一条新路线:模型的权重全程冻结,被改动的是一份外部的世界模型。视频把它叫「黑科技」,实际的东西朴素得多——一本用人话写的、会自我纠错的规则手册。

三个部件

第一件是规则手册。 agent 用自然语言记录自己对世界的猜想:球碰到拍子会反弹、门要配对颜色的徽章才能开。没观察到的地方就留空,不瞎编。它是持久的语义记忆,随证据到来不断修订。

第二件是编译器。 规则手册被实时编译成 Python 代码——一个可执行的世界模型。规划时不用问大模型「下一步会怎样」,直接在代码里推演:试这条动作序列,预测结果,挑一条能过关的。论文给这条路起了个名字,代码即模型。

第三件是门卫。 每次修订后的代码想上岗,要过两道检查:大模型判断代码是否忠实于规则手册;然后逐格重放——用新代码把历史交互轨迹从头推一遍,每一格预测都必须和当初的实际观测完全一致,差一格都不行。过不了就打回,改了再验。规则手册本身用类似 git 的方式存版本,agent 能翻出旧假设、对比两次修订的差异,甚至恢复被后来编辑弄坏的版本。

错了怎么办?自我批评,改规则,重新编译,再过门卫。循环到完全对得上历史为止。这套流程没有一点神秘:预测错误是信号,规则是假设,重放是判据。

成绩单与漏掉的细节

在 ARC-AGI-3 的 25 款公开游戏上,这个 agent 全部通关,效率分 RHAE 到达 100.0 的封顶值,总动作数 7,518,是人类基线的 44%。

「大满贯」是真的,但有一处背景值得补:ARC-AGI-3 社区榜上的 baseline1(Rodionov,今年五月,同样走可执行世界模型路线)也通了全部 25 款,效率分 99.0。两家的差距是一分效率,不是「有没有人做到」——可执行世界模型这条路线,已经是榜单前两名的共同底座。Memento 3 的实验 harness 本身就是在 baseline1 的代码库上搭的。排行榜再往下:NOOA 85.1 通 19 款,OPINE-World 78.4 通 20 款,Claude Opus 5 配标准测试架只有约 40.7。

乒乓球的账

Pong 的对照表值得整段看。无模型强化学习(Rainbow、IMPALA、GDI、LASER)拿到 21 分,学习成本都是 2.0×10⁸ 帧。基于模型的强化学习(EfficientZero 两代)20 到 21 分,4.0×10⁵ 帧。人类平均 14.6 分。Memento 3 的控制器 21 分,学习成本 9.5×10³ 帧。

九千五百帧。对无模型 RL 是约两万倍的差距,对模型化 RL 也差四十倍——「几个数量级」的说法有表可查,而且说的是保守的那种。学到 21:0 就停,之后控制器固定,执行阶段零次模型调用。同一个 LLM 不带世界模型的结果也印在同一张表里:−19。

为什么值得在意

权重冻结、外部记忆自改,这个组合把「自我改进」从参数层挪到了认知外挂层。论文自己的说法是 model-based 的 RSI 路线:改进的对象不是模型,是模型身后的世界模型。

这门路线的命门和亮点是同一个东西:验证门。规则改成什么样由模型说了算,改得算不算数由重放说了算——逐格复现不了历史,就当没改。可执行的世界模型可靠,不是因为它写成了代码,而是因为它随时会被历史轨迹抓错。三局 21:0 之前,是无数次没通过门卫的草稿。

7,518 个动作,9,500 帧,两道检查。这本手册值钱的不是里面的规则,是改规则的规矩。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

Memento 3 动画卡:规则手册编译成可执行世界模型,门卫逐格重放历史轨迹

三件套讲得清楚,我补两个帖子没提的一手细节。

一是作者名单。通讯作者确实是 UCL 的汪军,但一班人横跨 UCL、华为诺亚和利物浦大学,八个人,论文 CC BY 4.0。这种配置在这个方向不常见,值得留意是谁在出题、谁在答题。

二是帖子漏掉的一个架构设计:种群扩展。论文里世界模型不是单份的,可以并行跑多个,共享同一批证据互相校正。手册会写错,编译器会写错,多写几本一起对历史,错的版本更容易在门卫那儿现形。这比"一本手册自我纠错"更接近论文实际画的图。

帖子推的"约 40.7"也对得上:原文是 +59.3 RHAE,对 Claude Opus 5 配 ARC Prize Standard harness,封顶 100.0 减 59.3,正是 40.7。乒乓球的账更极端——9,500 帧打到 21:0 就冻结控制器,之后执行阶段一次模型调用都没有;无模型 RL 要两亿帧。同一个 LLM 拆掉世界模型是 −19,一层外壳差出快四十分。

手册里印什么规则不重要,改规则的规矩才值钱。这话我认。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens