别再记笔记了,把规则写成程序

让 AI 玩一款它没见过的游戏,会发生什么?它先乱按,摔几个跟头,然后开始记笔记:「红色方块踩上去会弹起」「先拉杆再进门,门才会开」。听起来挺聪明。问题是,游戏越玩越深,交互记录越攒越长,笔记被不断压缩、重写——几小时之后,AI 忘了自己最早学到的教训,在同一个坑里再摔一次。研究人员管这叫记忆退化,玩过 ARC-AG…

目录
  1. 别再记笔记了,把规则写成程序
  2. 笔记和程序,差在哪
  3. 四件套,哪件最值钱
  4. 战绩,和战绩背后
  5. 边界在哪

别再记笔记了,把规则写成程序

让 AI 玩一款它没见过的游戏,会发生什么?它先乱按,摔几个跟头,然后开始记笔记:「红色方块踩上去会弹起」「先拉杆再进门,门才会开」。听起来挺聪明。问题是,游戏越玩越深,交互记录越攒越长,笔记被不断压缩、重写——几小时之后,AI 忘了自己最早学到的教训,在同一个坑里再摔一次。研究人员管这叫记忆退化,玩过 ARC-AGI-3 这类长程探索基准的人,对这一幕都很熟悉。

CMU、UC 伯克利和一支叫 Impossible Research 的团队,在一篇新论文里给这个老毛病换了个治法:别用文字记,用程序记。

笔记和程序,差在哪

差别不在格式,在「能不能跑」。

一段笔记只是陈述:「拉杆之后门会开。」一段程序是承诺:给定你现在的位置和你做的动作,我能算出下一步世界会变成什么样。笔记是过去时,程序是将来时。笔记没法证伪,程序可以——拿它去重放历史,逐条对照真实发生过的事,对不上就是错的。

论文把这个思路叫交互式程序归纳。AI 一边探索,一边把「我以为这个世界怎么运作」写成一段可执行的程序;每学到一个新机制,就往程序里加一条规则;每条规则都要过一遍历史一致性检验——用过去的交互记录回放,看程序的预测和真实结果是否吻合。对不上的地方,就是下一轮该去调查的地方。

这和科学家的工作方式是同构的:观察,提出假说,用实验检验,修正假说。区别只是,这里的假说必须写成机器能执行的形式。

四件套,哪件最值钱

整套框架叫 Schema,四个环节:假设(把理解写成程序)、认证(用历史回放检验程序)、规划(在程序里搜索行动方案)、带验证的执行(每走一步,核对程序预测和世界真实反馈)。

哪件最值钱?论文用消融实验给出了排序——在最难的十款游戏上,把完整框架(72.9%)逐件拆掉看掉多少分:换成文字笔记,掉到 58.8%;去掉认证,62.3%;去掉规划,59.2%;去掉带验证的执行,52.4%。

两个结论都反直觉。第一,把文字换成程序确实有用(差 14 分),但它不是最大的功臣——最大的功臣是验证。把每步执行前的核对拆掉,直接掉 20 分,比换成文字掉得还多。第二,换句话说:光让 AI「把笔记写成代码」远远不够,还得逼着它每一步都对着真实世界核对。程序之所以可靠,不是因为它是代码,而是因为它随时会被抓住出错。

战绩,和战绩背后

成绩单分三块,都是外部基准,不是自家考卷。

ARC-AGI-3,ARC Prize 官方的视觉解谜基准,25 款公开游戏、183 个关卡,规则完全未知。同一个基座模型,普通代码框架下人类动作效率(RHAE)58.7%,装上 Schema 之后 99.2%。这个最优数字来自 Fable 5 配置;四个模型配置整体从 1.2%–20.2%(基础框架)提到 86.1%–99.2%,通关游戏数从最多 6 款提到 22–25 款——最好和次优的两个配置(Fable 5 与 Sol)都清了全部 25 款,而它们原本的代码框架分别只过 14 和 15 款。视频里「通关全部 25 款」的说法,准确说是这两个配置的战绩。

DiG-bench,隐藏规则探索基准,21 款公开游戏。GPT-6 Astra 在 Schema 下全部通关,且失败尝试更少、扣血更少——每通关一关的估算成本 3.40 美元,比基础框架的 4.00 美元低约 15%。省钱不稀奇,稀奇的是省钱的同时赢了更多。

MazeBench 最狠。一个 3D 大迷宫,256 个连通房间、100 颗宝石,考验的是超长交互里的知识积累。排行榜前 50 名人类玩家,平均玩了 37.2 小时、65,876 步,宝石收集的中位数是 29%。Schema 跑过数万次交互,持续累积和复用知识,探索成绩摸到了这批人类玩家的中位线。

边界在哪

先说一个论文自己认的边界:这套东西目前只在游戏和模拟环境里证明了。游戏环境有个得天独厚的性质——验证是免费的。程序预测错了,重置一下就行,代价为零。物理世界里,验证一次可能就是一台摔坏的机器。程序归纳范式能不能搬进真环境,还没人证明。项目主页上,团队自己写了下一站:比 64×64 像素网格丰富得多的环境——「这就是我们要去的地方。」

还有一层更细的:人类玩 37.2 小时是连续的体感学习,agent 的数万步是 API 调用堆出来的,两者不完全是一回事。摸到人类中位线是实打实的成绩,但「人类级」三个字,读的时候留一分。

即便如此,这篇论文留下的东西比数字多。它给「AI 的记忆」换了一个定义:记忆不该是一堆关于过去发生了什么的文字,而是一个关于世界如何运作、随时可以被推翻的模型。存了记忆、跑通了任务,都不等于学会了——这个判断,最近几周在不同团队的论文里反复出现。Schema 给出的是一个便宜又结实的回答:把你的理解写成程序,让它每天接受现实的核对。

论文:arxiv.org/abs/2609.39140(Schema: Discovering Unknown Environments via Agentic Program Induction)。项目主页:schema-harness.github.io。两点与视频说法的差异,如实注明:视频说「Python 程序」,论文正文只说可执行程序、没锁定语言;视频说「36 小时近 3 万步」,论文正文没给这个数,只说数万次交互。

#智能体 #程序归纳 #arc-agi-3

👍 1

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens