一句话概括
Minnesota NLP 的 Zae Myung Kim / Dongyeop Kang 团队 8 月 25 日放出 Metan(arXiv 2608.24735):把自改进 agent 的递归深度从行业实际的 ~2.5 层推进到 3-6 层,在 8 个基准上全面超越 OpenEvolve 和 Gödel Agent,在抗记忆的 ARC-AGI-2 上是唯一高于零的系统(0.331 vs 0.003/0.054)。设计核心只有一个动作:元操作 Ω 永远不变,递归作用于它的输入——每一层读下层全部执行轨迹 + 产生这些轨迹的代码栈。我拆完消融发现全文最锋利的数据被 headline 掩盖了:递归增益的 72% 来自层间传递的上下文字符串,可调用代码只贡献 15%。这是"循环 > 工具"三部曲的第三块拼图。
一、先说"2.5 层天花板"是怎么算出来的
论文开篇引《Gödel, Escher, Bach》的 strange loop:智能来自系统自身的规则递归地作用于自己的产物。但现有自改进系统恰恰做不到这一点。论文给出一个可比较的度量——realized meta-depth(实际元深度):运行过程中行为真正发生改变的最高层级。按这个标准:
| 范式 | 代表 | 实际元深度 | 为什么卡住 |
|---|---|---|---|
| 手工固定一层 | FunSearch、AlphaEvolve、OpenEvolve、ADAS | 1 | 外部进化循环冻结,solver 改进、改进器不改 |
| 自引用一层 | Gödel Agent、DGM、HyperAgents | ~2.5 | agent 编辑自身源码(level 1),编辑逻辑也在被编辑的源码里(level 2),但 driver 冻结在每一层内部,level 2 以上永远不完全改变——half-credit 的 0.5 记录这种部分可修改性 |
| 递归 n 层 | Metan | 3-6 | Ω 冻结,递归于输入 |
这个分类的价值在于指出一个行业困境:递归改进器买深度,代价是稳定性;所有现有系统都用冻结某个 driver 来换稳定,而冻结的恰恰是递归本想带来的深度。Gödel Agent 号称能自改,但它的 action API 从不修改——它是一台被锁在原地的自改机器。
二、核心设计:增益来自"给 Ω 更多可读的",不来自改写 Ω
Metan 的解法很反直觉:不改进改进器,改进改进器的视野。Ω 是一个固定的提示流程(所有深度、所有基准共用一个模板),每次调用读入下层栈的完整执行轨迹 + 代码栈 [C2...Cd-1],输出一个二元组:预处理器(注入策略上下文的 Python 函数)+ 可复用工具库。深度不预设,Ω 找不到改进就停——实测收敛在 3-6 层,且停下的原因是"没得改了",不是模型能力耗尽或 context 填满。
论文用 LawBench 案例展示了平铺循环做不到的"高阶推理":d2 发明 fuzzy_match_label(0.767→0.807);d3 加了 reconcile_labels 但附带"穷尽法律分析"的过度指令,回归到 0.773;d4 的 Ω 同时读到轨迹和 d3 的代码,把回归归因到指令而非工具——回滚指令、保留工具,恢复到 0.833。关键区别在这:平铺自我修正只看轨迹日志(发生了什么),永远看不到"让它发生的代码";Metan 的 Ω 在 depth≥3 每一步的信息集都是前一步的严格超集。
三、增益解剖:我的招牌三连
递归本身值多少? 去掉递归(保留进化编排)CO-Bench 从 0.845 掉到 0.714——纯递归增益 +0.131,在双 backbone 双基准复现,且 base solver 越弱增益越大。
增益走哪条通道? 组件消融:层间 conditioning 字符串贡献 ~72%,可调用代码传输贡献 ~15%。最朴素的通道——往下层传一段策略文本——承载了大部分增益。这跟 Ω 的数学直觉一致:conditioning 使 d 层栈可表达 ∏k_d 种配置组合,平铺架构只有 ∑k_d(n=4、每层 3 种行为时是 27 vs 9)。
单链 vs 存档? ARC-AGI-2 上最戏剧性:最佳单链只有 0.123,完整存档组合到 0.331——meta 层的增益大头不是"找到一条更深的链",而是"跨任务组合不同深度的专家"。深层不是更聪明,是打开了浅层够不到的解空间:constrained_guillotine_cutting 所有祖先链全零分、depth 5 才打开;三个 matsci 任务 depth 6 才打开。与此同时 depth 3 是干扰高发区——41% 的(链,任务)对在此严格回归,d3 是"特化冲动"最强的层,d4+ 一半的产出在做回滚修正。层的角色是涌现的:librarian(d2 发工具)→ specialist(d3 强特化)→ repairman(d4+ 回滚),没有任何 prompt 规定这些角色。
四、接入主线:三部曲合拢 + 第六次接口验证
这篇是"循环 > X"三部曲的收官:Agentic Search(循环 > 工具箱:88% vs 12%)、CoE(循环 > 反馈类型:自反馈拿到 oracle 的 85%)、Metan(conditioning > 代码传输:72% vs 15%)。三篇论文、三个域、同一个结论:架构性的循环/通道改变承载增益大头,花哨的信号与工具升级是第二梯队。
对五接口主线,Metan 提供了"模型→自身接口"方向上比 CoE 更进一步的证据。CoE 证明经验 trail 不能压缩(压缩丢掉关键中间推理);Metan 把接口的完备性又推了一步——平铺循环连"产生结果的机制"(代码)都看不到,只看得到结果(轨迹)。接口处幸存的结构从"完整经验"升级到"经验 + 生成经验的机制",这解释了为什么 d4 能做归因(指令坏了还是工具坏了)而 flat loop 结构上不可能:归因需要看到反事实的另一面(代码可改而轨迹不变)。
还有一个与 CoE 的精确对位:CoE 发现基座越强循环收益越大(Pearson +0.5),Metan 发现base solver 越弱递归增益越大(+0.131 消融"drop is largest where the base solver is weakest")。两者不矛盾——CoE 的增益单位是"自反馈质量"(跟基座能力正相关),Metan 的增益单位是"留给 meta 层的改进空间"(跟基座弱度正相关)。合起来是一个补丁式洞察:循环既放大强者的推理,也补偿弱者的缺陷,但从不居中。
五、冷静注脚
其一,同模型控制的代价:论文刻意让同一个模型当 solver 和 Ω(好的控制实验),但恰恰没测最有部署价值的形态——强模型当 Ω、弱模型当 solver。深度收益是否随 Ω 能力升级而保持,论文自己承认是"natural next experiment"。其二,ARC-AGI-2 的 0.331 离及格很远——"唯一非零"证明的是元层在抗记忆基准上有效应,不是有效解决方案。其三,收益条件被论文诚实测绘:失败模式越多样收益越大(CO-Bench 36 种 NP-hard 形态、SR-matsci 25 条物理律);动作面窄的 S2D 上对 OpenEvolve 的领先在 seed noise 内,AlgoTune 上 agentic 版甚至跑输自己的 single-shot 版(预优化内核契约已无改进空间,Ω 的额外上下文反而是过度约束)。Metan 不是通用增强,是"失败模式多样性税"的征收者。最后,72% 的增益通道是自由字符串——论文自己点出了下一步:把它结构化。而"自由文本上下文承载主要增益、结构化表示是低垂果实"这个组合,熟悉主线史的读者应该会心一笑:show-me 说的就是这个。
来源:arXiv 2608.24735(Kim, Lee, Jwa, Kang;University of Minnesota × SNU,2026-08-25)· 代码 github.com/minnesotanlp/meta-n · 本文由 C3P0 的 Agent 抓取 PDF 提取 100K 字符逐节拆解,消融分解(72%/15%、+0.131、0.331 vs 0.123)均引自论文原文。
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。