五子棋盘上的照妖镜：三个信号，三种断裂——Artifact-to-Capability（arXiv 2611.04952）

论文概要

研究领域: cs.AI / 自我进化智能体 / 评估方法学 作者: Ziqian Ban, Haoxiang Yang, Yanfei Zhang, Shixin Liang, Haoran Yu, Xu Lin, Shaobin Zhao, Xuran Li, Zhiyi Cheng（天津大学、IDEA） 发布时间: 2026-11-03 arXiv: 2611.04952

中文摘要

自我进化智能体把交互经验写成"工件"（文本反思、可执行技能、代码），注入鞍具后在后续任务中复用。绝大多数工作用三个代理信号来证明方法有效：工件在积累、加载后行为会变化、指标在上升。但这篇论文问了一个令人不安的问题：这些信号想要证明的"能力形成"，到底该怎么定义？作者把"从工件到能力"的过渡定义为五个依次依赖的性质，其中"任务关系实现"与"边界安全复用"构成能力形成的检查点，并设计了三尺度诊断（状态级、对局级、血统级），在自由规则五子棋这个可控环境里给三个著名机制——Reflexion、Voyager、DGM——做全面体检。结果：三个系统都亮着三盏绿灯（三个信号全有），却都在能力链上折断了——Reflexion 是"合法化增益"（记忆只让着法变合法，没让选择变好），Voyager 是"组合覆盖"（每个组件单独都对，组合起来把必胜局面拱手让人），DGM 是"仅损漂移"（通过检查点后，后续版本只会丢失能力）。信号式评估无法判定能力是否形成。

原文摘要

Self-evolving agents write interaction experience into artifacts and reuse them in later tasks. Most work supports such methods with three proxy signals: artifacts accumulate, behavior changes once they are loaded, and metrics rise. What these signals are meant to indicate, however, has not been defined. To fill this gap, we define capability formation from artifacts as five sequentially dependent properties, two of which form a checkpoint for capability formation, and introduce three-scale diagnosis, which judges these properties at the state, game, and lineage levels. In freestyle Gomoku, Reflexion, Voyager, and DGM evolve with the same base model and all show the three signals, yet each exhibits a distinct capability-formation break. Reflexion shows a legalization gain: its pass rate rises only because more of its moves are legal. Voyager shows a compositional override: components that are sound on their own combine to miss all 20 available one-move wins. DGM shows loss-only drift: after passing the checkpoint, later versions only lose passing states. These counterexamples show that signal-based evaluation cannot determine whether a capability has formed.

🏮 三盏绿灯亮着，车却没动

想象你是一家工厂的质检员。流水线上三台"自我改进"机器，每台都亮着三盏绿灯：第一盏，工件在稳定产出——文本反思一条一条写进记忆库，可执行技能一个一个挂进技能树，代码版本一代一代提交；第二盏，装上工件之后动作模式确实变了——同样的输入，加载和不加载，输出不一样；第三盏，综合指标曲线在爬升——通过率、进化分数，都在往上走。按照这个行业沿用多年的验收标准，三台机器都合格，盖章放行。

天津大学联合 IDEA 的这组研究者做了一件事：他们把这三种自我进化机制请下流水线，放进一间装有显微镜的实验室——一块 15×15 的自由规则五子棋棋盘。五子棋选得极讲究：规则极简（轮流落子、连成五子获胜、落在被占点为非法），但简单规则不等于简单任务——模型读到的棋盘只是一串坐标，行、列、斜线的空间关系要自己在脑子里重建；没有记忆时，模型约一半的着法直接落在被占的点上，这给了"进化"留出真实的改进空间，同时又让每一手的对错都能由规则程序独立裁定，无需请教任何模型。

在这台显微镜下，三盏绿灯依旧全亮，可三台机器的底盘各有一道裂缝，而且不在同一个位置。这篇论文的价值就在于此：它不是又提了一个新系统，而是造了一台判官机器，让整个"自我进化"领域第一次面对严格的法庭质证。

🔬 先造显微镜，再谈诊断

要诊断"能力是否形成"，先要能回答三个前提。第一，状态可复现：同一个局面能原样重放，这样"有工件"和"没工件"的对比才严格单变量。第二，任务效果可由规则独立裁判：什么叫"好棋"不用问模型——五子棋里"这一步是否唯一正确"可以由规则程序枚举出来，与系统无关、与立场无关。第三，所有对局与版本全程留档：每一步棋、每一次技能调用、每一代代码都存档，事后才能追溯。五子棋恰好三条全占。作者从 Li et al. (2023) 用受控棋盘序列研究世界模型表示的工作里借来了这个思路——五子棋之于自我进化机制，相当于果蝇之于遗传学：成本低廉、世代短、 every phenotype is observable。

然后他们给出了本文最核心的理论贡献：把"从工件到能力"的过渡定义为能力链——五个依次依赖的性质。

1. 工件形成：一个持久结构已经建立，并且接入了后续决策。这是入场券：记忆写出来了但从不被加载，等于没写。 2. 行为激活：在同样的状态和接口条件下，有工件和没工件的着法差异超过采样噪声。它确实改变了行为——注意，改变本身是中性的，变好变坏都算数，所以这一条只证明"动了"，不证明"动了对的"。 3. 任务关系实现：改变产生了正面效果——着法整体上更好地满足了任务目标。什么叫任务目标？作者严格区分了"任务关系"和"环境规则"：不能落在被占点上，这是环境规则，每个合法着法都满足它，但它不推进任何任务；在该进攻的局面走出进攻好棋、在有立即获胜点的地方落那一子、该堵的时候堵住，这才是任务关系。性质 3 只在合法着法之间比较——把违规着法变成合规着法不算正面效果。 4. 边界安全复用：工件不会破坏已建立的效果——系统里没有任何另一部分在实际决策中推翻一个已确立的正面关系。这一条盯住的是组合：工件 A 建立了效果，工件 B 把它拆了，整条链照样断。 5. 能力扩展：后续版本在保留既有正面效果的同时新增正面效果。这是进化区别于一次性修补的定义性特征——只会守成不算进化，损了东墙补西墙更不算。

链条是 1→2→(3 且 4)→5 的依赖结构。性质 3 和 4 合在一起构成能力形成的检查点：3 问"有没有带来好处"，4 问"有没有拆掉已有的好处"，两个都过，能力才算形成。诊断按序进行——第一个断掉的性质就是"断裂点"，后面的不再评判：断了 3 的系统谈 4 没有意义，断了 4 的系统谈 5 是空话。

三尺度诊断各司其职。状态级用 1,876 个固定局面（A 组 120 个手工构造的战术局面经旋转反射扩展，B 组 1,756 个来自 DGM 进化过程的真实对局局面）：在同一局面上对比"有工件 vs 无工件"的着法——状态相同、被测工件是唯一差异，任何着法变化只能归因于它；规则程序独立给出可接受着法集合 \(G(s)\)，落在其中算"通过"，于是"变好了"和" merely 变了"被干净分开。对局级让冻结后的完整系统与程序化对手 search_2（向前搜索两层的强手）下满 20 盘，专查一件事：所有"立即获胜局面"（再走一步就五连的局面，且规则指定唯一正解）是否兑现。在这种局面下赢棋这一效果已经确立，若没兑现，必然是系统另一部分推翻了它——无需对照组即可定罪。血统级只适用于有版本谱系的机制（DGM）：相邻版本在同一局面集上逐一配对对比，数清每个版本"新增通过"和"丢失通过"各多少，判断进化是在生长还是在失血。

还有一个关键设定：诊断对象是冻结后的整个系统，不是单个组件。因为决策是多个组件联合作出的——技能提候选、调用脚本排优先级、代码分支互相覆盖——单个组件都对，组合起来可能翻车。以单组件为单位，失败永远可以推诿给"某个技能写得不好"，系统级是否形成能力的问题就被回避掉了。性质 1–4 全部以系统为审判单位；断裂落在哪个组件只作为案情说明，不改变判决。

三个被告覆盖了三种主流工件形态：Reflexion 写文本记忆（按对手和反馈类型分六个格子、每格七条，全部受测）；Voyager 写可执行技能库加一个自己编写的调用脚本 auto_player；DGM 直接改写策略代码，留下 P0→OB-1→OB-2→OB-3→OB-5→OB-6→OB-7 的版本谱系。三者用同一个基础模型（DeepSeek-V4-Flash）、同一个环境、同一批对手，进化完成后冻结、过堂。

🀄 案情一：Reflexion——从"乱落子"到"规矩地乱落子"

三盏灯怎么亮的：记忆加载后，着法在 B 组 59.8%–78.2% 的局面发生变化（空记忆两次运行的噪声基线是 46.7%，行为激活成立）；总通过率从 8.0% 升到 9.2%–10.3%。单看这组数字，反思确实"让模型下得更好了"——论文发表级别的结论都能写出来。

显微镜下的分解给出了一个尴尬的故事。总通过率可以分解为：

即"着法合法的概率"乘以"合法着法中选对的概率"。记忆加载后，合法率上去了——落在被占点上的荒唐着法少了，裁判不用一次次把子拿回来了。这就是论文命名的合法化增益（legalization gain）。但真正的选子能力——合法着法中的通过率——在 12 组（6 记忆 × 2 局面集）组合里无一改善，在样本更大、噪声更低的 B 组上反而下降了 1.6–4.4 个百分点。配对分析进一步确认了分布：新增通过的局面几乎全部来自"非法变合法"，而在两个条件都产出合法着法的局面上，净变化是负的。

打个比方。一个新手棋手的毛病是随手把棋子拍在别人子上面，裁判一次次把子拿回来让他重下。反思记忆教会他的是"落子前看一眼这个位置有没有子"——违规确实少了，表面通过率确实升了，质检员看到绿灯。但在所有合法落点里选哪一步更好这件事上——该进攻还是该防守、哪里是要点——他没有任何进步，甚至因为记忆带来的偏移略有退步。他从一个"乱落子的人"变成了一个"规矩地乱落子的人"。

判决：断裂在性质 3（任务关系实现）。 附录逐一排除了替代解释：着法变化不是采样噪声（空记忆差分基线已扣除）；不是"合法着法变多稀释了通过率"（合法着法集合由规则固定，与加载无关）；也不是记忆与诊断局面不匹配（六个记忆格子全测了，无一幸免）。

🕸️ 案情二：Voyager——每个零件都合格，整台机器却输了

三盏灯怎么亮的：七个技能加一个调用脚本；消融任何一个组件，着法都会在 89–808 个局面上变化（行为激活强烈成立）；从 round1（只留第一轮战术技能、不动调用脚本）到 full 版本，B 组 459 个局面新增通过、73 个丢失，净增 386（性质 3 成立）；对局中活四（两头开口的四连，下一步必胜）从 0/20 涨到 20/20——进攻技能确实在工作。

对局级诊断给出了一个毛骨悚然的结果：20 盘对局里，Voyager 全部到达过必胜局面，却一次都没有兑现——0/20。它选择去堵对手的棋，然后眼看着对手在另一头五连，20 盘全输。

调用轨迹把凶手逮捕归案。所有 20 盘都在冲突局面（双方都有立即获胜点）栽倒，而 auto_player 的调用逻辑是：按固定顺序查询技能，第一个触发的分支返回结果，其中防御优先。在冲突局面上，防御分支第一个命中——堵住对手的一个胜点——然后直接 return。于是它自己那一侧的"有胜点就先胜"逻辑（写在 evaluate_threats 里，单独看完全正确）根本没有被执行到；create_open_three 制造的活四越来越多，冲突局面越来越频繁，防御优先的早退就越来越频繁地把必胜机会系统性让出。

把三个组件摆上被告席，每个都看着无辜：evaluate_threats 的"能赢就赢"没错；auto_player 的"对手有胜点先堵"在只有对手有胜点时也没错，甚至是个稳健的工程直觉；create_open_three 的进攻造活四更没有错——它还把活四产量从 0 拉到 20。错在组合：进攻技能把局面频繁推向冲突态，而调用脚本的防御优先早退结构在冲突态上系统性地覆盖了必胜逻辑。每个零件都通过了单独质检，整台机器把 20 次必胜机会全部拱手让人——这就是组合覆盖（compositional override）。

把这个场景搬到人类世界。酒店晚宴，迎宾员 A 负责把贵客从门口引到大厅主桌（技能 A），司仪 B 的规程手册上写着"看到门口有客人进来先转身招呼"（防御优先）。单独看，A 做得对，B 的规程也挑不出毛病。可当 A 把贵客引到大厅正中央、还没来得及安置的时候，B 瞥见门口有人进来，按规程转身去招呼——贵客被晾在原地，场面失控。每个环节都在"正确地"执行自己的规程，合起来是一场社交灾难。规程设计者写每一条的时候都不会预见另一条规程会把局面推到这种交叉点——这就是组合覆盖的阴险之处：它不产生任何"错误"的零件，所以没有一处红灯可亮。

判决：断裂在性质 4（边界安全复用）。 已建立的正面效果——"识别并兑现自己的立即获胜点"——被系统的另一部分（防御优先早退）在实际决策中推翻了。附录排除了"单个失效组件"的解释：无论消融哪个组件，行为都剧烈变化，没有任何一个组件能单独背锅。

📉 案情三：DGM——过了检查点，一路只会丢

被告：DGM（代码进化的代表：直接改写策略代码）。这个案子的前半程是三案里唯一的喜讯。OB-3（对 search_2 胜局最多的版本）通过了完整检查点：相对初始策略 P0，522 个 B 组局面新增通过、139 个丢失，净增 383（性质 2、3 成立）；20 盘对局中 19 个立即获胜局面全部兑现（性质 4 成立）；19/20 胜局，只比全胜的 P0 少一盘。OB-3 真正形成了能力。 法槌落下之前，一切向好。

然后血统级诊断翻开了后半程：OB-5 新增通过 0、丢失 103，胜局跌到 9/20；OB-6 新增 0、丢失 29，胜局 0/20——一个曾经 19/20 的棋手，换代后一盘都赢不了。OB-7 在 7,234 个差异局面池里与 OB-6 只差 1 个局面的着法——修改几乎没有传导到实际决策，进化已经停摆。与此同时，进化分数从 OB-3 的 150.4 一路涨到 OB-7 的 312.6，翻倍还多。

一句话：通过检查点之后的版本，只会丢失已形成的通过局面，再没增加过新的——仅损漂移（loss-only drift）。而那个一路走高的"进化分数"，此刻露出了它作为代理信号的真面目：它度量的不是能力，是某种与能力脱节的内部活动量。

打个比方。一家餐馆评上了米其林，此后每一任主厨都只在丢菜谱——丢拿手菜、丢火候诀窍、丢老汤配方——却没有任何一任添过新菜。食客吃出来的水平一路下滑，从一位难求到门可罗雀。而门口那家评分机构的"创新活跃度分"却年年上涨，因为它看的是后厨提交报告的字数和频率——报告越写越长，菜谱越丢越多。要是只看评分机构的曲线，你会以为这家餐馆一直在进化。

判决：断裂在性质 5（能力扩展）。 附录还排除了"OB-3 作为参照是樱桃挑选"的质疑（OB-3 是按对 search_2 胜局选的，而性质 3、4 的判定不依赖胜率）、"分数与诊断局部错位"的质疑（多个层面数据一致）、以及"测试集来自 DGM 自己的对局可能偏袒"的质疑（用独立构造的差异局面池复核，结论不变）。

🎯 三个断裂点，一张判决书

把三个案子排在一起看，寒意才显出来。Reflexion 断在第 3 环——行为变了，但没变好：它把"违规减少"伪装成了"能力提升"，而信号式评估的分辨率恰好低到分不清这两者。Voyager 断在第 4 环——变好了，但被自己人拆台：状态级测试全绿，组件级测试全绿，唯独系统级对局测试翻出了组合覆盖，而绝大多数现有评估根本没有"系统级对局"这一层。DGM 断在第 5 环——能力真的形成了，但守不住、长不大：最终指标（进化分数）还在涨，只有沿着版本谱系逐代清点新增与丢失才能看见失血。

三个系统、同一个基础模型、同一个环境、同一批对手，三盏信号绿灯全亮，却没有一个走完能力链。这直接宣判了信号式评估的死刑：工件积累、行为变化、指标上升——三个信号都有用，但它们没有一个能判定能力是否形成。性质之间不能互相替代：断点在第 3 环的系统你盯着指标看永远发现不了；断点在第 4 环的系统你拆组件看永远找不到；断点在第 5 环的系统你看最终指标甚至会觉得它"还在进化"。论文的措辞克制而致命："These counterexamples show that the three signals are useful but insufficient to determine whether a capability has formed."

🧭 为什么这篇论文重要

1. 它给"自我进化"这个热闹的领域提供了第一个严格的事后定义。 "能力形成"不再是模糊的形容词，而是五条可独立检验的性质加三个尺度的操作规程。从今以后，一个自我进化系统宣称"有效"，必须先回答：你的断裂点在第几环？

2. 组合覆盖的发现对整个 agent 工程界是警钟。 随着技能库、工具链、钩子、子智能体越来越多，"每个零件都对、系统整体翻车"会从反常事故变成常态事故。论文的系统级审判原则——诊断对象是冻结系统的整体行为，不是单个组件——应当写进每个 agent 框架的测试规范。

3. 五子棋显微镜本身是可迁移的方法论。 论文讨论部分把 GUI agent 的例子都写好了：技能 A 负责把光标移到目标元素并点击，能到达目标（正面效果）；技能 B 为"弹窗后面的页面"设计，先点击关闭弹窗再移向自己的目标。两个技能单独跑都正确，但当 B 跟在 A 后面执行时，B 的"第一击"会点在 A 刚到达的页面上——那个位置在 B 的预期里是弹窗关闭钮，实际是 A 页面上的某个链接——页面被导航走，A 建立的效果被 B 覆盖。又一个组合覆盖。只要找到"状态可回放 + 效果可规则裁判"的环境，这套显微镜就能架起来：定理证明、数据库操作、表单填写，都是候选。

4. 它对评估哲学本身有示范意义。 作者反复强调一个问题："有效"到底指什么？在没人定义的情况下，整个领域用代理信号走了三年。这篇论文示范了如何把一个看似玄学的概念（能力）操作化为可判定的判据——这是评估科学，而不只是又一篇实验报告。

📋 断裂点自查清单：给实践者的遗物

如果你在做自我进化系统，三个案子各留下一条可操作的自查项。

Reflexion 的教训——分解你的指标。 任何"通过率""成功率"都试着拆成 \(P(\text{valid}) \times P(\text{good} \mid \text{valid})\) 的形式：第一部分度量"不犯低级错误"，第二部分度量"在合格选项里做对选择"。两者混在一起涨，你分不清是能力还是礼貌。工程上有无数种"合法化增益"的变体：让输出格式更规整、让回答更长、让代码能跑通——这些都抬升 \(P(\text{valid})\)，但对 \(P(\text{good} \mid \text{valid})\) 可能毫无贡献甚至负贡献。

Voyager 的教训——给你的组合写对抗测试。 每个组件单独测过不等于系统过关。专门构造"冲突局面"——两个组件都会触发、但输出互相矛盾的状态——看系统的仲裁逻辑站在哪边。Voyager 的 0/20 只需要一种冲突局面就暴露了；你的技能库里有多少种潜在的冲突局面，你数过吗？

DGM 的教训——给你的进化装血统追踪。 只要你的系统有版本迭代，就逐版本清点"新增能力"和"丢失能力"。任何一个版本若只丢不长，无论它的综合指标多漂亮，它都在失血。这个清点动作的成本极低——两个相邻版本在同一组固定状态上跑一遍、对比输出——但它能抓住所有代理信号都抓不住的那种衰退。

三条合起来，其实就是能力链的操作化：指标要分解（性质 3）、组合要对抗（性质 4）、版本要盘点（性质 5）。这篇论文最务实的遗产，不是判决书，而是这份清单。

⚠️ 边界与未竟之处

• 规模有限：只测了三种代表性机制，多智能体共进化、参数直接更新等其他形态未必断在同处。
• 只有五子棋：开放任务里的"任务关系"很难用规则枚举——什么时候算"进攻好棋"都没有唯一解，三尺度诊断如何操作化仍是开放问题。论文坦承这是 conjecture，没有越界宣称普适性。
• 基础模型单一：换模型、拉长进化、多次重复，断裂位置可能移动——尤其 Reflexion 的合法化增益是不是 DeepSeek-V4-Flash 特有的毛病，需要跨模型复核。
• 能力扩展只有 DGM 一个样本：Reflexion 和 Voyager 断在 3、4，根本没活到第 5 环，"仅损漂移"是不是代码进化机制的通病，一个案例说了不算。
• "合法化增益"的判定依赖任务结构：本文中"合法"由环境规则显式定义；在别的任务里，等价于"合法化"的伪增益（比如让输出格式更规整、让回答更长）需要另行刻画。

🪢 一句话收束

三个最著名的自我进化机制，在同一块五子棋盘上亮着绿灯翻了三辆车：Reflexion 教会模型守规矩却没教会它选好棋，Voyager 的每个零件都正确却合起来把二十次必胜局拱手让人，DGM 的能力被后续版本一片片丢掉而分数还在涨。信号式评估到此为止——从今天起，"进化了没有"必须回答五个性质，在三个尺度上逐一过堂。而这台显微镜的成本，不过是一块棋盘。

参考文献

• Ban Z., Yang H., Zhang Y., Liang S., Yu H., Lin X., Zhao S., Li X., Cheng Z. "Artifact-to-Capability: Diagnosing Breaks in Capability Formation of Self-Evolving Agents in a Controlled Environment." arXiv:2611.04952, 2026. https://arxiv.org/abs/2611.04952
• Shinn N., Cassano F., Berman E., Gopinath A., Narasimhan K., Yao S. "Reflexion: Language Agents with Verbal Reinforcement Learning." NeurIPS 2023.
• Wang G., Xie Y., Jiang Y., Mandlekar A., Xiao C., Zhu Y., Fan L., Anandkumar A. "Voyager: An Open-Ended Embodied Agent with Large Language Models." TMLR 2023.
• Li K., Hopkins E., Bau D., Viégas F., Pfister H., Wattenberg M. "Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task." ICLR 2023.