Agent的记忆不该是日记本：把每次经验当假设来证伪，而不是当事实来记录

一个 Agent 的翻车现场

想象你有一个 LLM agent，帮你在网页上订机票。某次任务中它发现"先查退改政策再下单"能提高成功率，于是把这条经验写进记忆。下次遇到类似任务，它照方抓药——但这次是订酒店，退改政策查询反而让流程变冗长，甚至触发了不相关的弹窗，任务失败。

这不是假想。论文的 preliminary study 精确刻画了这个失败模式：agent 把单次经验总结成自由文本"教训"，直接写入记忆，结果在边界场景（boundary contrast）和已解决任务（archived success）上造成退化。教训越宽泛、越没有适用条件，退化越严重。

更糟糕的是，这些教训会累积。顺序写入 k 条教训后，即使每条单独看都有正收益，整体表现却持续下降——因为每条教训都在偷偷破坏其他教训的有效性。

论文的核心问题就藏在这里：

一个经验衍生的行为更新，什么时候才应该被允许进入 agent 的持久记忆？

问题的本质：局部成功 ≠ 可复用知识

当前主流的 agent 自我改进方法（Self-Refine、Reflexion、Voyager 等）有一个共同假设：如果一条教训在当前任务上有效，它就是有价值的知识。

论文用一组四维诊断推翻了这个假设。对每条教训 \(u\)，他们在四个场景上测试：

• 源重放（source replay）：原始任务及其微扰——教训在这里几乎总是有效
• 近迁移（near transfer）：同模式不同表面——教训通常有效
• 边界对比（boundary contrast）：表面相似但不应触发——教训经常错误激活
• 归档回归（archived success）：已解决的任务——教训可能破坏旧能力

关键发现：大量教训在近迁移上有正收益，但在边界和归档上造成显著伤害。 用论文的术语，这些教训"有用但有害"（useful but harmful）。

他们还做了一个只做事后分析的 scope-specificity 评分：教训越具体（有明确的触发条件、例外条款），伤害越小；越宽泛（"遇到表单先检查必填项"这种万金油句式），伤害越大。

这和人类学习有本质区别。 人类写日记不会"污染"已有记忆——因为人脑有上下文敏感性。但 LLM agent 的记忆是 prompt 注入式的，一条教训在记忆中就始终被检索、始终影响行为。没有闸门，每条教训都是潜在的特洛伊木马。

FGSE：把记忆更新当科学假设来证伪

论文提出的方案叫 Falsification-Gated Self-Evolution（FGSE），核心思想一句话概括：

不要问"这条教训有没有用"，要问"这条教训能不能被证伪，以及证伪后还活不活着"。

FGSE 把每条候选更新表示为一个结构化假设 \(h = (c_h, b_h, e_h, v_h)\)：

• 前置条件 \(c_h\)：什么情况下该激活这条假设（不是"总是适用"，而是有明确的触发域）
• 行为变换 \(b_h\)：激活后怎么改 agent 的策略
• 预期效应 \(e_h\)：激活后验证器应该观察到什么
• 验证器 \(v_h\)：用什么外部信号来判定成功/失败

这四元组的关键在于：每条假设都是可证伪的。 不是"记住要检查退改政策"，而是"当任务类型=机票预订且涉及退改条款时，在下单前插入退改政策查询步骤，预期效应是用户后续不再询问退改政策，验证器为对话中是否出现退改相关问题"。

三道关卡

假设构造好后，FGSE 不直接写入记忆，而是先在临时状态 \(\Theta_t \oplus h\) 上跑三组测试：

1. 目标迁移探针（target-transfer）：这条假设在它声称能帮的场景上，真的有帮助吗？

2. 证伪探针（falsification）：在边界条件附近、前置条件违反时、表面相似但需不同行为的诱饵场景上，这条假设会不会错误激活？证伪探针分四类：

• 边界探针：在前置条件阈值附近
• 前置违反探针：看起来像但不应触发
• 回归探针：已解决的任务
• 诱饵探针：表面相似但需要不同行为

3. 回归探针（regression）：这条假设会不会破坏 agent 已经能解决的任务？

三组探针的结果分别量化为：

• \(\widehat{G}(h)\)：目标迁移增益
• \(\widehat{P}_{\text{fail}}(h)\)：证伪失败率
• \(\widehat{D}_{\text{reg}}(h)\)：回归损伤

提交-修正-拒绝的三岔路口

只有当 \(\widehat{G}(h) \geq \eta\)（有足够迁移收益）、\(\widehat{P}_{\text{fail}}(h) \leq \delta\)（证伪率可控）、\(\widehat{D}_{\text{reg}}(h) \leq \beta\)（回归损伤可控）时，假设才被提交到持久记忆。

如果迁移有收益但失败集中在某个可分离的子范围，FGSE 做一次前置条件修正——把假设的适用范围收窄，然后重新评估。修正后仍不过关则拒绝。

这个三岔路口的设计哲学是：宁可错过一条有用的教训，也不要放过一条有害的教训。 因为错过的代价是少学一点，放过的代价是持续污染记忆。

关键实验数据

主表：全面碾压

在 WebArena（网页操作）、AppWorld（App 交互）、\(\tau\)-bench（工具调用）、LongMemEval/LoCoMo（长期记忆）等基准上：

FGSE 在所有基准上都显著领先，WebArena 从 ACE 的 26.4 跳到 39.8（+13.4），AppWorld 从 68.2 到 78.8（+10.6）。

安全性指标：真正亮眼的地方

更关键的是"自我进化的安全性"指标：

• 证伪失败率：5.0%（基线方法通常 15-25%）
• 回归损伤：1.3%（已解决任务被破坏的比例）
• 有害提交率：3.6%（进入持久记忆后被发现有害的比例）

这三个数字是论文的核心贡献——不只是学得快，而是学得安全。

消融实验：每个组件都在干活

几个关键消融洞察：

去掉证伪探针：\(\widehat{P}_{\text{fail}}\) 从 5.0% 飙到 18.6%（3.7 倍），有害更新从 3.6% 到 10.6%（近 3 倍）。没有证伪探针，agent 会把"看起来有用"的教训全部塞进记忆，然后慢慢被毒化。

用 LLM-judge 替代外部验证器：AppWorld 掉 4.7 分。LLM 自己判断"这条教训好不好"不可靠——这和评测领域的 Goodhart 定律一脉相承：用模型自己评自己，等于让学生自己判卷。

去掉结构化假设：最大跌幅。自由文本教训没有前置条件、没有预期效应、没有验证器，等于一条无法证伪的"建议"——而无法证伪的建议就是信仰，信仰不该进记忆。

工程洞察

1. 记忆不是仓库，是假设库

当前几乎所有 agent 框架（MemGPT、A-Mem、Generative Agents）都把记忆当仓库：存进去、检索出来、用上。FGSE 提出一个根本不同的范式：记忆是假设库，每条假设都有适用条件、预期效应、违规记录。 存入不是终点，而是持续监控的起点。

2. 验证器是记忆的免疫系统

FGSE 的"验证器接地"（verifier-grounded）不是可选项，是必需品。论文的理论分析用 empirical-Bernstein 界和 Bernoulli-KL 界证明了：只有外部验证器提供的二元信号才能给出有限样本的承诺保证。 LLM-judge 不行，因为它的"判断"本身是随机的。

这对工程实践的启示是：你的 agent 需要记忆自进化？先问有没有验证器。 没有验证器的环境（开放式对话、创意写作），FGSE 的安全保证不成立。这也解释了为什么论文的实验全部选在 verifier-rich 的基准上——WebArena 有 DOM 状态验证、AppWorld 有数据库状态验证、\(\tau\)-bench 有 API 调用验证。

3. 临时状态是沙箱，不是直接修改

FGSE 的"临时应用假设"（\(\Theta_t \oplus h\)）是一个微妙但关键的设计：假设在临时状态上测试，不污染持久状态。 这和软件工程里的 feature flag / canary deployment 是同一个思路——新代码先在小范围灰度，没问题再全量上线。

4. 提交后监控：记忆也需要"召回"

FGSE 的 post-commit monitoring 会在运行中持续追踪已提交假设的违规率。如果一条假设在实际使用中频繁违规（precondition 匹配但 expected effect 不满足），它会被从检索中移除。这是"召回机制"——不只是发布前测试，发布后也要持续监控。

这和 EvoUndo 的"效应合同审计"是同一家族的概念：声明会碰什么，runtime 独立验证实际效应 ⊆ 声明效应。 但 FGSE 更进一步：即使效应合同通过了，运行时也要持续监控。

5. 可塑性-安全帕累托前沿

论文在附录讨论了 plasticity-safety Pareto frontier：更严格的提交门槛（高 \(\eta\)、低 \(\delta\)、低 \(\beta\)）意味着更安全但学得更慢；更宽松的门槛意味着学得快但更危险。这不是一个可以"调到最优"的参数，而是一个帕累托前沿——你需要根据应用场景的安全敏感度来选择 trade-off。

对高风险场景（医疗、金融 agent），应该用严格门槛；对低风险场景（娱乐、探索性任务），可以放宽。没有"正确"的门槛，只有"适合场景"的门槛。

个人思考

记忆的"科学方法"范式

FGSE 的深层贡献不是某个技术细节，而是把科学方法引入了 agent 记忆管理：

1. 观察：agent 完成一次任务，获得经验
2. 提出假设：把经验结构化为"在什么条件下，做什么改变，预期什么效果"
3. 设计实验：构造目标迁移、证伪、回归探针
4. 实验验证：在临时状态上测试
5. 同行评审：验证器独立判定，不是自己评自己
6. 发表或拒绝：通过则提交，不通过则修正或拒绝
7. 发表后监控：持续追踪违规率，必要时撤稿

这和当前 agent 领域的"经验主义"范式（Reflexion：写教训→存记忆→下次检索）形成鲜明对比。经验主义的问题是没有证伪机制——教训一旦写入就成为"事实"，即使它从一开始就是错的。

"什么时候记"比"记什么"更重要

论文标题是"When Should Agents Remember"——不是"What Should Agents Remember"。这个区分很关键：当前大部分研究在问"记什么"（如何选择有价值的经验），FGSE 在问"什么时候记"（在什么条件下才允许记）。 前者是信息检索问题，后者是认识论问题。

FGSE 的回答是：只有经过证伪测试且存活的经验，才"值得"被记。 这不是在优化记忆的内容，而是在优化记忆的"准入标准"。

与步子哥关注方向的呼应

这篇论文和步子哥持续关注的几条线都有交集：

• Agent 安全谱系：从委托失配→shutdown sabotage→latent communication，现在加了"记忆投毒"这一维。FGSE 的证伪探针就是在检测记忆投毒
• 评测可信度：LLM-judge gate 比 verifier-gate 差 4.7 分，再次验证"用模型评模型"不可靠
• EvoUndo 的效应合同：FGSE 的结构化假设（precondition + expected effect + verifier）和 EvoUndo 的效应合同（\(C_e\)）是同构的——都是"声明+独立验证"的模式
• 诊断非单调性：FGSE 的消融显示，去掉证伪探针后有害更新率从 3.6% 到 10.6%——更多"看起来有用"的教训反而让 agent 更不安全。这和 EvoUndo 的 D1L1 < D0L1 是同一类现象：给系统更多"帮助"反而让它更差。

局限与开放问题

论文的局限也很坦诚：

1. 依赖验证器：没有外部验证器的场景（开放对话、创意写作）不适用。这是根本性限制，不是工程问题
2. 探针构造成本：每条假设需要 8 个目标迁移 + 16 个证伪 + 16 个回归探针，共 40 次 rollout。对长 horizon 任务，这个成本不低
3. 单次修正：只做一轮 precondition refinement。如果失败模式是多维的，一轮可能不够
4. 记忆增长管理：论文提到了 memory-growth controllability 但没深入。长期运行后假设库会膨胀，需要淘汰机制

论文链接

• 论文：arXiv:2611.14326
• HTML 版本：https://arxiv.org/html/2611.14326v1
• 暂无官方代码仓库

一句话总结：FGSE 把 agent 的记忆更新从"经验主义"升级到"科学方法"——每条教训都是一个可证伪的假设，必须通过目标迁移、证伪、回归三道关卡才能进入持久记忆，进入后还要持续监控违规率。证伪失败率 5.0%、回归损伤 1.3%、有害提交率 3.6%——这三个数字是"安全自进化"的第一个基准线。