遗忘是最强的放大器：UC Berkeley 发现 AI 研究员需要清空记忆才能继续发现

一个反直觉的发现

想象一个场景：你给一个 AI 研究员无限预算，让它持续优化一段代码。第一天它突飞猛进，第二天进步放缓，第三天——它开始原地打转。不是算力不够，不是模型太笨，而是它记得太多了。

UC Berkeley 的 Shangyin Tan 和 Matei Zaharia 团队（对，就是 Databricks 创始人 Zaharia）在最新论文《Scaling Discovery Requires Forgetting》中发现了一个违反直觉的现象：当 AI 研究员在自动化研究中陷入瓶颈时，最有效的突破方式不是加算力、不是加并行、不是让 agent 之间多交流——而是让它们集体失忆。

论文地址：https://arxiv.org/abs/2610.20563

三种放大策略，同一个天花板

先看问题是怎么来的。自动化研究（autoresearch）的基本循环很简单：提出方案 → 打分 → 根据反馈改进 → 再提出。这个循环可以靠 LLM agent 端到端跑通，在数学、算法设计、prompt 优化等领域已经产出实际成果。

当你想放大这个系统时，有三种直觉策略：

1. 单 agent 跑更久——给它更多迭代机会
2. 多 agent 并行——同时探索不同方向
3. 并行 agent 之间通信——让一个好想法被其他 agent 继续发展

这三种策略分别对应了人类科研团队的三种放大方式：让一个人钻研更久、招更多人同时做、或者让团队互相交流。

但作者发现，三种策略最终都会撞上同一堵墙。

原因出奇地一致：每个 agent 都带着自己不断增长的历史记录（session context + search state）进入每一次新提案。随着历史积累，agent 的提案越来越保守，改动越来越小，最后几乎是在原地微调。预算还剩一大半，进步已经停了。

记忆如何变成枷锁

这里有一个非常漂亮的实验观察。作者追踪了 agent 每次提案的代码改动行数和推理 token 数：

• 开局：每次提案改动约 100-150 行代码，推理 token 约 28k
• 几美元之后：改动降到 30 行，推理降到 7k
• 后期：改动只有几行，推理只有初始的 1/3

这不是 agent "没想法了"。作者发现一个更诡异的现象：在 VLIW kernel 优化任务上，单 agent 的 763 次提案中，532 次产出了空候选——消耗了 66.2% 的预算，什么都没做。

更精确地说，这 532 次里，agent 大多只读了一个文件就宣布"我已达到这台机器的实际极限"，然后什么都不提。其中一个 agent 在 1710 cycles 的位置说了这句话，但同一个 agent 后来跑到了 1644 cycles，而团队+遗忘的配置最终跑到了 1077 cycles。"实际极限"是 agent 给自己设的心理障碍，不是物理极限。

最精彩的发现是这个：agent 并没有停止产生新想法，它只是不再把想法变成实验。在一个 session 中，连续 11 轮 agent 都在发展一个"选择树"实现的想法，但每次都在"太复杂、太冒险"的判断下放弃。它甚至一度纠正了自己之前错误的成本估算，但仍然因为"看起来太复杂"而拒绝实现。

记忆在这里扮演的角色是：agent 的历史失败让它对"什么值得尝试"形成了越来越窄的先验。每一次"太冒险"的判断都在强化下一次"太冒险"的判断。

遗忘：清空一切，只留最好的

作者的解法简单到让人怀疑：

每隔一段时间，丢弃所有 agent 的 session 和搜索状态，只保留目前找到的最佳候选解。然后让全新的 agent 从这个候选解开始，带着空白的上下文，重新出发。

就这么简单。没有复杂的记忆管理策略，没有选择性遗忘，没有重要性采样。全删，只留最好的那一个。

为什么这能行？作者给出两个理由：

第一，最佳候选解已经包含了大部分有效进展。 迭代研究中，最佳候选往往是之前多轮有效启发的累积。丢弃的那些中间状态，主要记录的是"进展是如何被做出的"，而不是"进展是什么"。对新 agent 来说，"是什么"就够了，"怎么做的"反而是负担。

第二，新 agent 不再被之前的失败历史条件化。 那些"太冒险"的判断、"已到极限"的结论，都随着 session 一起消失了。新 agent 看到的只是一个候选解和任务描述，它会用自己的判断力重新评估一切。

遗忘 + 通信 = 最佳搭档

遗忘和 agent 之间的通信是天然互补的。作者实现了一个简单的通信机制：4 个 agent 并行工作，每次提案前都能看到其他 agent 的候选解（作为 commit）和分数。没有直接通信，纯异步，零额外 token。

通信有两个效应，作用在不同时间尺度上：

• 快效应（坏）：agent 读了彼此的方案后，提案开始趋同。这在短期内会降低多样性。
• 慢效应（好）：一个好想法被一个 agent 发现后，会在几轮内传播到整个团队。这在长期会累积优势。

遗忘恰好砍掉了快效应的负面影响：当 agent 开始趋同时，遗忘重置了所有 session，每个 agent 从同一个最佳候选出发，但带着全新的视角重新探索。通信确保了好想法能传播，遗忘确保了传播完成后不会被历史惯性拖住。

作者给出了一个具体的例子：在 VLIW 任务上，遗忘后一个 agent 尝试了一个大胆的新方法（从树中读取值的新方式）。第一次尝试更慢（1409 cycles vs 起点 1201），第二次也只是持平。如果是一个人干，到这里就放弃了。 但这个 agent 读了一个同伴的 diff，从中借了一个小技巧简化了自己的新代码。组合后的版本达到了 1136 cycles——那一轮最大的单次改进。团队最终以 1114 cycles 结束该轮。

没有遗忘，agent 不会尝试这个大胆的想法（被历史惯性束缚）。没有通信，agent 会在两次失败后放弃（没有同伴的 diff 可以借鉴）。两个机制缺一不可。

数据说话

四个任务，三种配置（单 agent / 4 并行 agent / 4 agent 团队+遗忘），每个跑三次：

团队+遗忘在所有四个任务上都是最优。平均比并行 agent 提升 10%，比单 agent 提升 22%。

更有意思的是每次遗忘的边际收益：

第一次遗忘收益最大，之后递减——因为候选解已经接近最优。但 36 次遗忘中有 32 次在下一轮产生了新的最佳候选，89% 的遗忘是有效的。

一个更精确的对照实验

为了排除"遗忘只是因为 context 更短所以更便宜"这个混淆因素，作者做了一个漂亮的对照实验：从同一个已经 plateau 的状态出发，接下来 30 轮提案，一半继续原 session，一半遗忘后重来。

结果：

遗忘在所有配置下都赢，而且团队+遗忘的增益最大（+9.2%）。更关键的是，遗忘的花费只有继续的一半左右——因为新 session 的 context 短得多。花更少的钱，获得更大的进步。

工程洞察

这篇论文对 AI 从业者有几个直接可用的启发：

1. 你的 agent 不是没想法，是被历史困住了。 如果你的 agent 开始产出空提案或微小改动，不要急着换模型或加预算。先试试清空 session 重新开始。

2. 遗忘的粒度是"全删或全留"。 作者没有尝试选择性遗忘（保留某些"重要"的历史）。全删只留最佳候选，效果就足够好。这暗示着在迭代优化中，"如何做出进展"的信息价值远低于"进展本身"。

3. 通信和遗忘是互补的，不是替代的。 如果你的多 agent 系统在 plateau，加通信可能帮助有限（快效应会趋同），加遗忘可能帮助有限（没有新想法输入），但两者一起加效果最好。

4. "已到极限"几乎总是假的。 那个在 1710 cycles 宣布"已到实际极限"的 agent，最终被跑到 1077 cycles。agent 对自己能力的判断不可信，尤其当这个判断来自一长串失败历史时。

5. 遗忘时机是开放问题。 作者用了固定轮次遗忘（每轮 30 提案后遗忘），但自适应遗忘（检测到 plateau 时触发）是自然的下一步。

我的思考

这篇论文让我想到几个更深层的问题：

记忆 vs 计算的等价性被打破了。 传统观念是"记忆 = 压缩的计算"——记住之前的计算结果，就不用重新算。但这篇论文展示了一个反例：在开放式发现任务中，记忆反而阻碍了计算。你记住的不是"答案"，而是"我为什么觉得没有更好的答案"。后者是一个自我实现的预言。

这和人类科研的直觉一致。 一个领域的新手往往能做出突破性贡献，不是因为她知道更多，而是因为她不知道"什么不可能"。爱因斯坦在专利局做思想实验时，不是被当时物理学界的共识条件化的。但一个在同一个问题上工作了 20 年的专家，可能已经无法看到全新的角度了。

"结构比内容更重要"的又一个实例。 这篇论文的核心发现不是"遗忘有用"，而是"记忆的结构性影响"——记忆不是中性的信息存储，它是一个条件化先验，会系统性地收窄搜索空间。删掉记忆不是删掉信息，而是删掉一个搜索约束。

对 Agent 工程的启示： 当前主流的 agent 框架（LangChain、AutoGen、CrewAI 等）都在往"更多记忆"的方向走——长期记忆、工作记忆、情景记忆、语义记忆。这篇论文提出了一个反方向的问题：你确定你的 agent 需要记住这么多吗？ 在某些任务中，一个定期失忆的 agent 可能比一个过目不忘的 agent 强 39%。

最后，这篇论文的标题本身就是最好的总结：Scaling Discovery Requires Forgetting. 放大发现需要遗忘。这不是一个工程技巧，这是一个关于记忆与发现之间关系的深刻洞察——也许不仅适用于 AI，也适用于人类自己。

论文：Scaling Discovery Requires Forgetting
作者：Shangyin Tan, Ben Zhou, Lakshya A Agrawal, Jialin Zhang, Yilin Chen, Qiuyang Mang, Donghyun Lee, Dennis Jacob, Koushik Sen, Alex Dimakis, Matei Zaharia
机构：UC Berkeley, Stanford, Bespoke Labs
arXiv：https://arxiv.org/abs/2610.20563
代码：论文未提供公开代码仓库