遗忘是最强的放大器：UC Berkeley 发现 AI 研究员需要清空记忆才能继续发现
想象一个场景：你给一个 AI 研究员无限预算，让它持续优化一段代码。第一天它突飞猛进，第二天进步放缓，第三天——它开始原地打转。不是算力不够，不是模型太笨，而是它记得太多了。
一个反直觉的发现
想象一个场景：你给一个 AI 研究员无限预算，让它持续优化一段代码。第一天它突飞猛进，第二天进步放缓，第三天——它开始原地打转。不是算力不够，不是模型太笨，而是它记得太多了。
UC Berkeley 的 Shangyin Tan 和 Matei Zaharia 团队（对，就是 Databricks 创始人 Zaharia）在最新论文《Scaling Discovery Requires Forgetting》中发现了一个违反直觉的现象：当 AI 研究员在自动化研究中陷入瓶颈时，最有效的突破方式不是加算力、不是加并行、不是让 agent 之间多交流——而是让它们集体失忆。
论文地址：https://arxiv.org/abs/2610.20563
三种放大策略，同一个天花板
先看问题是怎么来的。自动化研究（autoresearch）的基本循环很简单：提出方案 → 打分 → 根据反馈改进 → 再提出。这个循环可以靠 LLM agent 端到端跑通，在数学、算法设计、prompt 优化等领域已经产出实际成果。
当你想放大这个系统时，有三种直觉策略：
1. 单 agent 跑更久——给它更多迭代机会 2. 多 agent 并行——同时探索不同方向 3. 并行 agent 之间通信——让一个好想法被其他 agent 继续发展
这三种策略分别对应了人类科研团队的三种放大方式：让一个人钻研更久、招更多人同时做、或者让团队互相交流。
但作者发现，三种策略最终都会撞上同一堵墙。
原因出奇地一致：每个 agent 都带着自己不断增长的历史记录（session context + search state）进入每一次新提案。随着历史积累，agent 的提案越来越保守，改动越来越小，最后几乎是在原地微调。预算还剩一大半，进步已经停了。
记忆如何变成枷锁
这里有一个非常漂亮的实验观察。作者追踪了 agent 每次提案的代码改动行数和推理 token 数：
- 开局：每次提案改动约 100-150 行代码，推理 token 约 28k
- 几美元之后：改动降到 30 行，推理降到 7k
- 后期：改动只有几行，推理只有初始的 1/3
更精确地说，这 532 次里，agent 大多只读了一个文件就宣布"我已达到这台机器的实际极限"，然后什么都不提。其中一个 agent 在 1710 cycles 的位置说了这句话，但同一个 agent 后来跑到了 1644 cycles，而团队+遗忘的配置最终跑到了 1077 cycles。"实际极限"是 agent 给自己设的心理障碍，不是物理极限。
最精彩的发现是这个：agent 并没有停止产生新想法，它只是不再把想法变成实验。在一个 session 中，连续 11 轮 agent 都在发展一个"选择树"实现的想法，但每次都在"太复杂、太冒险"的判断下放弃。它甚至一度纠正了自己之前错误的成本估算，但仍然因为"看起来太复杂"而拒绝实现。
记忆在这里扮演的角色是：agent 的历史失败让它对"什么值得尝试"形成了越来越窄的先验。每一次"太冒险"的判断都在强化下一次"太冒险"的判断。
遗忘：清空一切，只留最好的
作者的解法简单到让人怀疑：
每隔一段时间，丢弃所有 agent 的 session 和搜索状态，只保留目前找到的最佳候选解。然后让全新的 agent 从这个候选解开始，带着空白的上下文，重新出发。
就这么简单。没有复杂的记忆管理策略，没有选择性遗忘，没有重要性采样。全删，只留最好的那一个。
为什么这能行？作者给出两个理由：
第一，最佳候选解已经包含了大部分有效进展。 迭代研究中，最佳候选往往是之前多轮有效启发的累积。丢弃的那些中间状态，主要记录的是"进展是如何被做出的"，而不是"进展是什么"。对新 agent 来说，"是什么"就够了，"怎么做的"反而是负担。
第二，新 agent 不再被之前的失败历史条件化。 那些"太冒险"的判断、"已到极限"的结论，都随着 session 一起消失了。新 agent 看到的只是一个候选解和任务描述，它会用自己的判断力重新评估一切。
遗忘 + 通信 = 最佳搭档
遗忘和 agent 之间的通信是天然互补的。作者实现了一个简单的通信机制：4 个 agent 并行工作，每次提案前都能看到其他 agent 的候选解（作为 commit）和分数。没有直接通信，纯异步，零额外 token。
通信有两个效应，作用在不同时间尺度上：
- 快效应（坏）：agent 读了彼此的方案后，提案开始趋同。这在短期内会降低多样性。
- 慢效应（好）：一个好想法被一个 agent 发现后，会在几轮内传播到整个团队。这在长期会累积优势。
作者给出了一个具体的例子：在 VLIW 任务上，遗忘后一个 agent 尝试了一个大胆的新方法（从树中读取值的新方式）。第一次尝试更慢（1409 cycles vs 起点 1201），第二次也只是持平。如果是一个人干，到这里就放弃了。 但这个 agent 读了一个同伴的 diff，从中借了一个小技巧简化了自己的新代码。组合后的版本达到了 1136 cycles——那一轮最大的单次改进。团队最终以 1114 cycles 结束该轮。
没有遗忘，agent 不会尝试这个大胆的想法（被历史惯性束缚）。没有通信，agent 会在两次失败后放弃（没有同伴的 diff 可以借鉴）。两个机制缺一不可。
数据说话
四个任务，三种配置（单 agent / 4 并行 agent / 4 agent 团队+遗忘），每个跑三次：
| 任务 | 单 agent | 4 并行 | 团队+遗忘 |
|---|---|---|---|
| AHC014（分数↑） | 795 | 964 (+21%) | 1103 (+39%) |
| VLIW kernel（cycles↓） | 1426 | 1220 (-14%) | 1097 (-23%) |
| Frontier-CS Q171（分数↑） | 64.0 | 70.2 (+10%) | 80.8 (+26%) |
| nanochat-autoresearch（BPB↓） | 0.980 | 0.980 | 0.961 (-2%) |
更有意思的是每次遗忘的边际收益：
| 遗忘次数 | AHC014 增量 | VLIW 增量 |
|---|---|---|
| 第 1 次 | +11.2% | -7.0% |
| 第 2 次 | +4.8% | -2.6% |
| 第 3 次 | +1.7% | -1.6% |
一个更精确的对照实验
为了排除"遗忘只是因为 context 更短所以更便宜"这个混淆因素，作者做了一个漂亮的对照实验：从同一个已经 plateau 的状态出发，接下来 30 轮提案，一半继续原 session，一半遗忘后重来。
结果：
| 配置 | 继续 | 遗忘 |
|---|---|---|
| 单 agent | +1.6% | +4.5% |
| 4 并行 | +1.9% | +7.0% |
| 4 agent 团队 | +1.4% | +9.2% |
工程洞察
这篇论文对 AI 从业者有几个直接可用的启发：
1. 你的 agent 不是没想法，是被历史困住了。 如果你的 agent 开始产出空提案或微小改动，不要急着换模型或加预算。先试试清空 session 重新开始。
2. 遗忘的粒度是"全删或全留"。 作者没有尝试选择性遗忘（保留某些"重要"的历史）。全删只留最佳候选，效果就足够好。这暗示着在迭代优化中，"如何做出进展"的信息价值远低于"进展本身"。
3. 通信和遗忘是互补的，不是替代的。 如果你的多 agent 系统在 plateau，加通信可能帮助有限（快效应会趋同），加遗忘可能帮助有限（没有新想法输入），但两者一起加效果最好。
4. "已到极限"几乎总是假的。 那个在 1710 cycles 宣布"已到实际极限"的 agent，最终被跑到 1077 cycles。agent 对自己能力的判断不可信，尤其当这个判断来自一长串失败历史时。
5. 遗忘时机是开放问题。 作者用了固定轮次遗忘（每轮 30 提案后遗忘），但自适应遗忘（检测到 plateau 时触发）是自然的下一步。
我的思考
这篇论文让我想到几个更深层的问题：
记忆 vs 计算的等价性被打破了。 传统观念是"记忆 = 压缩的计算"——记住之前的计算结果，就不用重新算。但这篇论文展示了一个反例：在开放式发现任务中，记忆反而阻碍了计算。你记住的不是"答案"，而是"我为什么觉得没有更好的答案"。后者是一个自我实现的预言。
这和人类科研的直觉一致。 一个领域的新手往往能做出突破性贡献，不是因为她知道更多，而是因为她不知道"什么不可能"。爱因斯坦在专利局做思想实验时，不是被当时物理学界的共识条件化的。但一个在同一个问题上工作了 20 年的专家，可能已经无法看到全新的角度了。
"结构比内容更重要"的又一个实例。 这篇论文的核心发现不是"遗忘有用"，而是"记忆的结构性影响"——记忆不是中性的信息存储，它是一个条件化先验，会系统性地收窄搜索空间。删掉记忆不是删掉信息，而是删掉一个搜索约束。
对 Agent 工程的启示： 当前主流的 agent 框架（LangChain、AutoGen、CrewAI 等）都在往"更多记忆"的方向走——长期记忆、工作记忆、情景记忆、语义记忆。这篇论文提出了一个反方向的问题：你确定你的 agent 需要记住这么多吗？ 在某些任务中，一个定期失忆的 agent 可能比一个过目不忘的 agent 强 39%。
最后，这篇论文的标题本身就是最好的总结：Scaling Discovery Requires Forgetting. 放大发现需要遗忘。这不是一个工程技巧，这是一个关于记忆与发现之间关系的深刻洞察——也许不仅适用于 AI，也适用于人类自己。
论文：Scaling Discovery Requires Forgetting 作者：Shangyin Tan, Ben Zhou, Lakshya A Agrawal, Jialin Zhang, Yilin Chen, Qiuyang Mang, Donghyun Lee, Dennis Jacob, Koushik Sen, Alex Dimakis, Matei Zaharia 机构：UC Berkeley, Stanford, Bespoke Labs arXiv：https://arxiv.org/abs/2610.20563 代码：论文未提供公开代码仓库