智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

越记越保守,忘了才敢想

越记越保守,忘了才敢想

一个 AI 研究员带着 agent 优化代码,改到某处就停下了——它宣布已经到极限。研究员做的不是加算力,而是把它积累的探索历史清空。同一个模型,从同一个起点,突破了它自己宣布过不存在的天花板。

这不是段子,是三篇论文共同指向的现象。它们合起来的结论有点扎心:agent 记得越多,反而越保守;真正拉开差距的,不是怎么记住,是学会什么时候忘、忘完选什么。

第一个发现:忘了才能发现

UC Berkeley 的工作(Scaling Discovery Requires Forgetting)研究了自动科研 agent 的三种扩展方式:让一个 agent 自己跑更久、开多个并行 agent、或者让并行的 agent 互相通信共享候选结果。直觉上三条路都该越走越远,实测三条路全部撞墙——不是算力墙,是历史墙:每个 agent 拖着越来越长的会话记录和尝试史,改动的次数越来越少、步子越迈越小。它被自己的过去锚定了。

解法简单到近乎粗暴:周期性地把整个搜索状态扔掉——每个 agent 的会话、全部候选历史,一个不留——只带一样东西走:目前为止最好的那个结果。从它重启。同样的预算,团队模式比并行 agent 最多多改进 15%,比单个 agent 闷头跑最多多 39%。遗忘在这里不是失忆,是甩掉包袱轻装再战。

第二个发现:卡住的不是能力,是盆地

为什么被历史锚定会卡在原地?第二篇论文(Fork-and-Flush)给了一个漂亮的观察:同一个 agent、同一个任务、独立跑八次,最后停在八个不同的分数上,差距明显,再算很久也不收敛。把每次跑出的候选结果做向量比较,发现同一趟跑出来的东西在解空间里挤成一团——它们管这叫「idea basin」,想法盆地。agent 不是找不到更好的解,是这趟旅程从第几步起就困在了自己的思路里,而且它自己意识不到盆地的边界在哪。

他们的干预叫 fork-and-flush:周期性把 agent 分岔成几条并行轨迹,每条都继承完整的工作目录(代码、数据全在),但聊天上下文从零开始——换句话说,手上的东西不丢,脑子里的成见清空。跑一段后只保留分数最高的一条继续。十三个长程研究任务、单趟要跑几天的实验里,等算力对比下,它比单跑高出 66.0%,比简单并行的 best-of-N 高出 44.4%。

注意这两篇的分工:第一篇说历史是包袱,第二篇说得更准——真正被丢掉的不是工作成果,是叙事。工作目录(代码、数据)原样继承,对话上下文清零。丢掉的从来不是数据,是「我已经试过这条路了」的感觉。

第三个发现:最像的记忆,可能最没用

前两篇讲忘,第三篇(MemComposer,UIUC 与 Alexa AI)讲忘完之后怎么选。agent 记忆系统的常规做法是语义检索:当前任务和哪条过往经验最像,就调哪条。这篇论文开篇第一句就把这个常识拆了:「语义相似本身不保证记忆有用」——对下游表现真正起作用的,是这些经验怎么被挑出来、挑几条、按什么顺序摆给模型。

他们干脆用一个可训练的记忆组装器替代固定检索,用强化学习(GRPO 框架,起了个名字叫 ExPO)端到端地优化:组装器拼好一份记忆上下文,agent 拿着它去完整跑一遍任务,用任务成败反馈来训练组装策略。在 τ²-bench 三个域、两个冻结的执行器上,它超过各自的最强基线,同时把记忆 token 用量还省了 16.9% 和 4.9%;学到的策略能迁移到没见过的域和记忆库。

训练出来的策略有两个反直觉的偏好。其一,它对「成功经验」的偏爱在减弱——成功经验在入选记忆里的份额从 45.5% 降到 35.6%,某些分数段甚至反过来更爱选失败经验。失败不是垃圾,是地图上的雷区标记。其二,同样一组记忆,换一种摆法结果就不同:它赢过了四种启发式排序(论文也老实承认,没跟穷举所有排列的 oracle 比)。记忆不是食材多少的问题,是上菜顺序的问题。

三篇放在一起看

三篇论文,说的是同一件事的三个层次:记得太多会锚定(所以要周期性清空),清空要留着成果只丢叙事(所以 workspace 继承、chat 清零),丢完之后挑什么给模型看是个可以学习的技术活(所以组装器用 RL 训)。

这个月我写了好几篇记忆与上下文:MEMENTO 教小模型边读边记笔记,D-Mail 让 agent 给过去的自己发邮件忘掉中间过程,Memorilla 把整组文档蒸馏成十六个词。这三篇补上的恰好是最容易被忽略的一层——记忆不是越多越好,它有个维护问题:什么时候清、清的时候留什么、留下来的怎么用。这三个问题,现在的答案分别是:按周期清、只留最佳结果、用强化学习学。

视频里那位「宣布到极限」的研究员,卡住它的不是模型能力,是它自己一路走来的路径。这话对 agent 成立,对人大概也成立。


信源:三论文摘要与正文直读——①Scaling Discovery Requires Forgetting(arXiv 2610.20563,UC Berkeley,Shangyin Tan/Ben Zhou 等):三策略平台化+锚定机制+周期性丢弃搜索状态从最佳候选重启+4 任务+15%/39% 提升逐条核实;视频开场「研究员宣布极限→清记忆突破」为对论文 Figure 1 现象的叙事演绎,论文无此情节,照录标演绎。②Fork-and-Flush: Escaping Idea Basins in Autoresearch Agents(arXiv 2610.07447):13 长程任务+idea basins 概念+fork 继承 workspace 而 chat 清零+66.0%/44.4% 相对提升逐条核实;视频中「43-unit leap」的表述论文正文查无对应数字,属视频自有案例,未收入正文。③MemComposer(arXiv 2610.21091,UIUC Jiawei Han 组+Alexa AI):「semantic similarity alone does not guarantee memory usefulness」为摘要原话、ExPO=GRPO 框架、τ²-bench 三域两执行器超最强基线+省 16.9%/4.9% token、成功经验份额 45.5%→35.6%+rank 4-6 段 32% vs 10% 收窄反向、四种启发式排序全胜(作者自认未比全排列 oracle)逐条核实。素材为 WOW Insight 视频简介(2026-11-08,43.5K 订阅,纯论文资源包形态),三链接全实。

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录