Agent 的经验要分柜子放
一个上了班的 Agent 会反复遇到类似的问题:处理发票、查数据库、修代码。每次都从零开始很浪费,最好能把上次的经验留下来。麻烦在于,经验怎么存,没有标准答案。
一个上了班的 Agent 会反复遇到类似的问题:处理发票、查数据库、修代码。每次都从零开始很浪费,最好能把上次的经验留下来。麻烦在于,经验怎么存,没有标准答案。
最省事的做法是把所有历史堆进一个公共记忆。缺点很快出现:处理发票的经验和查数据库的经验搅在一起,互相稀释——而且历史越长,越贵。另一种做法是压缩:把全部经验提炼成一份摘要。省钱了,但压掉的可能正是下次救命的那个细节。
Meta FAIR 的研究者给了一个新的答案:问题不该问「用哪种记忆」,该问「这段经验归谁管」。他们管这套架构叫 Routed Continual Learning,路由式持续学习。
一个档案管理员,五个柜子
结构很像一个办公室。过去每次任务的完整轨迹被分成一个个簇——相当于柜子;每个柜子配一种记忆系统,相当于柜子里各用各的整理方法;每次接新活之前,一个由大模型担任的路由器会翻一遍手头的活、柜子的标签和摘要,决定:塞进哪个现成的柜子,还是开个新柜子。
记忆系统的库是固定的,一共五种:最普通的上下文学习——把整个柜子的历史原样摆出来;ReasoningBank——从成败轨迹里蒸馏出可复用的策略;还有三种更专的,分别管重复出现的标量数字、按时间排的事件曲线、和身份对不太准的测量数据。中间还有一个叫 Context Memory Adapter 的翻译层:这些记忆系统各有各的存法,适配器负责把它们统一翻译成 Agent 能读的上下文。
分柜子比换柜子里的整理法重要
实验把六种 CL-Bench 任务和 97 道银行业务题混成一条 398 题的交错流水线,四个模型各跑五轮对照。结论的顺序值得注意:光是把经验分成柜子(柜子里还是普通历史), normalized reward 的增益就有 0.117 到 0.241;再把每种柜子配上合适的记忆系统,只再多赚 0.002 到 0.076。也就是说,分对柜子的功劳,比给柜子换更高级的整理法大得多。整体上,路由式持续学习比全局共享历史高出最高可达三分之一的可用增益空间,成本还降了 65% 到 72%——全局堆历史的做法在同样的活上要多花一倍以上的钱,还更差。
但分柜子不是万能钥匙。实验里有个微妙的对照:分簇让普通上下文学习变好了,却没让 ReasoningBank 变好——因为 ReasoningBank 本来就会按问题相似度主动挑相关的记忆,你替它分好柜子,它反而少了一条检索路径。什么时候值得加分区,取决于这个记忆机制自己会不会挑东西。
分开考都行,混着考就串味
还有一个发现对现实部署更有分量。此前有实验(用的正是同一套 CL-Bench)发现,把这些任务一条条分开考核时,最笨的全局历史反而是最强的——每个任务前后相关,整段历史都值得看。可一旦把六种任务混进一条流水线,全局历史的优势就消失了,在有的模型上甚至全程不如不带任何记忆的裸跑。真实世界永远是一条交错流:上午处理发票、下午改代码、晚上来一条客服工单。在干净的基准测试里表现最好的记忆方案,到了交错环境里可能第一个失效。
路由式持续学习把这个问题变成了一个明确的形式:持续学习是个路由问题——既要选经验怎么表示,也要选谁和谁共享状态,两个决定每次都做,交给一个看着目录的 LLM。作者还留了一个诚实的对照:拿真实任务标签替代路由器去分柜,成绩还能再涨一截——说明路由器自己的判断力还欠着火候,这部分上限,要等路由模型自己变强来兑现。
*信源:Routed Continual Learning(arXiv 2610.38796,FAIR at Meta 全员:Michael Philip、Mahesh Balakrishnan、David Geraghty、David Mao、Vidhya Venkat、Ilya Mironov)。数字均出自论文:交错流 398 实例(CL-Bench 六任务 301+τ³-Bench 银行 97)、五记忆系统(ICL/ReasoningBank/HR/HDE/PES)、分簇增益 0.117-0.241 对记忆系统选择增益 0.002-0.076、成本降 65-72%、四模型五轮对照、CL-Bench 单独考核时全局 ICL 最强的引用(Asawa et al. 2026)、Ground-truth assignment 对照逐条核过。此前 CL-Bench 的记忆架构实验本号拆过(Anthropic 的记忆架构帖),同名基准、不同用法——那边是记忆系统的考场,这边是交错流的路由题。*