泡一杯茶,不需要调出整个人生——Agent 记忆的可逆开关
📗 三部曲之二:此刻该摊开哪几页 从 Papers.Cool 每日 arXiv 追踪 2026-11-19 列表
目录
泡一杯茶,不需要调出整个人生——Agent 记忆的可逆开关
📗 三部曲之二:此刻该摊开哪几页
从 Papers.Cool 每日 arXiv 追踪 | 2026-11-19 列表
你起床,走进厨房,烧水泡了一杯茶。这个过程里你没有先把出生以来的全部记忆加载进意识——小学三年级的某个下午、十年前读过的某份文件、上周三晚饭吃了什么,全都安静地待在它们该待的地方,以某种模糊的索引形式存在着。你手里只有此刻需要的:水壶的位置、茶叶的存量、水温够不够。
Vedant Navale——这篇论文唯一的作者——从这件最日常的小事里,看到了整个 Agent 上下文管理领域missed掉的东西。今天的 AI Agent 恰恰是做反了:每一步,它都要把读过的每个文件、每次对话、每个工具调用的完整内容,全部塞进上下文重新读一遍。一千步的任务,就是把同样的内容重读一千次。
MoE-Context 是一个反命题:上下文不是一条越来越长的磁带,而是一叠可以被逐块翻开的卡片——每一步只摊开当前需要的那几张,其余的留在桌上,正面朝下,上面压一张便利贴。需要的时候翻过来就行,没有任何一张被扔掉,也没有任何一张需要重新抄写。
🚪 问题的形状:每一种减法都有代价
先把这条线的来龙去脉摆清楚。
Agent 的上下文为什么会爆炸?因为默认架构是「追加式」的——每一条消息、每一次工具调用及其返回结果,都永久留在上下文里,下一步的推理建立在全部历史之上。这个设计简单、正确、无需思考,代价是第 N 步的推理成本随 N 线性增长,而注意力被稀释的程度比线性更狠。
已有解法各自卡在哪里?
剪掉或总结掉——最干脆。ReSum、ACON、各种 trajectory reduction 方法沿着这条路走得很远。但代价是永远的:原文没了。哪天发现摘要漏掉了一个关键细节,没有后悔药。
保留原文、让模型自己取——MemGPT、Sculptor、CTXAgent 的思路。原文在外部存储里,Agent 需要用的时候自己伸手去取。但这把管理的负担压回了模型身上:模型得停下来决定取什么、什么时候取、取完了放回去——这些元认知操作本身也消耗上下文和推理能力,小模型尤其玩不转。
固定规则决定给什么——Folio、Demand Paging 一类。省心了,但规则不会随任务的脉搏跳动:这一步和下一步需要的东西可能完全不同,固定规则要么太松要么太紧。
还有一个更微妙的对照:Cache Engineering 也做 KV 缓存逐出,但它的引擎重建被逐出的缓存——只提供「丢了再算」的后悔通道,没有「藏了再显」的零成本开关。Neural Paging 提出了学习式控制器的设想但没在真模型上验证。winnow 用决策模型给工具结果打分,但只做一次性裁剪。SWE-Pruner Pro 从编码 Agent 的隐状态读 keep-or-prune 决策——但它剪掉就是剪掉了。
MoE-Context 和所有这些的关键区别,用一张心智图来记:别人的上下文是一条被剪短的胶带,它是一叠可以被翻面的卡片。
🔧 解剖一个块
在实验里,一个块在缓存里的确切长相值得一看。每个块的格式是:「[block i | note]」开头,被隐藏时显示一个「(hidden)」标签(只在隐藏期间可见),然后是正文,以「[/block i]」收尾。note 由模型在块到达时写好——prompt 要求它「用十五个字以内描述这个上下文块,说出工具名和提到的文件名」。这个设计让 note 既短又有结构性:它不是为了让人读懂,而是为了让 decide pass 和 recall 机制能基于文件名、工具名等线索做粗糙的匹配。
还有另一个没实现但值得记下的版本:双模型版。一个小决策模型(比如论文提到的 Jev)负责挑块,大模型负责回答。这个版本没有测试,但它可能才是终局形态——看门的和干活的不共享同一个大脑,互不污染,各自可以独立升级。论文选择了单模型版,不是因为更好,而是因为它能在笔记本上完成——一个研究者可以独立验证的最小完整系统。这个选择本身就是一种方法论宣言:先证明最小可复现版本,把更大的赌注留给后续。
这就是 MoE-Context 要做的事情。名字借自 Mixture-of-Experts:MoE 里有一个 gate,对每个输入挑几个 expert 激活;MoE-Context 里有一个 decide pass,对每个步骤挑几块上下文激活。不同的是,被选中的不是参数,而是记忆。
🧠 System 1 看门,System 2 干活
设计里最漂亮的决定是这个分工。卡尼曼的《思考,快与慢》给了框架:decide pass 是快速的 System 1——它不做推理,不写文本,只回答一个是非题;真正推理和生成答案的模型是慢速的 System 2。看门的不参与讨论,讨论的人不用分心看门。
每个 step 的循环是这样的:
1. 新内容到达,模型先给它写一张便利贴——一行字说清这是什么(比如「读了 login.py,300 行」); 2. decide pass 对每一块内容单独问一句:「回答当前这个问题,需要这一块的内容吗?答 yes 或 no。」需要的块以全文展示,不需要的块只留便利贴; 3. 模型在被选中的块上加便利贴之上进行推理、作答; 4. 如果模型发现少了什么,可以召回(recall)某块——翻回来,读完,继续。
有几块内容永远展示——比如系统指令,叫 pinned。没有东西被删除。被藏起来的块带着一个「(hidden)」标签,提醒模型它存在、可以要回来。
便利贴的设计藏着一个深思熟虑的权衡:note 不能承载所有细节——如果 bug 藏在 300 行文件的第 140 行,「读了 login.py」这条 note 不会告诉你。所以 decide pass 必须读全文来做判断,note 的作用是告诉作答的模型「外面还有什么可以要」。note 是目录,不是摘要。
💻 一台笔记本上的极简实现
这篇论文的气质和它的实验环境完美匹配:没有集群,没有大模型,一个 8GB 显存的笔记本 GPU,一个 Qwen3-1.7B。
单模型版本的核心机制值得一讲,因为它回答了一个非常实际的问题:切换可见性,能不能不重读? 答案藏在 KV cache 里。模型读文本时,每个 token 的计算结果被缓存在 key-value cache 中——这是「缓存输入比正常输入便宜十倍」的技术基础。MoE-Context 的做法是:所有块按顺序读入一次,之后的每一步只做一件事——在注意力掩码(attention mask)里把当前不需要的块的缓存条目清零。位置保留,缓存有效,什么都不用重读。
这个「掩码而非删除」的语义有一个精确的实验验证,简单到可以在任何教室里复现。研究者测量了模型产出被隐藏块中答案的对数概率:块可见时约 -11,被掩码隐藏后约 -54,被物理删除后约 -51。掩码隐藏比物理删除藏得还深——两个数字在实验噪声内无法区分。藏起来的块,对模型来说就是不存在的——除了它还能被翻回来。
还有一个诚实的细节:缓存顺序意味着后面的块在编码时已经「见过」前面的块(即使后来被隐藏),所以隐藏块的信息痕迹可能残留在后续块的表示里。undo 实验间接检验了这一点——结论是好的:泄漏的主要来源不是缓存,是便利贴(后面会讲)。
📊 数字不会说谎,包括那些不好看的
实验设置很朴素:16 个块(8 个配置文件 + 8 个测试日志,共约 3450 tokens),120 个查找问题,每个问题问某个文件里某个键的值。规则是:回答只需要一个块。
第一个结果,关于「少即是多」。 把所有块都展示给模型时,答对 93/120;只展示被决定需要的那一个块时,119/120——而输入的 token 少了约五倍。小模型在噪声面前是脆弱的:满桌的文件摊开,它反而抓不住重点。这个方向和人类工作记忆的研究遥相呼应——无关信息不只是浪费空间,它 actively 干扰注意力。
第二个结果,关于自己的短板。 这才是这篇论文最罕见的品质。decide pass 用模型自己的输出分数来做判断:不给它生成「yes/no」文本的机会,而是直接读最后一个位置上 yes 和 no 两个 token 的 logits 之差——sigmoid 变换后就是「需要」的概率。为什么要这么绕?因为如果让模型生成文本再解析,decide pass 就慢成了另一个推理步骤;读 logits 只是一次前向传播的副产品,几乎免费。
小模型原始的 yes/no 分数分离度很差——选中最需要的块排名第一只有 81/120 次,用它选块再回答只有 80/120——还不如全展示(93/120)。这个结果值得停下来想一想:一个 1.7B 模型,要它判断「回答这个问题需不需要这块内容」,它一半时间在猜。元认知——对自己知识状态的觉察——恰恰是Scaling Laws最不慷慨的能力。
研究者没有粉饰。他们训练了一个监督线性探针(Fisher 线性判别,闭式解,没有梯度更新),把它写进模型权重中两个 tokenizer 永远不会用的输出行里——回答步骤禁止访问这两行,所以普通回答不会被污染。写进真正的「yes」「no」行的最初尝试破坏了正常回答,这个细节也被如实记录。探针把选块准确率从 80 拉到 110/120。
然后他们做了两件几乎每个作者都会想做但未必会做的事:
第一,加了关键词基线——评审 Matthias Busch 的建议。问题是「config/database.ini 里 timeout 的值是多少」,文件名就在问题里。选与问题词面重叠最多的块:120/120 全对。换用同义改写(问题提到服务名但不提文件名),关键词还是 120/120,而 decide pass 不用探针只有 76/120,用了探针 103/120。在这样的任务上,decide pass 在准确率上没有任何存在理由。论文原话的意思是:公平的对照需要那些相关性无法从词面推断的任务——比如「找出导致测试失败的那个文件」。
第二,测了迁移。探针只在配置文件问题上训练过,换到测试日志问题上:不用探针 61/120,用了反而掉到 16/120——它固执地继续选配置文件。探针学到的是训练任务,不是相关性本身。这是一个深刻的教训:在简单分布上「训练出来的判断力」,换到邻近分布可能就是负资产。
这两个「不好看的数字」比一堆好看的数字更有价值:它们精确地划出了 decide pass 的适用边界——当相关性可以从词面线索推断时,简单检索就够了;真正需要模型判断的,是相关性藏在语义里、藏在因果关系里的场景。
第三个结果,关于小模型的元认知局限。 召回机制——模型主动说「我需要第 3 块」——理论上很美好。实测中,给小模型加上召回指令后,它开始无节制地要块,答案明明就在眼前也要——准确率从 93 暴跌到 44。知道什么时候该伸手,本身就是一个需要习得的能力,1.7B 的模型还没学会。有趣的是,当真的只有需要的块被藏起来、而它选择伸手时,72/72 次都指对了块——伸手的目标感是准的,难的是判断伸不伸手。
🔄 两个从「可逆」里长出来的用法
掩码切换的魅力在于:隐藏和展示只是一次掩码操作,不伴随任何重新计算。这让两个此前昂贵的模式变得近乎免费。如果说 decide pass 是「看门人」,这两个模式就是「可逆性」本身的回报——它们不来自任何新能力,只来自编辑成本的坍缩。
Undo:擦掉失败的尝试。 这大概是每个 Agent 用户都暗中期盼的功能。30 道题的实验设计很直接:先让模型答错一次,把错误尝试留在上下文里,然后让它重试。错误尝试可见时,模型 26/30 次照抄了旧答案,只有 3 次答对——错误是一个引力场,可见就在拉你回去。心理语言学里这叫锚定效应:最先看到的答案污染了后续的搜索。
把失败尝试的块藏起来重试:照抄降到 5 次,答对升到 16 次。已经好了很多,但那 5 次泄漏从哪来?追查发现,失败尝试的便利贴里写了错误的旧值——13 个此类 note 里 5 个造成了泄漏(5/13),其余 17 个没有旧值的 note 一次都没漏。泄漏的是便利贴,不是缓存。这个诊断本身值一篇文章:掩码可以把正文藏得和删除一样干净,但一行字的 note 就是一扇窗。把 note 也藏起来:0/30 次照抄,15/30 次答对——剩下的 15 次没答对,是因为单次查找的固有难度,而不是被干扰。教训写在纸面上:失败尝试的 note 不应复述它的错误输出。写 note 是一门手艺。
Subagents:不开新上下文的支线任务。 第二个实验是两阶段的题(先查一个文件,再用结果去查另一个)。一次全看答对 4/30——小模型在多文件干扰下几乎瘫痪。分两次、每次只看一个文件、合并结果——12/30。受限于单次查找的准确率(38/60),但方向是对的:支线任务只需要它的几块内容,做完留下结论,其余切换回去。没有新的 context 开销,没有 context 的复制粘贴。
这两个模式指向同一件事:可逆性改变的是编辑成本。当隐藏和恢复是零成本的,「试错—回滚」和「并行—合并」这些人类习以为常的工作流,才可能出现在 Agent 的行为空间里。以前不是不想做,是Undo的代价高到不值得。
📐 成本条件的精确形状
论文给出的省钱条件值得展开算一算。设全部块共 N 个 token,展示的 A 个,便利贴共 S 个,正常输入价格 p_in,缓存输入价格 p_cache,decide pass 成本 p_c。MoE-Context 在 API 定价下更便宜的条件是:
(A + S) / N < (p_cache − p_c) / p_in
代入典型数字:缓存输入约为正常输入的十分之一,decide pass 成本足够小,右边约等于 0.1。也就是说,展示部分加便利贴必须小于总量的十分之一。这个条件比直觉苛刻得多——不是「藏起来一部分」就够,而是要藏起来九成。大多数真实任务的上下文里,系统指令、近期对话、任务描述加起来很容易超过一成。
结论被作者坦率地写在明处:在商业 API 的价格结构下,MoE-Context 的经济论据不成立,质量的论据才成立——更少的干扰、更准的注意力、可逆的工作流。单缓存版本绕开价格问题(没有重复计费),但前提是服务栈暴露掩码接口。这个方程本身就是一个有用的贡献:它告诉所有做上下文管理的人,你们的省钱空间有多大,取决于缓存折扣有多深。
🧮 一笔冷水账
论文算了一笔很重要的账。如果用 API 的缓存价格体系(缓存输入约为正常输入价格的十分之一),MoE-Context 省钱的条件是:展示部分占全部内容的比例,必须小于 (cache price - decide pass cost) / input price,大约是十分之一。换句话说,在纯价格维度上,你必须把 90% 的内容藏起来才划算——而那么狠的隐藏比例,大多数实际任务承受不起。所以主要的论据是质量,不是价格。单缓存版本绕开了这个问题,但前提是服务栈暴露注意力掩码接口——目前公开 API 还不提供。
decide pass 本身也不免费:每个块一次前向,笔记本上大约每秒一个问题。论文不做任何速度声明。
🌡️ 为什么这篇论文的「失败」比很多论文的「成功」重要
把视角拉到方法论层面。
在 Agent 上下文管理这个拥挤的方向上,论文的常规叙事是:我们提出方法 X,在基准 Y 上超过了 Z 个百分点。MoE-Context 的叙事完全不同:我们提出一个机制,在一个极简环境里了验证了它的核心组件(掩码=删除、少即是多、块切换使能新工作流),同时精确记录了它在哪里失败(模型自选不如关键词、探针不迁移、小模型滥用召回)。
这不是谦逊的表演,而是一种清醒的研究策略。当 decide pass 被关键词基线击败的那一刻,论文实际上完成了一次领域测绘:「相关性可从词面推断」的任务不适合模型决策,需要 semantic 判断的任务才是。这个边界信息,比在一个量身定做的任务上多拿 5 个百分点,对未来的研究者有用得多。
同样的逻辑适用于探针的迁移失败。它揭示的不是「这个方法不行」,而是「在窄分布上训练的元认知模块,其泛化能力需要在训练时就显式设计」——这和 MoE-Context 自己 future work 里「decide pass 要在多种任务类型上训练」的呼吁,构成了完美的闭环,也把这篇小论文和整个元认知研究的大图景连在了一起。
论文标题里没有出现的那个词,恰恰是它最重要的潜台词:还没。模型自己选块还不行——还没;探针的泛化还不行——还没;公开 API 还不支持掩码——还没。但机制的地基(掩码=删除、可逆性、零成本切换)已经被浇筑好了。剩下的,是工程和规模的事。
🕸️ 裂缝之外:那个写在最后的未来
局限部分写得坦诚:一个 1.7B 模型、一种合成任务、120 道题没有误差棒;块是逐个独立判断的,块与块之间的结构没被利用;糟糕的 note 会让一块内容再也找不到;公开 API 不支持掩码;decide pass 每块一次前向(笔记本上约一秒一个问题),不做任何速度声明。每一个限制都不是免责声明,而是一个清晰的下一步的坐标。
而 future work 里藏着一个真正精彩的设想:把块连成图。测试日志连着它测试的文件,回复连着它回答的消息,一个工具调用的结果连着触发它的那条指令。块从来不是孤岛,只是被当前的表示方式切断了联系。选块不再是逐个打分,而是路由:从当前步出发,沿链接向外扩散,每跳衰减一次,在预算内(比如全部块的 30%)保留最强的块。这一下把「选什么」从独立分类问题变成了图上传播问题——和 SCH 的出处链接、和 A-MEM 的记忆图谱,在形状上奇妙地汇合了。三条互不相识的研究路线,各自走到了图的门口。
再深一步:这个图结构还自然消解了一个当前设计的别扭之处——重复块。如果同一份文件被读了三次,现在的系统里它是三个独立块,decide pass 要在三个里面选;图结构下它们共享同一个节点,「读过 login.py」只是这个节点的三条入边。选块变成了选子图,语义和存储同时瘦身。
三篇论文放在一起看会更有意思:SCH 在系统层面分离状态和证据,MoE-Context 在表示层面控制每步的可见性,而它们共同的前提——没有信息需要被销毁,需要的只是更好的可见性调度——正在从边缘想法变成这个领域的共识。
一个人,一台笔记本,一个诚实的实验,一组不回避失败的数字。在这篇论文里,最动人的不是任何一个结果,而是作者对待结果的方式:探针不迁移就写不迁移,关键词更好就写关键词更好,召回实验翻车就写翻车,最初的权重编辑搞坏了正常回答也写进附录。在一个普遍倾向于展示最好看结果的领域,这种诚实本身就是一份贡献——它给所有想沿着这条路走的人,画了一张标着暗礁的航海图。而航海图的价值,从来不在于它标出了多少安全水域,而在于它诚实地说出了哪里有礁石。
参考文献
- Vedant Navale. *MoE-Context: Show the Model Only What It Needs*. arXiv:2611.24379, 2026.
- 概念背景:Jacobs et al., Adaptive Mixtures of Local Experts, Neural Computation 1991;Shazeer et al., Outrageously Large Neural Networks, 2017;Kahneman, *Thinking, Fast and Slow*, 2011
- 相关工作:Cache Engineering (Fu et al., 2026);SWE-Pruner Pro (Wang et al., 2026);MEMENTO (Kontonis et al., 2026);ReSum (Wu et al., 2025);ACON (Kang et al., 2025)