两万字的窗口,读完两百五十万字的书
电影《记忆碎片》的主角没有长期记忆,新发生的事几分钟就忘。他靠什么活着?拍立得照片和纹身:重要的信息当场拍下来,背面写一句话,最关键的事实直接纹在身上。他随身携带的不是过去本身,是对过去压缩过的笔记。
两万字的窗口,读完两百五十万字的书
电影《记忆碎片》的主角没有长期记忆,新发生的事几分钟就忘。他靠什么活着?拍立得照片和纹身:重要的信息当场拍下来,背面写一句话,最关键的事实直接纹在身上。他随身携带的不是过去本身,是对过去压缩过的笔记。
哥伦比亚大学一篇新论文给大模型起这个名字,用意就在这里。论文叫 MEMENTO,解决的问题是:书级长文本推理。四套基准上的书最长 250 万 token,而他们用的模型——Qwen3-8B——全程在上下文里握着的东西不超过 2 万 token。两万字窗口读两百五十万字的书,靠的就是主角那套动作:边搜、边读、边记笔记。
记笔记是门手艺,而强模型不会
论文把这个动作叫上下文管理:窗口有限,就得决定留下什么。常见做法是压缩——把历史换成一段自写的笔记。听起来简单,但实验结果反直觉:GPT-5.5 和 GLM-5.3 这样的开箱模型,经常写不出有效的笔记;光靠强化学习,模型也很难自发养成记笔记的习惯。在同一套测试框架里,GPT-5.5 agent 只拿到 13.1% 的准确率——顶级模型不是答不出问题,是不会边读边管理自己的记忆。
MEMENTO 的训练分两步。第一步像开卷考试前请了个老师:拿老师模型在成功轨迹上「事后补写」高质量笔记,教 8B 模型什么时候该记下发现、怎么避开死胡同、下一步去哪查。第二步用 GRPO 强化学习把动作练成本能,奖励由三样组成:答案对不对、笔记质量过不过启发式检查(格式、彼此不重复、覆盖轨迹的不同部分)、以及置信度校准得准不准。
最意外的实验结果是第三件事:训练时只见过「窗口清空、从头再来」这一种场景,测试时却能直接泛化到更聪明的策略——上下文折叠(保留笔记和最近几轮对话)和置信度回溯(答案没把握,退回上一页笔记重查)。教的是最朴素的动作,学会的是可以组合的技能。
数字,以及它们各自的条件
四套基准共 4700 道测试题:MEMENTO 把 Qwen3-8B 从 36.9% 拉到 67.8%。它显著超过同一框架下的 GPT-5.5(13.1%),也超过把整本书塞进 232K 窗口的 GPT-5.5(56.7%),成本不到后者的五十分之一。
对上 GLM-5.3(753B,约一百倍参数量):agent 模式 69.3% 对 67.8%,MEMENTO 花九分之一的钱、每次运行只用一半的 token;GLM-5.3 硬吞全书全文能到 74.3%,MEMENTO 差 6.4 个点,成本是其二十六分之一。
不过要摆平了看:分数据集算,GLM-5.3 在 LiteraryQA、NovelQA 和 SagaScale 上领先,MEMENTO 只在 NovelHopQA 上反超,领先幅度 29.3 个点。更有意思的是稳定性:MEMENTO 在四套基准上 64.9% 到 72.8% 窄幅波动,GLM-5.3 则在 43.4% 到 91.9% 之间大幅摇摆——大模型不是不会,是不稳定,某次读崩了就全崩。小模型+好方法换来的是可控。
消融实验把功劳拆开算:裸 Qwen3-8B 只有 29.6%,SFT 教完方法(不含推理期组件)到 34.4%,配上上下文折叠等推理策略就到 59.1%——「会记笔记」这一门手艺本身值三十分;RL 再把本能磨出来,推到 67.8%。
论文里有一句朴素的话,值得单独抄下来:更大的窗口只是把问题往后推。堆上下文的尽头不是无限显存,是模型对长输入里的信息用不过来。真正的解法看起来笨得多——像那个失忆症患者一样,遇到重要的东西,拍下来,写一句话,贴在墙上。
*信源:MEMENTO(arXiv 2611.00244《MEMENTO: A Foundation for Context Management for Long Context Processing Agents》,Columbia University,作者 Yunfan Zhang、Taehoon Hwang、Kathleen McKeown、Smaranda Muresan)。数字均出自论文摘要与正文:36.9%→67.8%、GPT-5.5 同框架 13.1% 与全文 56.7%(成本 <1/50)、GLM-5.3 753B agent 69.3%(1/9 成本、half the tokens)、全文 74.3%(差 6.4 点、1/26 成本)、NovelHopQA 领先 29.3 点、4.7K 测试题、20K 上下文上限、SFT(事后补写笔记)+GRPO(正确率/笔记质量/置信度校准三重奖励)逐字核过;训练仅用清空重启、测试期泛化至上下文折叠与置信度回溯为摘要原文。平衡信息(GLM-5.3 在三套基准领先、MEMENTO 稳定性 64.9-72.8% vs 43.4-91.9%)与消融数字(29.6/34.4/59.1/67.8,Table 2)为素材未提的增量。素材为营销体视频文案,本次全部数字核实无误、零膨胀——「迅速放弃记笔记」按原文「很难自发养成」改述,「格式规范」并入笔记质量启发式。电影开场为本号类比,论文未提及电影。*