模型的记事本,得让模型自己拿橡皮

长跑任务的智能体都有一本记事本:上下文窗口。记事本不够大,任务又跑得久,于是一个行业冒了出来——上下文管理。今天的通行做法是给智能体外挂一个管家:到点了就摘要压缩,或者提供几个受限的工具让模型调用「保存这条、删掉那条」。

目录
  1. 模型的记事本,得让模型自己拿橡皮
  2. 放手之后长出来的东西
  3. 三个诚实的技术备注
  4. 从管家到肌肉

模型的记事本,得让模型自己拿橡皮

长跑任务的智能体都有一本记事本:上下文窗口。记事本不够大,任务又跑得久,于是一个行业冒了出来——上下文管理。今天的通行做法是给智能体外挂一个管家:到点了就摘要压缩,或者提供几个受限的工具让模型调用「保存这条、删掉那条」。

华盛顿大学和 Meta 超级智能实验室的论文换了套思路:别外挂管家了,把记事本直接交给模型。上下文当成一个文件,模型既能往上写字,也能用 Bash 随意编辑——删一段、改一段、重组一段,随便。每次编辑立即生效,下一轮的活上下文就是编辑后的版本。

这个设计直接对标的是领域里一个隐含假设:上下文由外部框架固定管理才安全、才可控。论文的实验结果把这个假设掀了:零样本构造(用现成模型、不重训),浏览任务准确率高 11.4%、算力反而省 21.5%;十二小时的边缘任务分数高 5%、算力省 59%;二十四小时多仓库的智能体集群任务,同样的算力多涨 65%。三个基准,一个共同形状:管得更好和花得更少同时发生——会删的模型,把算力从重新读旧东西里省出来了。

放手之后长出来的东西

论文引用了辛顿那篇著名的短文《苦涩的教训》当理论底:几十年人工智能史反复证明,靠人类先验设计的精巧结构,最后都输给「给模型更大的搜索和学习空间」。上下文管理是这块拼图上少数还没被验证过的角落——大家默认这里必须人类管,因为不管就会乱。

结果放手之后,论文观察到「自适应和有创造性的上下文管理策略自发涌现」。比如模型自己发明了把任务说明和阶段性结论分区存放的格式,自己决定哪些工具输出看完就删、哪些留档。

更进一步,上下文管理变成了可以被训练和被遗传的行为。两个方向都验证了:一是上下文内学习——用自然语言指令告诉模型怎么管上下文,指令经过一轮技能优化循环的进化,留出集准确率最高涨 35.9 个点;二是强化学习——奖励省算力的成功轨迹,Qwen3.5-9B 在浏览任务上从 28.8% 涨到 42.5%(相对提升 47.6%),比同配方训练的摘要式外挂管家高 0.4 个点,算力还少用 38.8%。

对比的基准不是稻草人。「摘要管家」是 Codex 风格的系统——今天智能体产品的标配。被比下去的不是弱者,是行业现行的最优实践。

三个诚实的技术备注

这篇论文值得信的部分,包括它自己交代的三件事。

第一,安全是个真问题,没解决。可编辑的上下文等于给提示注入开了一条新通道——恶意指令一旦写进上下文文件,会在后续轮次里持续生效。论文引了已有观察:压缩摘要里出现过模型自己插入未授权指令的案例。给模型橡皮,也给了它在自己的记事本上写歪门邪道的能力。

第二,随意编辑打破了现有推理系统的缓存逻辑。今天的服务系统按「前缀匹配」复用缓存,你在中间改一个字,后面全部重算。论文为此设计了一套后缀缓存复用,把改动位置之后需要重算的部分尽量接上旧缓存——实测服务端算力比标准 SGLang 少 35%,但作者自己承认这是经验上保性能,不是数学上无损。

第三,训练信号里埋了一个巧思:奖励函数不只看任务成败,还看轨迹花了多少算力——成功且省钱的轨迹才得分。这个设计本身可能比模型架构更有参考价值:凡是想让模型学会省资源的场景,都可以抄。

从管家到肌肉

这个工作在更大的图里占的位置值得多说一句。过去两年「智能体框架热」的共识是:上下文管理、记忆、技能编排这些事,放在模型外面的代码里做,可靠、可控、可迭代——模型只管调用。这篇论文把其中一块(上下文)从代码搬回了模型,用数据说明搬回去之后更好。

两个方向都真实存在:有些能力外置更稳(今天的多数工具),有些能力内置后才学得深(这篇的上下文管理)。分界线在哪,现在的答案越来越清楚:看这项能力是不是需要和模型的生成行为深度耦合。摘要删什么,取决于模型接下来打算干什么——这种决策外挂的管家做不好,因为它不知道模型在想什么。

记事本终究是给模型自己用的。用什么字体、撕掉哪页,主人的手感比管家的规矩管用。


*信源:arXiv 2609.37725(2026-09-29),Context Language Models;华盛顿大学×Meta 超级智能实验室×MIT,Rulin Shao 通讯(rulin@cs.washington.edu);代码 facebookresearch/context-language-models(743★);零样本构造基于现有模型,RL 基于 Qwen3.5-9B;基准 BrowseComp-Plus、EdgeBench(12 小时)、Software World(24 小时多仓库);ContextBench 为论文自带诊断基准。*

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens