给回忆装上变焦镜头——当分辨率成为 Agent 的注意力

📘 三部曲之三:该看多清楚 从 Papers.Cool 每日 arXiv 追踪 2026-11-19 列表

目录
  1. 给回忆装上变焦镜头——当分辨率成为 Agent 的注意力
  2. 👁️ 被忽略的那个旋钮
  3. 🖼️ 机制:一个 0.6B 的裁判,一个可学习的变焦环
  4. 🧬 训练的解剖:从「什么重要」到「多清才够」
  5. 📊 数字:砍掉一半以上的 token,分数纹丝不动
  6. 🎨 渲染管线:被低估的工程层
  7. 🧩 插件化:站在其他记忆方法的肩膀上
  8. 🔬 消融:每一步都在回答一个「为什么」
  9. 🗺️ 谱系:三个旋钮,三次追问
  10. 🌫️ 裂缝
  11. 🌅 三部曲的尾声:记忆的三次松绑

给回忆装上变焦镜头——当分辨率成为 Agent 的注意力

📘 三部曲之三:该看多清楚
从 Papers.Cool 每日 arXiv 追踪 | 2026-11-19 列表

把你的眼睛闭上,再睁开。你能看清的,只有视野中心大约两度的一个圆——中央凹(fovea),视网膜上唯一高分辨率的区域。其余的一切都在那里:左边的书、右边的杯子、窗外的树,全部可见,全部模糊。你的大脑从不抱怨这种安排,因为注意力和分辨率是同一枚硬币的两面:你看得越清的东西,就是你正在注意的东西;你注意什么,眼睛就自动给它配上最高的分辨率。

这个被称为「分辨率即注意力」的原理,在 1998 年就被 Yeshurun 和 Carrasco 在 *Nature* 上实验证实:注意力以提升空间分辨率的方式运作。二十八年之后,南洋理工大学和阿里巴巴的 Siqi Xiang、Zhipeng Xu 等人,把这条神经科学的直觉移植到了 AI Agent 的记忆管理上——Resolution as Attention(RAA)。他们的提问方式让整个上下文管理领域显得有点像在争论错的问题:大家都在问「该保留什么」,却没人问「该看多清楚」。

👁️ 被忽略的那个旋钮

先把已有的记忆管理方法分一遍类。

检索派把历史存到外部,需要时取回——MemGPT、Mem0、A-MEM。它们的命门是检索质量:任何没被取回的内容,对 Agent 来说就是不存在。检索失误不是效率损失,是信息丧失。

压缩派把历史浓缩进上下文——ReSum、ACON 周期总结,LLMLingua 一族做 token 剪枝。问题是不可逆的:细节一旦抽象掉,后续决策需要时就没了。

还有一支新近的队伍:光压缩。利用视觉语言模型的 OCR 能力,把文本渲染成图片,用更少的视觉 token 承载同样的内容。DeepSeek-OCR 和 Glyph 证明了这条路可行,AgentOCR 把它带进了 Agent 记忆。但有一个共同的模式:它们对所有历史一视同仁——要么统一压缩率,要么按时间远近降采样。

这就是那枚被忽略的旋钮。人看照片墙的时候,不会给每张照片同样的放大倍数——重要的那张拿近了仔细看,其余的小缩略图扫一眼就行,但它们都在墙上,随时可以放大。已有的方法决定「哪张上墙」(检索)、「哪张压缩」(压缩),却从没问过「每张该多清楚」(感知粒度)。

RAA 的回答:把每段历史渲染成一张图片,每一步根据它和当前决策的相关性,动态调整渲染分辨率。重要的,放大;次要的,缩小;原图永远保留,缩放回滚零成本。语义上什么都没删——只是有的看得清,有的看得糊。而「该多清」这个判断,由一个 0.6B 的轻量裁判在每一步重新做出——随着任务的推进,同一段历史的清晰度可以反复升降,像眼睛在不断重新对焦。

🖼️ 机制:一个 0.6B 的裁判,一个可学习的变焦环

系统由两个轻量组件构成,插在 Agent 和它的记忆之间,Agent 本身完全冻结——这是 RAA 作为「感知层」的立身之本。

第一个组件:相关性估计器。 基于 Qwen3-Reranker-0.6B 微调。它的工作方式被刻意设计成注意力的形状:任务描述加最新一次交互,组成 query;每段历史是一个 key;历史对应的渲染图像是 value。估计器回答的问题不是「这段历史和 query 语义上像不像」——那是普通 reranker 的问题——而是「接下来的这个决策,在多大程度上依赖这段历史」。输出是对每个 yes/no token 的 logit 之差过 sigmoid,得到一个 0 到 1 的相关性分数。

为什么要区分「语义相关」和「决策依赖」?论文里有一个精确的对照:一段历史可能在语义上和当前 query 高度相关,但对决策毫无影响(背景知识);另一段可能在词面上毫不相干,却是当前决策的关键依据(比如四十步之前的某个配置值)。预训练 reranker 分不清这两种相关性——消融实验里,未训练的估计器把几乎所有历史都判为高度相关,预测分辨率的中位数高达 0.98,等于没做。这个区分,是整篇论文概念上最锋利的一刀。

第二个组件:归一化 sigmoid 映射。 一个只有两个参数(k 和 b)的单调函数,把相关性分数翻译成分辨率缩放因子 s ∈ (0, 1]。k 控制过渡的陡峭程度,b 控制中点位置。归一化保证 s(0)=0、s(1)=1——最不相关的缩到最小,最相关的保持全分辨率。因为单调,它保留了相关性的排序,同时把相关性分布调和到分辨率分布。

这里有一个重要的设计选择:RAA 不设全局 token 预算。注意力机制的 softmax 把一个固定总和的权重分配给所有 key;RAA 不做这个归一化。理由写在论文里,值得原文引用其精神:在做决策之前,需要多少信息本身是未知的——预设预算要么砍掉关键细节,要么保留冗余。每个交互的分辨率独立缩放,总视觉 token 数随每步决策的实际需求自然伸缩。

视觉效果有多大?视觉 token 数和图像面积成正比,面积和缩放因子的平方成正比——分辨率降到一半,token 消耗降到四分之一。这是「以平方级节省换线性级模糊」的交易,在人类视觉的亮度感知里也是同样的非线性。0.8 的缩放保留 64% 的 token,0.5 只花 25%,0.3 只要 9%——一条陡峭的省钱曲线,前提是你知道哪里该省。

训练分两阶段。 第一阶段叫相关性监督:从高分轨迹里收集决策历史,让教师模型(Qwen-3.8-27B)在每一步预判下一步动作,然后对每段历史打出 0 到 1 的「决策依赖度」评分。估计器用密度加权均方误差回归这些评分——加权是为了对抗评分分布的失衡(大多数历史的依赖度天然偏低,不加权的话估计器会学会全猜零)。12000 条样本,来自 1853 个训练任务。

第二阶段叫分辨率强化:把「估计器+映射」的合成函数当作随机策略,对每段历史在它预测的分辨率附近采样 K=8 个候选缩放,各自渲染成记忆喂给冻结的 Agent,用组相对策略优化(GRPO)来调。奖励函数有两项:决策保真度——Agent 在缩小后的记忆上产出原动作的平均对数似然,相对全文本参考的变化;token 节省——1 − s²,正好是视觉 token 的节省比例。λ 权衡两者。只让被选中的那一段历史变化、其余保持不动,每个 advantage 都可以精确归因到那一段历史上——这是这个奖励设计最干净的地方。八张 A100 上跑了约 22 小时,七张服务冻结 Agent 打分,一张训练。

🧬 训练的解剖:从「什么重要」到「多清才够」

两阶段训练值得单独拆开看,因为它回答了两个不同的问题,而大多数相关工作只回答了第一个。

Stage I 在回答:什么是决策相关性? 这一步的知识来源是高分轨迹——只在最终验证得分 ≥0.8 的轨迹上采样。教师模型在每个决策点做两件事:先预判下一步动作,再回头对每段历史打依赖度评分(0 到 1)。「先预判再评分」的顺序不是仪式——它强迫教师从「决策者」的视角回看历史,而不是从「旁观者」的视角做语义匹配。评分分布天然失衡:长程任务里,大多数历史段落对当前决策的真实依赖度都很低,直接回归会让估计器偷懒,全猜零也能拿到很低的损失。密度加权——把 [0,1] 分成 50 个桶、按平滑密度的平方根倒数加权——逼估计器在每个分数区间都保持分辨率。

Stage II 在回答:这个 Agent 的眼睛能看多清? 这是 RAA 区别于「相关性排序」方法的关键一步。即使估计器完美,「相关性 0.8」该翻译成分辨率 0.9 还是 0.5,取决于 Agent 在模糊图像上的实际识别能力——而这种能力无法从文本相关性推导出来,只能从 Agent 自己的反馈中学习。强化学习的采样设计很精巧:每步只对一个历史段做 K=8 个分辨率的采样(其余保持确定性缩放),这样每个 advantage 值可以精确归因——好就是这段历史的这个分辨率好,坏就是它坏,没有混杂因素。训练 150 个 update,22 小时,七张 A100 服务 Agent 做评分,一张训练估计器和映射。

这个两阶段分工对整个「教小模型帮大模型」的范式都有借鉴意义:先蒸馏判断力,再用环境反馈校准执行参数。前者是知识问题,后者是能力问题,混在一起训练只会互相干扰。

📊 数字:砍掉一半以上的 token,分数纹丝不动

主实验在 ClawGym-Bench 上——200 个长程任务,六类,从软件开发到分析推理。三个不同的 Agent backbone:Qwen-3.8-27B(训练时用的那个)、Qwen-3.6-27B 和 Kimi-K3(训练时从未见过的)。对比基线:Full History(原文全给)、FIFO(只留最近五轮)、LongLLMLingua(文本剪枝)、OCR-Memory(近期全分辨率、早期减半)、AgentOCR(Agent 自己选全局压缩率)。

结果的一致性堪称教科书级别。RAA 在三个 backbone 上分别减少 57.5% / 51.5% / 55.9% 的历史 token 消耗,任务分数与 Full History 相比差异在噪声范围内(Qwen-3.8-27B 上 78.69 对 78.23,还略高 0.46)。和它最接近的对手比:FIFO 多耗 26% 到 82% 的 token 且分数全面更低;OCR-Memory 在其中一个 backbone 的峰值 token 上略优——因为它对早期历史无差别降采样,压得更狠——但代价是任务步数多 7% 到 14%,总 token 反而更高。无差别模糊逼着 Agent 多走路:看不清路牌,就得反复折返。

这个「步数反噬」现象值得多说一句。它揭示了记忆压缩的一个隐藏成本模型:省下的 token 不只是「显示」的开销,更深层的是「决策质量」的开销——当记忆模糊到 Agent 无法确认关键细节时,它要么停下来验证(多步),要么带着错误继续(错误)。OCR-Memory 的省 token 是真实的,但它换来的步数增加把节省吃回去了一大部分。RAA 的模式不同:模糊只落在不相关的地方,决策所需的信息保持清晰,所以步数不膨胀。这就是为什么只看「每任务 token」会低估感知质量的价值——token 只是显性成本,决策退化的隐性成本更大。

泛化是另一个看点。RAA 只在 Qwen-3.8-27B 上训练,直接部署到两个从未见过的 Agent 上,token 节省和分数保持的模式几乎复刻。感知层和 Agent 的解耦设计在这里兑现了承诺:教一个 0.6B 的裁判什么是「决策依赖」,比教 27B 的 Agent 如何管理自己的记忆,便宜得多,也通用得多。

开销可以忽略:0.6B 的估计器加一次渲染,只占端到端延迟的 2.51%。

🎨 渲染管线:被低估的工程层

论文附录里藏着一条完整的工程说明,值得单独讲——因为在「渲染成图」这个方向上,渲染器本身就是研究方法的一部分。

每段历史的动作、观察、推理被分别渲染成规范图像(canonical image):Verdana 字体,13 像素,行高 15 像素,最大宽度 1120 像素,行长折叠以节省空间。规范图像在整个任务中只渲染一次,之后的每一步都是从规范图出发按当前缩放因子做 Lanczos 重采样——这就是为什么回滚零成本,原图永远在。动作和观察共享同一个缩放因子,一轮推理的缩放因子取它所有交互中最大的那个——因为推理文本通常引用了当轮的全部观察。

还有一个容易忽略但影响深远的细节:每张图被填充(padding)到 backbone 的视觉 token 网格——Qwen 系列是 32 像素,Kimi-K3 是 28 像素。网格不同,同样的图像在不同 Agent 身上的 token 成本也不同。RAA 的「分辨率即注意力」之所以能以感知层的身份跨 Agent 复用,恰恰因为它操作的是图像而非 token——渲染之后的 token 化交给各 Agent 自己的视觉编码器,RAA 不需要知道细节。

这个设计把「记忆感知」从 Agent 的内部机制里完全剥离了出来:Agent 看到的就是一叠大小不同的图片,和它在任何多模态任务里看到的东西没有区别。感知层的通用性不是来自标准接口,而是来自感知本身的普适性。

🧩 插件化:站在其他记忆方法的肩膀上

RAA 最不寻常的性质,是它不和已有方法竞争,而是给它们当感知层。把 RAA 叠在三个代表性记忆管理方法上:ACON(总结派)、A-MEM(检索派)、Observation Masking(掩码派)。

结果:RAA 给它们分别再省 22.5% / 44.7% / 54.1% 的 token,任务分数不降反微升。理由在概念层面一目了然:那些方法决定「什么信息对 Agent 可用」,RAA 决定「可用信息以什么粒度被感知」。两个维度正交,自然可叠加。而且 RAA 单独使用时的 token 消耗已经低于这三个方法各自的原版——感知层的效率天花板比记忆管理层更高。

这个正交性可能就是 RAA 对实践者最重要的启示:如果你的 Agent 已经在用某种记忆管理,加一个分辨率层可能比换一套管理系统更划算。而且门槛比想象中低——估计器只有 0.6B,训练一次,跨 Agent 复用,不需要触碰 Agent 本身的一行代码。感知层的全部意义就在于:它是一个可以插拔的外设,而不是一次心脏手术。

🔬 消融:每一步都在回答一个「为什么」

消融实验的设计密度很高,每一组都在回答一个具体的质疑。

「统一降采样不就行了?」 把估计器拿掉,所有历史统一缩到同一个分辨率。s=1.00 时平均 77.22 分、47.8K tokens;s=0.70 时省到 36.2K 但跌到 75.81——关键细节在低分辨率下变成不可辨认的墨团。RAA 用几乎相同的 38.2K tokens 拿到 78.69 分。同样的预算,一个均匀模糊,一个按需聚焦,分差近 3 分。这就是「相关性分配」这四个字的价值量化。

「渲染成图岂不是多此一举?」 把渲染图换回文本,保留 top-k 段历史、丢弃其余。k=5 时 78.98 分但暴涨到 61.1K tokens;k=3 时 42.6K 但只剩 77.63 分。RAA 的 78.69 分只要 38.2K——模糊但存在,胜过清晰但缺席。k=5 时那微弱的 0.29 分优势来自渲染图的 OCR 识别误差,论文也不回避。

「两阶段训练各自必要吗?」 四组对照:未训练(76.16 分,49K tokens,分辨率几乎全挤在 1.0 附近);仅 Stage I(77.12 分,34K,但中位分辨率压到 0.5 以下——分辨出了相关性,却不懂 Agent 的感知极限,很多东西缩得太小读不了);仅 Stage II(77.92 分,44K,没有相关性基础,强化学习在语义相似度的泥沼里挣扎);两阶段合体(78.69 分,38K,预测分辨率铺满整个 [0,1] 区间)。Stage I 教「什么重要」,Stage II 教「重要到什么程度还能看清」——缺一个,另一个就在错误的坐标系里空转。

「λ 怎么调?」 λ 从 0.5×10⁻³ 到 4×10⁻³ 扫描:λ 越大越省 token,但分数下降、步数上升——低到看不清的路牌,Agent 自然要多走路才能到。token 总量先降后升,在 λ=4×10⁻³ 处反弹到 40K:单步节省被额外步数吃掉了。节俭有临界点,这在所有压缩方法里都适用,但 RAA 把它量化得格外清楚。选 λ 不是选「多省」,是选「省到什么程度开始反噬」——一个每个系统设计者都必须面对但很少被公开讨论的权衡。

🗺️ 谱系:三个旋钮,三次追问

把 RAA 放回记忆管理的完整版图上,它的位置可以用「三个旋钮」的框架来理解。

第一个旋钮:什么在记忆里(what)。检索派和压缩派争夺的就是这个旋钮——MemGPT 的分层、A-MEM 的图谱、ACON 的总结,都是在决定哪些信息有资格留在 Agent 的视野里。这个旋钮的极限很清楚:留下什么总意味着不留下什么,而「不留下」的代价在长程任务里可能是致命的——四十步之前的那个配置值,不巧就是当前 bug 的钥匙。

第二个旋钮:此刻看什么(which)。MoE-Context 的 decide pass、SCH 的证据挑选,都在回答这个问题。它们的前提是:反正一切都在某处,问题是此刻摊开哪几页。这比第一个旋钮温和——没有永久删除,只有暂时隐藏。

第三个旋钮:该看多清楚(how clearly)。这就是 RAA 打开的那个。它和前两个都正交:SCH 可以决定把 e₆ 调回上下文,MoE-Context 可以决定此刻展示块 7——但展示出来的东西多清晰?以前的答案只有两种:全清(文本原文)或全糊(统一压缩)。RAA 说:清晰度应该是一段连续的光谱,由相关性和感知能力共同决定。

三个旋钮的组合,勾勒出一个此前不存在的完整设计空间。一个理想的 Agent 记忆系统,应当能同时回答:什么在记忆里(SCH 的档案室)、此刻看什么(MoE-Context 的开关)、该看多清楚(RAA 的变焦环)。三篇论文各自只做了一个旋钮,但都做得足够深——深到足以证明这个旋钮值得存在。

🌫️ 裂缝

每一项都诚实列出。渲染图的 OCR 识别不是无损的——字体、字号、行距的选择影响 Agent 从图中读出正确信息的概率,消融实验里 k=5 的文本基线凭借无 OCR 误差的优势拿到了 0.29 分的微弱领先,作者如实承认。相关性估计器的质量仍然是天花板——教师模型的判断会被蒸馏进估计器,教师 blind 的地方,估计器也 blind。prefix caching 的兼容性有摩擦:分辨率每步变化意味着缓存失效,实际部署需要在「分辨率稳定性」和「感知精确性」之间折中。OCR 能力本身也是瓶颈——如果 Agent 的视觉编码器在小字体、低分辨率下频繁误读,RAA 省下的 token 会变成理解错误。而最深的限制在概念层:RAA 优化的是「在给定相关性下用最少 token 保持决策」,如果相关性判断本身错了——该看清的被判成无关——那么再优雅的变焦也救不回一个近视的裁判。估计器是整个系统的阿喀琉斯之踵,而它的老师也不完美。

🌅 三部曲的尾声:记忆的三次松绑

三篇论文,三种机制,三次对同一枚假设的松绑:Agent 的记忆困境,本质上不是存储问题,而是注意力分配问题。

SCH 在系统层面松绑:语义状态和证据档案分离,完成了的工作不再意味着证据的死刑——「什么该随身,什么该入档」有了工程答案。一个 6.89 个百分点的受控提升,和一份「已完成不等于盖棺定论」的设计哲学。

MoE-Context 在表示层面松绑:掩码取代删除,可逆性取代承诺,每一步只摊开需要的页——「此刻该看什么」不再以「永远不再见」为代价。一台笔记本、一组不回避失败的数字、一张标着暗礁的航海图。

RAA 在感知层面松绑:分辨率成为新的注意力货币,重要的放大,次要的模糊,但没有一张记忆被摘下照片墙——「该看多清楚」第一次成为可以学习的对象。0.6B 的裁判,冻结的 Agent,三 backbone 上一致的 50%+ 节省。

三个层面互不替代,可以叠加:一个 SCH 式的系统在证据档案上配一个 MoE-Context 式的可见性开关,在视觉渲染的记忆上加一个 RAA 式的变焦环。这或许就是下一代 Agent 记忆栈的草图——不是更大的上下文窗口,而是更聪明的注意力。三个旋钮都在了,剩下的是有人把它们装在同一台机器上。

人类的记忆从来就不是完美的存储——它是聪明的遗忘、模糊的索引、按需的清晰。三篇论文各自独立地走向了同一个方向:让机器的记忆,更像人的。这个方向上没有宏大的宣言,只有安静的工程进展。而那句关于人眼的古老事实——中央凹只有两度,却足够我们看清整个世界——大概就是这个方向最好的注脚。


参考文献

  • Siqi Xiang, Zhipeng Xu, Shengrui Liu, Zulong Chen, Chunyan Miao, Shijian Lu. *Resolution as Attention for Efficient Agent Memory Perception*. arXiv:2611.24422, 2026. (南洋理工大学 & 阿里巴巴集团)
  • 评测基准:ClawGym-Bench (Bai et al., 2026);AppWorld (Trivedi et al., 2024)
  • 相关工作:AgentOCR (Feng et al., ACL 2026);OCR-Memory (Li et al., ACL 2026);DeepSeek-OCR (Wei et al., 2025);ACON (Kang et al., 2025);A-MEM (Xu et al., NeurIPS 2025);MemOCR (Shi et al., 2026)
  • 神经科学灵感:Yeshurun & Carrasco, *Attention improves or impairs visual performance by enhancing spatial resolution*, Nature 396(6706), 1998
#论文 #arxiv #Agent #上下文管理 #记忆感知 #视觉压缩 #分辨率注意力 #费曼解读

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens