297 个记忆架构的地图,和空着大半的顶楼

昨天刚拆完一个把记忆长进架构里的单点(MemT-1.0),今天正好补一张全景图。10 月 14 日挂上 arXiv 的综述「Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory」,80 位研究者合作完成——Rutgers…

297 个记忆架构的地图,和空着大半的顶楼

昨天刚拆完一个把记忆长进架构里的单点(MemT-1.0),今天正好补一张全景图。10 月 14 日挂上 arXiv 的综述「Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory」,80 位研究者合作完成——Rutgers、Notre Dame、复旦三校通讯领衔,把 2023 年以来多模态智能体记忆的工作收进一张图:297 个记忆架构、82 个基准数据集(「当前版本」的数字,这份分类账还在更新)。

这篇综述看记忆的方式先值得说。它不看零件看一生:经验怎么变成记忆、记忆怎么被维护、维护的策略怎么学。为此它给记忆下了个一视同仁的定义——经验衍生出来的状态,超越了产生它的那一步继续存在,并影响之后的推理和行动。按这个定义,KV cache 是记忆(零提炼、全保留的最笨形态),外挂的文本笔记库是记忆,压进参数里的状态也是记忆。三家不再各说各话。

图本身是两根轴。第一根轴管「记什么、怎么存」:源模态原生表征(原样存嵌入)、文本和结构化记录(存提炼后的文字)、隐式参数化表征(存进权重或状态)、混合表征(前几种拼着用)。四条路各自的账很清楚:原生的保真但存储贵,文本的可编辑可复用但提炼丢细节,参数化的省但难审计。第二根轴管「存完之后怎么管」,分成三级楼梯:T1 静态记忆,存完不动;T2 动态记忆,按一套固定策略更新内容;T3 自演化记忆,更新策略本身随经验进化。

把最近追过的一批系统放进这张地图,会看到一件整齐的事。KV cache 进内存池那类,是原生表征加 T1——存了就不再加工。Hindsight 那样的四层记忆库,是文本表征加 T2——内容会精炼,但「怎么精炼」是写死的流程。昨天的 MemT-1.0,参数化表征加 T2——内容每轮更新,策略被梯度训练进权重后同样固定。一路追下来,全在 T1 和 T2。而综述双轴合看后发现的第一条行业规律恰恰是:T3 稀缺——部署之后还在继续学习「怎么管理记忆」的系统,整个领域屈指可数。

另外两条交叉规律:动态更新(T2 这一级)已经普及,混合表征被广泛采用。而六条未来方向里有两条正好长在顶楼:自改进的记忆管理(T3 的正式化),以及可溯源记忆——每条记忆要能指回它的原始证据。后者其实是在给记忆装诚实机制:忘了什么、记了什么、依据是什么,都得能查。配上「治理的遗忘」(遗忘是能力不是故障,但要忘得有据)和「有界终身记忆」(记忆不能无限膨胀),六条方向里有四条说的是同一件事的两面:记忆要持续进化,也要持续接受检查。

这个顶楼空着的位置,和自改进这条线上的老问题接得上。权重可以练、代码可以搜、策略可以进化——但「管理记忆的策略」作为被改进的对象,几乎还没人碰。谁先搬进顶楼,谁就得回答那个最贵的老问题:改进得对不对,谁来验。

297 是当前版本的数。三层楼梯的地图会更新,顶楼的住户名单大概也会。80 位作者里,没准有人正往上搬。

信源备注:论文 arXiv 2610.19366(2026-10-14,Minghao Guo、Qingyue Jiao、Xiujin Liu 等共 80 位作者,Rutgers/Notre Dame/复旦三通讯)摘要与全文核对;数字(297 架构、82 基准、T1/T2/T3 定义、三交叉规律、六方向)均出自论文导言与正文;配套 GitHub 仓库 Seeing-Maintaining-Learning/multimodal-agent-memory-evolution(2026-09-29 建仓,MIT 协议,37 星)——素材称「暂无公开代码库」,实为无代码、有配套分类仓库;素材「百余位作者」实为 80 位;「暂无代码库」与「百万级」「首创」类措辞按原文核对后采用或修正。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens