128K 的历史，10M 的状态
昨天（10 月 19 日）arXiv 上挂出一篇 MemTensor 团队的技术报告：MemT-1.0。它赌的是一条和主流完全不同的记忆路线。先看账：一个模型处理 128K token 的历史，如果走全上下文 KV cache，要为每一步都存下原始的键值缓存，历史越长账单越大；MemT-1.0-Nano 把这段历史装…
128K 的历史，10M 的状态
昨天（10 月 19 日）arXiv 上挂出一篇 MemTensor 团队的技术报告：MemT-1.0。它赌的是一条和主流完全不同的记忆路线。先看账：一个模型处理 128K token 的历史，如果走全上下文 KV cache，要为每一步都存下原始的键值缓存，历史越长账单越大；MemT-1.0-Nano 把这段历史装进一个约 10M 的动态记忆状态里——状态大小恒定，不随历史增长。128K 历史下，持久存储比全上下文 KV cache 少约 66 倍，端到端推理快约 1.86 倍。这两个数字都出自论文摘要，昨天当天 GitHub 已建仓。
理解这条路线，可以先看 AI 记忆现有的两条路。第一条是存原始 token：KV cache 把每个位置算过的键值都留着，零提炼、全保留，代价是存储和带宽随历史线性涨。第二条是存文本结论：外挂一个记忆库，把历史提炼成文字笔记，用的时候检索回来——提炼过了，账单可控，但「提炼」这一步丢结构，检索还得多走一道接口。这两条路本号都追过：KV cache 进内存池是一种（KVMem），记忆库分层组织是一种（Hindsight 的四层设计），准入控制（ActKV 的单向棘轮）管的是第一条路的浪费。
MemT-1.0 走的是第三条：存状态。记忆不长在模型外面，也不靠缓存堆积，而是模型计算图的一部分。它的做法是在骨干注意力旁边并排跑一个原生记忆块，两个组件：一个动态多通道记忆矩阵，跨交互步持续演化；一组可训练的记忆读写部件——查询键值投影，加上擦除、写入、遗忘、输出四个门。生成时，记忆注意力从当前状态里读出内容、门控后加进注意力输出；每轮对话结束，用 Gated DeltaNet-2 做 token 级的记忆更新，把这轮的信息压进状态里。
关键在于「写法」本身是练出来的。Nano 版有 451M 专门的可训练记忆参数——什么该写、什么该忘、什么该被读出来，不是工程师手写的规则，是梯度教出来的。这件事的分量可以这样掂：外挂记忆库的「提炼」靠另一个模型写摘要，提炼策略凝固在提示词里；MemT 的提炼策略长在权重里，随训练数据进化。
训练的账也透明：两阶段（继续预训练+后训练），34B token 专用数据。模型家族两档：Nano 建在 Qwen3.6-35B-A3B 上，36B 总参、3B 激活；Flash 建在 DeepSeek-V4-Flash 上，288B 总参、17B 激活——两个底座都是中国开源模型。团队自己三个月前（7 月）才发了前身 Metis 的原型，这是第二代的正式版。另有 Mixture-of-Storage 的设计扩展记忆容量，思路是把存储也做成混合制——哪个部件存什么、存多久，路由决定。
要紧的是报告里自己写的三句限定词，很多转述会丢。第一句：在 11 个记忆基准上，Flash 和 Nano 在参数化记忆方法里排前二——但整体仍落后于强的文本记忆系统，长历史下需要精确证据检索的题差距明显。第二句：记忆能力之外，通用能力是「大体保留」，不是提升。第三句：智能体编程任务里，把检索到的经验内化进记忆状态，效果与「把经验文本贴进上下文」相当，不是更好。三句合起来的诚实版图是：状态路线追平了它该追平的，还没追上它想追上的。
最后这条智能体经验的事值得单说。他们让 agent 把检索到的程序性经验写进原生记忆，执行任务时通过记忆注意力读取——经验文本不进任务上下文。也就是说，经验的载体从 token 通道换成了状态通道，效果打平、上下文零占用。经验以什么形态被复用，这个老问题（写成文字会丢执行细节）第一次有了「存进状态」的答案候选。
从 7 月的原型到 10 月的 1.0，三个月两代。10M 的状态装 128K 的历史，压缩的下一步瓶颈已经写在自家评测里：状态路线现在赢在省，输在检索的精确性——文本记忆系统仍然领先的，恰是「从长历史里把那条具体证据找出来」这件事。
信源备注：论文 arXiv 2610.26825「MemT-1.0: Towards Memory-Native Evolution」（2026-10-19，MemTensor 团队，Zhiyu Li 等）摘要与全文核对；GitHub MemTensor/MemT-1.0（10-19 建仓，README 数字：36B/3B/451M/10M、288B/17B/3.61B/336M、Qwen3.6-35B-A3B 与 DeepSeek-V4-Flash 底座、66×/1.86×@128K、34B tokens、11 基准）；前身 Metis（GitHub MemTensor/Metis，2026-07-16 建仓）；「参数化方法第一/整体落后文本系统/与文本经验相当/通用能力大体保留」四句限定为论文与 README 原口径；素材为论文首页直拍图，OCR 内容与原文逐字吻合。