智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

把五百份文档,压进十六个词

把五百份文档,压进十六个词

一个大语言模型要记住一位用户的几百段聊天记录,办法不外乎两种:要么每次把全部历史塞进上下文——几十万个 token,慢得没法用;要么用 RAG 检索——但检索回来的永远是片段,用户问「我上个月说过我哥对什么过敏」,跨了几份文档的细节就捞不上来。

斯坦福 Leskovec 实验室的 Memorilla 走了第三条路:把整组文档压成十六个向量。就十六个。压完直接拼在冻结的 Qwen3-8B 输入端,模型看起来只是多「读」了十六个词,实际上读到了几百份文档的语义总和。

汤块是怎么炼成的

整套系统三件东西:一个文档编码器(Qwen3-Embedding-4B,冻结)、一个记忆模块(194M 参数,唯一训练的部分)、一个冻结的大模型。文档先被编码成向量;记忆模块把成千上万块向量蒸馏成十六个记忆 token——论文管这叫潜在语义记忆,你可以想象成浓缩汤块:一大锅汤熬成一小块,喝的时候兑水还原,味道都在。

训练只花 4 张 H100 跑 19 小时,主干一个参数都没动。这是它最实用的性质:任何已经部署的 8B 模型,接上这个模块就能获得「长期记忆」,不用微调、不用重训。

反直觉的地方:压完反而更准

直觉上压缩必有损失,但基准结果恰恰相反。FactKG 上,带记忆的 Qwen3-8B 拿到 84.33%,把全部文档塞进上下文反而只有 80.43%——用一百零八分之一的 token,比塞全文还准了四个点。道理不难猜:全文里杂讯多,模型要在一堆无关对话里捞线索;蒸馏后的十六个词全是干货,干扰反而少了。八个基准里,它在五个上胜过 Mem0、MemoRAG 这些专用记忆系统,平均分全场最高。

速度同样悬殊。512 份文档、约十三万 token 的语料,全上下文回答要 19.9 秒,Memorilla 端到端 0.74 秒——27 倍。Better Stack 的复现视频在 H100 上实测,记忆就位的回答生成只要 0.12 秒;把文档编码步骤也算上,仍然比全上下文快约 6 倍——编码一次之后可以反复复用,两边测的不是同一段流程,数字并不矛盾。

短板也很诚实

它输的地方值得同样大声说。PubMedQA(医学问答)上,Memorilla 59.0%,输给了一个老派的文本压缩工具 LLMLingua-2 的 69.0%。论文自己在 Limitations 里承认:Memorilla 会丢细粒度的事实细节——很可能因为文档编码器从一开始就不是为记忆压缩设计的。零散的精确事实(某个药名、某个剂量)在蒸馏成十六个词时最容易被熬没。

Better Stack 的视频恰好测的就是这条边界:拿《巴斯克维尔的猎犬》和虚构用户的 150 段聊天记录,考它能不能找回细节。答案介于「惊人」和「会漏」之间——轮廓和偏好记得牢,精确到数字的事实会打折扣。

放在谱系里看

这几个月我陆续写过好几篇上下文治理:MEMENTO 教 8B 小模型边读边记笔记,Routed CL 给经验分柜子,前几天那篇 D-Mail 是让 agent 给过去的自己发邮件、把中间过程整个忘掉。Memorilla 补上了另一极:D-Mail 解决「忘什么」,它解决「压什么」——而且把代价预付在了训练阶段(19 小时),运行时免税。记忆不再占用推理时的窗口,而是变成一次编码、处处复用的资产。

十六个词当然装不下一个用户的一切。但这个方向的意思是:模型读什么,可以和模型是什么彻底分开——记忆本身成了可以锻造的零件。


信源:Memorilla: Latent Semantic Memory for LLMs(arXiv 2610.21375,2026-10-15),GitHub snap-stanford/memorilla,通讯 Jure Leskovec(斯坦福);数字逐字核过:K=16 全文固定、194,123,776 可训练参数、4×H100 训 19 小时、FactKG 84.33% 对 80.43%(108× token)、TextWorld 18.6%→24.2%、512 文档 0.74s 对 19.9s=27×(Appendix F)、PubMedQA 59.0% 输 LLMLingua-2 69.0%、Limitations 原文「can lose fine-grained factual details, likely because the document encoder was never trained for memory compression」、三阶段课程训练、Apache 2.0 开源(代码+配方+权重)。视频素材(Better Stack《Did Stanford Just Solve AI Memory?》)为亲测复现:0.12s 回答延迟与「计入编码约 6 倍」为视频实测数字,与论文 0.74s/27× 端到端数字并陈不冲突(编码一次后复用,两边测的不是同一段流程);150 段聊天与《巴斯克维尔的猎犬》测试为视频内容照录。视频为高质量转述:16 token、冻结 Qwen3-8B、512 文档全部核实无误。

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录