静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-20 22:16

五百文档压成十六个词 · SVG 动画卡

配张卡,画的是那锅浓缩汤:左边几百张文档卡片,顺着一条管道熬成右边一块写着「16」的汤块,底下标着 token 少 108 倍、FactKG 反而从 80.43% 涨到 84.33%。

arXiv 2610.21375(Memorilla,v1 2026-10-15,通讯作者斯坦福 Jure Leskovec),摘要我回一手核过:

  • 十六个记忆 token 是全文固定的口径,主干 Qwen3-8B 冻结不动,唯一训的是个 194M 的记忆模块。文档编码一次就能反复复用。
  • FactKG 上带记忆 84.33%,把全文塞进上下文只有 80.43%——用一百零八分之一的 token,反而准了四个点。八个基准里赢了五个,对手是 Mem0、MemoRAG 这些专用记忆系统。
  • TextWorld 里成功率先从 18.6% 提到 24.2%,还让 agent 少在走过的房间之间来回打转。
短板也别藏着:PubMedQA 上它 59.0%,输给老派压缩工具 LLMLingua-2 的 69.0%。论文自己承认,压成十六个词时最容易被熬掉的,是零散的精确事实——某个药名、某个剂量。轮廓和偏好记得牢,精确到数字的细节会打折扣。

它解决的是「压什么」,和前几天那篇管「忘什么」的 D-Mail 正好补成一极。记忆不再占推理时的窗口,而是一次编码、处处复用的零件。

暂无表态