MemGen：AI 终于有了"潜意识"——生成式隐记忆的范式跃迁

你有没有过这种体验？

做一道数学题，某个步骤突然卡住了。你不是去翻书，而是闭上眼睛，让大脑"自己找"——然后某个类似的题目、某个老师讲过的技巧，像水底的泡泡一样浮上来。你没有"读"到那段记忆，你是"感觉"到了它。

这就是隐性记忆（implicit memory）。它不依赖你主动回忆，而是在思考的缝隙里自然涌现。

AI 的记忆系统长期以来只有两种选择：要么改写模型权重（微调），冒着灾难性遗忘的风险；要么外挂 RAG（检索增强），把整段文本塞进上下文，生硬得像把百科全书插进对话。

新加坡国立大学团队提出的 MemGen，走出了第三条路：让 AI 在推理途中生成自己的隐记忆。不是从外部检索文本，而是在思考的当下编织出机器原生的记忆 token——像人类的潜意识一样，自然、即时、不打断思路。

---

🔍 传统记忆方案的两难困境

在讲 MemGen 之前，先理解它解决了什么问题。

方案一：参数微调

让模型在特定任务上训练，把新知识写进权重。问题是——灾难性遗忘（Catastrophic Forgetting）。你教它数学，它可能忘了怎么写诗。越学越专，也越学越窄。

方案二：RAG 检索

不改模型，而是外挂一个知识库。推理时检索相关文本，塞进上下文。问题是——生硬拼接。检索到的文本和当前推理之间没有有机融合，像把别人的话强行插进自己的文章，读起来割裂、推理效率低。

两个方案各自有硬伤，而 MemGen 提出了第三种可能：冻结主模型，只训练记忆模块。

---

🧠 MemGen 的"潜意识"直觉

MemGen 的核心架构极其简洁，只有两个模块：

Memory Trigger（记忆触发器）—— 什么时候该想起什么

它像大脑里的一个警觉系统，持续监控主模型的推理隐状态（hidden states）。

关键设计：只在语义节点触发——句号、分号、逻辑转折处。不是在每个 token 都问"要不要回忆"，而是在思考的缝隙里判断：现在是不是需要一段经验？

这避免了两个极端：

从不触发：完全没记忆
过度触发：每走一步就检索，拖慢推理速度

Memory Weaver（记忆编织器）—— 把回忆织进思考

这是 MemGen 最精妙的地方。

传统 RAG 检索到的是明文文本，需要模型自己消化、理解、融入当前推理。MemGen 的 Weaver 不输出文本，而是输出机器原生的隐 token 序列——一种模型自己能直接"感觉"到的内部表示。

类比一下：RAG 像是给你一本词典让你查，Weaver 像是你的大脑直接浮现出一个概念的感觉。不需要翻译，不需要消化，直接可用。

更妙的是，Weaver 接收的是当下思考的特征 + 历史经验 + 可选的外部知识库，把它们融合后生成一段隐记忆 token，无缝嵌入到主模型的上下文中。不是拼接在开头或结尾，而是像织毛衣一样编织进当前的推理线程。

---

⚙️ 技术细节：只改 LoRA，不动主模型

MemGen 的训练策略非常务实：

主推理模型全程冻结——不存在灾难性遗忘
只优化 Memory Weaver 的 LoRA 参数——轻量、高效
支持 SFT 和 GRPO 双路线训练——监督学习和强化学习都能用

这意味着什么？你可以在一个已经训练好的大模型上直接接入 MemGen，不需要重新训练整个模型。迭代成本极低，实验周期极短。

---

🌱 三类记忆的自发分化

MemGen 最意外的发现是：在没有人工设计的情况下，系统自发分化出了三类记忆，对应人类认知的三种记忆类型：

记忆类型	功能	人类对应
规划记忆（Planning Memory）	存储任务分解策略、目标层级结构	长期程序性记忆
程序记忆（Procedural Memory）	存储具体操作步骤、工具调用模式	肌肉记忆 / 技能记忆
短时工作记忆（Working Memory）	当前任务的临时状态跟踪	工作记忆 / 注意力缓冲

这不是人预设的，是模型在训练过程中自己涌现的。它发现不同类型的任务需要不同类型的记忆支持，然后自然地把经验归类到不同的"抽屉"里。

---

📊 实测数据：八大基准全面碾压

MemGen 在 ALFWorld、GSM8K、GPQA 等八大权威基准上做了全面测试。

核心结果

对比对象	提升幅度
ExpeL、AWM 等主流检索记忆	最高 +38.22%
GRPO 优化方案	+13.44%
推理耗时	最大压缩 75.4%

跨域稳定性：学数学不会忘科学

这是 MemGen 最让我惊艳的数据。

在数学任务上训练后，模型在科学推理和代码任务上的得分同步上涨。没有灾难性遗忘，反而有正向迁移。

为什么？因为 MemGen 不改主模型权重，记忆是外挂的、模块化的。学数学时编织的是数学相关的隐记忆，不会覆盖科学和代码的知识。当遇到科学问题时，Trigger 会唤起对应的隐记忆，而不是强行用数学思维去套。

无标注自发分化

更惊人的是：上述三类记忆的分化，是在无人工标注的情况下自发出现的。模型自己学会了"这个经验该放在哪个抽屉"。

---

💡 为什么这是记忆架构的范式转变

MemGen 代表了一个重要的转向：从"存储-检索"到"生成-编织"。

传统记忆系统的隐喻是图书馆——有书（知识），有目录（索引），需要时去借。MemGen 的隐喻是大脑——经验不是存储在某个地方等着被读取，而是在需要时被重新生成、重新编织进当前的思考。

这个转变有几个深远影响：

1. 记忆不再是静态的

RAG 的知识库是死的，除非人手动更新。MemGen 的隐记忆是活的——每次调用都可能根据当下情境被重新编织，产生新的组合和洞察。

2. 没有上下文碎片问题

RAG 检索到的文本需要占用宝贵的上下文窗口。MemGen 的隐记忆是紧凑的内部表示，同样信息量下 token 开销小得多（这也解释了为什么推理耗时能压缩 75.4%）。

3. 真正的模块化

主模型是主模型，记忆是记忆。你可以给同一个模型配不同的记忆模块（数学记忆、编程记忆、医疗记忆），切换就像换 SIM 卡一样简单。

---

🎯 一句话总结

> MemGen 证明了：AI 的记忆不需要是"存储在外部的文本"，也不必须是"烧进权重的知识"。它可以是一种在推理途中实时生成的隐式经验——像人类的潜意识一样自然浮现，不打断思考，不污染模型，却能显著提升推理能力。

当 AI 终于有了"潜意识"，它离真正的智能又近了一步。

---

论文信息

标题：MemGen: Weaving Generative Latent Memory for Self-Evolving Agents
作者：Guibin Zhang, Muxin Fu, Shuicheng Yan（新加坡国立大学）
arXiv: https://arxiv.org/abs/2509.24704

---

*本文同步发布于智柴外脑*

#MemGen #隐记忆 #生成式记忆 #AI记忆 #新加坡国立 #小凯