先学怎么记，再学记什么：MemCoE 把认知心理学搬进 LLM Agent 记忆系统

> 一句话结论：中科大+港城大团队从认知心理学的"记忆模式理论"偷了个师——人脑前额叶负责"怎么组织记忆"，海马体负责"记什么内容"。MemCoE 把这个分工搬到 LLM Agent 上：第一阶段用对比反馈+文本梯度归纳出全局"记忆指南"（类似前额叶的 schema），第二阶段用指南对齐的奖励信号做多轮 RL 训练，学习在指南约束下"记什么"。在 PersonaMem、PrefEval、PersonaBench 三个个性化记忆基准上全面碾压基线，而且归纳出的指南能跨 LLM 迁移（Qwen 上优化，GPT-5 上直接用）。

---

一、问题：你的 Agent 记了一大堆，但全是乱的

LLM Agent 要长期陪伴用户，必须记住用户是谁、喜欢什么、说过什么。

但现有记忆系统有两大致命缺陷：

缺陷一：静态模板，不会学

大多数系统（Mem0、A-MEM、LightMem）靠手工设计的提取模板和更新规则运作。用户说"我喜欢辣"，系统按模板提取成"偏好：辣"。这个流程是写死的，不会从交互反馈中学习，也不会适应不同用户风格。

缺陷二：RL 代理，但奖励太稀疏

另一派（MemAgent、MEM-α）把记忆更新当成 RL 问题，让 Agent 自己决定"写什么、删什么"。但记忆更新的奖励通常是最终答案对不对——一个极其稀疏且延迟的信号。这导致训练不稳定、数据需求大、长程优化困难。

论文一针见血地指出：

> "When guided by only simple instructions and optimized with sparse and delayed outcome-level rewards, the policy is weakly constrained and faces a large action space, making exploration and long-horizon optimization challenging."

换句话说：让 Agent 自由编辑记忆，就像让一个没有导航的人在城市里找路——空间太大，信号太弱，很容易迷路。

---

二、灵感来源：人脑早就解决了这个问题

MemCoE 的灵感来自认知心理学的记忆模式理论（Memory Schema Theory, Alba and Hasher, 1983）。

这个理论说，人脑的记忆系统有两个分工明确的区域：

这个分工的优势是解耦——"怎么组织"和"记什么"分开处理：

• 组织模式（schema）稳定、抽象、可迁移
• 具体内容灵活、情景化、个性化

---

三、MemCoE 架构：两阶段优化框架

3.1 形式化定义

论文把记忆进化过程形式化为：

M_{t+1} = T(M_t, h_t; S, φ)

• M_t：t 时刻的用户记忆库（文本表示）
• h_t：第 t 轮对话片段
• S：记忆更新指令（可优化的自然语言参数 = "指南"）
• φ：LLM 的参数
• T：进化算子（整合新信息、精炼旧条目、删除过时内容）

y_t = A(x, M_t)

核心挑战：设计一个原则性的机制 T，让 M_t 与对话历史 H 相干地进化。

3.2 Stage 1: Memory Guideline Induction (MGI) ♣

目标：学习"怎么组织记忆"——诱导出一个高质量的全局记忆指南 S*。

传统方法靠手工设计模板， brittle 且难以跨域迁移。MemCoE 把 S 当作一个全局自然语言参数，从数据中自动学习。

#### 关键技术一：对比反馈作为文本梯度 (Contrastive Feedback as Textual Gradient)

1. 给定训练样本（对话历史 H + 查询 x） 2. 用当前指南 S^(k) 运行记忆进化 + Agent 回答，产生多条轨迹 {τ_i} 3. 选出正确轨迹 τ+，其余作为对比负例 {τ_j^-} 4. 用预定义反馈指令 P_g 比较 τ+ 和 τ_j^-，生成自然语言对比反思 5. 这个反思就是文本梯度 g^(k)：

g^(k) = Grad(τ+, {τ_j^-}; P_g)

文本梯度告诉指南："你应该往这个方向改，因为正确轨迹做对了这些事，而负例做错了那些事。"

#### 关键技术二：批次级梯度聚合 (Batch-Level Aggregation)

单个文本梯度只反映一个样本的局部信息。为了获得稳定的全局信号，MemCoE 在 mini-batch B 上聚合：

G^(k) = Aggr({g^(k)_(H,x)}; P_a)

聚合算子 Aggr(·) 是一个总结抽象过程（由聚合提示 P_a 引导），识别共同失败模式并整合为指南级别的修改建议。

#### 关键技术三：自然语言优化 (Natural-Language Optimization)

用聚合后的文本梯度 G^(k) 更新指南：

S^(k+1) = Optim(S^(k), G^(k); P_o)

Optim(·) 是一个自然语言编辑操作。本质上，这是在执行梯度下降——但梯度是文本，参数也是文本。

#### 优化目标

从对比学习的角度看，诱导出的指南 S* 最大化期望奖励：

S* = argmax_S E_(H,x)[R(τ+, {τ_j^-}; S)]

其中 R(·) 只是简单的"答案对不对"二元奖励。

关键洞察：MGI 不优化模型权重，而是优化"指导模型怎么更新记忆的指令"。这是一种元学习（meta-learning）——学习如何学习。

3.3 Stage 2: Guideline-Aligned Memory Policy Optimization (GMPO) ♠

目标：在指南 S* 的约束下，学习"记什么"——优化记忆进化策略 φ。

固定 S* 后，将 T 和 A 的参数 φ 视为统一的策略。对于每个训练样本 (H, x)，在 S* 下 rollout 系统产生轨迹 τ：

τ = [M_0 → M_1 → ... → M_T, y_1, y_2, ..., y_T = final answer]

轨迹 τ 交织了记忆更新和中间回答。

#### 指南对齐的奖励 (Guideline-Aligned Rewards)

MemCoE 使用两种奖励信号的加权组合：

**信号一：指南遵循度 R_S(τ; S*) ∈ [0,1]

• 解析轨迹中的记忆更新片段
• 用 LLM 评分：更新是否严格遵循指南规定的输出格式（必填字段、标签、结构）
• 鼓励产生结构化、格式良好的记忆编辑，而非任意自由文本

R(τ) = (1-λ) * R_S(τ; S*) + λ * R_ans(τ)

MemCoE 的 R_S 提供了一个密集的过程奖励：每一步记忆更新都有即时反馈（"这次更新符合指南格式吗？"）。这大大稳定了训练。

#### 策略优化：GRPO

MemCoE 使用 Group Relative Policy Optimization (GRPO)——DeepSeek 在同期的论文中推广的方法。

对于每个 (H, x)： 1. 采样一组轨迹（group） 2. 从 R(τ) 计算组内归一化优势（group-normalized advantages） 3. 应用裁剪策略梯度更新

抽象目标：

φ* = argmax_φ E_(H,x)~D, τ~π_φ(·|H,x;S*) [R(τ)]

为什么用 GRPO 而非 PPO？

• GRPO 不需要额外的价值网络（critic），节省内存和计算
• 组内相对优势减少了奖励估计的方差
• 更适合对话这种长轨迹、多轮交互的场景

MemCoE 两阶段设计的精妙之处在于约束与聚焦：

• MGI（Stage 1） 定义了一个稳定的操作空间——"记忆可以这样组织、这样更新、这样格式化"
• GMPO（Stage 2） 在这个约束空间内优化——"给定这些操作，我应该选哪个、填什么内容"

两者结合：指南提供了结构，RL 提供了适应性。

---

四、实验验证：三个基准，全面碾压

4.1 实验设置

基准数据集：

• LongContext：直接塞尽可能多的原始历史
• RAG：向量检索 top-K 对话片段
• Mem0 / A-Mem / LightMem：检索式外部记忆库
• MemAgent / MEM-α：RL-based 记忆代理

MemCoE 在所有 8 个评估设置上都是最佳：

PersonaMem（领域内）：

• 32K 上下文：显著优于所有基线
• 128K 上下文：同样最佳，证明可扩展到更长历史

• LongContext 在噪声历史下严重退化——上下文窗口塞满噪声后，Agent 无法区分信号和噪声
• MemCoE 通过进化记忆时过滤无关内容，在噪声环境下依然稳健
• RL-based 基线（MemAgent、MEM-α）有竞争力，但整体仍落后——证明稀疏奖励确实不如过程级奖励

1. CF 和 GR 都有贡献，但单独移除影响较小（-0.6 到 -3.0）

• CF（对比反馈）帮助指南归纳更精准
• GR（指南奖励）帮助 RL 训练更稳定

MemCoE 在性能-时间权衡上处于效率前沿（efficiency frontier）。

• 比 A-Mem 和 Mem0 更快——因为 MemCoE 把提取、更新、遗忘行为内部化到模型中，减少了反复调用 LLM 做提取和合并的开销
• 比 MemAgent 和 MEM-α 更好——它们虽然快，但记忆更新机制不可靠，性能差

在 Qwen2.5-7B 上优化出的指南，直接给其他 LLM 用（不加 RL 微调），效果如何？

• 指南本身就有跨模型迁移能力
• 在更强的模型上优化指南，在更弱的模型上也能用（且优于基线）
• 在更弱的模型上优化，在更强的模型上也能进一步提升

1. 不要只依赖手工模板：MemCoE 证明，记忆更新指令是可以从数据中学习的 2. 考虑加入"指南"层：在记忆更新之前，先有一个全局的"组织原则"指导具体更新 3. 用过程级奖励训练更新策略：不要只等最终答案对不对，给中间的记忆操作也打分

7.2 如果你在设计新的记忆系统

1. 解耦"组织"和"内容"：前额叶-海马体的分工启发是有效的 2. 先归纳指南，再训练策略：MGI 先稳定框架，GMPO 再在框架内优化——这比端到端自由学习更稳定 3. 考虑跨模型部署：在便宜的小模型上归纳指南，在昂贵的大模型上执行策略

7.3 指南设计的具体建议

论文在附录 Figure 19 中展示了诱导出的实际指南内容（虽然 fetch 内容中没有完整显示），但可以推测其结构：

记忆更新指南（示例推测）：
1. 每条记忆必须包含：类型标签、时间戳、置信度、来源对话ID
2. 事实记忆用"FACT:"前缀，偏好用"PREF:"前缀，事件用"EVENT:"前缀
3. 更新时遵循"去重优先"原则：如果新信息与已有记忆冲突，保留置信度更高的
4. 对于隐式偏好，提取用户的行为模式而非直接陈述
5. 定期（每10轮）检查记忆一致性，合并冗余条目

MemCoE 的 MGI 从数据中自动诱导出类似的指南，而非手工编写。

---

八、更深层的意义：从"记忆内容"到"记忆策略"的范式转移

MemCoE 代表了一个重要的范式转移：

上一代记忆系统：
  "怎么存" → 手工设计
  "存什么" → 模板提取
  "怎么更新" → 规则驱动

MemCoE：
  "怎么组织" → 从数据归纳（MGI）
  "怎么更新" → 在指南约束下 RL 学习（GMPO）
  "存什么" → 策略决定

这意味着：记忆系统的"策略层"本身变成了可学习的对象。

这与深度学习的历史形成了有趣的类比：

• 2012 年前：手工设计特征（SIFT、HOG）
• 2012 年后：端到端学习特征
• 2024 年前：手工设计记忆更新规则
• 2024 年后：学习记忆更新策略（MemCoE、EvolveMem 等）

把认知心理学前额叶-海马体的分工机制，翻译成 LLM Agent 的两阶段优化框架。

• Stage 1 (MGI)：像前额叶一样，从经验中归纳出"记忆的组织原则"（指南）
• Stage 2 (GMPO)：像海马体一样，在原则的约束下灵活学习"记什么内容"

• arXiv 论文：https://arxiv.org/abs/2605.00702
• 代码仓库：https://github.com/Applied-Machine-Learning-Lab/ACL2026_MemCoE
• PersonaMem 基准：Jiang et al., 2025a
• PrefEval 基准：Zhao et al., 2025
• PersonaBench 基准：Tan et al., 2025a
• 记忆模式理论：Alba & Hasher, 1983
• GRPO：Shao et al., 2024 (DeepSeekMath)
• TextGrad：Yuksekgonul et al., 2025
• Mem0：https://github.com/mem0ai/mem0
• MemAgent：Yu et al., 2025
• MEM-α**：Zhou et al., 2025