记忆写入的信用分配难题：30B小模型如何在四条赛道上跑赢Claude Opus

想象你有一个秘书，负责把每天发生的事记进笔记本。一天结束后，你问他一个之前聊过的问题，他答不上来。你翻开笔记本一看——该记的没记，不该记的记了一大堆，关键数字写错了，过时信息没有更新。

这就是大模型长期记忆系统面临的核心问题。不是"记不住"，而是"不会记"。

腾讯混元团队的一篇新论文《Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing》正是瞄准了这个问题。他们训练了一个专门负责"记忆写入"的30B模型，在四个记忆框架的评测中，平均得分55.49%，微弱但确实地超过了Claude Opus 5的54.62%。

一个30B的模型跑赢Claude Opus？这背后藏着一个被忽视的关键问题。

记忆系统的三段式

先说背景。大模型的长期记忆系统通常有三个阶段：

写入（Writer）：把对话内容转化为持久记忆操作——存什么、怎么存、更新什么。 检索（Retriever）：未来查询时，从记忆库里找出相关记录。 读取（Reader）：用检索到的记忆回答问题。

大部分研究和工程精力都花在了检索和读取上——更好的向量检索、更好的RAG融合、更强的读取模型。但写入这一环，通常就是"塞一个通用大模型在后面，给它一个长prompt"。

问题就出在这里。

通用模型当"秘书"的问题

一个通用大模型当记忆写入器，要同时干好几件互相矛盾的事：

区分信号和噪音：用户说"你好"和"我叫张三，对花生过敏"是完全不同的信息，前者该丢，后者该存。

保精度：名字、数字、版本号、日期、路径——这些细节错一个字符就可能致命。

状态更新：用户上周说住在北京，这周说搬到上海了。模型要更新旧记忆，而不是追加新记忆。

跨轮次一致性：今天的写入要和昨天写的记忆库兼容，不能自相矛盾。

框架适配：不同的记忆框架（Mem0、MemOS、Hy-Memory）有不同的schema和控制流，写入器要适配每个框架的格式。

通用模型靠一个长prompt来做这些事，效果不好。而且——关键问题——一个为Mem0训练的写入器，换到MemOS上就不工作了。 之前没有人训练过一个能在多个记忆框架上通用的写入模型。

Hy-Memory的解法：归因强化学习

Hy-Memory-30B-A3B的核心创新是"归因强化学习"（Attributed RL）。这个名字背后解决的是一个经典的信用分配问题。

之前的记忆RL方法（如Memory-R1、MemAgent）用最终答案的正确性作为奖励信号。但一篇对话可能有几十个记忆操作——存了A、存了B、更新了C、删了D——最终答案错了，到底是哪个操作出了问题？用最终答案的分数去监督整条操作序列，就像用期末考试总分去评价每一道作业题——信息量太稀疏。

Hy-Memory的解法分几层：

密集的局部探针（Local Probes）：对每个记忆块（chunk），用独立的探针检查"这个块里有没有回答问题的关键证据"。这给了每个chunk一个独立的奖励信号，不用等最终答案。

跨块的归因奖励（Attributed Cross-Chunk Rewards）：用gold facts把最终答案中恢复的证据追溯回源chunk。如果答案正确是因为chunk 3里的信息，那chunk 3就该得到正向奖励。

过度存储控制（Over-Storage Controls）：不能为了"不遗漏"就什么都存。过度存储会增加成本和检索干扰。奖励函数里有一个惩罚项，抑制不必要的存储。

Chunk级GRPO：优势（advantage）不是在整条轨迹上归一化，而是在相同chunk位置的rollout之间归一化。这意味着同一条rollout可以在某个chunk被奖励，在另一个chunk被惩罚。每次rollout对每个chunk投一票，即使框架需要多次LLM调用。

在策略蒸馏：训练和部署的一致性

另一个关键设计是"Memory On-Policy Distillation"（MoPD）。他们发现一个微妙的问题：如果你用教师模型生成的状态来训练学生模型，学生模型部署时看到的是自己生成的状态——分布不匹配。

MoPD的解法是让学生模型在训练时就执行自己的策略，生成的记忆库状态就是后续写入操作的输入。训练和部署时的状态分布一致，模型不会"水土不服"。

这个设计呼应了Agentic RL中一个反复出现的主题：训练时的环境必须和部署时的环境一致，否则学到的策略会失效。 之前Agentic RL的很多工作（如RTI、AdaRSI）都在解决类似的问题——如何让训练环境反映真实部署环境。

结果：小模型的胜利

在四个记忆框架的固定20%基准子集上：

• Mem0：Hy-Memory排名第一
• Hy-Memory：Hy-Memory排名第一
• MemOS：Hy-Memory排名第一
• EverMemOS（held-out，训练时未见过的框架）：Hy-Memory排名第一

差距不大，但意义不小。一个30B的专用模型，在四个框架（包括一个没见过的）上都跑赢了最强的通用模型。这说明"记忆写入"是一个值得专门训练的技能——通用模型再强，在这个特定任务上也比不过专门训练的小模型。

诚实的评价

差距确实很小——0.87个百分点。在基准测试的噪声范围内，这个差距可能不显著。而且Claude Opus是一个通用模型，没有针对记忆写入做任何优化，能和专用模型打这么接近已经很强了。

但论文的价值不在于"赢了Claude"，而在于它验证了一个方向：记忆写入是可训练的，而且训练成果可以跨框架迁移。 EverMemOS是训练时没见过的框架，Hy-Memory仍然排名第一，说明它学到的不是某个框架的特定技巧，而是更通用的"记忆写入能力"。

另一个值得关注的点是"归因"的价值。之前Memory-R1等方法用终端奖励训练，信号太稀疏。Hy-Memory的chunk级归因让每个记忆操作都得到有针对性的反馈，这是RL在多步骤任务中的经典问题——信用分配——在记忆系统上的具体应用。

一个类比

想象一个工厂的质检员，他要在流水线上检查产品。之前的做法是：等整批产品出厂后，看客户投诉率，然后用投诉率去评价所有质检员。但一个投诉可能涉及多个质检员的多个检查环节——到底是哪个环节出了问题？

归因RL的做法是：每个质检员每个检查环节都有独立的检查记录，投诉可以追溯到具体的环节和质检员。奖励不是"整批产品的客户满意度"，而是"每个具体检查的准确度"。

这就是Hy-Memory对记忆写入做的事——把"最终答案对不对"分解成"每个记忆操作对不对"，让每个操作都得到有针对性的反馈。

结语

这篇论文是Agentic RL在记忆系统上的一个具体落地。它解决的不是一个新问题——信用分配是RL的经典难题——但它的应用场景很具体：记忆写入是一个多步骤、多类型操作的序列，终端奖励太稀疏，必须做归因。

"归因"这个概念正在AI的各个层面反复出现。从RTI的Validator-Corrector-Verifier三智能体管线，到DoubtLess的brief vs verbose双思考者，到Hy-Memory的chunk级归因——核心都是同一个：不要用标量评价复杂系统，要把评价分解到组件级别。

步子哥之前关注的Agentic RL效率问题，这篇论文给出了一个具体的答案：不是RL本身效率低，而是奖励信号太稀疏。归因到组件级别，小模型也能跑赢大模型。

论文链接： https://arxiv.org/abs/2610.22196

代码仓库： https://github.com/Tencent-Hunyuan/Hy-Memory