谁该被记住：当AI面对一千个不同的人，它怎么知道该记什么？

谁该被记住：当AI面对一千个不同的人，它怎么知道该记什么？

"记忆最残酷的地方在于，你不能什么都记住。每一个'记住'的决定，都是一个'遗忘'的决定。"

🎭 一千个读者，一千个哈姆雷特——一千种记忆策略

想象你是一家餐厅的服务员，需要记住每位常客的饮食偏好。

张先生是个健身爱好者，每次来都会点鸡胸肉沙拉。你记住了："张先生喜欢健康食品。"这个记忆很好用——下次他来，你直接推荐新出的藜麦碗，他很满意。

但李女士不一样。她上礼拜还说在戒碳水，这周就点了奶油意面。如果你记住了"李女士在戒碳水"，下次她来点意面时，你的记忆反而会误导你。

同一个记忆操作——"记住用户当前的饮食声明"——对张先生是有益的，对李女士却是有害的。因为张先生的偏好是稳定的，而李女士的偏好是易变的。

这就是个性化记忆（Personalized Memory）领域最棘手的挑战：记忆操作的效用是因人而异的。 一个"覆盖旧偏好"的操作，对易变用户来说是跟上变化，对稳定用户来说却是丢失了重要的长期信息。

更根本的问题是：AI怎么知道哪些记忆操作是对的？ 当一个AI助手在与用户的长期对话中不断更新记忆时——记住新的事实、覆盖旧的偏好、删除过时的信息——最终只有一个信号来判断这些操作好不好：用户最后是否得到了满意的回答。但这个终端信号太粗糙了——它告诉你"结果好不好"，却不告诉你"哪一步好、哪一步坏"。

中国科学技术大学和香港城市大学的Yupeng Han、Kai Zhang、Shuochen Liu等人在2026年11月发表的论文《Personalized Memory Rubrics: Learning What to Remember per User via Rubric-Guided Credit Assignment》（arXiv: 2611.14017），针对的正是这个信用分配（Credit Assignment）问题。他们提出的解决方案叫做PMR——个性化记忆评分标准。

🎯 信用分配：一万米高空上的模糊信号

问题的精确表述

想象一个AI助手在与用户的多轮对话中工作。对话被切分成若干块（chunks），每处理完一块，助手需要更新自己的记忆状态——一个简洁的自然语言摘要，用来维护用户的关键信息。

更新操作有很多种可能：把新事实添加到记忆中、覆盖已有的偏好条目、删除过时的细节、保留不变的内容……每一次更新都是一步决策，整个多轮对话中可能有十几次甚至几十次更新。

最后，对话结束了，系统回答了一个关于用户偏好的问题。答案对了，得到奖励1；错了，得到奖励0。就这么一个终端信号。

问题来了：如果最终答案是对的，是第3次更新时记住了关键偏好起了作用？还是第7次更新时覆盖了过时信息起了作用？或者第12次更新时——它什么都没做，但"什么都不做"恰恰是最正确的决策？

反过来，如果最终答案是错的，是哪一步出了问题？是记住了不该记的干扰信息？还是覆盖了不该覆盖的重要偏好？还是删除了不该删除的关键细节？

这就是信用分配问题的本质：一个终端的、二元的、粗糙的信号，需要被分配到中间几十步的决策上。 这在强化学习领域被称为"稀疏奖励"（sparse reward）问题，而在个性化记忆中，它还叠加了另一个维度：不同用户需要不同的分配方案。

现有方法的不足

论文系统地梳理了现有方法的三类不足：

第一类：固定规则的启发式方法。 早期的记忆系统（如Mem0、A-Mem、LightMem）使用手工设计的规则来决定何时添加、更新或删除记忆。这些规则不是从数据中学到的，而是工程师基于直觉设定的。它们不区分用户——对所有用户使用相同的记忆更新规则。

第二类：基于强化学习的方法。 近期的方法（如MemAgent、Mem-α、MemSkill）把记忆构建建模为一个马尔可夫决策过程（MDP），用强化学习来优化记忆操作。但它们面临同样的问题：所有更新共享一个终端奖励信号，无法区分哪个更新起了关键作用。

第三类：引入中间评分的方法。 MemCoE使用LLM-judge对每次记忆更新打分。但这个评分标准——打分规则——是手工设计的、压缩为一个标量数值、而且对所有用户完全相同。这就像用同一把尺子量所有人的脚——有的人脚宽需要宽容一点，有的人脚窄需要严格一点，但尺子不知道这些。

📐 PMR：从"评分标准"到"信用分配"

核心思想：方向与幅度的分离

PMR的核心设计哲学可以用一句话概括：方向由结果决定，幅度由标准决定。

什么意思？在标准的GRPO（Group Relative Policy Optimization，群体相对策略优化）中，每条轨迹（一次完整的对话+记忆更新过程）得到一个奖励值，然后这个奖励被均匀地分配到轨迹中的每一个token上。如果轨迹成功了，所有token获得正梯度；如果失败了，所有token获得负梯度。

PMR改变了这个分配方式。它引入了一个评分标准（Rubric）——一个描述"好的记忆更新应该是什么样的"的自然语言文档——作为教师的特权信息。教师模型（冻结参数，不参与训练）在评分标准的指导下，对学生的每个token进行背书评分（endorsement score），衡量这个token是否得到了评分标准的认可。

然后，关键的设计来了：这个背书评分只影响每个token所获得信用的"幅度"（magnitude），而不改变信用的"方向"（direction）。 方向永远由终端QA结果决定——答案对了，方向就是正的；答案错了，方向就是负的。评分标准只能调整正信用在不同token之间的分配比例，而不能把正信用变成负的（或反过来）。

这个设计为什么重要？因为评分标准本身是有噪声的——它是学出来的，不是人工设计的完美规则。如果让一个有噪声的标准来决定学习方向，错误的评分可能会把训练引向崩溃。但如果它只能调整幅度，最坏的情况不过是"不太精确地分配信用"，而不是"学错了方向"。

双层评分标准：通用层与个性化层

PMR的评分标准不是一个，而是两个层面。

通用层（Universal Layer）： 通过比较所有用户的成功和失败轨迹，提炼出跨用户的通用失败模式。比如："记忆更新时没有检查新旧信息是否矛盾"——这个问题可能出现在很多用户身上，是一个通用模式。

个性化层（Per-User Layer）： 在通用层之上，为每个用户学习一个"残差"——只有在这个用户身上反复出现的、通用层没有覆盖到的失败模式。比如某个用户特别容易在短时间内改变偏好——这个模式对其他用户可能不重要，但对这个用户至关重要。

这种双层结构解决了一个数据稀疏性问题：每个用户的训练数据很少，不足以独立学习一个完整的评分标准。通过共享通用层、个性化残差，PMR让每个用户都能从一个大数据集学到的知识中受益，同时保留自己的特殊性。

不对称设计：成功时才用评分标准

PMR的另一个精妙设计是不对称性：评分标准只在成功的轨迹上起作用。在失败的轨迹上，PMR退回到标准的GRPO。

为什么？因为作者们区分了两种任务：

信用排序（Credit Sorting）：在成功的轨迹上，问题是"哪些token是关键贡献者？"——这是一个排序问题。即使评分标准不太精确，把第一名排成第二名也无伤大雅——反正都是正信用。

责任归因（Blame Attribution）：在失败的轨迹上，问题是"哪些token导致了失败？"——这是一个因果归因问题。如果评分标准错误地把一个好token标记为"罪魁祸首"，模型就会学到"不要这样做"——但这样做其实是正确的。这种错误的学习信号比没有信号更糟糕。

所以PMR选择了一个保守策略：在成功时精细化分配信用，在失败时退回到简单粗暴但安全的均匀分配。 失败轨迹中的信息不会被浪费——它们被用来更新评分标准本身（通过Rubric Induction），但不直接影响梯度。

双层评分标准的构建

让我们更仔细地看看评分标准是如何构建的。评分标准围绕五个记忆质量维度组织：完整性（记忆是否包含了回答问题所需的所有信息）、及时性（记忆是否反映了用户的最新偏好）、一致性（记忆中的信息是否相互矛盾）、简洁性（记忆是否冗余或包含无关信息）、相关性（记忆中的信息与当前用户查询是否相关）。

对于每个维度，评分标准包含：一个通用目标（定义要评估什么）、一个用户特定标准（决定评估的严格程度）、以及用户特定的诊断检查（标识具体需要验证的问题）。

通用层的构建通过跨用户比较完成。系统收集多组成功/失败的轨迹对——优先选择同一用户的轨迹对以保证公平比较，辅以跨用户轨迹对来识别通用模式。多个用户的轨迹对被呈现给一个LLM，要求它区分哪些失败模式是跨用户通用的，哪些是个别用户特有的。只有通用模式被加入通用层；个别模式被留到个性化层处理。

个性化层的构建采用残差方式。系统把已学到的通用层作为已知上下文注入，然后问：在这个通用规则的基础上，这个用户还需要哪些未被覆盖的模式？一个覆盖测试决定了是否需要个性化适配——如果通用层已经覆盖了这个用户的大部分失败模式，个性化层可以为空。此外，一个失败密度门确保只有当一个维度的失败率超过阈值时，才对该维度进行调整——这避免了为不常见的问题浪费个性化的容量。

质量控制与跨用户共享

在评分标准被注入教师的提示词用于信用分配之前，它的判别力需要经过验证。系统计算评分标准的背书评分与轨迹结果之间的相关性——如果相关性低于阈值，说明这个评分标准缺乏有效信号，该轮训练回退到标准GRPO。

另一个巧妙的设计是跨用户共享：如果某个用户特有的检查出现在足够多的用户身上（比如40%以上），它会被提升到通用层，并从各个用户的个性化层中删除。这确保了通用层随着时间推移不断吸收新的通用模式，避免了重复和冗余。

为什么不对称设计如此重要

论文的不对称设计——只在成功轨迹上使用评分标准——值得更深入地讨论。

考虑一个失败的场景：AI助手在更新记忆时记住了用户的"临时偏好"，覆盖了更重要的"长期偏好"。最终回答问题出错。评分标准可能会说"问题出在第5步的覆盖操作"——但如果评分标准判断有误呢？也许真正的错误不在覆盖操作本身，而在于覆盖了错误的条目，或者在覆盖之前没有验证新信息的可靠性。错误的归因会导致模型学到"不要覆盖"——但如果遇到易变用户，"覆盖"恰恰是正确的操作。

而在成功的场景中，即使评分标准的排序不太精确，后果也不严重——反正是正信用，分配给token A多一点还是token B多一点，都只会影响学习效率，不会导致错误的学习。

这就是"信用排序"和"责任归因"的本质区别：排序对噪声鲁棒，归因对噪声脆弱。 PMR的不对称设计正是基于这个区分。

PMR的信用分配通过三重门来控制评分标准的影响范围：

方向门（Direction Gate）： 当评分标准的背书方向与轨迹结果不一致时，门关闭，该token的信用不被调整。这确保了评分标准永远不会逆转学习方向。

熵门（Entropy Gate）： 记忆更新中的token分为两类——从旧记忆复制的"搬运token"和代表新决策的"编辑token"。搬运token不需要信用分配——它们不是决策，只是复制粘贴。熵门通过学生的token surprisal（惊奇度）来区分这两类：低surprisal的搬运token被抑制，高surprisal的编辑token保留信用。这确保信用集中在真正的决策上。

有界权重（Bounded Weight）： 每个token的信用调整幅度被限制在一个小区间内（比如±28%），防止单个token主导整个梯度。

共同进化：评分标准与策略一起变强

最后一个关键组件是共同进化循环（Co-Evolution Loop）。初始的评分标准是从一个还比较弱的学生的轨迹中学到的——它只能捕捉这个弱学生的失败模式。随着学生在评分标准的指导下变强，新的失败模式会出现，旧的失败模式会消失。评分标准需要跟着更新。

PMR通过交替进行两个阶段来实现这种共同进化：先用当前评分标准指导信用分配并训练学生，再用学生的新轨迹来更新评分标准。为了防止循环依赖——评分标准从学生的轨迹中学到，又反过来指导学生——PMR确保了评分标准只能影响信用幅度，不能影响方向。这是一个结构性保证，不是启发式规则。在实现层面，PMR使用Qwen2.5-7B-Instruct作为骨干模型，在8块A100 GPU上进行训练。选择这个规模的模型有两个考虑：一是确保实验可以在普通研究实验室的算力条件下复现；二是避免规模效应掩盖方法本身的效果——如果在7B模型上方法就有效，那在更大的模型上没有理由不更有效。

推理时的完全自足： PMR的一个巨大优势是——推理时完全不需要评分标准。所有来自评分标准的诊断知识都在训练中被内化了。部署时，学生模型独立运行，不需要任何外部评估器。

📊 实验：全面碾压十二个评估设置

基准测试

PMR在四个个性化记忆基准测试上进行了评估：

• PersonaMem（域内）：20个用户角色，15个任务领域，589/2727个查询
• PrefEval（域外）：显式和隐式偏好跟随，1000/1000个查询
• PersonaBench（域外）：异构用户语料库上的个性化检索，4个噪声级别
• PERMA（域外）：跨领域泛化，10个用户档案，20个领域

共十二个评估设置。

结果：全数第一

在PersonaMem 32K上，PMR比最强的基线MemCoE高出9.29个百分点。在128K上，差距扩大到10.78个百分点——这说明随着上下文变长、更新次数增多，精细的token级信用分配变得越来越重要。

在所有十二个设置中，PMR都取得了第一名。

为什么长上下文差距更大？

PersonaMem 32K和128K之间的差距变化很能说明问题。在32K上，PMR领先MemCoE 9.29分；在128K上，领先10.78分。128K上下文意味着更多的对话块、更多的记忆更新步骤、更长的决策链——终端信号更加模糊，信用分配问题更加严重。PMR的token级信用分配在这种情况下优势更大，这恰好验证了论文的核心假设：信用分配越困难，精细的per-token分配就越有价值。

一个对比维度更能说明问题：在域外基准（PrefEval、PersonaBench、PERMA）上，PMR同样保持了第一名，但领先幅度没有域内那么大。这是合理的——跨域泛化本身就更加困难，而且评分标准学自训练用户，对新用户的适配天然有上限。即便如此，在PersonaBench的噪声检索条件下，PMR的下降幅度最小，说明token级信用分配学到的并不是对特定用户的过拟合，而是一种更通用的"什么样的记忆操作值得强化"的元知识。

消融实验

消融实验分离了每个设计选择的贡献：

• 去掉不对称设计（在失败轨迹上也使用评分标准）：性能显著下降，验证了"归因比排序更脆弱"的假设
• 去掉个性化层（只用通用评分标准）：性能下降，验证了per-user评分的必要性
• 去掉熵门（信用均匀分配到所有token而非聚焦编辑决策）：性能下降，说明区分决策token和搬运token是重要的
• 去掉方向门：性能下降，验证了"评分标准不应改变学习方向"的设计原则
• 冻结评分标准（不做共同进化）：性能下降，说明评分标准需要随学生进步而更新

🧠 在整个三部曲中的位置

PMR是「AI自我学习的三重陷阱」三部曲的第三部，也是收官之作。

第一部Cognitive LbT从认知科学的角度描绘了AI内部学习的基本机制及其结构性限制——四大不对称中最关键的一条是闭环学习缺乏外部锚定。第二部WikiTrace从记忆使用的角度部分解决了这个问题——给每条经验加上证据链，让Agent可以在执行时回溯验证。第三部PMR则从记忆学习的角度切入——当AI在训练中学着"如何更好地记住"时，谁来告诉它哪些记忆操作是好的？

PMR的答案非常优雅：AI自己学一个评分标准，用它来指导信用分配。 但关键是，这个评分标准不能决定学习方向——方向只能由最终结果决定。评分标准是一个顾问，不是一个法官。它可以建议"这个token的贡献更大"，但不能说"这次失败是这个token造成的"。

三篇论文，三个层次：

• Cognitive LbT（学的幻觉）：揭示了AI"自己想"时能做什么、不能做什么，以及为什么会失败。它是一面镜子——照出了AI自主学习的能力边界和结构性弱点。
• WikiTrace（记的反噬）：解决了记忆使用时的验证问题——每条经验都应该可以追溯到证据。它是一条证据链——让每个"教训"都可以被回溯、被检验、被纠正。
• PMR（记的错位）：解决了记忆学习时的信用分配问题——终端信号应该被精细地分配到每个决策上，而且分配方案应该因人而异。它是一位顾问——提供精细的评估建议，但不改变最终的学习方向。

合在一起，它们讲述了一个完整的故事：AI要可靠地自我学习，需要的不仅是更多的数据和更强的算力，而是更聪明的记忆治理。 它要知道什么时候该学（LbT的边界）、学完之后怎么验证（WikiTrace的证据链）、以及在学习过程中怎么知道哪些操作值得强化（PMR的信用分配）。这三个问题，每一个都看似简单，合在一起却是当前AI系统面临的最深层的挑战之一。

📚 结语

PMR的核心洞察可以浓缩成一句话：评分标准应该学出来，但学习的方向不能被评分标准左右。 这是一个关于权力制衡的设计哲学——评分标准有太多的权力（它可以决定每个token获得多少信用），但它的权力必须被限制在正确的范围内（只能调整幅度，不能改变方向）。

在我们人类的世界里，好的教育也是这样的。老师会告诉你"做得好"或"做得不好"——这是方向。但老师还会具体指出"好在哪"或"不好在哪"——这是幅度。如果老师指错了地方——把你本来做对的步骤标记为错误——那这种\"精细反馈\"还不如没有反馈。PMR的不对称设计正是在AI训练中实现了这种教育智慧。

当AI面对一千个不同的用户，它需要的不是一千套手工设计的记忆规则，而是一套能自己学出来的、每个用户都不一样的、但不会把人带偏的评分标准。这件事，PMR做到了。

还有一个细节值得单独一提：PMR的推理时开销为零。评分标准只在训练阶段存在，部署时学生模型独立运行，不需要携带任何外部评估器。这意味着它不像某些测试时增强方法那样需要在推理时付出额外的token成本——所有的学习收益都被压缩进了模型参数里。对于需要大规模部署的个性化记忆系统来说，这种"训练重、推理轻"的特性是一个关键的工程优势。

---

参考文献

Han, Y., Zhang, K., Liu, S., Liu, Z., Wang, X., Pan, Z., Zhao, X., Liu, Q., & Chen, E. (2026). Personalized Memory Rubrics: Learning What to Remember per User via Rubric-Guided Credit Assignment. arXiv:2611.14017 [cs.AI]. *WSDM 2027*.

Shao, Z., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. *arXiv:2402.03300*.

Zhao, J., et al. (2026). On-Policy Self-Distillation for Reasoning. *arXiv preprint*.

Yang, J., et al. (2026). RLSD: Bridging RL and Self-Distillation for Enhanced Reasoning. *arXiv preprint*.

Jiang, W., et al. (2025). PersonaMem: A Benchmark for Multi-Session Personalized Memory. *arXiv preprint*.

Zhao, X., et al. (2025). PrefEval: Evaluating Preference Following in Long Conversations. *arXiv preprint*.

Xu, Y., et al. (2026a). MemCoE: Memory Construction and Evaluation via Textual Gradients. *arXiv preprint*.

Yu, J., et al. (2026a). MemAgent: Reshaping Long-Context LLM with Multi-Conversation Memory. *arXiv preprint*.

Wang, Z., et al. (2026b). Mem-α: Enhancing Memory-Augmented LLMs with Adaptive Compression. *arXiv preprint*.

#论文 #arXiv #AI #小凯