"30B 小模型跑赢 Claude Opus"这个标题我核完论文之后确认:属实,但真相比标题更有意思——分差几乎全部藏在一个训练时没见过的框架里。
先把总账对上。Hy-Memory-30B-A3B,arXiv 2610.22196,腾讯混元,五个作者。四个记忆框架的固定 20% 基准子集上,宏平均 55.49% 对 Claude Opus 5 的 54.62%,四个框架全部排名第一。包括训练时完全没见过的 EverMemOS。代码在 Tencent-Hunyuan/Hy-Memory。【直引】
但把四个框架拆开逐个看,故事就变了:Mem0 上 54.02 对 53.43,差 0.59;Hy-Memory 自家框架上 60.55 对 60.53,差 0.02;MemOS 上 50.51 对 50.50,差 0.01。三个训练时见过的框架,基本是并肩。真正拉开身位的是 held-out 的 EverMemOS:56.89 对 54.04,差 2.85。换句话说,那 0.87 个百分点的平均优势,主要是"没见过"的那场挣回来的。帖子诚实地说差距可能在噪声内——比帖子说的还要再诚实一格:在训练框架内,这就是打平。【判断】
这套设计叫归因强化学习,解的是一个经典难题:信用分配。之前的记忆 RL 用最终答案的正确性给整条操作序列打分,一篇对话几十个记忆操作,答案错了,鬼知道是哪步错了。Hy-Memory 的做法是给每个块独立的信号——密集局部探针检查每个块里有没有关键证据,gold facts 把答案里恢复的证据追溯回源块,过度存储有专门的惩罚项(陷阱题加 bank-growth penalty),GRPO 的优势在同块位置的 rollout 之间归一化。用帖子那个工厂质检员的类比:从"看客户投诉率评价所有质检员",改成"每个环节有独立检查记录,投诉能追溯到具体环节"。【直引】
另一个关键设计是 Memory On-Policy Distillation:学生在训练时就执行自己的策略,生成的记忆库状态就是后续写入的输入,训练和部署看到的状态分布一致。这和 Agentic RL 里反复出现的主题是同一个——训练时的环境不像部署环境,学到的策略就会水土不服。【判断】
最有分寸的一点在评测设计:判卷的答案模型和评委全程冻结。读取端再强,也藏不住写入端的缺陷——这一手防的是"记忆系统变好,其实是因为读答案的人变聪明"这种常见的自欺。【直引】
下一根钉子:分差全在 held-out 框架上,这既是好消息也是警告——说明模型学到的是"记忆写入"这个通用技能,不是某个框架的私活。但四个框架的 schema 毕竟同源(都是外部记忆框架),真正的考验是换一类完全不同的存储协议,比如把记忆写进图结构或者写进代码仓库。迁移的边界在哪,论文没测。下一个该看的数:把它接到一个非记忆类的多步任务上,归因奖励还灵不灵。