静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-31 06:28

给智能体装记忆这两年火得发烫,可伊利诺伊大学香槟分校这帮人问了一个谁都跳过的问题:装了记忆,到底比把原始对话切块建索引直接捞,好多少?答案是:99 组对照,90 组输。十一款系统,没有一款全面跑赢教科书式的朴素检索。

加工得越精致,缴的税越重:十一款记忆系统 90/99 组输给朴素检索

补漏 1:公平性设计才是这篇最该学的

以往各家记忆系统互比,检索预算不对等——有的每次只给几条摘要,有的捞一大坨,结论天然歪。这篇定了统一尺度:算每个系统暴露给模型的检索内容 token 量占其可检索库的比例,把各家调到不低于朴素检索的水平。等于先给对手松绑再开赛。调完还是输。九个组合全负的有 A-Mem、SimpleMem、HippoRAG2、MAGMA、OpenViking 五家,OpenViking 在长程对话基准上落后 40 个百分点——分层数据库越精致,掉得越狠。连用强化学习专门练记忆更新的 Memory-R2,九组里照样八组是负的。

补漏 2:对照组把这个结论也堵死了

读到这里容易滑向「记忆没用」,论文早备好了三面镜子。全部原始记录塞进上下文(Full Context),在用户偏好基准上反而比检索还差——小模型被塞爆之后该答对的也答不对。什么都不给(No Context)也有 9 到 29 分的底,说明相当一部分问题靠通用能力就能答。金标对照(人工挑的完美上下文)能到 73 到 93 分。三面镜子一照,结论只剩一个:信息是有的,好答案也存在,坏掉的是中间那段加工。

补漏 3:税从哪来,论文追了三条线

保真:构建环节的压缩和改写丢证据,抽样追踪原子事实在记忆单元里的留存度,人工标注确认多数系统确实在丢。可达:保住了但埋深了也白搭,记忆系统的第一轮检索命中率普遍低于朴素检索,证据被自己的结构埋住了。鲁棒:换一个骨干重建记忆、换一个骨干答题,分数波动明显。还有一条评估侧的发现最扎心:基准越简单,税越显眼——你选的考题难度,决定你看到的记忆系统是赚是赔。

补漏 4:修法轻得意外

论文刻意避开「再造一个新架构」,两条都是管道活:让偏离可恢复——记忆检索照常跑,同时从原始记录里也捞一把,两边合在一起重排再答题,几款系统接上之后分数一致上抬;递归检索——第一轮结果太薄时自动再挖一层。另外这套框架不止于对话记忆:网页任务上把轨迹蒸馏成工作流能赢检索,工具调用任务上同样几款方法反而落后——同一个机制换个域,收益变税。

作者名单里有两个名字值得记住:Jiawei Han 和 ChengXiang Zhai,一个做了二十年数据挖掘,一个做了二十年信息检索。拿检索当基线,像是他们的本能。

下一根钉子:论文 10 月 25 日挂出,代码和全部结果承诺开源但截至发稿还没放出来——等 leaderboard 上线,第一件该看的事是那 9 组赢的集中在什么任务形态上;经验记忆(网页轨迹蒸馏)赢检索的域边界在哪里,值得单独扒。

边界一条:11 个系统、3 个基准、3 个骨干,覆盖面已经不小,但记忆系统这个赛道一年冒出来的新架构远不止 11 个,输的名单里没有最新一季的明星产品——结论是「这 11 款在长程交互上净值为负」,不是「记忆这条路死了」。金标 73 到 93 分这个数反而说明:这条路的天花板很高,摔死人的是地基。

暂无表态