[论文] Heavy-Tailed Memory Traces in Long-Horizon Language Agents

研究领域: ML 作者: Xinyuan Song, Zekun Cai 发布时间: 2026-10-05 arXiv: 2610.00010

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Xinyuan Song, Zekun Cai 发布时间: 2026-10-05 arXiv: 2610.00010

中文摘要

长时程语言智能体越来越依赖外部记忆作为冻结的世界模型,但目前对记忆系统的评判通常只看任务成功率或 token 成本。我们认为缺失的研究对象是记忆使用的「形状」:在有限上下文和反复检索的条件下,智能体记忆可能集中于一个小核心,而将罕见状态留在长尾中,导致预测误差在那里累积。我们通过保守的尾部审计研究这一效应,发现集中性可复现但依赖于策略。随机游走智能体产生与对数正态分布兼容的检索痕迹,而语义 LLM 策略产生最强的截断幂律兼容「核心—长尾」痕迹。受此启发,我们提出 Core–Tail World Model(CTWM),一种基于排名的记忆控制器,用单一指数 τ 分配提示预算,同时保留摘要化的尾部。在 Synthetic Graph World 上,CTWM 保持了完整的状态与转移覆盖,提示 token 减少 5.9%,下半部分尾部预测误差相对图记忆基线降低 13.6%。同一配对比较在 ALFWorld 上一致节省 token,在 LongMemEval 上 token 减少 24.48% 且总体准确率持平。这些结果表明,重尾记忆痕迹不仅是有限检索的诊断信号,也是 token 高效智能体世界模型的实用控制信号。

原文摘要

Long-horizon language agents increasingly rely on external memory as a frozen world model, yet current memory systems are usually judged only by task success or token cost. We argue that the missing object is the shape of memory use: under finite context and repeated retrieval, agent memory can concentrate on a small core while leaving rare states in a long tail where prediction errors accumulate. We study this effect through a conservative tail audit and find that concentration is reproducible but policy-dependent. Random-walk agents produce log-normal-compatible retrieval artifacts, whereas semantic LLM policies yield the strongest truncated-power-law-compatible core--tail traces. Motivated by this audit, we propose Core--Tail World Model (CTWM), a rank-based memory controller that alloc...


*自动采集于 2026-10-05*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

记忆有形状:一个小核,一条长尾——但先证明那不是检索假象

记忆有形状:一个小核,一条长尾——这篇最值钱的是它的负控制

arXiv:2610.00010 讲智能体记忆痕迹的核-尾结构,原帖的转述我核过,数字都对。但这篇真正值钱的不是 CTWM 控制器,是它证明「重尾不是检索假象」的那一步。

先做负控制,再谈语义。 作者用随机游走智能体当对照:54 个 graph-size cell 里纯幂律检验通过率 0%,PSD 指数区间 0.048–0.176,远离 1/f regime。更扎心的是 Gini 对照:uniform 图加频率排序的 top-k 检索,未加任何语义策略,记忆集中度 Gini 就有 0.698;关掉检索塌到 0.29–0.35。也就是说,top-k 检索机制本身就能制造 hub 式的记忆集中。没有这一步,「智能体记忆呈重尾」随时可能只是个检索 artifact;有了这一步,分布族随驱动策略切换才成为可报告的结果。任何「我们的系统涌现出幂律」的叙事,都该先过这道审计。

5.9% 的成色要说清。 Table 4 自己拆了因子:紧凑序列化单独几乎不降尾部误差(0.932→0.931),分配规则单独反而加 token(verbose 下 170.7→200.3)但降误差 8.2%;−5.9% token 是「分配换误差、紧凑换 token」的组合净效果。论文原话最诚实:allocation 是尾部稳健的主要来源,紧凑序列化让这个分配便宜到用得起。想省 token 的人该抄编码,想救长尾的人该抄 τ 分配。

失效边界比成功数字更有决策价值。 LongMemEval 上 token 降 24.48%、总准确率持平——但 77 道多会话回忆题,CTWM 0 题答对,图记忆 3 题;ALFWorld 上 one-shot 双方 0/18。作者的处方直接可用:recall-critical 的查询要放松核-尾压缩。24.48% 要配这条边界一起引用,否则是误导。

还有两处可搬走:τ 是单调旋钮且带安全回退(τ→0 退化为均匀分配、Gini→0),形式保证核质量随 τ 严格增;以及「截断幂律兼容」的窄口径三元判据(p_gof≥0.10 + 似然比>0 且 |Λ/σ|≥1.96 + 尾部样本 ≥100),拿这套规则去审任何「LLM 行为服从幂律」的论文,一抓一个准。

顺带一个量级感:Full History 是图记忆的 21.1 倍 token,Flat Retrieval 虽然便宜 6.5%,尾部误差 0.994——省 token 不能以尾部预测价值为代价,这正是分配规则存在的理由。还有一个方法论细节值得学:τ 扫描里 Clauset 拟合的 α̂ 因为自动选截断点漂移而变成非单调,作者干脆把 α̂ 降级为「仅确认性」,控制诊断全用 Gini/skew/max-median 这些全分布统计量。当你的核心指标自己不稳定时,诚实地换指标,比报一个漂移的指数强。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens