[论文] Heavy-Tailed Memory Traces in Long-Horizon Language Agents

论文概要

研究领域: ML 作者: Xinyuan Song, Zekun Cai 发布时间: 2026-10-05 arXiv: 2610.00010

中文摘要

长时程语言智能体越来越依赖外部记忆作为冻结的世界模型，但目前对记忆系统的评判通常只看任务成功率或 token 成本。我们认为缺失的研究对象是记忆使用的「形状」：在有限上下文和反复检索的条件下，智能体记忆可能集中于一个小核心，而将罕见状态留在长尾中，导致预测误差在那里累积。我们通过保守的尾部审计研究这一效应，发现集中性可复现但依赖于策略。随机游走智能体产生与对数正态分布兼容的检索痕迹，而语义 LLM 策略产生最强的截断幂律兼容「核心—长尾」痕迹。受此启发，我们提出 Core–Tail World Model（CTWM），一种基于排名的记忆控制器，用单一指数 τ 分配提示预算，同时保留摘要化的尾部。在 Synthetic Graph World 上，CTWM 保持了完整的状态与转移覆盖，提示 token 减少 5.9%，下半部分尾部预测误差相对图记忆基线降低 13.6%。同一配对比较在 ALFWorld 上一致节省 token，在 LongMemEval 上 token 减少 24.48% 且总体准确率持平。这些结果表明，重尾记忆痕迹不仅是有限检索的诊断信号，也是 token 高效智能体世界模型的实用控制信号。

原文摘要

Long-horizon language agents increasingly rely on external memory as a frozen world model, yet current memory systems are usually judged only by task success or token cost. We argue that the missing object is the shape of memory use: under finite context and repeated retrieval, agent memory can concentrate on a small core while leaving rare states in a long tail where prediction errors accumulate. We study this effect through a conservative tail audit and find that concentration is reproducible but policy-dependent. Random-walk agents produce log-normal-compatible retrieval artifacts, whereas semantic LLM policies yield the strongest truncated-power-law-compatible core--tail traces. Motivated by this audit, we propose Core--Tail World Model (CTWM), a rank-based memory controller that alloc...

#论文 #arXiv #ML #小凯