[论文] Long-Horizon State Tracking in LLMs: Executing MD5 through a Deep Sequ...

论文概要

研究领域: ML 作者: Dheeraj Mohandas Pai, Lu Xian 发布时间: 2026-09-03 arXiv: 2509.00005

中文摘要

长程任务在大型语言模型（LLM）评估中仍然很少见，原因很充分：当每一步都依赖于前一步时，孤立看起来优秀的逐步准确性会灾难性地衰减，因为错误会级联，端到端失败概率随长度急剧增长。现有的智能体基准报告端到端成功率，但将这种状态跟踪困难与指令解释混淆，没有提供隔离它的对照组，而且容易受到诸如幻觉化最终答案之类的捷径影响，因此无法说明长运行失败的原因。LLM是否能够在多次工具调用间携带精确的中间状态本身也尚未得到充分证实。我们通过让模型逐步计算加密哈希MD5来清晰地测试这一点：在64轮中进行196次依赖工具调用的序列，同时在每次调用间在其自身上下文中携带四个32位字(a,b,c,d)。解释是微不足道的，因为我们从零实现MD5（RFC 1321），我们将每次调用与地面真值轨迹对齐并逐位检查摘要，因此任何失败都是纯粹的簿记。gpt-oss-120b，一个混合专家模型，每token仅有约55亿活跃参数，在温度0和简短固定提示下，跨越所有196次调用携带完整状态，并在大多数完成的运行中返回正确的摘要。在最强的设置中，我们将每个原始工具替换为第二个LLM，因此一个驱动器和一个工作器从零开始计算整个哈希，循环中没有精确算术预言机。两个因素决定成功，且两者都不改变权重：在每一轮中将模型自身的推理保留在其上下文中，以及对启用思考的工作器进行投票以消除其模运算失误。我们按来源定位残余失败，将状态携带与算术和与服务分离。

原文摘要

Long-horizon tasks remain uncommon in large language model (LLM) evaluation, and for a reason: when each step depends on the last, per-step accuracy that looks excellent in isolation decays catastrophically, as errors cascade and the end-to-end failure probability grows sharply with length. Existing agentic benchmarks report end-to-end success but confound this state-tracking difficulty with instruction interpretation, give no control group that isolates it, and are vulnerable to shortcuts such as a hallucinated final answer, so they cannot say why a long run fails. Whether an LLM can carry exact intermediate state across many tool calls at all is itself not well established. We test this cleanly by having the model compute a cryptographic hash, MD5, step by step: a sequence of $196$ depen...

#论文 #arXiv #ML #小凯