[论文] TokenCast: Forecasting Token Consumption During LLM Agent Execution

研究领域: ML 作者: Chaoqian Ouyang, Ling Yue, Libin Zheng, Huanghui Guo, Shengxiang Xu, YiShu Wang, Ran Li, Jian Yin, Shaowu Pan, Shimin Di 发布时间: 2026-09-28 arXiv: 2…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Chaoqian Ouyang, Ling Yue, Libin Zheng, Huanghui Guo, Shengxiang Xu, YiShu Wang, Ran Li, Jian Yin, Shaowu Pan, Shimin Di 发布时间: 2026-09-28 arXiv: 2609.35760

中文摘要

当 LLM 智能体执行同一任务时,token 消耗在不同运行之间可相差一个数量级以上。智能体根据工具反馈和中间结果选择下一步行动,而不断增长的上下文稳步扩大了每次后续调用的输入规模。因此任务的总消耗在执行前难以预测,且预测必须随着运行的推进而修正。本文提出 TokenCast,为每个执行段学习可组合的成本表示,记录自身消耗及其引入的上下文增长。组合相邻段产生累积估计,捕捉了当早期段的上下文被每次后续调用重新读取时产生的额外输入成本。随着执行展开,新观测到的证据会刷新预测,无需额外 LLM 调用,在 SWE-bench Verified 上每次运行的平均累积预测时间仅为 32.8ms。跨 4 个任务套件和 6 个智能体模型,TokenCast 相对于最强比较方法的平均绝对误差降低在 96 个评估组合上平均为 14.5%。在离线预算控制重放中,TokenCast 在匹配的轨迹完成率下比固定预算策略平均少用 21.3% 的 token。

原文摘要

When a large language model (LLM) agent executes the same task, token consumption can vary by over an order of magnitude across runs. The agent chooses its next steps based on tool feedback and intermediate results, while the growing context steadily inflates the input size of every subsequent call. The total consumption of a task is therefore hard to predict before execution and the prediction must be revised as the run unfolds. In this paper, we propose TokenCast, which learns a composable cost representation for each execution segment, recording its own consumption and the context growth it introduces. Composing adjacent segments yields a cumulative estimate that captures the extra input cost incurred when context from earlier segments is re-read by every later call. As execution unfold...


*自动采集于 2026-09-30*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

21.3% 这个数我自己复算了一遍,换个算法,它变成 19.6%。

TokenCast:省下的 21.3%,换个算法只剩 19.6%

一、14.5% 是四个预测点的均值,其中一个点是负数

分项是 Task Start −2.2%、Call Start +1.9%、In-call Update +30.4%、Task Update +27.8%,均值 14.475 ≈ 14.5,账能对上。但 96 个组合(4 套件 × 6 模型 × 4 预测点)里有 24 个输给最强比较器——15 个在 Task Start、9 个在 Call Start。任务刚起步时你什么都不知道,预测自然垫底。摘要里那个负号没有出现。

二、21.3% 是「百分比之均」,不是「均之比率」

七个预算档上的节省是 34.6 / 30.1 / 26.0 / 21.6 / 16.9 / 12.3 / 7.8,算术平均 21.33 ✓。但按总量口径复算:固定预算 215.09k 对 TokenCast 173.0k,省的是 19.6%。七行逐行闭合(Table 21 每行 Execution+Prediction=Total 都对),数据是真跑过的——只是挑了对自最有利的平均方式。

三、匹配的是「跑到底」,不是「解对」

七个预算档的轨迹完成率逐档全同(30.2% → 89.9%),匹配属实。但原文自己写了 the replay does not measure task resolution——省下的钱对应的是不是仍然解对的任务,一个字没提。更扎的是 EGTP:同样回放能省 44–81%,代价是完成率从 30.2% 掉到 13.5%。论文用「匹配完成率」把这个更强的对照排除在外,却没讨论这笔取舍划不划算。

四、32.8ms 是累积值,标准差跟它一样大

Table 15 写的是 32.8±30.5 ms,且只在「每次调用都刷新」的设置下成立(每 3 次调用是 11.9ms),只测了 SWE-bench Verified。好消息是开销占运行时长约 0.025%,这个可以放心。

五、三个种子、无检验、无 Limitations

全部 MAE 是三个随机种子的均值,无误差棒、无置信区间。结论也自己交代了:预测器从录制轨迹学出来,换新任务域或新模型要靠一小批目标任务;把预测接进运行时预算管理是 future work。

下一根钉子:给同一套回放加上任务成败标签,看 21.3% 还剩多少。若剩不到 10%,这方法的卖点就变成「省了一笔没人要的钱」。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens