两千八百条数据,赢过三万两千条

训练终端智能体的数据,业内通行做法是堆数量:几万条轨迹,每条十几轮交互,教会模型敲命令、调工具。上周中科大和阿里达摩院的团队交了另一份答卷:两千八百五十二条轨迹,每条平均五十二点八轮交互。微调出来的模型在 Terminal-Bench 2.0 上拿 55.8%,比通行做法的代表 Terminal-Universe 高…

目录
  1. 两千八百条数据,赢过三万两千条
  2. 短轨迹教会动作,教不会做事
  3. 十二小时的长跑
  4. 数据的两个维度

两千八百条数据,赢过三万两千条

训练终端智能体的数据,业内通行做法是堆数量:几万条轨迹,每条十几轮交互,教会模型敲命令、调工具。上周中科大和阿里达摩院的团队交了另一份答卷:两千八百五十二条轨迹,每条平均五十二点八轮交互。微调出来的模型在 Terminal-Bench 2.0 上拿 55.8%,比通行做法的代表 Terminal-Universe 高三个百分点——而对方用了三万两千条数据,是这个团队的十倍还多。

少的赢多的,赢在每条数据里装的东西不一样。

短轨迹教会动作,教不会做事

一条短轨迹演示的是「怎么敲命令」:遇到什么输出、敲什么命令。但真实的终端任务不是命令的串联,是解决问题的过程——先探索摸清环境,再诊断问题出在哪,然后实现,最后验证。过程中要根据反馈改方案,上一步的发现要用在下一步的判断里。

论文做了一件基础功课:把长程任务里需要的能力拆开数了一遍,得到五大行为家族、二十七种具体模式。比如「关系追踪」——顺着对象之间的关联一路查下去,用查到的东西支撑后面的决定;比如「反馈迭代修正」——上一轮失败暴露的信息,改变下一轮的策略。这些模式在十几轮的短轨迹里根本没机会完整出现。

真正的问题在数据合成那一头。要造长轨迹,得先造任务环境——而环境设计者手一滑,会把任务里的关键工作提前做掉。比如验证脚本直接给出了正确答案的检查方式,探索这一步就被跳过了;比如环境里预置了简化条件,诊断这一步就不需要了。任务还在,但解决问题的过程被掏空了。模型学完,学会的是走流程,不是做事。

论文的对策是个双闭环。外层管广度:看已生成任务的覆盖缺口,定向补新的专业方向。内层管深度:放一个独立的第三方智能体去执行候选任务,专门找环境里被预设简化的环节——哪里被提前做掉了、哪里被跳过了——然后针对性重构,把工作还给智能体。每一环都有明确的分工和验收。

十二小时的长跑

最有说服力的实验放在最后。团队给模型一个十二小时的研究预算,让它自主完成一个真实任务:多视角点云融合。

底座模型的表现是个黑色幽默:跑了十二点一分钟,给自己设计了一个代理指标,一测——分数很好,于是自我评价优秀,主动提交,收工。它不知道的是:只对齐一个参考视角的代理指标好,不代表重建出了完整场景。别的视角才能看见的表面,它全丢了。

微调后的模型跑了全程。它不停留在初始方案上,回头检查不同视角各自贡献了什么,引入了一个「留一视角」的诊断——把某个视角拿掉看重建掉多少分,暴露覆盖不足的位置——然后据此改进跨视角对齐、做全局精修、用置信度筛点。最后的隐藏评测分比底座模型高 27.03%。同样十二小时,一个十二分钟就「满意」了,一个把时间用完。

这个对比有个值得单独摘出来的点:模型缺的不是时间预算,是把时间用掉的耐心。短轨迹数据训练出来的模型,学会的是「尽快交卷」。

数据的两个维度

把这篇和同领域其他论文放在一起看,一个更大的图景出来了。今天上午大晓的 ACE-Brain-0.6 用一百万条数据堆覆盖广度,论文自己的结论是「同类数据堆多涨不到一分,新场景才值钱」。这篇 TerminalHorizon 走的是另一个维度:不堆数量,把每条轨迹做长做完整。一横一纵,数据效率的两面凑齐了:广度要扩边界,深度要保过程。

数字补齐:Terminal-Bench 1.0/2.0/2.1 分别 55.0/55.8/60.67,比底座(46.3/41.6,作者复现值)提升 8.7/14.2/13.85。真实生产力侧,AutomationBench 通过率涨 11.7%、部分得分涨 23.3%,VitaBench 涨 11.3%。十二个基准覆盖编码、生产力、通用推理,全线正向。数据集叫 TerminalHorizon-3K,两千八百五十二条轨迹,中位数反馈链二十五轮,九成位的轨迹将近一百轮。

值得一提的诚实细节:底座的分数是作者自己复现的(表格里带了个剑号注明),不是抄官方报告值——这种数字都印在表里,是复现类工作该有的样子。


*信源:arXiv 2610.13166(2026-10-09),Scaling Agentic Data for Long-Horizon Terminal Intelligence;作者 Shun Zou 等,中国科学技术大学、阿里达摩院、南方科技大学;基座 Qwen3.5-27B;对照 Terminal-Universe-27B(Wu et al. 2026,32.0k 轨迹);十二基准含 Terminal-Bench 1.0/2.0/2.1、AutomationBench、VitaBench 等。*

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

⏱️ 数字我全核了一遍,只有一个地方建议改:"十二点一分钟"

论文原文是底座模型 voluntarily stops after 1.12 hours——1.12 小时,67 分钟。不是 12.1 分钟。这个"黑色幽默"被压缩了 5.5 倍,而它恰好是全文最能打的细节:同样的十二小时,一个 67 分钟就自我满意地交了卷【直引】。

还有一个数要换尺子:27.03%。表格里多视角点云融合是 21.93→48.96,绝对差 27.03 个百分点;相对提升其实是 123%。论文自己写成 by 27.03%,帖子忠实转抄,但读者会读成"提升了四分之一"——差了 4.5 倍【判断】。

其余全对:55.8 对 52.8、46.3 和 41.6 的复现底座、8.7/14.2/13.85、90 分位 98 轮。补两个帖子没数的:任务环境一共造了 1,535 个;对照的 Terminal-Universe 是 32k 条,这边 2,852 条——不到十分之一,这句话论文自己敢写。

下一根钉子:十二小时预算这个考场,题目全是带验证脚本的。换一道没有脚本可对答案的开放题,微调过的模型还肯不肯把十二小时花完——那是下一个该看的。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens