Tev：让AI学会长跑——用密集进度奖励训练长程Agent

当一个AI Agent需要独立工作几个小时甚至几天才能完成一项有经济价值的任务时，它需要什么能力？Adobe Research和UCLA的团队给出了他们的答案：一个能精确衡量每一步进展的"世界模型"。

一个简单的类比：GPS导航与终点奖励

想象你在开车从北京去拉萨。如果GPS只在到达拉萨时说"到了"，一路上什么反馈都不给，你会怎样？你不知道自己走到哪了，不知道是不是走错了方向，不知道还要多久。你唯一能做的就是一直开，然后祈祷。

这就是当前训练长程Agent面临的困境。

在强化学习里，奖励信号是模型学习的唯一指引。但长程任务有个致命问题：奖励太稀疏了。一个需要200步才能完成的任务，模型可能在前199步都得不到任何反馈，只在最后一步才知道"对"还是"错"。论文把这个问题叫做"Terminal Reward Starves Group-Relative RL"——终端奖励饿死了组相对强化学习。

为什么"饿死"？因为GRPO（Group Relative Policy Optimization）需要在一个batch里比较不同轨迹的好坏来分配奖励。如果所有轨迹都走到最后才拿到一个0或1，模型根本无法区分"走了99步差一步"和"走了10步就放弃了"的轨迹。信号太弱了。

Tev的解法：先建一个隐藏的"完美世界"

Tev的核心创新是一个叫做**"latent-world-first"（隐世界优先）**的任务合成方法。

传统做法是：先找一个任务，然后想办法给它设计奖励。问题是长程任务的奖励太难设计了。

Tev反过来：先构建一个"隐世界"——一个完整的、正确的、隐藏的任务规格，包括：

• 任务领域的完整描述
• 工作流程的每一步
• 每一步之后系统应该处于什么状态

然后从这个隐世界"渲染"出Agent面对的实际环境。这就像先写好一份详细的建筑图纸，再根据图纸去搭房子——图纸是完美的，因为是你自己写的；房子可以根据需要调整复杂度。

这样做的好处是双重的：

1. 可验证：因为隐世界知道每一步的正确状态，可以精确判断Agent当前走到哪了
2. 可控复杂度：从同一份隐世界规格可以渲染出不同难度的任务

进度势能：把"走到哪了"变成密集奖励

有了隐世界，Tev引入了Progress-Potential Reward Shaping（PPRS，进度势能奖励塑形）。

原理很直觉：既然隐世界知道每一步的正确状态，那就可以计算Agent当前状态和正确状态的"距离"。这个距离就是"进度势能"——离目标越近，势能越高。每走一步，势能的变化就是这一步的奖励。

这就像GPS每公里告诉你"还剩800公里"→"还剩799公里"——每一步都有反馈，模型知道自己在前进。

关键数学细节：PPRS用的是potential-based reward shaping的理论框架，保证了最优策略不变性——即添加这个密集奖励不会改变模型最终学到的最优策略，只是让它学得更快。这是一个重要的理论保证，不是拍脑袋的工程trick。

数据规模：6倍于以往最长任务

Tev-Gym的具体数字：

• 1,170个验证过的任务环境，覆盖7个领域
• 中位数Agent rollout时长12.4分钟——是此前最长语料库（SWE-Smith，2.0分钟）的6倍
• 每个任务都有可验证的、密集的、渐进的奖励

这个"6倍"很重要。长程Agent的训练数据一直是个瓶颈：真实世界里的长程任务太贵、太慢、太难标注。Tev通过隐世界合成方法，第一次把训练数据的"长度"推到了10分钟级别。

实验结果：开源27B模型追平GPT-6和Claude Opus 5

训练出的Tev-27B模型在Agents' Last Exam的计算和数学科学领域（ALE-CM）上：

• Pass@5达到0.28，比Qwen3.8-27B基线提升65%
• 追平GPT-6 Astra和Claude Opus 5

更值得注意的是泛化能力：尽管Tev-27B只在ALE相关数据上训练，它在Terminal-Bench（TB）3.0和4.0子集上也表现出色：

• TB 4.0-CM Pass@1从0.04提升到0.10，2.5倍提升
• 在TB 2.1上达到Claude Opus 4.8级别的性能
• 超越GLM 5.2和Gemini 3.7 Flash

这意味着Tev学到的不是"记住ALE的答案"，而是真正的长程问题解决能力。

论文还提到了Tev-320B的规模，暗示这个方法可以继续scale。

为什么这件事重要：RSI的前置条件

论文摘要里有一句容易被忽略但极其关键的话：长程Agent的能力是"automated discovery and recursive self-improvement (RSI)的核心前置条件"。

RSI——递归自我改进——是AI安全研究里最让人兴奋也最让人紧张的方向之一。一个能自己改进自己的AI系统，需要能独立工作很长时间：分析自己的代码、设计实验、运行实验、评估结果、修改自己。每一步都可能需要几分钟到几小时。

Tev解决的就是这个链条上最薄弱的一环：怎么训练模型做这种长时间、多步骤、需要持续判断进展的任务。

技术亮点回顾

诚实评价

Tev不是没有局限：

1. 隐世界合成依赖领域知识：需要先构建完整的任务规格，这对某些领域（如开放式探索）可能不适用
2. 7个领域是否足够多样：论文没有详细讨论领域覆盖的边界
3. 12分钟仍然远短于"小时到天"的真正长程：论文标题说的"hours to days"目前还是愿景，Tev的数据只到了10分钟级别
4. 代码和数据"即将发布"：项目页写着"Code soon, Data soon (under internal approval, will release in 7 days)"，发布时需要验证

但作为一个"怎么训练长程Agent"的方法论验证，Tev交出了一份相当扎实的答卷。隐世界优先 + 进度势能奖励塑形的组合，可能成为未来长程Agent训练的标准范式之一。

论文：Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
项目页：tev-agent.github.io
作者：Wenbo Hu, Shraman Pramanick, Krishna Kumar Singh, Nanyun Peng, Kai-Wei Chang, Yong Jae Lee (Adobe Research / UCLA)
代码/数据：即将发布