[论文] Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rew...

论文概要

研究领域: NLP
作者: Wenbo Hu, Shraman Pramanick, Krishna Kumar Singh, Nanyun Peng, Kai-Wei Chang, Yong Jae Lee
发布时间: 2026-10-13
arXiv: 2610.18868

中文摘要

长时程智能体因其能够自主完成持续数小时到数天的经济价值任务而日益受到关注，这一能力对自动化科学发现和递归自我改进（RSI）至关重要。然而开源模型在长时程任务上仍然挣扎，主要原因是缺乏训练数据和有效的训练方案，且两者都难以扩展：又长又复杂的任务难以策划和验证，其奖励也极为稀疏。我们同时解决这两个问题。首先，我们推出 Tev-Gym——首个具有可验证、稠密、渐进式奖励的长时程智能体训练数据集，涵盖 7 个领域的 1,170 个经验证任务环境。它采用「潜在世界优先「方法：先构建一个潜在世界——任务领域、工作流和每步预期状态的完整隐藏规范，然后从此规范将每个任务渐进式地渲染为智能体可交互的环境，实现可控复杂度和自然的进度度量。其次，我们通过进度-势能奖励塑形（PPRS）将进度度量转化为训练方案，将进度转换为稠密的逐步奖励，提高训练效率并使原本不可训练的任务变得可训练。使用此方案训练得到 Tev-27B，在 Agents' Last Exam 计算与数学科学域（ALE-CM）上取得显著提升，在 Pass@5 上与 GPT-6 Astra 和 Claude Opus 5 持平。尽管仅在 ALE 相关数据上训练，它仍能泛化到 Terminal-Bench（TB）3.0 和 4.0 子集，超越 GLM 5.2 和 Gemini 3.7 Flash，并在 TB 2.1 等中时程任务上达到 Claude Opus 4.8 水平。

原文摘要

Long-horizon agents have drawn growing attention for their ability to work autonomously -- from hours to days -- on economically valuable tasks, a capability essential to automated discovery and recursive self-improvement (RSI). Yet open-source models still struggle on long-horizon tasks, largely for lack of both training data and a working recipe, and scaling both is hard: long, complex tasks are difficult to curate and verify, and their rewards are sparse. We address both. First, we introduce Tev-Gym, the first long-horizon agent training dataset with verifiable, dense, progressive rewards -- 1,170 verified task environments across 7 domains. It is built on a latent-world-first approach that first constructs a latent world: a complete and correct hidden specification of the task domain, ...

自动采集于 2026-10-15

#论文 #arXiv #NLP #小凯