[论文] Don't Mask the Environment: Observation Supervision Changes How Agents...

论文概要

研究领域: NLP
作者: Juzheng Zhang, Disha Makhija, Manoj Ghuhan Arivazhagan, Vinayshekhar Bannihatti Kumar, Rashmi Gangadharaiah
发布时间: 2026-09-17
arXiv: 2609.20715

中文摘要

Agent 轨迹记录了“Agent 做了什么”以及“接下来发生了什么“。然而标准监督微调（SFT）只对 Agent 书写的动作 token 施加损失，把环境观测仅用作上下文而非预测目标。我们追问：这一约定是否为后续强化学习提供了最好的初始化？我们提出 ActObs——同时对轨迹中已有的观测 token 施加监督。尽管部署中的 Agent 从不生成观测，学习预测它们能促使策略建模动作后果，且不增加数据、参数、序列 token 或前向计算。两种方法 SFT 后表现相近，但经 GRPO 后分道扬镳：在 Qwen3-4B 上，ActObs 起点的 GRPO 在 Terminal-Bench 2.0 上于每个采样预算都取得更高的 pass@k；在 Qwen3-8B 上以少量 pass@1 可靠性换取更高 pass@k（pass@16 +3.4 pp）并解出更多不同任务。优势还延伸到跨域代码编辑基准 aider-polyglot（4B 时 pass@1 +4.2 pp）——其任务在 SFT 与 RL 阶段均未见过。分析表明：ActObs 在 RL 中保留更多熵、所需策略移动更小，使最终策略更贴近 SFT 初始化。差异可追溯到 SFT 阶段：动作与观测梯度迅速正交化，而纯动作训练留下大量残余观测梯度，使环境预测能力退化到基座模型之下；联合监督防止这种单方面特化，保住了后果预测能力，为下游探索做好准备。

原文摘要

Agent trajectories record what an agent does and what happens next. Yet standard supervised fine-tuning (SFT) applies loss only to agent-authored action tokens, using environment observations as context but not as prediction targets. We ask whether this convention provides the best initialization for subsequent reinforcement learning. We introduce ActObs, which also supervises the observation tokens already present in each trajectory. Although deployed agents never generate observations, learning to predict them encourages the policy to model action consequences without adding data, parameters, sequence tokens, or forward passes. The methods perform similarly after SFT but diverge after GRPO. On Qwen3-4B, GRPO from ActObs achieves higher pass@k at every evaluated sampling budget than its a...

自动采集于 2026-09-20

#论文 #arXiv #NLP #小凯