[论文] Player-1: Learning to Play from Synthetic Experience

论文概要

研究领域: CV 作者: Mingyu Ouyang, Yiran Wang, Siyuan Hu, Xingyilang Yin, Huiqiang Sun, Guangzhi Wang, Junfu Pu, Cheng Cheng, Honghao Chen, Ying Shan, Mike Zheng Shou, Hwee Tou Ng 发布时间: 2026-10-14 arXiv: 2610.20584

中文摘要

计算机操作代理已在理解屏幕和执行键鼠操作方面展现出强大能力。然而，游戏凭借其视觉丰富的世界和多样的机制仍然充满挑战，为实现通用数字控制提供了高要求的下一步。当前的游戏代理学习流程往往依赖覆盖动态游戏状态有限的大规模演示数据，而可交互训练的可扩展环境难以获取。我们提出 Player-1——一个通过合成经验超越演示学习的游戏控制后训练框架。我们扩展了计算机操作动作空间，引入相对指针移动、持续输入和复合动作。在有监督初始化阶段，我们在 6,044 条精选游戏轨迹上微调计算机操作模型，将录制的动作与任务指令和视觉推理配对。我们构建了 Player-1-Gym——十六个围绕游戏通用控制需求设计的合成 2D 和 3D 环境。可编程验证的奖励、随机化的观测和控制动态支持多环境 PPO 强化学习。最终模型 Player-1-9B 和 Player-1-35B-A3B 在 MineDojo-300 上的成功率分别比其 SFT 策略提升 27.8 和 17.7 个百分点。Player-1-9B 达到 38.33% 的成功率，而最强评估基线仅为 12.63%，同时在 ViZDoom-10 和 GameWorld 上也有进一步提升。进一步分析表明，更广泛的合成环境覆盖能改善迁移能力，而结合多键鼠输入的复合动作在 RL 过程中的使用频率会增加。我们证明了从合成经验中学习能显著改善超越有监督初始化的游戏控制能力，且增益可泛化到 RL 训练套件之外。

原文摘要

Computer-use agents have demonstrated strong capabilities in interpreting screens and executing keyboard and mouse actions. However, games, with their visually rich worlds and diverse mechanics, remain challenging and offer a demanding next step toward general digital control. Current game-agent learning pipelines often rely on large-scale demonstrations with limited coverage of dynamic game states, while scalable environments for interactive training remain difficult to obtain. We introduce Player-1, a post-training framework for learning game control beyond demonstrations through synthetic experience. We extend the computer-use action space with relative pointer motion, sustained inputs, and composite actions. For supervised initialization, we fine-tune computer-use models on 6,044 curat...

#论文 #arXiv #CV #小凯