[论文] LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rol...

论文概要

研究领域: CV 作者: Wenxuan Guo, Yingping Liang, Zhaoguo Wang, Ziyuan Li, Angyuan Ma, Zhenyu Wu, Chengkun Wang, Bingyao Yu, Ze Chen, Borui Zhang, Xiuwei Xu, Meng Zhang, Erjin Zhou, Jiwen Lu 发布时间: 2026-10-13 arXiv: 2610.18873

中文摘要

仅扩展专家演示数据并不能让通用机器人策略从部署中持续改进。真实世界的执行轨迹包含成功、次优行为和失败：盲目模仿所有记录的动作可能强化不良行为，而过滤掉失败则丢弃了物理交互及其后果的证据。本文提出 LoopWAM——一个闭环世界-动作模型，直接从完整质量谱中学习，同时使用来自自身和其他已部署策略的执行轨迹。源依赖噪声采样统一了行为学习和动作条件世界建模，质量引导和质量加权监督在各质量层级保留完整的视频监督并调节动作模仿。视频和动作 token 在整个并行去噪过程中交互，让学习到的后果信息直接指导动作生成。在 RoboChallenge Table30-V2 上，三轮「部署-训练」循环将成功率从 23.67% 提升至 43.33%（+19.7 个百分点），最终得分 56.80。LoopWAM 还在 RoboTwin 2.0 上取得 94.5% 平均成功率，在 RoboCasa365 上取得 49.5% 整体成功率（无需额外具身预训练），在三个基准上均获最佳综合表现。在具有挑战性的叠衬衫任务中，单任务后训练后经两轮部署驱动改进，成功率从 13.20% 提升至 55.56%。

原文摘要

Scaling expert demonstrations alone does not enable generalist robot policies to improve from deployment. Real-world rollouts contain successes, suboptimal behavior, and failures: imitating every recorded action can reinforce poor behavior, while filtering out failures discards evidence of physical interactions and their consequences. We introduce LoopWAM, a closed-loop world-action model that learns directly from this full quality spectrum, using rollouts from both itself and other deployed policies. Source-dependent noise sampling unifies behavior learning and action-conditioned world modeling, while quality steering and quality-weighted supervision retain full video supervision across qualities and regulate action imitation. Video and action tokens interact throughout parallel denoising...

#论文 #arXiv #CV #小凯