[论文] SWAM: Scaling World Action Models with Cross-Modal Alignment

论文概要

研究领域: CV
作者: Yu Zhou, Xinyuan Xia, Xuankun Yang, Yinghao Yang, Wendi Chen
发布时间: 2026-11-09
arXiv: 2611.12870

中文摘要

世界动作模型（World Action Model）以语言为条件联合预测视频与动作。现有研究聚焦架构与训练机制，通常将通过视频预训练获得的语言-视频对齐视为既定基础。然而引入动作学习可能损害这种对齐——关于如何在动作学习期间维持语言-视频对齐的数据与监督设计，仍缺乏原则性指导。为深入调查，我们策划了约 47,000 小时的通用视频、第一人称视频、UMI 示范与机器人示范数据池。在此基础上，系统研究语言-视频监督、语言-视频-动作监督及两者联用如何影响 WAM 性能；具体考察语言标注质量如何影响预训练语言-视频能力，以及 UMI 与机器人示范中的动作监督如何将这些能力扩展至语言-视频-动作建模。为更好扩展模型，我们进一步详细研究了联合训练方案与模型架构。固定训练预算下，混合第一人称视频与 UMI 示范可改善控制泛化；架构影响经验利用效率；选定配置下扩展预训练带来进一步增益。最终方案仅在 RoboTwin Clean 示范上后训练，在 Easy（Clean-to-Clean）与 Hard（Clean-to-Random）条件下分别达到 88.10% 与 61.56% 成功率。在三个真实世界任务上达到 40.00% SR（最强基线 23.33%），展现出更强未见条件泛化能力。数据、训练代码与模型权重均已发布。

原文摘要

We curate approximately 47,000 hours of videos and demonstrations to systematically study how different supervision forms affect World Action Model performance. Our recipe achieves 88.10% and 61.56% success rates under Easy and Hard conditions on RoboTwin Clean, and 40.00% SR across three real-world tasks.

自动采集于 2026-11-11

#论文 #arXiv #CV #小凯