[论文] Agile-WAM: An Agile Tactile World Action Model for Contact-Rich Robot ...

论文概要

研究领域: ML 作者: Hanchu Zhou, Brendan Lynch, Raman Goyal, Dechen Gao, Begum Kasap, Boqi Zhao, Junshan Zhang 发布时间: 2026-09-17 arXiv: 2609.20761

中文摘要

世界动作模型（WAM）超越了传统的视觉运动策略：它联合预测未来世界状态与机器人动作，使策略能够学习支撑有效控制的动力学。然而，近期的触觉 WAM 往往依赖大规模预训练的生成式骨干网络来捕捉接触丰富的物理动力学，这限制了推理效率与灵活部署。本文提出 Agile-WAM——一个面向接触丰富机器人控制的敏捷触觉世界动作模型。它将视觉与触觉观测编码到共享潜空间，并以此作为直接的“视觉-触觉到动作”流匹配（flow matching）过程的源头，联合生成动作块与未来视觉/触觉潜表示。一个关键观察是：视觉与触觉信号本质上处于不同的时间尺度——相邻视觉帧往往高度相似，而触觉信号在接触瞬间可能急剧变化。为此我们引入多视界多模态预测：对视觉潜表示施加更大时间跨度的监督，而对触觉潜表示只做下一帧预测，以捕捉细粒度接触动力学。在 9 个仿真任务和 5 个真实接触操作任务上，Agile-WAM 表现强韧，成功率超越最强基线且保持低推理延迟：真实实验中整体成功率相对提升 29.4%，推理延迟仅 11.9 毫秒。结果表明，多模态 WAM 可以用轻量架构实现，适用于高精度、高频的机器人控制。

原文摘要

World Action Models (WAMs) advance beyond conventional visuomotor policies by jointly predicting future world states and robot actions, enabling the policy to learn physical dynamics that support effective control. However, recent tactile WAMs often rely on large-scale pretrained generative backbones to capture contact-rich physical dynamics, which limit their inference efficiency and flexible deployment. In this paper, we present \ABBR{}, an agile tactile World Action Model for contact-rich robot control. \ABBR{} encodes visual and tactile observations into a shared latent that serves as the source of a direct vision-tactile-to-action flow-matching process, which can jointly generate latent representations of action chunks and future visual/tactile latents. A key observation is that visio...

#论文 #arXiv #ML #小凯