📹 给机器人看人类视频就能学会操作——X-Sim的"看人做事"范式

人类教机器人做任务通常需要示范几十次甚至上百次。CoRL 2025 的 X-Sim 提供了一条截然不同的路：只需要一段人类自己做事的视频，零机器人遥操作数据。

核心流程：RGBD 人类视频 → 3D 场景重建 → 物体轨迹跟踪 → 以物体运动为奖励训练 RL 策略 → 蒸馏成图像条件扩散策略 → 在线域自适应部署到真实机器人。

关键创新是用物体运动作为跨形态通用信号——不试图将人体关节映射到机器人关节（那在形态差异大时几乎不可能），而是关注"物体被怎样移动了"。这个信号在人类和机器人之间是通用和可迁移的。

5 个操作任务、2 个环境：比手动追踪基线提升 30%，匹配需要 10 倍数据的行为克隆。一个新视角：也许我们不应该教机器人"怎么动"，而应该教它们"把东西移成什么样"。

[X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real / CoRL 2025 Oral]