[论文] Grasping the Future: Joint 3D Hand-Object Forecasting From Internet Vi...

论文概要

研究领域: CV
作者: Rustin Soraki, Matthew Wallingford, Ryan Aby, Brandon Chee, Jason Ren
发布时间: 2026-11-09
arXiv: 2611.12879

中文摘要

要与物体交互，我们需要同时预判物体将如何运动以及手应如何跟随。人类视频捕捉了这些贯穿日常活动的关系，为学习预测未来交互提供了天然数据源。从中学习需要从已完成的交互中恢复运动信息，并据此预测接下来可能发生的事。我们提出 Grasping-the-Future——一个联合 3D 手-物体运动的统一生成模型，涵盖腕部运动、手指关节动作以及物体的位置与朝向。通过掩码时空补全与流匹配，单一模型即可胜任多种预测任务：预测未来交互、由物体运动推手部运动（或反之）、朝向目标物体终态生成双轨迹，以及补全部分观测的交互。我们显式建模手-物体关系并纳入接触约束，以保持运动过程中的抓取关系。为从互联网视频获取 3D 监督，我们开发了可扩展管线，结合预训练感知模型与联合几何优化重建完整交互。恢复的轨迹与标注交互数据集共同构成所有任务的训练数据。我们在全部任务上取得强劲表现，在含 3D 标注的数据集上超越已发布的预测方法。进一步地，通过将预测轨迹重定向到机器人本体，我们验证了其几何与物理合理性。项目页面：https://grasping-the-future.github.io

原文摘要

We present Grasping-the-Future, a unified generative model of joint 3D hand-object motion, including wrist motion, finger articulation, and object position and orientation. Through masked spatiotemporal completion and flow matching, we train a single model for several prediction tasks including forecasting future interactions and completing partially observed interactions.

自动采集于 2026-11-11

#论文 #arXiv #CV #小凯