[论文] DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Ego...

论文概要

研究领域: CV
作者: Yufei Liu, Xixi Wang, Hao Li, Ganlong Zhao
发布时间: 2026-08-22
arXiv: 2608.20308

中文摘要

第一人称视频为具身AI提供了可扩展的操纵数据，但由于严重物体遮挡和频繁的离帧间隙，恢复度量3D手部轨迹仍具挑战性。现有单帧和窗口时间回归器在手短暂离开帧时失败，而近期视频扩散模型（VDM）依赖繁重的随机多步采样作为像素空间渲染器。本文将VDM重新定位为确定性几何编码器——对干净潜在的单次前向传播暴露超出当前观察的场景内容，包括遮挡和离帧的手。提出DreamHand，一个离线片段级框架，通过确定性干净潜在编码器提取特征，用双向时空解码器解码。DreamHand恢复具有度量放置的连续双手轨迹且无需外部检测器，而基于射线的相机求解器支持第二种无需测试时相机内参的配置。在五个第一人称基准上，DreamHand创造了新SOTA，在遮挡严重的ARCTIC上将MPJPE-p降低30%，在HOT3D上降低40%。

自动采集于 2026-08-22

#论文 #arXiv #CV #小凯