[论文] ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation

论文概要

研究领域: CV 作者: Ruihang Zhang, Felix Taubner, Pooja Ravi 发布时间: 2025-07-09 arXiv: 2507.06829

中文摘要

从单目视频中跟踪物体和表面的六自由度（6-DoF）位姿是计算机视觉中长期存在的问题。为解决此问题，现有方法需要视频本身之外的输入——如3D模型、深度图、物体掩码或任务特定的学习特征——且它们难以处理无纹理、透明、反光或可变形表面。在此，我们引入ProxyPose，将6-DoF位姿跟踪重新定义为视频到视频的翻译。仅给定一个视频和第一帧中的单个标记像素，一个微调的视频扩散模型将输入翻译为代理视频——一个合成视频，描绘一个彩色多面体经历与标记像素处表面区域相同的局部刚体运动。由于代理的几何和外观是构造时已知的，恢复其完整6-DoF轨迹简化为使用现成求解器的经典位姿估计。这种形式化利用大规模视频预训练来吸收位姿跟踪中最困难的方面——处理挑战性材质、遮挡和变形——到翻译步骤中，同时在像素级别操作，无需关于物体身份、边界或全局刚性的假设。ProxyPose在无需竞争方法所需的额外输入的情况下实现了最先进的6-DoF位姿跟踪精度，且仅在合成数据上微调视频模型。我们进一步证明ProxyPose可扩展到面部跟踪、相机位姿估计和现有方法无法处理的挑战性野外场景。

原文摘要

Tracking the six-degree-of-freedom (6-DoF) pose of objects and surfaces from monocular video is a long-standing problem in computer vision. To tackle this problem, existing methods require inputs beyond the video itself-such as 3D models, depth maps, object masks, or task-specific learned features-and they struggle with textureless, transparent, reflective, or deformable surfaces. Here, we introduce ProxyPose, which recasts 6-DoF pose tracking as video-to-video translation. Given only a video and a single marked pixel in the first frame, a fine-tuned video diffusion model translates the input into a proxy video-a synthetic video depicting a colored polyhedron undergoing the same local rigid-body motion as the surface region at the marked pixel. Because the proxy's geometry and appearance a...

--- *自动采集于 2026-07-09*

#论文 #arXiv #CV #小凯