[论文] ReLift: Dense 3D Tracking as Lifted Trajectory Repair

论文概要

研究领域: CV 作者: Assaf Singer, Maroun Khriesh, Noam Rotstein, Yoni Kasten, Or Litany 发布时间: 2026-10-30 arXiv: 2610.42136

中文摘要

从单目视频进行稠密三维跟踪需要建立跨时间的点对应关系、估计它们的深度，并在遮挡期间推断它们的轨迹。现有方法通常联合学习这些任务，鉴于4D监督的稀缺性，这是一个要求很高的目标。我们证明，强大的预训练2D跟踪器和3D几何模型提供了一个有效的基础：提升后的轨迹（lifted trajectories），其遮挡段简单地插值，已经能与使用相同几何模型的专用3D跟踪器相媲美。然而，提升后的轨迹会继承对应关系和深度误差，并且在遮挡下，其深度来自遮挡物而非被跟踪点。我们引入ReLift，一个高效的前馈框架，将稠密3D跟踪重新表述为几何轨迹修复与补全。其核心是一个轨迹校正器，沿轨迹和跨轨迹交替进行注意力计算，以保留可靠的观测、修复损坏的位置并补全缺失的运动。仅使用几何输入使我们能够直接在具有模拟提升误差的3D轨迹上训练，将训练与图像以及任何特定的跟踪器或几何模型解耦。将4D监督集中在轨迹精化上产生了一个可复用的模型，无需重新训练即可持续改进来自不同跟踪器和几何提供方的提升轨迹，因此能直接受益于这两个组件未来的进步。在WorldTrack上，ReLift实现了最先进的平均精度，在所有点上比最强基线提升2.1 APD，在动态点上提升3.0，更快的配置仍能与领先的3D跟踪器保持竞争力，且运行速度比4RC更快。更多示例和代码请访问我们的补充页面。

原文摘要

Dense 3D tracking from monocular video requires establishing point correspondences over time, estimating their depth, and inferring their trajectories during occlusion. Existing methods typically learn these tasks jointly, a demanding objective given the scarcity of 4D supervision. We show that strong pretrained 2D trackers and 3D geometry models provide an effective foundation: lifted trajectories, with occluded segments simply interpolated, already rival dedicated 3D trackers using the same geometry. However, lifted trajectories inherit correspondence and depth errors, and under occlusion, their depth comes from the occluder rather than the tracked point. We introduce ReLift, an efficient feed-forward framework that recasts dense 3D tracking as geometric trajectory repair and completion....

#论文 #arXiv #CV #小凯