[论文] Vista4D: Video Reshooting with 4D Point Clouds

论文概要

研究领域: CV 作者: Kuan Heng Lin, Zhizheng Liu, Pablo Salamanca, Yash Kant, Ryan Burgert, Yuancheng Xu, Koichi Namekata, Yiwei Zhao, Bolei Zhou, Micah Goldblum, Paul Debevec, Ning Yu 发布时间: 2026-04-23 arXiv: 2604.21915

中文摘要

我们提出了Vista4D，一个鲁棒且灵活的视频重拍框架，将输入视频和目标相机锚定在4D点云中。具体而言，给定一个输入视频，我们的方法从不同的相机轨迹和视点重新合成具有相同动态的场景。现有的视频重拍方法通常难以处理真实世界动态视频的深度估计伪影，同时也无法保留内容外观，以及无法为具有挑战性的新轨迹保持精确的相机控制。我们构建了具有静态像素分割和4D重建的4D锚定点云表示，以显式保留已见内容并提供丰富的相机信号，我们使用重建的多视图动态数据进行训练，以在真实世界推理期间对点云伪影具有鲁棒性。我们的结果表明，在各种视频和相机路径下，与最先进基线相比，4D一致性、相机控制和视觉质量都有改善。此外，我们的方法可推广到动态场景扩展和4D场景重组等真实世界应用。

原文摘要

#论文 #arXiv #CV #小凯