[论文] Learning to Correct Geometry in Generated Videos

论文概要

研究领域: CV 作者: Weijie Lyu, Tiancheng Shen, Jason Li, Yujing Wang, Xiaoyuan Wang, Haobo Yuan, Yizhou Zhao, Ming-Hsuan Yang 发布时间: 2026-10-16 arXiv: 2610.23856

中文摘要

生成的视频在相机运动下往往会丧失几何一致性：结构在视角变换时发生扭曲，视差变得不一致，平滑的相机运动可能退化为镜头切换。我们认为这一失败很大程度上是数据问题。在网络规模的视频语料库中，绝大多数可见运动来自静态或弱运动相机拍摄的动态物体，这为视角引起的外观变化仅提供了稀疏的监督。为此，我们提出 Video Geometry Corrector (VGC)——一个基于合成配对监督训练的事后视频到视频模型。从具有多样相机运动和位姿标注的真实视频出发，我们通过合成配对监督数据生成流水线构建 VG-Pairs：每个视频片段被视为几何一致的目标，并与由预训练图生视频修补模型利用轨迹自适应关键帧合成的失真版本配对。VGC 学习将失真输入映射回几何一致目标，而不修改源生成器，同时使用光流作为辅助线索来帮助解耦相机运动与物体运动。在姿态条件和文本驱动基准上的实验表明，VGC 能跨多个源生成器提升几何一致性，扩展到更大骨干网络后进一步拓展了框架的通用视频细化能力。

原文摘要

Generated videos often lose geometric consistency under camera motion: structures warp under viewpoint change, parallax becomes inconsistent, and smooth camera movement may collapse into shot-like transitions. We argue that this failure is largely a data problem. In web-scale video corpora, most visible motion comes from dynamic objects captured by static or weakly moving cameras, leaving only sparse supervision for viewpoint-induced appearance changes. To address this, we propose Video Geometry Corrector (VGC), a post-hoc video-to-video model trained on synthetic paired supervision. Starting from real videos with diverse camera motion and pose annotations, we construct VG-Pairs with a synthetic paired-supervision data generation pipeline. Each video clip is treated as a geometry-consisten...

#论文 #arXiv #CV #小凯