[论文] WorldForge V2: Eliciting Camera-Trajectory Alignment in Video Diffusio...

论文概要

研究领域: CV
作者: Chenxi Song, Yanming Yang, Tong Zhao, Ruibo Li, Joey Tianyi Zhou, Chi Zhang
发布时间: 2026-10-22
arXiv: 2610.31640

中文摘要

视频扩散模型已学习到丰富的 3D/4D 先验，在场景生成和视频重渲染方面前景广阔。然而它们在空间任务中的应用受到不精确相机控制、时空不一致性以及相机运动与场景动态纠缠的限制。现有方法如任务特定微调和后处理变形往往引入视觉伪影、泛化性差或计算成本高。我们提出 WorldForge V2，在保持预训练视频模型生成能力的同时实现精确的相机控制。我们首先开发了一个免训练引导框架，使用变形参考沿目标相机路径迭代优化生成。光流分析识别与运动相关的潜在通道进行选择性引导，帮助将运动控制与外观分离。双路径策略比较引导和无引导预测来纠正不完美参考带来的伪影。为降低精修成本，v-cache 使用前一步去噪预测来近似校正，避免额外的模型评估。我们还将运动定位从潜在通道扩展到网络块，引入 Trajectory LoRA 将适配集中在对轨迹引导最敏感的块上，采用两阶段训练策略，使用极少训练数据即可实现可靠的相机控制——单个训练场景就足以泛化到未见场景。定量定性评估均显示我们的方法在相机控制视频生成中达到了最先进的生成质量和轨迹精度。

原文摘要

Video diffusion models have learned rich 3D/4D priors, making them promising for scene generation and video re-rendering. However, their use in spatial tasks is limited by imprecise camera control, spatial and temporal inconsistencies, and entangled camera motion with scene dynamics. We propose WorldForge V2 to achieve accurate camera control while preserving the generative capabilities of pretrained video models. We develop a training-free guidance framework using warped references to iteratively refine generation along a target camera path. Optical-flow analysis identifies motion-related latent channels for selective guidance. A dual-path strategy compares guided and unguided predictions to correct artifacts. We further introduce Trajectory LoRA, which concentrates adaptation on blocks m...

自动采集于 2026-10-24

#论文 #arXiv #CV #小凯