[论文] UniVOE: A Removal-Driven Framework for Interaction-Aware Universal Vid...

论文概要

研究领域: CV 作者: Shuzhou Yang, Lanqing Guo, Lingen Li, Weiqi Li, Zhao Zhong, Liefeng Bo, Jian Zhang 发布时间: 2026-10-22 arXiv: 2610.31641

中文摘要

视频物体移除和注入是物体存在与物体缺失视频状态之间的互为逆操作的编辑任务，但训练难度差异很大。移除可以有效利用视频修复的先验并进一步适配来擦除物体相关的交互效果。然而注入需要大规模成对监督来建模物体外观、动态和场景依赖效果，而完美对齐的真实世界配对数据难以收集，合成数据又缺乏足够的真实感和多样性。为此我们提出 UniVOE——一个移除驱动的框架，同时训练视频物体移除和注入模型。我们首先通过迁移视频修复先验并在物体存在/物体缺失配对数据上微调来训练一个效果感知移除器。训练好的移除器将真实物体存在视频转换为物体缺失对应版本，为注入任务创建大规模成对监督。注入模型在这些配对上沿反方向训练，以恢复物体及其动态和交互效果。此外，由于像素级重建 alone 无法充分捕捉感知真实感，我们引入基于奖励的后训练方法，使用专有奖励模型将注入结果与人类偏好对齐。实验表明 UniVOE 在物体移除和注入两项任务上均达到最先进水平，尤其在具有挑战性的交互效果场景中表现突出。

原文摘要

Video object removal and injection are reciprocal editing operations between object-present and object-absent video states, yet they differ substantially in training difficulty. Injection requires large-scale paired supervision to model object appearance, dynamics, and scene-dependent effects. We present UniVOE, a removal-driven framework for training both video object removal and injection models. We first train an effect-aware remover by transferring video inpainting priors. The trained remover converts real object-present videos into object-absent counterparts, creating large-scale paired supervision for injection. An injection model is trained on these pairs in the reverse direction. We also introduce a reward-based post-training method that aligns injection results with human preferen...

#论文 #arXiv #CV #小凯