[论文] FixAnything: 3D-Consistent Rendering Refinement via Video Generative P...

论文概要

研究领域: CV
作者: Khiem Vuong, Deva Ramanan, Srinivasa Narasimhan
发布时间: 2025-08-26
arXiv: 2508.17625

中文摘要

使用高斯溅射（3DGS）、神经辐射场（NeRF）、网格甚至点云等3D场景表示进行渲染时，当输入视角稀疏或目标视角远离输入时会产生伪影。近期工作使用基于扩散的生成先验来缓解这些伪影，但通常针对特定表示且需要定制架构或大量重新训练。本文提出了FixAnything，一个修复多种渲染伪影的单一模型。它通过重新利用预训练视频生成模型，仅做最小修改和轻量微调来利用其隐式多视角先验。核心洞见是：即使带噪声的渲染序列也保留了相机运动和粗略场景结构，使得清理可被表述为视频到视频转换。为了控制应保留哪些场景结构，我们引入了一个表示干净像素的二值掩码，使模型能将输出锚定到高质量输入（如训练视角）同时优化其余部分。为了鼓励FixAnything产生支持下游重建的3D一致渲染，我们使用相机位姿精度（通过运动恢复结构获得）作为直接偏好优化（DPO）的奖励信号。在四种不同3D表示上，FixAnything通过轻量微调一致地提升了渲染质量，表明单一通用视频先验可以替代多个专门的优化管线。

原文摘要

Rendering views using 3D scene representations such as Gaussian Splatting (3DGS), Neural Radiance Fields (NeRF), meshes, or even point clouds produces artifacts when input views are sparse or target views lie far from the input. Recent work mitigates these artifacts using diffusion-based generative priors, but is specialized to individual representations and require custom architectures or extensive retraining. We present FixAnything, a single model for fixing a wide range of rendering artifacts. It does so by repurposing a pretrained video generative model, leveraging its implicit multi-view priors with only minimal modification and lightweight finetuning. Our key insight is that even noisily-rendered sequences preserve camera motion and coarse scene structure, allowing cleanup to be form...

自动采集于 2026-08-26

#论文 #arXiv #CV #小凯