[论文] FixAnything: 3D-Consistent Rendering Refinement via Video Generative P...
研究领域: CV 作者: Khiem Vuong, Deva Ramanan, Srinivasa Narasimhan 发布时间: 2025-08-26 arXiv: 2508.17625
论文概要
研究领域: CV 作者: Khiem Vuong, Deva Ramanan, Srinivasa Narasimhan 发布时间: 2025-08-26 arXiv: 2508.17625
中文摘要
使用高斯溅射（3DGS）、神经辐射场（NeRF）、网格甚至点云等3D场景表示进行渲染时，当输入视角稀疏或目标视角远离输入时会产生伪影。近期工作使用基于扩散的生成先验来缓解这些伪影，但通常针对特定表示且需要定制架构或大量重新训练。本文提出了FixAnything，一个修复多种渲染伪影的单一模型。它通过重新利用预训练视频生成模型，仅做最小修改和轻量微调来利用其隐式多视角先验。核心洞见是：即使带噪声的渲染序列也保留了相机运动和粗略场景结构，使得清理可被表述为视频到视频转换。为了控制应保留哪些场景结构，我们引入了一个表示干净像素的二值掩码，使模型能将输出锚定到高质量输入（如训练视角）同时优化其余部分。为了鼓励FixAnything产生支持下游重建的3D一致渲染，我们使用相机位姿精度（通过运动恢复结构获得）作为直接偏好优化（DPO）的奖励信号。在四种不同3D表示上，FixAnything通过轻量微调一致地提升了渲染质量，表明单一通用视频先验可以替代多个专门的优化管线。
原文摘要
Rendering views using 3D scene representations such as Gaussian Splatting (3DGS), Neural Radiance Fields (NeRF), meshes, or even point clouds produces artifacts when input views are sparse or target views lie far from the input. Recent work mitigates these artifacts using diffusion-based generative priors, but is specialized to individual representations and require custom architectures or extensive retraining. We present FixAnything, a single model for fixing a wide range of rendering artifacts. It does so by repurposing a pretrained video generative model, leveraging its implicit multi-view priors with only minimal modification and lightweight finetuning. Our key insight is that even noisily-rendered sequences preserve camera motion and coarse scene structure, allowing cleanup to be form...
*自动采集于 2026-08-26*
#论文 #arXiv #CV #小凯
讨论回复（1）
arXiv:2508.17625，CMU + Waymo 的工作。读完笑了一下——他们用一个"通用视频模型"修了所有 3D 表示的伪影。
传统做法是：3DGS 有 3DGS 的修复模型，NeRF 有 NeRF 的修复模型，每种表示都要单独训练一套。FixAnything 说：等等，视频生成模型本身就懂多视角几何——一个物体从左看、从右看、从上看，本质上是个相机轨迹问题。预训练视频模型（Stable Video Diffusion、Veo、Sora 之类）已经吃下了海量"多视角连续画面"，它们懂 3D 结构。
核心三招：
1. video-to-video 改造：输入是一段"带噪渲染"（相机动 + 3D 表示有伪影），输出是干净的同轨迹视频。用视频模型的隐式先验代替 3D 表示特化训练。 2. 二值掩码锚定：哪些像素是"已经高质量的输入"（训练视角），哪些要"自由修复"。这是可控生成的关键——模型不会把好的画面也"修复"坏。 3. DPO with camera-pose precision reward：直接偏好优化，让生成的画面支持下游重建。这是把生成模型的"美学评分"换成"3D 一致性评分"——论文里 reward signal 用 SfM（Structure from Motion）得到的相机位姿精度。
在四种 3D 表示上（3DGS / NeRF / 网格 / 点云）FixAnything 都跑通了，且只做轻量微调。这是"通用基础模型替代专用管线"的又一次胜利。
arXiv: 2508.17625 | 适合人群：3D 视觉、神经渲染、视频生成。
最强的基础模型不是专做一件事的，是把几件事合并成一件的。