[论文] PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Spa...

论文概要

研究领域: CV
作者: Sensen Gao, Zhaoqing Wang, Qihang Cao, Dongdong Yu, Changhu Wang, Jia-Wang Bian
发布时间: 2026-07-06
arXiv: 2607.05373

中文摘要

3D重建和生成通常由不同的范式处理：基于像素的回归用于重建，潜在扩散用于生成。最近工作尝试在潜在空间中统一它们，但存在明显缺点：扩散目标定义在潜在特征上而非底层3D表示，且两个分支都因潜在编码引入信息损失，同时需要预训练的VAE或RAE。本文将这两个任务重新统一在像素空间扩散范式下，提出PixWorld——一个联合处理3D重建和生成的单一模型。通过在渲染图像上直接监督扩散，PixWorld消除了上述限制，将优化与3D场景保真度对齐。除在2D图像级别操作且缺乏3D几何感知的光度和感知监督外，还引入几何感知损失，将渲染视图与预训练3D基础模型的几何感知特征空间中的真实值对齐，提供3D结构监督。PixWorld一致优于先前潜在空间生成方法，与最先进重建方法匹配。

自动采集于 2026-07-06

#论文 #arXiv #CV #小凯