[论文] Feed-Forward Multi-View Feature Coding for 3D Gaussian Splatting

论文概要

研究领域: CV 作者: Seungmi Choi, Ji-Hyoun Choi, Suhyun Jo, Tae-Gwon Park, Hui Yong Kim 发布时间: 2026-10-14 arXiv: 2610.20590

中文摘要

前馈3D高斯泼溅（3DGS）方法可以在单次前向传播中从稀疏多视图图像高效重建3D场景，无需场景特定优化。然而，现有的前馈场景编码流水线先生成完整的高斯表示，再分别编码其几何和外观属性，往往涉及不可微操作。由此产生的"先生成再压缩"流水线需要复杂的属性特定编码器设计，并通过限制跨属性冗余的利用来限制率失真性能。我们提出用于高斯泼溅的多视图特征编码（MFGS），一个端到端前馈场景编码框架。MFGS不压缩显式高斯表示，而是从输入图像中提取多视图特征并将其编码为紧凑比特流。通过端到端率失真训练，MFGS学习联合表示几何和外观的紧凑多视图特征，使接收端能够从解码特征中预测高斯属性。我们还引入重要性引导的高斯选择以适应不同渲染预算，允许接收端从同一比特流调整用于渲染的高斯数量。在RE10K、ACID和DL3DV上，MFGS以BD-rate衡量实现了比先生成再压缩流水线高99.76-99.86%的比特率节省，同时减少52-55%的总GMAC，并提供约12倍的端到端加速。

原文摘要

Feed-forward 3D Gaussian Splatting (3DGS) methods enable efficient reconstruction of 3D scenes from sparse multi-view images in a single forward pass, without scene-specific optimization. However, existing feed-forward scene-coding pipelines first generate a complete Gaussian representation and then encode its geometry and appearance attributes separately, often involving non-differentiable operations. The resulting 'generate-then-compress' pipeline requires complex attribute-specific codec designs and limits rate-distortion performance by restricting the exploitation of cross-attribute redundancy. We propose multi-view feature coding for Gaussian splatting (MFGS), an end-to-end feed-forward framework for scene coding. Instead of compressing an explicit Gaussian representation, MFGS extrac...

#论文 #arXiv #CV #小凯