高斯溅射与视频生成：显式表示驱动的汇流
3D Gaussian Splatting 与视频生成之交叉全景综述 ｜ 体例 APA 7.0 ｜ 成稿 2026-08-25
目录
- 一、引言：两股潮流为何汇流
- 二、技术基座：3D Gaussian Splatting 是什么
- 三、第一汇流点：动态与 4D 表示（重建维度）
- 四、第二汇流点：生成式 4D（创造维度）
- 五、第三汇流点：GS 作视频与世界模型表示
- 六、效率与压缩：让实时成为现实
- 七、正反 PK：GS 真能推动视频生成飞跃否？
- 正方 · 技术乐观
- 反方 · 局限批判
- 八、技术路线图与对比矩阵
- 九、挑战与 Benchmark
- 十、结论与展望
- 参考文献
文本版 · 供搜索与朗读
高斯溅射与视频生成 · 交叉全景综述
深度研究 · 交叉全景综述（Deep Research, Cross-cutting Survey）
高斯溅射与视频生成：显式表示驱动的汇流
3D Gaussian Splatting 与视频生成之交叉全景综述 ｜ 体例 APA 7.0 ｜ 成稿 2026-08-25
源流分级（deep-research 铁律）：Tier 1 同行评审 3DGS / 4D-GS / Deformable GS / Gaussian-Flow / Scaffold-GS / DreamGaussian / LightGaussian / GaussianVideo / TagSplat
Tier 2 预印本 WorldWarp / D2GV / GenMOJO / Ground4D / World from Motion / GaussianDreamer / 4D 生成综述 / 4DRep-GMI / Splatwizard / 3DGS.zip。凡引皆经 WebSearch 核验编号、出处、数字。
摘要。三维高斯溅射（3DGS）以「显式原语 + 可微光栅化」将 NeRF 推入实时之境。然其本为静态表示，何以与视频生成交汇？本文循交叉全景方略，辨其汇流为三：一曰动态与 4D 表示（重建维度），二曰生成式 4D（扩散先验雕形），三曰GS 作视频与世界模型之画布。复以正反两造 PK，论其「显式/实时/可编辑」之长与「存储膨胀/拓扑难塑/物理与时间一致性薄弱」之短，终拍板曰：当下最优解，在条件化、混合表示——以几何为骨，以扩散为 flesh。
一、引言：两股潮流为何汇流
夫视频生成者，历来以「像素网格时序」为基，扩散模型擅造外观之连续，而苦于多视角与时间之不一致——盖其所生，每帧皆「似真」，未必同属一世界。另一边，3DGS 以数百万可学习高斯原语（位置 μ、协方差 Σ、不透明度 α、球谐 SH）承载场景，可微光栅化令其秒级训练、数百 FPS 渲染（Kerbl et al., 2023）。
二者之汇流，实因一共同痛点：一致性。视频生成缺几何约束而漂，3DGS 缺生成先验而匮于未见之域。故近三年（2023–2026）研究，渐由「各擅其场」走向「以 GS 为画布、以扩散为笔」之合流。此即本综述之「和」字本意。
二、技术基座：3D Gaussian Splatting 是什么
3DGS 之核心，在以显式、可微、可编辑之高斯原语替 NeRF 之隐式体场。每原语参数为：位置 μ∈ℝ³、各向异性协方差 Σ=R S Sᵀ Rᵀ（旋转 R、缩放 S）、不透明度 α、视角相关色彩（球谐 SH）。渲染时投影为 2D 椭圆「splat」，按深度排序 alpha 混合并反传。
其优有三：一训速以分钟计（NeRF 以时计），二渲速达 100–300 FPS，三原语显式，便于剪枝、编辑、稠密化。然其弊亦萌于此：原语数随场景复杂度线性膨胀，存储与显存俱受其累；且静态框架本不言「时间」。
三、第一汇流点：动态与 4D 表示（重建维度）
将时间引入 3DGS，谓之 4D Gaussian Splatting。主流范式有二：逐帧迭代与形变场（deformation field）。
方法发表机制关键数字局限
4D-GS（Wu et al.）CVPR 2024时空结构编码 + MLP 形变解码高保真动态重建依赖稠密多视角
Deformable 3D Gaussians（Yang et al.）CVPR 2024canonical + 形变 MLP 查 4D 坐标单目动态人体剧烈非刚性形变弱
Gaussian-Flow（Lin et al.）CVPR 2024 Highlight双域形变 DDDM：时域多项式 + 频域傅里叶训练较逐帧快 5×，~125 FPS长程剧烈运动受限
Scaffold-GS（Lu et al.）CVPR 2024锚点 anchor + 神经高斯，视图自适应减冗余、提质量动态扩展有限
MoDec-GS / MoSca / OriGS / ODE-GS / EvoGSCVPR/NeurIPS 2025运动分解、4D 脚手架、ODE 连续动力学时序外推、样本高效各擅一场，未归一
Devil's Advocate 一击：上表所列，胜在「已被观测之域」。一旦遮挡、拓扑突变、视角外推，纯光度优化之形变场即现结构漂移（Ground4D 实证，见后）。此非枝节，乃 dynamic GS 之根本软肋。
四、第二汇流点：生成式 4D（创造维度）
重建只能「复现所拍」，生成方能「凭空造物」。4D 生成之难，不在多一维时间，而在几何、外观、运动、跨视角四项须同时稳。Miao 等（2025）之综述将范式析为四类：
端到端：直接学 4D 分布（理想终局，唯赖大数据）；
生成中间数据：先造多视角/多时视频，再喂入既有 4D 重建管线（任务分解之智）；
隐式蒸馏（SDS）：以扩散为裁判，反复渲染—问差—反传，雕 4D 表示（灵活而贵）；
显式监督：直接以参考视频/多视图/几何监督，效高可控（前层数据须可靠）。
Text/Image → 4D：DreamGaussian（Tang et al., ICLR 2024）以 2 分钟成 3D、约 10× 加速，开「GS + 生成」之先河；GaussianDreamer（Yi et al., 2023）桥接 2D 与 3D 扩散，造可操控高斯物体。
Video → 4D（2026 年之锋锐）：
GenMOJO（Chu et al., CMU+TRI, 2025）：多物体遮挡场景之 video-to-4D；
Ground4D（Zhao et al., 中山+清华, 2026, arXiv:2606.28828）：以 3D 基础模型 VGGT 做训练免几何初始化，再以动态 GS 精炼，DyCheck 上 mPSNR 19.43 dB、Chamfer 0.226，正揭「纯光度优化致结构漂移」之病；
World from Motion / WfM（Zhu et al., 斯坦福+NVIDIA, 2026, arXiv:2607.01202）：闭环最巧——初重建动态 3DGS → 渲染 RGB/Depth/Normal/3D Scene Flow 为 4D buffer → 条件化视频生成模型造「虚拟多视角」→ 深度反投影、增新高斯、重优 motion，写回单一一致 4DGS。DyCheck 19.78 mPSNR、MultiCamVideo 27.43 PSNR，俱为 SOTA。
五、第三汇流点：GS 作视频与世界模型表示
GaussianVideo（Bond et al., Koc+Adobe, ICCV 2025, arXiv:2501.04782）：层次化 GS + Neural ODE 学连续相机运动 + B-样条运动 + 时空层次学习。不依赖预计算相机参，内存省、时序一致强；令高斯运动自然涌现语义连贯，非强监督光学流所迫。
WorldWarp（Kong et al., 新国大+理大, 2025, arXiv:2512.19678）：以在线 3DGS 几何缓存为结构锚，以时空扩散 ST-Diff 为生成精炼；时变噪声调度——空白区满噪以生、扭曲区半噪以修，chunk-by-chunk 生成 200 帧长程几何一致视频。诀：3D 逻辑导结构，扩散逻辑完美纹理。
D2GV（Liu et al., 交大+UMKC, 2025, arXiv:2503.05600）：可变形 2D GS 表视频，GoP 并行、CUDA 光栅化，解码超 400 FPS，质量匹敌乃至超 INR，兼擅插帧/修复/去噪。
六、效率与压缩：让实时成为现实
显式表示之代价，在膨胀。三文为压缩立柱：LightGaussian（Fan et al., NeurIPS 2024 Spotlight, arXiv:2311.17245）15× 压缩、200+ FPS；3DGS.zip（Bagdasarian et al., CGF 2025）统九类模块之压缩综述；Splatwizard（Liu et al., 2025, arXiv:2512.24742）3DGS 压缩 Benchmark 工具包，使压缩可度量。
Devil's Advocate 二击：压缩常以画质/编辑性为价。15× 之后，原语之「可编辑」优势是否尚存？此须以任务定夺，不可一概而论。
七、正反 PK：GS 真能推动视频生成飞跃否？
正方 · 技术乐观
显式即可控：每原语可读、可编辑、可绑定骨架，优于 NeRF 黑箱与视频像素；
实时即落地：百 FPS 渲染，使交互世界、数字人、自驾仿真可得；
可组合即系统：GS 作画布，扩散、物理、轨迹皆可叠加（WfM、WorldWarp 为证）；
数据高效：以强模态先验雕弱模态，避端到端大数据之困。
反方 · 局限批判
存储/显存膨胀：原语数随复杂度线性涨，长程场景不堪；
拓扑难塑：拓扑突变、非刚大形变、烟雾毛发，变形场乏力（TagSplat, CVPR'26 直言开放）；
物理与时间一致性薄弱：纯光度优化致结构漂移、长程时序漂移（Ground4D、WfM 共证）；
多视角先验不一致：扩散「每帧似真、合之非一世界」，须几何回投约束；
透明/反射材质弱：逊于体渲染之 NeRF；锯齿闪烁犹在。
拍板（Devil's Advocate 整合结论）。GS 非「取代扩散」，而为「承托扩散」之显式骨架。当下最优解，乃条件化混合表示：以几何（GS/3D 基础模型）立骨，以扩散（视频/多视图）补 flesh，以物理/轨迹/深度为约束回填。端到端 4D foundation model 固为终局，然在数据、统一生成框架、效率三项未齐前，混合表示最切实用。此与 Miao 等（2025）「先找承载问题之表示，再谈生成」之方法论，若合符节。
八、技术路线图与对比矩阵
方法发表类型核心机制速度/指标一句话定位
3DGSSIGGRAPH'23静态表示显式高斯 + 可微光栅化100–300 FPS实时表示之基
4D-GSCVPR'244D 重建时空编码 + MLP 形变高保真动态入门
Deformable 3D GSCVPR'244D 重建canonical + 形变场单目人体形变场范式
Gaussian-FlowCVPR'24 HL4D 重建DDDM 双域形变~125 FPS, 5×快高效动态
Scaffold-GSCVPR'24静/动anchor + 神经高斯减冗余视图自适应
DreamGaussianICLR'24生成 4DGS + 扩散2 分钟成 3D生成先河
GaussianDreamer2023生成 4D桥接 2D/3D 扩散可操控text→4D
GenMOJO2025video→4D多物体遮挡重建DAVIS/MOSE遮挡场景
Ground4D2026video→4DVGGT 初始化 + GS 精炼mPSNR 19.43几何一致性
World from Motion2026video→4D虚拟观测蒸馏回 3DGSDyCheck 19.78闭环 SOTA
GaussianVideoICCV'25视频表示层次 GS + Neural ODE高/低动俱优世界模型雏形
WorldWarp2025世界模型在线 3DGS 缓存 + ST-Diff200 帧长程一致
D2GV2025视频表示可变形 2D GS>400 FPS极速解码
LightGaussianNeurIPS'24压缩剪枝+蒸馏+哈希15×, 200+ FPS压缩标杆
九、挑战与 Benchmark
拓扑与一致性：拓扑一致动态网格（TagSplat, CVPR'26）、跨视角/长程时序漂移，仍为开放题；
物理合理性：PhysTwin（ICCV'25）等倡物理信息重建，然「动得像真」未普适；
Benchmark 缺口：4D 评测多沿用 PSNR/SSIM/LPIPS/FVD/CLIP，抓不住「跨视角一致、长程漂移、几何-外观错配」之真败因（Miao et al., 2025 之警）；
统一框架：今之系统仍「图像扩散管外观、视频扩散管动、多视图管视角」，一致性多留后处理扛；
数据：大规模、多条件、多动态类型之 4D 数据稀缺，端到端 foundation model 难立。
常用指标：PSNR、SSIM、LPIPS、FPS、显存占用、Chamfer Distance、mPSNR（DyCheck）、PCK@0.05（3D track）。
十、结论与展望
3DGS 与视频生成之汇流，非偶合，而因「一致性」这一共同焦虑。三年之间，已由静态表示（Kerbl'23）→ 动态 4D（CVPR'24 诸作）→ 生成式 4D（2025–26 之 WfM、Ground4D）→ 视频/世界模型画布（GaussianVideo、WorldWarp、D2GV），并以压缩（LightGaussian 等）谋落地。
拍板之见：短期以条件化混合表示为实用之锚——几何立骨、扩散补 flesh、物理/深度回填；长期则向统一 4D 生成框架与大规模多条件数据挺进。凡涉交互式世界、数字人、自驾仿真、具身智能者，GS 与视频生成之合流，方其始也。
参考文献
Bagdasarian, M., et al. (2025). 3DGS.zip: A survey of 3D Gaussian Splatting compression. Computer Graphics Forum.
Bond, A., Wang, J.-H., Mai, L., Erdem, E., & Erdem, A. (2025). GaussianVideo: Efficient video representation via hierarchical Gaussian splatting. In ICCV. arXiv:2501.04782
Chu, et al. (2025). GenMOJO: Generating multi-object 4D scenes from monocular video. arXiv:2506.12716
Fan, Z., et al. (2024). LightGaussian: Unbounded 3D Gaussian compression with 15× reduction and 200+ FPS. In NeurIPS. arXiv:2311.17245
Guo, H., Weng, D., Su, M., et al. (2026). TagSplat: Topology-aware Gaussian splatting for dynamic mesh modeling and tracking. In CVPR. arXiv:2512.01329
Kerbl, B., Kopanas, G., Leimkühler, B., & Drettakis, G. (2023). 3D Gaussian Splatting for real-time radiance field rendering. ACM TOG, 42(4), 139. arXiv:2308.04079
Kong, H., Yang, X., Zheng, X., & Wang, X. (2025). WorldWarp: Propagating 3D geometry with asynchronous video diffusion. arXiv:2512.19678
Lin, Y., Dai, Z., Zhu, S., & Yao, Y. (2024). Gaussian-Flow: 4D reconstruction with dynamic 3D Gaussian particle. In CVPR (pp. 21136–21145). arXiv:2312.03431
Liu, M., Yang, Q., Zhao, M., Huang, H., Yang, L., Li, Z., & Xu, Y. (2025). D2GV: Deformable 2D Gaussian splatting for video representation in 400FPS. arXiv:2503.05600
Liu, et al. (2025). Splatwizard: A toolkit for benchmarking 3D Gaussian splatting compression. arXiv:2512.24742
Lu, T., et al. (2024). Scaffold-GS: Structured 3D Gaussians for view-adaptive rendering. In CVPR. arXiv:2312.00109
Miao, Q., Li, K., Quan, J., et al. (2025). Advances in 4D generation: A survey. arXiv:2503.14501
Tang, J., et al. (2024). DreamGaussian: Generative Gaussian splatting for efficient 3D content creation. In ICLR. arXiv:2309.16653
Wu, G., Yi, T., Fang, J., et al. (2024). 4D Gaussian Splatting for real-time dynamic scene rendering. In CVPR. arXiv:2310.08528
Yang, Z., Gao, X., Zhou, W., Jiao, S., Zhang, Y., & Jin, X. (2024). Deformable 3D Gaussians for animatable humans from monocular videos. In CVPR. arXiv:2309.13101
Yi, T., et al. (2023). GaussianDreamer: Text to manipulable 3D Gaussian objects with generated multi-view images. arXiv:2310.03585
Zhao, M., et al. (2025). Advances in 4D representation: Geometry, motion and interaction. In ICLR. (4DRep-GMI)
Zhao, Q., Deng, W., Wei, P., & Lin, L. (2026). Ground4D: Consistency-aware 4D reconstruction from monocular video. arXiv:2606.28828
Zhu, L., Huang, S., Mazumdar, A., Li, T., Gojcic, Z., Wetzstein, G., Armeni, I., De Mello, S., & Trevithick, A. (2026). World from Motion: Generative dynamic Gaussian reconstruction from monocular video. arXiv:2607.01202
来源分级铁律（deep-research）：Tier 1 同行评审——3DGS(SIGGRAPH'23)、4D-GS/Deformable GS/Gaussian-Flow/Scaffold-GS(CVPR'24)、DreamGaussian(ICLR'24)、LightGaussian(NeurIPS'24)、GaussianVideo(ICCV'25)、TagSplat(CVPR'26)；Tier 2 预印本——WorldWarp、D2GV、GenMOJO、Ground4D、World from Motion、GaussianDreamer、Miao 等 4D 生成综述、Zhao 等 4DRep-GMI、Splatwizard、3DGS.zip 综述。凡引皆经 WebSearch 核验编号、出处、数字，无「不可证引用」入库。
智柴 · 深度研究出品 ｜ 交叉全景综述 ｜ 成稿 2026-08-25 ｜ 离线可读，无外部依赖
讨论回复（1）
用费曼的笔法谈"高斯溅射"
这是一篇写给"刚听见这个词、想搞懂它到底在干嘛"的朋友的入门文。目标不是堆术语，而是让你脑子里真的能"看见"它。
一、从一个让侦探头疼的问题开始
假设你手里有一百张照片——全是同一座咖啡馆，从各个角度拍的。咖啡馆已经烧了，没法再进去拍照。
现在有人问你："能让我从任何一个新角度'走进去'看一眼吗？"
这件事比你想的要难。
我们今天要聊的高斯溅射（3D Gaussian Splatting），就是过去几年里工程师给出的一个相当漂亮的答案。它本身不复杂——真要说穿了，不过是"用一堆模糊的彩色小果冻来还原世界"。但真要说穿了又不简单，因为"果冻"怎么会刚好摆对位置？又怎么能做到每秒跑几十张流畅画面？
我们慢慢来。
二、第一层思维转换：世界不是壳，是雾
传统三维建模教我们：世界是由点和面组成的。桌子是长方体，人是多面体模型，地面是个平面。这套思路叫"几何"，听起来很合理。
但如果你拍一百张照片，里头那只猫蜷着身子、歪着脑袋、半只爪子伸出来——你真要把它拼成由三角形拼成的"模型"，基本是在自讨苦吃。毛怎么表达？玻璃杯的反射怎么表达？那种半透明灯罩透出的暖光晕怎么表达？
费曼在康奈尔讲课时常说一句话："在你学会之前，你会觉得事情理所当然是某种样子。"我们以为世界"当然是几何体拼起来的"——但那只是我们建模的方便，不是世界本身的样子。
真正"长什么样"的，是光。
换个角度想：与其说"这里有张桌子"，不如说"从这个方向、这个位置看过去，看到一团亮亮的颜色"。这是一种体积或者说雾式思考——世界不是一个壳，是一团团有体积感的发光云朵。
高斯溅射，就是把这个直觉做到了极致。
三、第二层：什么是"高斯"？
别被"高斯"两个字吓到。你每天都在用它，只是没意识到。
- 桌上放本书，光从窗户斜过来——影子边缘是清晰还是模糊？模糊的。
- 空气里飘的烟，边界清楚吗？不清楚。
- 拍照失焦时，景深外的那棵树长什么样？一团一团的。
把它想象成一小团彩色棉花糖。棉花糖的中心最浓、最不透明；越往边缘，透明度越低，颜色也越淡。把成千上万团这样的棉花糖，按某种三维结构堆在空间里——你得到的就是一个"由模糊小团构成的场景"。
这就是高斯溅射里的"高斯"：一团有位置、有形状（椭球）、有颜色、有透明度的小云朵。
一千团"各有性格"的彩色小棉花糖，飘在三维空间里。这就是你的"世界"。
四、第三层：怎么把这些小棉花糖摆对地方？
到这里有个问题：这些小棉花糖的位置、形状、颜色、透明度，从哪儿来？
答案是——从照片里长出来。
具体说：你手头有几十张照片，你知道每张照片的相机位置（这个可以用现成算法从照片里估计，叫 SfM）。对每一团小棉花糖，你都可以算出"如果从这个相机的角度看，它该贡献多大的颜色"。把所有小棉花糖的贡献加起来，就得到一张预测画面。
把预测画面和真实照片比一比，差距算出来。然后反过来，把每一团棉花糖的位置挪一点点、形状扭一点点、颜色调一点点、透明度改一点点——朝着让差距变小的方向挪。
这叫梯度下降，你大概听过。换个费曼爱用的说法：
你在黑夜里站在山上，想下山。你不知道山长什么样，但你能感觉到脚下哪边更陡。你往最陡的下坡方向迈一步。再感觉，再迈一步。重复很多很多次，你就下到山谷了。
把每团棉花糖当成一个"小爬山者"，所有的棉花糖一起爬山。它们爬到的山底，就是"和照片最像"的配置。
这一步，是高斯溅射最神奇的地方——它没有手抠模型，而是一群小棉花糖自己学会了"自己该在哪儿"。
五、第四层："溅射"是怎么回事？
好了，现在我们有一千团棉花糖悬浮在三维空间里，每团都有自己的椭球形状。要把它们画到二维屏幕上，怎么画？
这一步叫溅射（splatting）。
你可以把它想成给每团棉花糖拍个 X 光。每团棉花糖对着屏幕"投"出一个二维的、有形状的、模糊的色斑。把所有这些色斑按深度顺序叠起来（近的盖远的），一张画面就成了。
为什么要叫"溅射"？ 因为这些色斑是从三维"溅"到二维上的——就像你往墙上甩一把颜料，每一滴颜料飞过去、糊成一个印子。每一团高斯，对应屏幕上的一坨色斑。
这一招妙在哪儿？
- 传统光线追踪：从摄像机射出千万条光线，每条都得算它在场景里撞到啥、被啥反射、最后啥颜色——慢得要命。
- 溅射反过来：从场景出发往屏幕"扔"，每团棉花糖只算一次——快得惊人。
六、为什么这件事这么轰动？
2023 年，一篇来自苏黎世联邦理工和 INRIA 的论文（Kerbl 等人）把这个思路做到了极致。一上来就宣布：
渲染速度达到实时，照片级画质，从一堆照片到三维场景只要几十分钟训练。
它之所以重要，不是因为它"新"——很多零件都是从别的领域借来的（高斯函数早就有、梯度下降早就有、溅射的思路八十年代就有了）。它重要在，把这些零件拼到一块儿，效果出奇地好。
在它之前，要"从一堆照片得到一个可以自由漫游的三维场景"：
- 要么用 NeRF，质量好但渲一帧要几秒甚至几分钟；
- 要么用传统几何方法，建模累得要死，还搞不定毛玻璃。
七、把所有东西串成一句话
费曼说过一句被引用太多次的话，大意是："我造不出来的东西，我就不算理解。"
如果你让我用一句话讲明白高斯溅射，我会这样说：
把世界想成由一团团 模糊的小云朵 组成；
这些云朵的形状、颜色、位置、透明度，靠 对照照片一步步爬山调出来；
最后，从场景主动 "甩" 到屏幕上画出来。
这串动作的每一环，你都能用日常的东西去理解：
- 云朵 → 棉花糖；
- 爬山 → 你自己的经验；
- 甩到墙上 → 你小时候玩过的事。
八、它不是终点
如果你哪天看到一个高斯溅射渲染出来的场景，发现一只小猫的胡须有点糊、玻璃的反射有点花—— 别觉得是 bug。这种方法本质上是 近似，不完美。但它用一份能接受的不完美，换到了人眼看不出差别的速度。
这才是工程师真正在做的事：在"完美"和"够用"之间挑一个聪明的位置。
下一步，已经有一堆新工作在跟进：让它抗遮挡更好、让它能编辑单团高斯、让它能动态变形、让它能塞进手机。技术天天在变。
但这个故事的 "骨头"不会变：
用一堆不完美的近似，去逼近一个复杂的世界；
让小棉花糖们在山上集体爬山；
最后，把光从世界里 "甩"到你的眼睛里。
懂了骨头，剩下的就是添肉。
*写给想搞懂高斯溅射到底在干嘛、而不是只想背几个名词的朋友。*