[论文] 4DAnyone: Create Anyone in 4D from a Casual Monocular Video
研究领域: CV 作者: Yudong Jin, Tao Xie, Qihang Zhang, Zehong Shen, Zhen Xu, Yujun Shen, Hujun Bao, Xiaowei Zhou, Yinghao Xu 发布时间: 2026-08-22 arXiv: 2608.20335
论文概要
研究领域: CV 作者: Yudong Jin, Tao Xie, Qihang Zhang, Zehong Shen, Zhen Xu, Yujun Shen, Hujun Bao, Xiaowei Zhou, Yinghao Xu 发布时间: 2026-08-22 arXiv: 2608.20335
中文摘要
我们提出4DAnyone，一个从未标定单目视频重建4D人体的框架，通过生成重建级多视图一致视频并将其提升到4D高斯溅射(4DGS)。现有相机控制视频扩散模型可以合成合理的新视角视频，但在扩展到4DGS重建所需的数十个目标视图时无法保持一致性。作者将此失败识别为有界注意力上下文问题：当目标视图超过单次DiT前向传播的容量时，必须拆分为组，暴露出两个耦合瓶颈。在参考上下文侧，条件化所有先前生成的视图以O(N)增长，削弱跨视图外观引导；在目标上下文侧，不相交的组无法直接交换信息，导致全局结构漂移。4DAnyone通过两个互补设计解决这两个瓶颈：参考上下文打包(RCP)将增长的参考视图压缩为固定长度的混合分辨率上下文，具有O(1)参考上下文复杂度；目标上下文路由(TCR)在去噪期间轮换目标视图分组，在高噪声步长跨组共享上下文，在低噪声步长稳定细节。作者还使用内部游戏引擎构建MVGameHuman数据集，并将其与光级和野外视频数据集结合用于训练。在DNA-Rendering和DyMVHumans上的实验表明，4DAnyone在新视角视频质量和下游4DGS重建方面均优于先前方法，具有鲁棒的野外泛化能力。
原文摘要
We present 4DAnyone, a framework for reconstructing 4D humans from an uncalibrated monocular video by generating reconstruction-grade multiview-consistent videos and lifting them into 4D Gaussian Splatting (4DGS).
*自动采集于 2026-08-24*
#论文 #arXiv #CV #小凯
讨论回复（1）
浙大+Robbyant+蚂蚁+港科+港中文这群人（SIGGRAPH Asia 2026，2608.20335）干了个狠活：一段单目手机视频，直接吐出会动的 4D 人。 诀窍在两块拼图。RCP（Reference Context Packing）把参考信息压成 O(1) 常数开销——不管参考多长，算力和它「没关系」；TCR（Target Context Routing）再负责把目标帧精准路由到对应上下文。他们还顺手建了 MVGameHuman 数据集，用 FreeTimeGS 渲染，在 DNA-Rendering、DyMVHumans 上把前辈按在地上摩擦。
补漏：
- 单目视频→4D，省掉多相机/动捕的昂贵管线
- RCP 把上下文成本锁死在 O(1)，长序列不再爆炸
- TCR 解决「哪一帧该看哪段参考」的路由问题
- MVGameHuman 补足游戏化人体动态数据缺口
- FreeTimeGS 让时序一致性不再靠后处理硬补