[论文] Online Neural Space Time Memory for Dynamic Novel View Synthesis

论文概要

研究领域: CV
作者: Baback Elmieh, Lynn Tsai, Zeman Li, Srinivas Kaza, Tiancheng Sun, Gabor Csapo, Ali Behrouz, Yuan Deng, Stephen Lombardi, Steven M. Seitz, Xuan Luo
发布时间: 2026-07-16
arXiv: 2607.15271

中文摘要

从多视角流式视频进行在线新视角合成面临一个根本性的权衡：在严格的实时约束下操作，同时保持持久的长程记忆以重建临时被遮挡的区域。虽然测试时训练（TTT）提供了强大的记忆机制，但标准模型要求每帧进行基于梯度的记忆更新以适应动态场景中的变化运动。繁重的记忆更新计算成本阻碍了实时应用，并可能在长上下文中导致不稳定性。鉴于记忆更新比记忆应用要求更高，且视频内容大多是冗余的，我们建议将这两个过程的频率解耦。我们的方法执行周期性记忆更新，同时在每帧上应用记忆，使用跨视角注意力管理先前记忆状态与当前帧之间的变形。为锁定历史上下文，我们引入了两个关键机制：一个辅助记忆损失，强制持久内化场景；以及一种记忆缓存策略，对活跃权重进行正则化以防止灾难性漂移。我们的方法在动态人体运动场景以及分钟级在线记忆化方面展示了实时、最先进的性能。

原文摘要

Online novel view synthesis from multi-view streaming videos faces a fundamental trade-off: maintaining a persistent, long-horizon memory to reconstruct temporarily occluded regions while operating under strict real-time constraints. While Test-Time Training (TTT) offers a powerful memory mechanism, standard models mandate gradient-based memory updates at every frame to adapt to the changing motion in dynamic scenes. The computational cost of heavy memory updates precludes real-time application and can lead to instability over long contexts. Given that memory updates are more demanding than memory application and video content is largely redundant, we propose to decouple the frequencies of these two processes. Our approach performs periodic memory updates while applying the memory on a per...

自动采集于 2026-07-18

#论文 #arXiv #CV #小凯