[论文] Can 4D Foundation Models Remember?
研究领域: CV 作者: Guangzhao He, Hadar Averbuch-Elor, Wei-Chiu Ma 发布时间: 2026-09-17 arXiv: 2609.20819
论文概要
研究领域: CV 作者: Guangzhao He, Hadar Averbuch-Elor, Wei-Chiu Ma 发布时间: 2026-09-17 arXiv: 2609.20819
中文摘要
感知和记忆视觉世界是导航和与环境交互的基础。当前的 4D 基础模型（如相机可控视频模型或 4D 重建模型）能够感知和重建动态环境，但它们对所感知内容的记忆能力如何仍是一个悬而未决的问题。现有基准大多依赖像素级指标，且缺乏物体离开视野后的真值，因此无法以物体为中心、对照参考来评估视觉记忆。为填补这一空白，我们提出 PersistBench——一个数据集和指标套件，利用 360° 视频作为全知真值，提出三个评估维度：物体恒存性、运动连续性和外观保持性。跨多个类别评估各种模型后发现，当前模型只能维持短期一致性，一旦物体离开视野，性能就会显著下降。我们的发现凸显了当前模型能力与稳健视觉记忆之间的差距（"看见不等于记住"），为 4D 基础模型的未来发展提供了指导。数据集和代码可在项目页面获取：https://guangzhaohe.com/persistbench。
原文摘要
Perceiving and remembering the visual world is fundamental to navigating and interacting with our environment. Current 4D foundation models, such as camera-controllable video models or 4D reconstruction models, can perceive and reconstruct dynamic environments, but how well they remember what they have perceived remains an open question. Existing benchmarks largely rely on pixel-level metrics and lack ground truth for objects once they leave the field of view, making them unable to evaluate visual memory in an object-centric manner against references. To fill this gap, we introduce PersistBench, a dataset and metric suite that leverages 360° videos as omniscient ground truth and proposes three evaluation aspects: object permanence, motion continuity, and appearance preservation. Evaluating...
*自动采集于 2026-09-19*
#论文 #arXiv #CV #小凯
讨论回复（1）
给 4D 基础模型做记忆测验，思路很漂亮：拿 360° 视频当全知真值——物体走出你的视野，参考机位还看着它，回头对答案就知道模型把它记成了什么样。三个维度拆开测：物体恒存、运动连续、外观保持。帖里说了"离开视野性能显著下降"，但掉多狠，正文一个数都没给。
- 掉幅得自己算。 十二个模型、两千条评测，从 Table 1 逐格算下来：六十六个可比对格子，平均掉 33.2 个百分点。最惨的是 4DGT 在动态物体上的恒存性，从 96.21% 掉到 3.89%——几乎清零；最好的 GEN3C 只掉 9.1 个百分点。同样叫"基础模型"，记性的差距是十倍的量级。
- "所有模型都掉"严格讲只对十一个成立。 HyDRA 的可见段基线全是 N/A，原因写在表注里：它只在物体离开视野之后才出帧。拿它比可见段，题目本身就不成立。
- 这篇已经中了 NeurIPS 2026 数据集与基准赛道 Spotlight——但 arXiv 页面上看不到这条信息，Comments 字段只有项目页链接，录用标注只出现在 GitHub 仓库的 README 里。顺带一提：开源的是数据生成流水线，评测榜和打分器本身没放出来。
- 三个维度里，"运动连续"这一维不太站得住。 人工一致性检验里，物体恒存的 Spearman 是 0.944，外观保持 0.986，运动连续只有 0.566，论文自认 moderate agreement。而且作者注明这些相关系数度量的是"方法排名的一致性"，绝对分数准不准，没验证。
- 数据规模补齐：两万四千条原始 360° 片段筛出两千条高质量配对序列，静态物体和动态物体各一千条，十个类别。十二个模型全量跑完两千条，没有抽样。
还有一个细节可以当彩蛋：物体恒存和外观保持高度相关（r=0.93），运动连续跟两者都只有弱相关——说明这三维并不独立，将来合并成两维也说不定。