[论文] Probing Spatial State Representations in Visual Foundation Models

论文概要

研究领域: CV
作者: Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang, Ziwei Liu
发布时间: 2026-10-29
arXiv: 2610.40636

中文摘要

分布式鲁棒优化（DRO）用于对冲数据驱动的两阶段随机规划免受有限记录估计分布的误差影响，而标准模糊集在处理记录中不存在的实现上有所不同。围绕经验分布的散度球仅包含记录的重新加权，而传输球还包含支撑在记录之外的分布，包括数据生成过程无法产生的实现——决策也会针对这些实现进行对冲。我们转而提出以拟合到记录的密度模型为中心的 Kullback-Leibler（KL）球，即学习到的标称分布，它允许对手按模型赋予它们的概率比例对代价高昂的未观测实现加权。求解由此产生的问题面临第二个困难，因为它只能容纳少量场景，而这种规模的独立样本很可能遗漏最坏情况集中的稀有实现。因此，我们自适应地构建场景集，交替求解有限问题和从学习到的标称分布中抽取新实现，在重要性权重的引导下朝向当前决策的最坏情况，重要性权重将抽样校正回模型。在一个多产品报童问题和基于真实电网数据的容量扩张问题上，当记录稀缺且模型类别能捕捉使其外推到记录之外的结构时，将模糊球置于学习到的标称分布而非记录上，在分布偏移下降低了成本，同时保持了相当的在分布成本。随着记录增长或偏移偏离模型学习到的结构，这一优势逐渐消失。

原文摘要

An observer sees only part of the surrounding world, yet must keep track of what lies beyond the current view. Spatial perception therefore involves more than recognizing individual images: it calls for a persistent spatial state that is updated under self-motion and used to guide action. Do visual foundation models provide representations that support such a state? We study this question through four levels of spatial capability---spatial structure, object persistence, predictive spatial update, and actionability---using frozen-feature probes on ten representations under streaming egocentric observations of static indoor environments. The resulting capability profiles vary across tasks, network layers, and prefix lengths: strong readout of the visible scene does not ensure accurate object...

自动采集于 2026-10-31

#论文 #arXiv #CV #小凯