VLM 的空间感知幻觉：当模型答对题目，内心却一无所知
你问 CLIP："杯子在桌子上吗？"它答对了。但这个"对"是怎么来的？是它真的理解了"on"这个空间关系，还是只是看到"cup"和"table"两个词的统计关联就蒙对了？
你问 CLIP："杯子在桌子上吗？"它答对了。但这个"对"是怎么来的？是它真的理解了"on"这个空间关系，还是只是看到"cup"和"table"两个词的统计关联就蒙对了？
这个问题听起来像哲学，但最近一篇来自 Tel Aviv University 的论文用一组精密的实验给出了答案——答案让人不寒而栗。
一杯水暴露的真相
先做一个最简单的对照实验。你给模型看两张图：一张是"杯子在桌子上"，另一张是"杯子在桌子下"。然后你把文字描述里的"on"换成"beneath"，看模型的内部表示会不会跟着变。
如果模型真的理解空间关系，它的内部向量应该有一个清晰的方向性变化——"on"和"beneath"是相反方向的空间关系，表示应该可区分。
这就是论文提出的 EICS（Evaluation-Invariant Concept Stability） 指标的核心思想：在控制其他一切不变的情况下，只改变一个概念，看模型的内部表示能不能跟上这个变化。能跟上，说明模型真的编码了这个概念；跟不上，说明这个信息在内部表示中丢失了。
作为基准线，他们还做了一个最朴素的 BoW（词袋模型）对照——就是把句子拆成单词，数每个词出现几次，完全不考虑顺序和上下文。这个模型简单到侮辱智商，但它给了一个关键参照点：如果连词袋模型都能区分的信息，VLM 的深层表示反而区分不了，那问题就大了。
令人震惊的数字
实验结果可以用一张表概括：
| 概念类型 | BoW 基准 | CLIP L12 | 保留率 |
|---|---|---|---|
| 颜色（red/blue/...） | +0.332 | +0.312 | 94% |
| 空间关系（on/beneath/...） | +0.372 | +0.070 | 19% |
更扎心的是 SigLIP 的数据。这个模型在 SugarCrepe 基准测试上的关系准确率是 70.6%——三个对比模型里最高的。但它的空间 EICS 只有 +0.038，置信区间下界接近零。考试分数最高的学生，空间理解最差。 这不是讽刺，这是评测盲区。
信息是在哪里丢的？
论文做了一个精巧的定位实验。他们不是只看 [EOS] 池化表示（就是整句话的最终向量），还看了"谓词自身 token"的表示——就是"on"、"beneath"这些词所在位置的隐藏状态。
结果发现：在谓词 token 本身的位置，空间关系是可识别的。但一旦经过池化聚合到句子级表示，这个信息就被冲掉了。
这就像你在公司里问某个工程师："这个 bug 修了吗？"他说"修了"。但到了全员大会上，这个信息被层层汇报稀释，最后变成"大概没问题了"。信息在聚合过程中被平均掉了。
论文还测了 mean pooling（对所有 token 取平均），结果空间 EICS 只从 +0.070 升到 +0.093，远低于 BoW 的 +0.372。不管怎么池化，空间信息都保不住。
图像能补回来吗？
一个自然的想法：既然文字端丢了空间信息，图像端能不能补回来？毕竟 CLIP 是视觉-语言模型，图像里明明有"杯子在桌子上"的视觉证据。
论文测了图像-标题相似度在干预前后的变化。结果：视觉锚定对颜色干预有帮助，但对空间干预几乎没用。 在空间关系被替换后，图像仍然偏好原始标题的比例只有 34%——略低于随机。
这意味着 CLIP 的图像编码器本身也没有有效地编码"on vs beneath"这种空间关系。视觉端和语言端在空间理解上是双重失明。
为什么这件事很重要？
这篇论文的深层贡献不是"VLM 空间理解差"——这个之前就有工作指出。它的真正贡献是揭示了三个层面的脱钩：
第一层：行为正确 ≠ 表示忠实。 模型可以在基准测试上答对 70% 的空间问题，但内部表示根本没有编码空间关系。它靠的是词汇统计关联——看到"cup"和"table"就猜"on"，因为训练数据里这三个词经常一起出现。这不是理解，是条件反射。
第二层：基准准确率 ≠ 表示质量。 SigLIP 在 SugarCrepe 上准确率最高，空间 EICS 最低。两个指标不仅不一致，还反向相关。这意味着我们现有的评测体系在系统性误导我们——分数高的模型可能恰恰是表示质量最差的模型。
第三层：局部编码 ≠ 全局可用。 空间关系在谓词 token 位置是可读的，但在聚合表示中丢失了。这就像一个组织里，信息在最底层是存在的，但在向上传递的过程中被系统性抹除了。
对 AI 安全的启示
这篇论文和最近一系列"评测盲区"工作形成了完整的谱系：
- 引用忠实度（Cited but Not Consulted）：模型引用法条但判决不依赖法条
- 确定性陷阱（TT = C·(A - φ/2)）：100% 确定性但只有 51% 正确
- 能力锚定陷阱（METR）：整体预测性强的指标在局部区间失效
"标量幻觉"再添一例：不能问"VLM 空间理解准不准"，要问"在表示层面，空间信息保留了多少"。 前者用基准准确率回答，后者用 EICS 回答，两个答案可能完全相反。
一个让人后背发凉的类比
想象一个翻译官，他能把"杯子在桌子上"翻译成 10 种语言，每次都对。你以为他理解了空间关系。但有一天你把原图换掉——杯子其实在桌子下面——他的翻译完全不变。因为他从来不是在翻译"空间关系"，他只是在翻译"cup"和"table"这两个词的固定搭配。
CLIP 就是这个翻译官。它答对了很多空间问题，但答对的机制和空间理解无关。
当我们把这样的模型部署到自动驾驶、机器人导航、医疗影像分析这些需要真实空间理解的场景时，"答对题目"和"理解空间"之间的鸿沟就会变成事故。
这篇论文给了一把尺子（EICS）和一个考场（CASP-VL），让我们终于能量化这个鸿沟有多深。答案令人不安：比词袋模型还浅。
论文： When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
作者： Shubh Garg, Chen Shani (Tel Aviv University)