多模态模型的数字住在哪：Gemma4 内部发现一个跨模态共享的数值几何

一个直觉问题

你给多模态模型看两道题：

• 文本输入："17 + 35 ="
• 图片输入：一张白底黑字写着 "91 - 39" 的图片

两道题的答案都是 52。模型在两种情况下输出了同一个数字。那么问题来了：模型脑子里那个"52"是同一个概念，还是两套独立的计算管线各自产出了相同的结果？

这个问题比看起来难回答得多。传统的表示相似度方法（RSA、CKA）在这里会骗你——它们会给"完全相同的方向"和"旋转后的方向"打同样的分数，也会因为两个表示都在准备输出同一个数字而给出"相似"的假象。

Apple 和 UAB 的研究团队用因果干预的方法，在 Gemma4-12B-it 的残差流里挖出了一个令人意外的结构：四个条件（文本加法、文本减法、图像加法、图像减法）共享同一个数值几何，但用不同的坐标系表达它。 更意外的是，这个共享几何的大部分藏在模型输出层"看不见"的地方。

论文：Beyond the Readout: A Latent Numerical Frame Shared Across Modality and Operation

为什么相似度方法不够用

假设你想确认"文本里的 52"和"图片里的 52"在模型内部是不是一回事。最直觉的做法是：把两种情况下残差流的激活向量拿出来，算余弦相似度或者用 CKA。如果相似度高，就认为它们"一样"。

问题在于：相似度高不等于因果机制相同。

想象两个坐标系，一个用经纬度表示位置，另一个用极坐标表示同一个位置。两个坐标向量看起来完全不同，但描述的是同一个点。反过来，两个向量看起来很像，可能只是因为它们都在准备输出同一个数字 token——和"是否共享数值概念"无关。

研究团队的选择是：不要看表示长什么样，要看改了它会发生什么。

因果干预：DAS 子空间交换

方法叫 Distributed Alignment Search（DAS），核心思路很直接：

1. 在 Gemma4-12B-it 的第 43 层残差流里，找一个 22 维的子空间 2. 训练一个正交基 R，使得在子空间内"交换"两个不同输入的坐标，模型的答案也跟着交换 3. 如果交换成功，说明这个子空间在因果上控制着模型对数字的表示

四个条件各训练一个子空间：文本加法 \(R_{T+}\)、文本减法 \(R_{T-}\)、图像加法 \(R_{I+}\)、图像减法 \(R_{I-}\)。

类比：想象模型内部有四间办公室，每间办公室里都有一个保险箱存着数字。DAS 就是在每间办公室里找到保险箱的坐标，然后验证"把 A 办公室保险箱里的东西搬到 B 办公室"之后，B 办公室输出的答案也跟着变。

关键数据

22 维子空间在四个条件下的自回归干预精度（IIA_AR）：

而如果只用 Fourier 对齐方向（之前研究 Llama 时很有效的方向），在 Gemma4 里只能恢复 23% 的因果效应——远低于 Llama3.1-8B 的 84%。现代多模态模型的数值表示比早期 LLM 分布得更散。

第一个发现：方向不同，但几何相同

把文本加法训练的子空间 \(R_{T+}\) 直接拿来用在图像加法上，因果效应只恢复了 53.2%。跨模态直接复用平均只有 45.5%。

结论 1（否定 Q1）：四个条件并不在相同的残差流方向上编码数字。

但故事没完。研究团队做了一个关键操作：拟合一个缩放旋转 \(\alpha Q\)，把源条件的子空间位移映射到目标条件。

结果：

• 直接复用：53.2% 恢复
• 仅旋转 \(Q\)：71.8% 恢复
• 旋转 + 缩放 \(\alpha Q\)：91.4% 恢复
• 无约束线性映射：96.3%（只多了 5 个百分点）

一个旋转加一个标量缩放，几乎做到了无约束线性映射能做的一切。

更有意思的是缩放因子 \(\alpha\) 的物理含义：

• 文本 → 图像：\(\alpha \approx 0.65\)（视觉表示被压缩了）
• 图像 → 文本：\(\alpha \approx 1.28\)（反过来看，文本表示比视觉"大"约 1.5 倍）

类比：四个条件的数字住在同一栋楼里，但每间办公室的坐标系旋转了不同角度，视觉办公室的尺子还比文本办公室的短了一截。一旦你知道旋转角度和尺子比例，就能在任何两间办公室之间翻译数字。

组合性

更漂亮的实验：如果同时改变模态和运算（比如文本加法 → 图像减法），直接拟合的映射恢复 80.7%。而先做模态旋转再做运算旋转（分两步走），恢复 79.9%——几乎一样。

这意味着模态和运算的几何变换是可组合的，像两个独立的旋转矩阵相乘。

第二个发现：数字几何不在输出层

到这里有个合理的怀疑：也许四个条件共享几何，只是因为它们都在准备输出同一个数字 token。共享的不是"数字概念"，而是"输出接口"。

研究团队做了一个精确的分解：

1. 取数字 0-9 的 unembedding 向量 \(W_{dig}\) 2. 减去均值后正交化，得到一个 9 维的"读出基" \(U_{dig}\) 3. 把 22 维因果子空间按与 \(U_{dig}\) 的对齐程度排序，在第 9 维处切开 4. 得到两个正交子空间：

• D（9 维）：与输出层耦合，直接控制下一个 token 是哪个数字
• L（13 维）：在 \(U_{dig}\) 的零空间里，输出层"看不见"

如果把 D 投影掉，自回归干预精度从 82.6% 暴跌到 0.8%。D 几乎承担了所有即时输出控制。

但 L 里有什么？

L 里有完整的数字。

在 L 子空间里：

• 跨条件位移余弦相似度：0.807
• 未见值的 top-1 检索准确率：75.5%（随机基线 5%）
• top-5 检索：98.8%
• 无拟合 RSA 检验：\(\rho = 0.765\)（随机 13 维子空间 0.545）

类比：想象模型是一个学生考试。D 是他正在写的那个数字，L 是他脑子里已经算好但还没写到卷子上的后续数字。老师（输出层）只能看到 D，看不到 L。但 L 确确实实存着答案。

全局同步

更进一步的实验：四个条件的 L 子空间是否能同步到一个统一坐标系？

用正交群同步（orthogonal group synchronization）把四个条件各自的 13 维坐标系同时对齐，参数从 948 个降到 237 个。结果：

• 独立拟合的 pairwise 映射：73.4% top-1 检索
• 全局同步：74.8% top-1 检索（几乎不变）
• 留出一对条件不参与同步，从其余十对重建：71.1% top-1

四个条件共享同一个 13 维数值坐标系，只是各自旋转了不同角度。

如果强制让同一模态内的加减法共享坐标系，检索准确率从 74.8% 暴跌到 18.1%——说明不同运算确实需要不同的坐标系。

第三个发现：L 控制下一个数字

这里出现了一个看似矛盾的现象：

• L 子空间可靠地编码了完整数字（检索 75.5%）
• 但单独干预 L 只在 3.2%-6.4% 的情况下改变了模型输出

L 有信息，但似乎不影响输出。为什么？

答案在于自回归模型的生成机制：模型必须一位一位地输出答案，但算术运算需要一次性算出完整结果。

研究团队设计了一个精巧的"不匹配干预"实验：

1. 取一个 base 输入（比如 17+14=31） 2. 取两个 donor：y=52 和 ỹ=57（共享十位数 5，个位数不同） 3. 构造一个混合状态：D 部分来自 y=52，L 部分来自 ỹ=57 4. 看模型输出什么

结果：

• 第一个数字（十位）：96.5% 概率不受影响（D 控制）
• 第二个数字（个位）：77.6% 概率跟着 L 走（ỹ 的个位数 7），而不是跟着 D 走

D 控制当前 token，L 控制下一个 token。

更精确的追踪：在干预后的第 44 层，L 的修改对读出方向的影响接近零（\(\gamma_{44} \approx 0.11\)）。但到了第 45 层——一旦注意力机制读到了修改后的 KV-cache——影响跳到 \(\gamma_{45} \approx 0.72\)，最终层中位数达到 0.85。

L 通过注意力机制在下一步把自己"翻译"成 D 能理解的方向。

类比：想象一个同声传译员在翻译一个长数字。他听到 "fifty-two" 时嘴上说着 "5"（D 在工作），但脑子里已经存好了 "2" 准备下一步说（L 在缓冲）。L 不是"不影响输出"，而是"不影响当前这一步的输出"——它影响的是下一步。

为什么这件事重要

1. "表示相似"不等于"机制相同"

这篇论文给"Platonic Representation Hypothesis"（不同模态的表示会收敛到同一个现实模型）加了一个重要的限定：收敛的是几何关系，不是坐标方向。 如果你只看 RSA/CKA，你会高估一致性，因为你把"旋转后的同一结构"和"真正相同的方向"混为一谈。

2. 计算和输出是解耦的

模型不是"算一步输出一步"。它在第 43 层就把完整答案算好了，存在 L 里，然后通过注意力机制逐位释放到 D。这和 Anthropic 在 Claude 里发现的"latent planning"现象一致——模型在输出之前就已经在内部表示里"想好了"完整答案。

3. 视觉表示被压缩了

\(\alpha \approx 0.65\) 不是偶然。视觉模态的数值位移系统性小于文本模态。这可能解释了为什么跨模态直接复用子空间时，图像→文本比文本→图像效果更好——图像表示"更小"，放大到文本空间更容易，反过来压缩会丢信息。

4. Fourier 不是终点

在 Llama3.1 上，Fourier 方向能恢复 84% 的因果效应。在 Gemma4 上只有 23%。随着模型变强、变多模态，数值表示从"整齐的 Fourier 周期结构"演化成了"更分散的因果子空间"。更好的模型不一定有更整齐的内部结构，可能恰恰相反。

方法的局限

• 实验范围限于 [0, 99] 的加减法。乘法的表示更分散、更依赖深度，没有纳入四条件分析
• 只测了 Gemma4-12B-it 和 Ministral-3-14B 两个模型
• 代码"即将发布"（截至论文写作时）
• 没有定位到具体哪些注意力头在执行 L→D 的转换

工程启示

如果你在做多模态模型的可解释性工作：

1. 不要只看表示相似度。RSA 和 CKA 会骗你。因果干预是验证"是否真的共享"的唯一可靠方法。 2. 输出层看到的不是全部。模型内部有大量结构在输出层的零空间里。如果你只分析 unembedding 附近的方向，你会错过 L 这样的"缓冲区"。 3. 跨模态对齐需要考虑缩放。不只是旋转，还有表示幅度差异。视觉表示可能比文本表示"更紧凑"。 4. 时序很重要。在自回归模型里，同一个子空间在不同时间步扮演不同角色。L 在当前步是"隐藏"的，在下一步是"控制"的。

个人思考

这篇论文最让我着迷的是那个"不匹配干预"实验。你把 D 指向 52，把 L 指向 57，模型就先写 5 再写 7。这不是"模型被骗了"，而是"模型在按自己的时序计划工作"——它早就算好了完整答案，只是在等注意力机制把它从 L 搬到 D。

这和我们在 LLM 里看到的很多现象可能有深层联系：

• 思维链为什么有效：也许不是因为模型"一步一步想"，而是因为每一步生成都给了 L 里的预计算结果一个被释放到 D 的机会
• 为什么模型有时"知道但说错"：也许 L 里的答案是对的，但 L→D 的转换在某一步出了问题
• 为什么多模态对齐难：不只是"图像和文本的表示空间不同"，而是"它们共享几何但用不同坐标系，而且视觉坐标系的尺子还短了一截"

从"表示相似"到"因果对齐"，从"输出层"到"输出层的零空间"，从"单步干预"到"时序调度"——这篇论文把机制可解释性的三个层面都推进了一步。

---

论文：arXiv:2610.37422 作者：Oriol Juan Sabater (UAB), Alex Ferrando de las Morenas, Pau Rodríguez, Xavier Suau (Apple) 模型：Gemma4-12B-it, Ministral-3-14B 代码：论文声明"即将发布"