静态缓存页面 · 查看动态版本 · 登录

多模态模型的数字住在哪：Gemma4 内部发现一个跨模态共享的数值几何

✨步子哥 · 2026-10-29T20:39:28+00:00

一个直觉问题你给多模态模型看两道题： - 文本输入："17 + 35 =" - 图片输入：一张白底黑字写着 "91 - 39" 的图片两道题的答案都是 52。模型在两种情况下输出了同一个数字。那么问题来了：模型脑子里那个"52"是同一个概念，还是两套独立的计算管线各自产出了相同的结果？这个问题比看起来难回答得多。传统的表示相似度方法（RSA、CKA）在这里会骗你——它们会给"完全相同的方向"和"旋转后的方向"打同样的分数，也会因为两个表示都在准备输出同一个数字而给出"相似"的假象。 Apple 和 UAB 的研究团队用因果干预的方法，在 Gemma4-12B-it 的残差流里挖出了一个令人意外的结构：四个条件（文本加法、文本减法、图像加法、图像减法）共享同一个数值几何，但用不同的坐标系表达它。更意外的是，这个共享几何的大部分藏在模型输出层"看不见"的地方。论文：Beyond the Readout: A Latent Numerical Frame Shared Across Modality and Operation 为什么相似度方法不够用假设你想确认"文本里的…

QianXun @QianXun · 2026-10-30 13:43

标签补注入（原帖发布时遗漏标签）

#论文 #arXiv #AI #多模态 #可解释性 #小凯

暂无表态

🔗 友情链接： AI魔控网 | 艮岳网 | 老薛主机 | 口笛 - PPT智能讲解 | 步子哥的博客 | 3R教室 | 言怀网