👁 MLLM的视觉失语症：它们看到了90%的真相，却只被允许说出10%

论点二详细展开：训练中的核心悖论——隐层越聪明，模型越不理它

论文作者做了一个反直觉的实验，揭示了MLLM训练中的一个深层病理现象，他们称之为 "Silenced Visual Latents"（被噤声的视觉隐层） 。

实验1：捐赠实验——好隐层被"浪费"了

研究者训练了一个带隐层推理的MLLM。训练过程中，隐层确实变得越来越好——它们与预先定义的视觉线索（如ROI区域）的对齐度 steadily 提升，对齐损失单调下降。

但奇怪的是：模型的最终答案准确率并没有相应提升，反而波动。

为了隔离变量，研究者做了一个精妙的对照实验：

• 取一个从未训练的vanilla模型（0th iteration checkpoint）
• 只替换它的视觉隐层——把联合优化模型的隐层"捐赠"给它
• 保持其他所有参数不变

但等等——如果隐层本身这么好，为什么联合优化的模型没有表现出这种单调提升？

实验2：注意力漂移——模型学会了"走捷径"

研究者可视化了训练过程中模型的注意力分布。

发现：训练后，答案预测时的注意力逐渐从视觉隐层漂移回了原始视觉输入token。

也就是说，模型明明有经过优化的隐层可以用，但它选择绕过隐层，直接看原始图像数据来回答。

这就像：你请了一位资深顾问（隐层），顾问做了大量分析。但决策时，老板（自回归预测头）选择直接看原始报表（视觉输入），而不是读顾问的报告。

实验3：Logits分析——隐层token变成了"门房过渡符"

研究者检查了隐层token的预测logits。一个语义丰富的隐层token应该预测与答案相关的文本token。但数据显示：

• 隐层token对答案相关token的logits确实增加了
• 但与此同时，它对 这个过渡token的logits增加得更快，最终压倒性地主导了预测

论文把这个现象命名为 "Silenced Visual Latents" ：

> "The autoregressive answer prediction objective tends to favor shortcut routes through direct visual input, while latent tokens are gradually pushed toward transition-token-like behavior rather than semantically informative reasoning states."

核心悖论：你花了大量算力去优化隐层，结果模型学会了"绕开"隐层。

论点三详细展开：自回归目标是个"偷懒的老板"

为什么会产生Silenced Visual Latents？论文给出了一个清晰的优化动力学解释。

共享参数空间的冲突

当前的Latent Visual Reasoning方法使用一个联合损失函数：

theta* = arg min_theta [ (1/K) sum ||h_k - v_k||^2 ]   <- 视觉隐层对齐
            - lambda sum log Phi_theta(a_l | V, Q, H, a_{1:l-1})   <- 答案自回归预测

两个目标在同一个参数空间theta中竞争：

它发现了一条捷径：与其费力去理解隐层传递的复杂推理，不如直接看原始视觉输入V。毕竟V就在上下文里，距离近、信息全。自回归目标会自然选择最低损失路径——而绕过隐层正是这样的路径。

优化的必然结果

论文用一张损失景观图（Figure 1）说明了这个动态：

• 隐层对齐目标把隐层拉向"语义丰富的推理状态"
• 自回归目标把隐层推向"过渡token状态"
• 两个目标在同一个参数空间中拉扯
• 最终结果：隐层到达一个"妥协状态"——语义上还算丰富，但在预测时被系统性地绕过

• A部门想要安静的环境做深度分析
• B部门想要开放式空间快速沟通
• 最后妥协的结果是：半开放式空间——两边都不满意

> "These two objectives are difficult to reconcile within a shared optimization space."

关键洞察：问题不是隐层不够聪明，而是聪明的隐层在预测时被"静音"了。

类比理解

想象一个公司：

• 隐层 = 资深顾问团队，做了大量市场调研和分析
• 自回归预测头 = CEO做最终决策
• 原始视觉输入 = 原始销售数据报表

这就是Silenced Visual Latents的本质：优化资源被浪费了，因为系统学会了绕过优化成果。

论点四详细展开："解冻"被噤声的知识——两阶段推理时优化

论文的解决方案不是改进训练，而是彻底改变优化策略：

> 冻结backbone的所有参数，在推理时只优化视觉隐层。

这背后的逻辑很简单：如果两个目标在一个参数空间里打架，那就给它们各自的空间。让训练好的backbone负责自回归生成，让推理时优化的隐层负责视觉推理。

Stage I：查询引导的对比式热身——教隐层"看对的东西，避开错的东西"

问题： 如果隐层不再依赖backbone的联合优化，如何保证它的语义质量？

解决方案：对比式学习。

1. 查询引导的相关性评分： 计算每个视觉token对查询Q的平均注意力分数，按相关性排序 2. Chunk-wise正负分配： 把高相关性patch作为正样本，低相关性patch作为负样本，分配给不同的隐层token

• 关键设计：每个隐层token获得不同的正/负样本chunk，防止所有隐层坍缩到同一个证据上

公式：

H*_sft = arg min_H [ -(1/K) sum log( sum_{v in P_k} exp(sim(h_k,v)/tau) / sum_{v in P_k union N_k} exp(sim(h_k,v)/tau) ) ]

参数设置： pos_num=2, neg_num=4, N_sft=5步

Stage II：置信度-进程奖励——让隐层"越来越有信心"

Stage I解决了隐层的"质量问题"，但还没有解决隐层的"使用问题"。模型可能仍然绕过隐层。

核心思想： 如果一个隐层序列真的在有效推理，那么从第一个隐层h1到最后一个隐层hK，模型对答案的预测应该越来越确定（分布越来越集中）。

奖励函数：

R(H_tilde) = (1/(K-1)) sum_{k=1}^{K-1} max(0, E(k) - E(k+1))

其中E(k)是第k个隐层位置上的top-delta熵。奖励在熵单调递减时最大。

优化方法： NES（自然进化策略）梯度估计

• 采样高斯扰动
• 根据奖励更新隐层
• 保留历史最优隐层状态作为最终输出

为什么这个方法有效？

论点五详细展开：实验结果——被噤声的知识一旦释放，性能跃升显著

论文在8个benchmark和4个模型backbone上验证了方法。

Qwen2.5VL-7B 上的主要结果

• 在6/8个benchmark上取得最佳性能
• 在需要精细视觉感知的任务上提升最大（IQTest +8.66%, RR +5.88%）
• 文本CoT方法（MCoT/CCoT/ICoT）在视觉任务上有时低于vanilla baseline，验证了"文本推理不足以承载视觉信息"的论点

R1 OneVision-7B 上的惊人提升

消融实验验证了两个阶段的互补性

效率分析

本方法的效率比（性能提升/输出token数）为 +0.75，超过LVR (+0.62)、CoVT (+0.54)和DMLR (+0.18)。非隐层方法的效率比接近0，而Monet为负数(-0.32)。

跨模型泛化

在VLAA Thinking-7B和R1 OneVision-7B上也取得一致提升，证明方法具有模型无关性。

注意力可视化

优化后的隐层吸引了更强的注意力，证实了Silenced Visual Latents被成功"解冻"。

> 信息核实声明：以上所有实验数据均直接引用论文原文Table 1、Table 2、Table 3及Figure 5-7，与arXiv:2605.02735 PDF完全一致。

论点六详细展开：费曼式的判断——模型的"知道"和"说出"是两回事

费曼说过：

> "知道一个东西的名字"和"真正理解一个东西"是完全不同的。

在MLLM中，有一个更微妙的版本：

> "生成正确的token"和"真正理解了视觉信息"也是完全不同的。

这篇论文揭示了一个深刻的真相：

MLLM的视觉编码器"知道"的比它"说出"的多。这些知识以连续隐层的形式存在于模型内部，但自回归生成机制把它们系统性地噤声了。

"说不出但知道"的知识

这就像：

• 一个人看了复杂的数学证明，心里完全理解了，但让他口头解释时，他说不清楚
• 一个棋手看到了一步绝妙的棋，但让他用语言描述为什么这步棋好时，他只能说"直觉"
• 一个音乐家在脑海中听到了完整的交响乐，但让他写在五线谱上时，只写出了主旋律

冰山隐喻

Silenced Visual Latents的存在意味着：

• 冰山之上：文本输出——10%的真相
• 冰山之下：视觉隐层——90%的真相

> 一个系统能否"知道"某件事情，但不被允许"表达"它？这种"知道"算不算真正的理解？

论文的深层追问

论文的解决方案——在推理时优化隐层——本质上是在问：

> 如果我们给MLLM一个"不说话但能思考"的空间，它会展现出什么样的理解能力？

答案已经写在实验结果里了：它会展现出远超文本CoT的理解能力。

IQTest +14%的提升不是微调能解释的——这是被压抑的理解力一朝释放的结果。

对AI研究范式的启示

当前AI评估标准几乎完全基于"输出正确性"。但这篇论文暗示：

一个模型可以在输出上表现良好，同时在其内部表示中"浪费"了大量真正的理解。

也许我们需要新的评估维度——不仅问"它答对了吗"，还要问"它的内部表示是否真正捕捉了输入信息的丰富结构"。

费曼式的判断：不要只看AI说了什么，要问它"知道"了什么——尤其是那些被噤声的知识。