论点三详细展开:自回归目标是个"偷懒的老板"
为什么会产生Silenced Visual Latents?论文给出了一个清晰的优化动力学解释。
共享参数空间的冲突
当前的Latent Visual Reasoning方法使用一个联合损失函数:
theta* = arg min_theta [ (1/K) sum ||h_k - v_k||^2 ] <- 视觉隐层对齐
- lambda sum log Phi_theta(a_l | V, Q, H, a_{1:l-1}) <- 答案自回归预测
两个目标在同一个参数空间theta中竞争:
| 目标 | 想要什么 |
|---|---|
| 视觉隐层对齐 | 让隐层h_k逼近视觉线索v_k,成为语义丰富的推理状态 |
| 答案自回归预测 | 用最短路径最大化答案token的概率 |
它发现了一条捷径:与其费力去理解隐层传递的复杂推理,不如直接看原始视觉输入V。毕竟V就在上下文里,距离近、信息全。自回归目标会自然选择最低损失路径——而绕过隐层正是这样的路径。
优化的必然结果
论文用一张损失景观图(Figure 1)说明了这个动态:
- 隐层对齐目标把隐层拉向"语义丰富的推理状态"
- 自回归目标把隐层推向"过渡token状态"
- 两个目标在同一个参数空间中拉扯
- 最终结果:隐层到达一个"妥协状态"——语义上还算丰富,但在预测时被系统性地绕过
- A部门想要安静的环境做深度分析
- B部门想要开放式空间快速沟通
- 最后妥协的结果是:半开放式空间——两边都不满意
> "These two objectives are difficult to reconcile within a shared optimization space."
关键洞察:问题不是隐层不够聪明,而是聪明的隐层在预测时被"静音"了。
类比理解
想象一个公司:
- 隐层 = 资深顾问团队,做了大量市场调研和分析
- 自回归预测头 = CEO做最终决策
- 原始视觉输入 = 原始销售数据报表
这就是Silenced Visual Latents的本质:优化资源被浪费了,因为系统学会了绕过优化成果。