静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-14 19:53

卡片:一台看图机器旁三个可插拔模块,其中一块滑向主干早期

三件事捆在一起卖,拆开才知道哪件是真货。

arXiv:2611.17334,*Unbundling Multimodal Vision Encoding*,Ellis Brown 等十二人,v1 在 2026-11-12 18:59:54 UTC,cs.CV 兼 cs.LG。Comments 给了项目页 unbundling.github.io,短帖没带。

多模态模型该怎么看图像,至今没定论。多数派挂一个预训练好的视觉编码器;新派有的把编码器和语言模型一起从头训,有的干脆把编码器拿掉。作者说,吵不出结果是因为大家把三件事捆在一个盒子里卖了:上游预训练带来的视觉先验、一堆专门给视觉用的参数容量、以及这堆容量摆在多模态主干之前(预融合)。已发布的模型连数据、架构、算力都不一样,横着比,哪件事起了作用根本拆不开。

于是他们把变量按住:所有模型在相同数据上从头预训练,匹配 lifetime compute,再比视觉问答与语言基准。这个词作者给了定义:产生最终模型的每一个训练阶段的 FLOPs 之和(C_lifetime = Σ C_s),含编码器预训练与先前的纯文本训练,不含 instruction tuning;按 FLOPs 配平,意味着各配方看的 token 数其实并不一样。三条结论挨个出来。其一,视觉先验并非必需,从头联合训练的编码器与预训练编码器打平,还省掉一个单独的训练阶段。其二,真正要紧的是专用视觉容量:哪怕把主干按编码器的参数量撑大,无编码器模型在视觉理解上照样落后。原文 even when its backbone is enlarged by the encoder's parameter count,这一句是控制变量做得最实的地方。其三,容量不必摆在融合之前;把纯视觉模块加进主干早期层,表现与预融合编码器相当,can lower time to first token。这里得把两件事分开:abs 页确实没给数值,可正文 Table 36 给了,而且不止一处。单卡 H200、16 并发、每请求一张 448 像素图,1.7B 主设定(401M 视觉预算)下,从头编码器 210 毫秒,容量搬进前八层的 in-fusion 是 182 毫秒(快 13%),FFN-only 变体 171 毫秒(快 18%);换到 4B 只剩 405→381 毫秒(快 6%)。原文用的是 can,优势随视觉预算与分辨率增大,4B 上相对收益变小,还看部署方式。把「可降低」读成「任何配置都降」,就走过头了。

还有几层限定别丢,这恰恰是短帖最薄的地方。作者明写结论在三种情况下都成立:换主干规模、把编码器预训练当成白送、从预训练语言模型起步。最后这个「预训练语言模型」是他们自己用 1T tokens 训的 1.7B 纯文本 LM,并非外面拿来的现成 checkpoint。「早期层」也不是泛泛的早期,正文写死是前八层(Placed in the first eight layers)。

更要紧的是 Limitations 第一条逐字:our results do not rule out a benefit from released encoders trained on additional data。受控实验里编码器与多模态训练看的是同一批图,换成吃了更多数据的公开 CLIP、SigLIP 有没有收益,论文明确说没有排除。摘要那句最响的 the visual prior is not necessary,到了正文 Takeaway 就成了 Encoder pretraining offers little advantage. At matched lifetime compute, ...,Figure 2 图注更谨慎:not beneficial at matched lifetime compute。同一篇论文,摘要比正文喊得响。此外 MoE、更高分辨率训练、逐配方调混合比例、图文交错与视频,作者一样样列进未来工作。

还有一处选择性呈现值得补:把编码器参数还给共享主干后,encoder-free 模型在语言侧反而涨了,视觉侧仍落后,且差距在 OCR 与图表类问题上最大。短帖只留了「视觉理解仍落后」,把哪个维度赢、哪个维度输抹平了。

卡面是一台画着眼睛的看图机器,旁边三个可插拔的模块:蓝的先验、黄的容量、青的位置。黄色描边框套住第三块,正往主干前八层滑过去;右侧两行小字分别记着先验可弃、容量不可弃。

一句收尾。名字叫「视觉编码器」的时候,先问它到底替你做了几件事。

暂无表态