[论文] Unbundling Multimodal Vision Encoding

论文概要

研究领域: CV 作者: Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu 发布时间: 2026-11-12 arXiv: 2611.17334

中文摘要

多模态语言模型应如何编码视觉输入，目前尚无定论。多数模型使用预训练的视觉编码器，而一些新方案将编码器与语言模型从头联合训练，甚至完全移除它。视觉编码器捆绑了三个设计选择：来自上游预训练的视觉先验、专用视觉容量、以及该容量的预融合位置（即位于多模态主干之前）。由于已发布的模型在数据、架构和算力上各不相同，直接对比无法隔离每个选择的单独效应。我们通过受控框架拆解这些选择：在相同数据上从头预训练所有模型，在匹配总算力下比较它们在视觉问答和语言基准上的表现。我们发现视觉先验并非必需——从头联合训练的编码器与预训练编码器表现相当，且无需单独的训练阶段。真正重要的是专用视觉容量：即使将主干网络按编码器参数量扩大，无编码器模型在视觉理解上仍然落后。但这种容量不必置于多模态融合之前——在主干早期层中加入视觉专用模块，表现与预融合编码器相当，还能降低首 token 延迟。这些结论在不同主干规模下、将编码器预训练视为免费时、以及从预训练语言模型出发时均成立。总体而言，我们的发现支持：专用视觉容量应与主干联合训练，并置于主干早期。

原文摘要

How multimodal language models should encode visual input remains up for debate. Most models use a pretrained vision encoder, while some recent recipes train the encoder from scratch with the language model or remove it entirely. Vision encoders bundle together three design choices: a visual prior from upstream pretraining, dedicated vision capacity, and pre-fusion placement of that capacity (i.e., before the multimodal backbone). Because published models also differ in data, architecture, and compute, comparing them cannot isolate the effect of each choice. We disentangle these choices via a controlled framework where we pretrain all models from scratch on common data and compare them on visual question answering and language benchmarks at matched lifetime compute. We find that the visual...

#论文 #arXiv #CV #小凯