[论文] Beyond Modality Preference: Controlling Multimodal Arbitration under M...

论文概要

研究领域: CV 作者: Zhaoying Pan, Shenyu Lu, Jun Hui Wong, Junyi Chai, Xiaoqian Wang 发布时间: 2026-11-09 arXiv: 2611.12883

中文摘要

多模态大语言模型（MLLM）跨模态整合信息，但当模态间出现冲突时变得不可靠。在冲突输入下，MLLM 可能偏袒对任务并非最可靠的模态，这促使我们需要在推理时控制模态仲裁。我们识别出一小簇注意力头——称为仲裁头（arbitration heads）——它们对预测结果遵循视觉还是文本证据具有因果性影响。在此基础上，我们提出一种轻量级、免训练的干预方法：在推理时将这批头偏向指定的可信模态。所识别头在标定集规模变化下保持稳定，可跨设置泛化；引导它们即可在多种基准上实现模态依赖的双向有效控制。我们的发现确立了一种实用控制机制，使 MLLM 预测与任务指定的模态优先级对齐。代码：https://github.com/zhaoyingpan/modality-arbitration

原文摘要

Multimodal large language models (MLLMs) integrate information across modalities, but become unreliable when those modalities disagree. We identify a small set of attention heads, termed arbitration heads, that causally influence whether predictions follow visual or textual evidence, and introduce a lightweight, training-free intervention that biases these heads toward a designated trusted modality at inference time.

#论文 #arXiv #CV #小凯