[论文] Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient M...

论文概要

研究领域: CV
作者: Aimon Rahman, Joymallya Chakraborty, Vidit Bansal, Abhishek Dan
发布时间: 2026-10-13
arXiv: 2610.18858

中文摘要

多模态大语言模型发展迅速，但大多数仍针对单图像输入优化。多图像推理成本高昂，因为每张图像增加大量视觉 token，加大编码和注意力开销。现有技术（包括视觉 token 剪枝、token 合并、视觉 token 压缩、学习重采样、分层压缩、检索增强视觉推理和基于记忆的架构）大多针对单图像场景设计，其中冗余主要是空间和局部的。多图像推理带来额外挑战：冗余可能跨图像出现，任务相关证据可能稀疏或分散，激进的逐图像压缩可能移除比较、计数、时序推理、检索或证据锚定所需的细节。此外，现有 token 缩减方法要么（i）免训练但推理低效（通常依赖访问注意力矩阵获取 token 重要性，在使用 FlashAttention 等内存高效注意力实现时不切实际），要么（ii）依赖训练（需要基础 MLLM 重训练或适配到新的压缩 token 范式）。本文研究在不重训练基础模型、不在推理时访问注意力矩阵条件下的可扩展多图像推理与理解。为此我们提出 mmVB——一个轻量级即插即用模块，通过跨图像上下文分配查询条件的逐图像 token 预算，仅增加 1.6M 可训练参数即减少 9 倍视觉输入 token。这一缩减带来 5 倍更快的首 token 时间和 7 倍更少的预填充 FLOPs，同时在八个多图像推理基准上保持 94.4% 的全分辨率准确率。

原文摘要

Multimodal large language models have advanced rapidly, but most remain optimized for single-image inputs. Multi-image reasoning is costly because each image adds many visual tokens, increasing encoding and attention demands. Existing techniques that address the above issue, including visual token pruning, token merging, visual token compression, learned resampling, hierarchical compression, retrieval-augmented visual reasoning, and memory-based architectures, have largely been designed for single-image scenarios, where redundancy is primarily spatial and local. Multi-image reasoning introduces additional challenges: redundancy may occur across images, task-relevant evidence may be sparse or distributed, and aggressive per-image compression can remove details needed for comparison, countin...

自动采集于 2026-10-15

#论文 #arXiv #CV #小凯