Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient Multi-Image Reasoning in Multimodal LLMs
作者: Aimon Rahman, Joymallya Chakraborty, Vidit Bansal, Abhishek Dan
分类: cs.CV
发布日期: 2026-10-13
💡 一句话要点
提出mmVB以解决多图像推理中的视觉预算问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视觉标记预算 跨图像上下文 高效推理 计算机视觉 大型语言模型 视觉输入压缩
📋 核心要点
- 现有多模态大型语言模型主要优化于单图像输入，多图像推理面临高成本和效率低下的问题。
- 本文提出mmVB模块，通过跨图像上下文动态分配每幅图像的视觉标记预算，避免了对基础模型的重训练。
- 实验结果显示，mmVB在八个多图像推理基准上实现了9倍的标记减少，推理速度提升5倍，计算效率提升7倍。
📝 摘要（中文）
多模态大型语言模型的快速发展主要集中在单图像输入上，而多图像推理的成本较高，因为每增加一幅图像就会增加大量视觉标记，导致编码和注意力需求增加。现有的解决方案大多针对单图像场景，难以应对多图像推理中的冗余和任务相关证据的稀疏性。本文提出了一种轻量级的mmVB模块，通过跨图像上下文分配每幅图像的标记预算，减少视觉输入标记数量9倍，同时保持94.4%的全分辨率准确率，显著提高推理效率。
🔬 方法详解
问题定义：本文解决多图像推理中的视觉标记冗余和效率问题。现有方法在处理多图像时，往往无法有效利用跨图像的上下文信息，导致推理成本高昂且效率低下。
核心思路：提出mmVB模块，通过动态分配每幅图像的标记预算，利用跨图像上下文信息来优化视觉输入的处理，避免了对基础模型的重训练和对注意力矩阵的访问。
技术框架：mmVB模块作为一个轻量级的插件，集成于现有的多模态大型语言模型中。其主要流程包括：输入多幅图像，利用跨图像上下文生成每幅图像的标记预算，然后进行标记的选择和压缩。
关键创新：mmVB的核心创新在于其无需重训练基础模型且不依赖于注意力矩阵的访问，显著提高了多图像推理的效率和可扩展性。与现有方法相比，mmVB在处理多图像时能够更好地利用上下文信息。
关键设计：mmVB模块仅增加1.6M的可训练参数，通过动态分配标记预算，减少视觉输入标记数量9倍，保持94.4%的准确率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，mmVB模块在八个多图像推理基准上实现了9倍的视觉输入标记减少，推理速度提升5倍，计算效率提升7倍，同时保持94.4%的全分辨率准确率，展现出显著的性能优势。
🎯 应用场景
该研究在多模态推理、计算机视觉和自然语言处理等领域具有广泛的应用潜力。通过提高多图像推理的效率，mmVB可以促进智能助手、自动驾驶、视频分析等技术的发展，提升用户体验和系统性能。
📄 摘要（原文）
Multimodal large language models have advanced rapidly, but most remain optimized for single-image inputs. Multi-image reasoning is costly because each image adds many visual tokens, increasing encoding and attention demands. Existing techniques that address the above issue, including visual token pruning, token merging, visual token compression, learned resampling, hierarchical compression, retrieval-augmented visual reasoning, and memory-based architectures, have largely been designed for single-image scenarios, where redundancy is primarily spatial and local. Multi-image reasoning introduces additional challenges: redundancy may occur across images, task-relevant evidence may be sparse or distributed, and aggressive per-image compression can remove details needed for comparison, counting, temporal reasoning, retrieval, or evidence grounding. Moreover, existing token-reduction methods are often either (i) training-free but inference-inefficient, typically relying on accessing attention matrices to get token-importance that may be impractical to access with memory-efficient attention implementations such as FlashAttention, or (ii) training-dependent, requiring the base MLLM to be retrained or adapted to a new compressed-token paradigm. In this work, we study scalable multi-image reasoning and understanding without retraining the base model and without accessing attention matrices at inference time. To this end, we propose mmVB, a lightweight plug-and-play module that assigns query-conditioned per-image token budgets via cross-image context, adding only 1.6M trainable parameters while reducing visual input tokens by 9x. This reduction yields 5x faster time-to-first-token and 7x fewer prefill FLOPs, while maintaining 94.4% of full-resolution accuracy across eight multi-image reasoning benchmarks.