VideoMM: Adaptive Macro-Micro Inference for Efficient Video MLLMs

📄 arXiv: 2609.16722v1 📥 PDF

作者: Haoyu Guo, Yuan Feng, Junlin Lv, Mingjun Xiao, S Kevin Zhou, Xike Xie

分类: cs.AI, cs.CL, cs.CV, cs.MM

发布日期: 2026-09-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出VideoMM以解决长视频理解中的视觉令牌爆炸问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态大语言模型 视觉令牌 语义过滤 自适应感知粒度

📋 核心要点

  1. 现有方法在长视频理解中面临视觉令牌数量激增的问题，导致计算成本高昂且上下文窗口饱和。
  2. 本文提出VideoMM框架，通过在宏观代理上进行语义过滤，解耦选择与推理，从而实现高效的视频理解。
  3. 实验结果显示，VideoMM在LongVideoBench上实现了6.13倍的速度提升和7.4%的准确率提升，表现优于现有方法。

📝 摘要（中文）

随着多模态大语言模型（MLLMs）在长视频理解中的应用，视觉令牌的激增导致上下文窗口饱和和高昂的计算成本。现有方法主要依赖辅助模型进行令牌减少，但面临轻量级编码器忽视关键信息与重型MLLM驱动的效率损失之间的困境。本文提出VideoMM，通过在成本效益高的宏观代理上执行语义过滤，将选择与推理解耦，仅在必要时将选定区域投影到高保真微观令牌上，从而实现高效的视频理解。实验表明，VideoMM在LongVideoBench上实现了6.13倍的加速和7.4%的准确率提升，并在当前领先方法上进一步加速2.73倍，建立了长视频理解的可扩展范式。

🔬 方法详解

问题定义：本文旨在解决长视频理解中视觉令牌数量激增导致的计算效率低下问题。现有方法在令牌减少上存在轻量级编码器忽视语义信息与重型MLLM效率损失的矛盾。

核心思路：VideoMM的核心思路是通过在宏观代理上进行语义过滤，解耦选择与推理，从而在必要时才使用高保真的微观令牌进行详细理解。这种设计旨在减少冗余的细节处理，提高整体效率。

技术框架：VideoMM框架包括两个主要模块：宏观代理和微观令牌。宏观代理负责从下采样帧中进行语义过滤，而微观令牌则在选择的区域上进行高保真处理。

关键创新：VideoMM的创新在于将选择与推理解耦，采用自适应感知粒度的方法，避免了传统方法中的信息损失与效率低下的矛盾。

关键设计：在设计上，VideoMM使用了特定的参数设置以优化宏观代理的性能，并在微观令牌的生成中引入了新的损失函数，以确保在必要时提供高质量的视觉信息。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，VideoMM在LongVideoBench上实现了6.13倍的速度提升和7.4%的准确率提升，相较于全上下文基线表现显著优越。此外，VideoMM在当前领先方法上进一步加速2.73倍，展示了其在长视频理解中的高效性和可扩展性。

🎯 应用场景

VideoMM的研究成果在长视频理解、视频内容分析和多模态交互等领域具有广泛的应用潜力。其高效的处理能力能够支持实时视频分析和增强现实等技术的发展，未来可能在智能监控、自动驾驶和虚拟现实等场景中发挥重要作用。

📄 摘要（原文）

Scaling Multimodal Large Language Models (MLLMs) to long-form video understanding is bottlenecked by the explosion of visual tokens, which saturates context windows and incurs prohibitive costs. Current solutions predominantly rely on auxiliary models for token reduction but face a fundamental dilemma: lightweight encoder-driven approaches often overlook critical semantic information, whereas heavyweight MLLM-driven reduction negates the efficiency gains. {In this work, we identify a more fundamental inefficiency underlying this dilemma: while fine-grained visual details are essential for detailed understanding, they are largely redundant for the preliminary task of selecting semantically relevant regions. } Motivated by this, we introduce \textbf{VideoMM}, which marks a paradigm shift from model-centric downsizing to adaptive perceptual granularity. Specifically, our framework {decouples selection from reasoning} by executing semantic filtering on a cost-effective \textit{Macro Proxy} (derived from downscaled frames), and projecting the selected regions onto high-fidelity \textit{Micro Tokens} for detailed understanding only when necessary. Extensive evaluations show that VideoMM significantly outperforms existing solutions. It achieves a 6.13$\times$ speedup and a 7.4\% accuracy gain over full-context baselines on LongVideoBench, and further accelerates inference by 2.73$\times$ over current leading methods, establishing a highly scalable paradigm for long-video understanding. Our code is available at: https://github.com/adfh917k/VideoMM.