Bifocal: Training-Free Mixed Granularity Visual Token Pruning for Multimodal LLMs

📄 arXiv: 2610.18399v1 📥 PDF

作者: Peiran Yin, Hao Wu, Zihao Yang, Fengyu Zhou, Yijuan Liang, Haozhe Hu, Xudong Wang, Wei Zhang, Xiaoyu Shen

分类: cs.CV

发布日期: 2026-10-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出Bifocal以解决多模态大语言模型的视觉标记修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉标记修剪 细粒度任务 图像理解 视觉问答 无训练方法 混合粒度框架

📋 核心要点

  1. 现有的视觉标记修剪方法在细粒度任务上表现不佳，导致整体性能与特定任务性能之间的矛盾。
  2. Bifocal是一种无训练的两阶段修剪方法，通过混合粒度框架分配预算，优化视觉标记的选择。
  3. Bifocal在所有三个模型的九种预算设置中，使用约四分之一的原始视觉标记，保留超过90%的未修剪性能，表现优异。

📝 摘要（中文）

多模态大语言模型（MLLMs）的视觉标记修剪方法表现出色，现有方法在常见的视觉问答基准上保留超过95%的未修剪性能，且仅使用四分之一的视觉标记。然而，我们对十种方法在三种MLLM家族和五个能力组的广泛评估揭示了一个关键问题：强大的整体性能往往以细粒度任务（如OCR和视觉定位）的严重退化为代价。我们将这些失败归因于当前方法的两个局限性：单一的重要性排名忽视了不同任务所需的互补证据，而稀疏的标记选择破坏了图像内容和空间完整性。为了解决这些问题，我们提出了Bifocal，这是一种无训练的两阶段修剪方法，基于混合粒度框架，分配独立预算给查询聚焦和图像内在证据，并通过整个图像的粗略表示进行补充。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型中的视觉标记修剪问题，现有方法在细粒度任务上表现不佳，导致整体性能与特定任务性能之间的矛盾。

核心思路：Bifocal通过无训练的两阶段修剪方法，采用混合粒度框架，分别为查询聚焦和图像内在证据分配预算，以优化视觉标记的选择。

技术框架：Bifocal的整体架构包括两个主要阶段：第一阶段在LLM之前，通过软结合匹配问题词与视觉区域，第二阶段在LLM内部，利用密度调整的文本到图像注意力进一步修剪标记。

关键创新：Bifocal的核心创新在于其混合粒度框架和无训练的修剪策略，使其能够在保持高性能的同时，解决现有方法在细粒度任务上的不足。

关键设计：Bifocal在选择视觉标记时，采用了基于图像显著性的归一化偏差平衡的软结合方法，并在LLM内部使用密度调整的注意力机制，以最大化表示覆盖率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Bifocal在所有三个模型的九种预算设置中，使用约四分之一的原始视觉标记，保留超过90%的未修剪性能，且在所有能力组中均表现优异，排名第一，显示出其在视觉标记修剪中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括视觉问答、图像理解和人机交互等。通过优化视觉标记的选择，Bifocal能够提升多模态大语言模型在细粒度任务上的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual token pruning for multimodal large language models (MLLMs) appears highly effective, with existing methods retaining over 95% of unpruned performance on common VQA benchmarks using a quarter of the visual tokens or fewer. However, our extensive evaluation of ten methods across three MLLM families and five ability groups reveals a critical gap: strong general performance often comes at the cost of severe degradation on fine-grained tasks such as OCR and visual grounding. We trace these failures to two limitations of the prevailing paradigm of retaining the highest-ranked native patches. A single importance ranking overlooks the complementary evidence required by different tasks, while sparse patch selection disrupts both image content and spatial integrity. To address these limitations, we propose Bifocal, a training-free, two-stage pruning method built on a mixed-granularity framework. It allocates separate budgets to query-focused and image-intrinsic evidence, complemented by a pooled coarse representation of the entire image. Before the LLM, Bifocal matches question words to visual regions through a soft conjunction balanced against norm-debiased image saliency, while selecting image-intrinsic evidence to maximize representational coverage. Inside the LLM, it further prunes tokens using density-adjusted text-to-image attention. With roughly a quarter of the original visual tokens, Bifocal is the only evaluated method to retain over 90% of unpruned performance in every ability group across all three models, and ranks first on average in all nine model-budget settings. The code is available at: https://github.com/EIT-NLP/Bifocal