Beyond One-Size-Fits-All: Sample-Adaptive Strategy Routing for Vision Token Pruning in MLLMs
作者: Haiji Liang, Pengfei Zhou, Zhenglin Wan, Wei Wang, Yang You, Wangbo Zhao
分类: cs.CV, cs.AI
发布日期: 2026-09-09
备注: 26 pages, 6 figures. Code will be released soon
💡 一句话要点
提出VIP-Router以解决视觉令牌剪枝中的适应性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉令牌剪枝 多模态大语言模型 自适应策略 推理成本 样本互补性
📋 核心要点
- 现有视觉令牌剪枝方法假设统一的剪枝策略适用于所有输入，导致在特定样本上性能不足。
- VIP-Router通过低成本的视觉和文本特征自适应选择剪枝策略，保留全令牌推理的选项，以应对不利情况。
- 在VTC-Bench Group A基准测试中，VIP-Router在所有剪枝比例下均超越最佳固定策略基线，平均准确率提升26.9%。
📝 摘要（中文）
多模态大语言模型（MLLMs）在处理每张图像时需要处理数百或数千个视觉令牌，导致推理成本高昂。现有的视觉令牌剪枝方法通常假设可以对所有输入统一应用固定的剪枝策略。然而，研究表明，按平均基准准确率排名的剪枝方法掩盖了样本间的互补性。为此，本文提出VIP-Router，一个轻量级的视觉剪枝路由器，能够根据每个输入的特征自适应选择最佳剪枝策略。经过评估，VIP-Router在多个视觉感知基准上表现优异，平均准确率提高了26.9%。
🔬 方法详解
问题定义：本文旨在解决现有视觉令牌剪枝方法在不同输入上应用统一策略的不足，导致部分样本性能不佳的问题。
核心思路：提出VIP-Router，通过分析样本特征，自适应选择最合适的剪枝策略，从而提高整体性能。设计上考虑了低成本特征的利用，以便在不利情况下保留全令牌推理的选项。
技术框架：VIP-Router的整体架构包括输入特征提取模块、策略选择模块和剪枝执行模块。输入特征提取模块负责提取视觉和文本特征，策略选择模块基于这些特征选择最佳剪枝策略，剪枝执行模块则根据选择的策略进行剪枝。
关键创新：VIP-Router的主要创新在于其自适应策略选择机制，能够根据每个样本的特征动态调整剪枝策略，而不是依赖固定策略。这一设计显著提升了剪枝的灵活性和效果。
关键设计：VIP-Router引入的可训练参数仅占主干网络的0.017%，且不需要修改现有的剪枝算法或模型权重，确保了其在不同MLLM主干上的有效性。
🖼️ 关键图片
📊 实验亮点
VIP-Router在VTC-Bench Group A基准测试中表现出色，平均准确率提升26.9%，平均效用提升22.0%。该方法在不同剪枝比例下均优于最佳固定策略基线，展示了其强大的适应性和有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理以及多模态学习等。VIP-Router能够有效降低推理成本，提高模型在实际应用中的效率，具有广泛的实际价值和未来影响，尤其是在资源受限的环境中。
📄 摘要（原文）
Multimodal large language models (MLLMs) process hundreds or thousands of visual tokens per image, incurring prohibitive inference costs. While existing vision token pruning methods mitigate this overhead, they implicitly assume that a single fixed pruning strategy can be applied uniformly across all inputs. Our analysis further reveals that ranking pruning methods by average benchmark accuracy conceals substantial sample-wise complementarity: although the average-best strategy excels overall, alternative strategies prove superior on a significant fraction of individual samples. To harness this diversity, we propose VIP-Router, a lightweight VIsion Pruning Router that adaptively selects the pruning strategy predicted to be best suited to each input at a specified pruning level. Conditioned on low-cost visual and textual features, VIP-Router identifies the most suitable candidate strategy while retaining full-token inference as an option when pruning is predicted to be unfavorable. Evaluated on a curated suite of pruning-sensitive visual perception benchmarks, VTC-Bench Group A, VIP-Router consistently outperforms the best fixed strategy baseline across all reduction ratios, achieving a 26.9% relative improvement in average accuracy, and a 22.0% relative increase in average utility after accounting for realized token cost. Crucially, VIP-Router operates in a plug-and-play manner without modifying underlying pruning algorithms or model weights, introducing trainable parameters equivalent to merely 0.017\% of the backbone. Furthermore, VIP-Router proves effective across various MLLM backbones and yields consistent gains on unseen benchmarks, highlighting the potential of sample adaptive routing for visual token pruning.