Representation Dynamics Reveal Semantic Saliency and Similarity for Visual Token Pruning in MLLMs
作者: Weixuan Li, Zikun Zhou, Xinyi Zhuang, Xinyan Guo, Rui Tian, Chuyao Zhang, Lin Gao
分类: cs.CV
发布日期: 2026-09-29
备注: Preprint. 33 pages, 17 figures, 19 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出MSDG-Prune以解决多模态大语言模型的视觉令牌冗余问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉令牌剪枝 表示动态 前景显著性 语义一致性 高效推理 深度学习
📋 核心要点
- 现有的视觉令牌剪枝方法多依赖于注意力图或输出特征，难以有效评估令牌的重要性和冗余性。
- 本文提出的MSDG-Prune方法利用令牌更新的幅度和方向，进行显著性和多样性保留的剪枝。
- 在LLaVA-NeXT模型上，MSDG-Prune仅使用5.6%的视觉令牌，仍能保留91.9%的未压缩性能，并实现7.8倍的预填充速度提升。
📝 摘要（中文）
多模态大语言模型（MLLMs）在处理长视觉令牌序列时面临高推理延迟的问题。现有的剪枝方法通常依赖注意力图或输出特征来评估令牌的重要性或冗余性。尽管一些新兴方法利用表示变化，但这些变化如何反映前景显著性和语义一致性仍不够明确。本文分析了视觉令牌在编码器深度上的表示动态，发现令牌更新幅度与前景显著性之间的关系依赖于层次，并提出了一种无训练方法MSDG-Prune，通过更新幅度和方向来保留显著和多样的视觉信息。实验表明，该方法在多个MLLMs上具有良好的效果和广泛的适用性。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型中视觉令牌序列导致的高推理延迟问题。现有方法在评估令牌重要性时，往往忽视了表示动态的影响，导致剪枝效果不佳。
核心思路：论文提出的MSDG-Prune方法通过分析视觉令牌的更新幅度和方向，来识别和保留显著的视觉信息。该方法不需要额外的训练过程，简化了剪枝流程。
技术框架：MSDG-Prune的整体框架包括两个主要模块：首先，通过分析编码器深度的表示动态，确定令牌的更新幅度和方向；其次，基于这些信息进行组别剪枝，保留显著性高且多样的令牌。
关键创新：该研究的创新点在于揭示了令牌更新幅度与前景显著性之间的层次依赖关系，以及更新方向的相似性在区分同类和异类令牌中的有效性。这与传统方法的单一特征依赖形成了鲜明对比。
关键设计：在具体实现中，MSDG-Prune通过选择特定深度窗口来计算查询加权显著性，并根据更新方向的相似性对令牌进行分组剪枝。此设计确保了剪枝过程的有效性和高效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MSDG-Prune在LLaVA-NeXT模型上仅使用5.6%的视觉令牌，仍能保留91.9%的未压缩性能，且实现了7.8倍的预填充速度提升。这表明该方法在剪枝效率和性能保留方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过提高多模态大语言模型的推理效率，MSDG-Prune能够在实时应用中提供更快的响应速度，提升用户体验。未来，该方法还可能扩展到其他需要高效处理视觉信息的领域，如自动驾驶和智能监控等。
📄 摘要（原文）
Multimodal large language models (MLLMs) incur high inference latency from long visual token sequences. Existing pruning methods commonly use attention maps or output features to estimate token importance or redundancy. Several recent approaches also exploit representation changes, but when and how these changes reflect foreground saliency and semantic consistency remain insufficiently understood. We analyze visual token representation dynamics across encoder depth and uncover two findings. First, the relationship between token update magnitudes and foreground saliency is layer-dependent: large token updates concentrate on foreground regions in two depth intervals, separated by several sink-dominated layers at intermediate depths. Second, similarities between token update directions better distinguish same-class from different-class tokens than those between encoder output features. Building on these findings, we propose MSDG-Prune, a training-free method that uses update magnitudes and directions to preserve salient and diverse visual information. Specifically, we group tokens by update-direction similarity and use query-weighted saliency derived from update magnitudes across a chosen depth window for group-wise token pruning. Extensive experiments across four MLLMs demonstrate the effectiveness and generalizability of MSDG-Prune. On LLaVA-NeXT, it retains 91.9% of uncompressed performance on average with only 5.6% of visual tokens, while achieving a 7.8x prefilling speedup. Code is available at https://github.com/liweixuan-hitsz/MSDG-Prune.