DIPrune: Task-Aware Token Pruning with Dual Importance for Efficient Multimodal Language Models

📄 arXiv: 2610.08341v1 📥 PDF

作者: Shuo Yang, Changbai Li, Linlin Yang, Huobin Tan, Rongyu Chen, Tongfei Chen, Tian Wang, Sheng Xu, Baochang Zhang

分类: cs.CV, cs.LG

发布日期: 2026-10-06

💡 一句话要点

提出DIPrune以解决多模态语言模型的任务感知剪枝问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态语言模型 剪枝技术 任务感知 双重重要性 深度学习

📋 核心要点

  1. 现有的剪枝方法常因任务无关设计导致语义信息的丢失，影响模型性能。
  2. 论文提出将剪枝问题重新定义为最小化最终任务损失的失真，并引入双重重要性评分机制。
  3. 在LLaVA和Qwen-VL上的实验结果显示，DIPrune在性能上超越了现有的最先进方法。

📝 摘要（中文）

近年来，针对多模态大型语言模型（MLLMs）的无训练剪枝方法通过利用视觉冗余或文本-视觉注意力有效减少计算开销。然而，这些方法常因任务无关设计或不可靠的注意力估计而导致语义退化。我们发现，浅层中的显著标记通过数值惯性持续抑制新兴的语义标记，导致关键信号的过早丢弃。为了解决这一问题，我们将无训练剪枝重新表述为最终任务损失的失真最小化，并推导出可行的标记级上界作为替代目标。我们提出的DIPrune框架采用双重重要性评分机制，优化层内静态特征显著性和层间动态语义演变。实验表明，DIPrune在LLaVA和Qwen-VL上始终实现了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决多模态语言模型剪枝过程中因任务无关设计导致的语义退化问题。现有方法在剪枝时未能有效考虑层间语义信息的演变，导致重要信号的丢失。

核心思路：我们将无训练剪枝视为最终任务损失失真的最小化问题，提出了一种新的标记级上界作为优化目标，从而更好地保留深层推理所需的语义信息。

技术框架：DIPrune框架包括两个主要模块：一是基于重要性评分的剪枝机制，二是层间梯度信息的动态调整。通过这两个模块的协同作用，优化了标记的选择与保留。

关键创新：DIPrune的创新在于引入了双重重要性评分机制，既考虑了层内特征的静态显著性，也关注了层间语义的动态演变。这一设计使得剪枝过程更加精细化，避免了重要信息的丢失。

关键设计：在参数设置上，我们采用了基于梯度的动态调整策略，并设计了特定的损失函数以平衡层内和层间信息的权重，从而实现更优的剪枝效果。实验中使用的网络结构经过精心设计，以适应多模态数据的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DIPrune在LLaVA和Qwen-VL数据集上均实现了最先进的性能，相较于基线方法，性能提升幅度达到了XX%，有效证明了其在多模态语言模型剪枝中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态学习等。通过提高多模态语言模型的效率，DIPrune能够在资源受限的环境中实现更高效的推理，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Recent training-free pruning approaches for Multimodal Large Language Models (MLLMs) effectively cut computational overhead by exploiting visual redundancy or text-vision attention. However, they frequently suffer from semantic degradation due to their task-agnostic design or unreliable attention estimates. Based on our empirical analysis, we have found that this issue arises because salient tokens in shallow layers persistently suppress emerging semantic ones through numerical inertia, leading to premature discarding of signals crucial for deep reasoning. To address the aforementioned issue, from the task-oriented aspects, we first reformulate training-free pruning as a minimization of the distortion in the final task loss and derive a tractable, token-wise upper bound to serve as a surrogate objective. Specifically, this formulation inherently reveals a previously neglected inter-layer term that accounts for gradients across layers. Accordingly, for the implementation, we propose DIPrune, a rank-based framework that employs a dual importance scoring mechanism to jointly optimize intra-layer static feature saliency and inter-layer dynamic semantic evolution. Extensive experiments on LLaVA and Qwen-VL demonstrate that DIPrune consistently achieves state-of-the-art results.