SPIDER: Multi-Layer Semantic Token Pruning and Adaptive Sub-Layer Skipping in Multimodal Large Language Models

📄 arXiv: 2609.34977v1 📥 PDF

作者: Tianxiang Chen, Zhentao Tan, Zi Ye, Yue Wu, Xiaobing Tu, Jinkui Ren, Xiantao Zhang, Tao Gong, Qi Chu, Nenghai Yu, Xipeng Qiu, Jieping Ye

分类: cs.CV, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出SPIDER以解决多模态大语言模型的效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉标记修剪 自适应机制 计算效率 深度学习

📋 核心要点

  1. 现有方法主要关注视觉标记的修剪，未充分考虑层间表示变化及层内差异，导致效率低下。
  2. 本文提出SPIDER，通过多层语义视觉标记修剪和自适应子层跳过机制，优化多模态大语言模型的计算效率。
  3. 实验结果显示，SPIDER在不同架构下均能显著降低计算量，同时保持高性能，具有广泛的应用潜力。

📝 摘要（中文）

多模态大语言模型面临显著的效率挑战，主要源于数据冗余和计算冗余。现有方法主要集中在通过修剪视觉编码器的视觉标记来解决数据冗余，而对层间表示变化及层内分布差异的研究尚不充分。本文全面探讨了这种双层次的低效性，提出SPIDER，一个无训练框架，结合多层语义视觉标记修剪和自适应子层跳过机制。实验结果表明，SPIDER在多种MLLM架构和减缩比下均能保持强劲性能，例如在LLaVA-NeXT-7B上，SPIDER将FLOPs减少79%，同时保持96%的基线性能。

🔬 方法详解

问题定义：多模态大语言模型在处理视觉信息时，存在数据冗余和计算冗余的问题，现有方法未能有效利用中间层的语义信息，导致效率低下。

核心思路：本文提出SPIDER框架，强调中间层视觉标记的修剪，利用不同层的语义焦点变化，优化计算过程，减少不必要的计算。

技术框架：SPIDER框架包括两个主要模块：多层语义视觉标记修剪和自适应子层跳过机制。前者通过分析中间层标记的语义信息进行修剪，后者根据层的贡献动态选择跳过某些子层。

关键创新：SPIDER的创新在于同时考虑层间和层内的冗余，提出了一种新的修剪和跳过机制，显著提升了多模态大语言模型的计算效率。

关键设计：在设计中，SPIDER采用了基于注意力和前馈网络的贡献分析，动态调整修剪和跳过的策略，确保在减少计算的同时保持模型性能。具体参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPIDER在LLaVA-NeXT-7B模型上实现了79%的FLOPs减少，同时保持96%的基线性能，展示了其在多模态大语言模型中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等多模态任务，能够显著提升模型的计算效率和响应速度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal Large Language Models face significant efficiency challenges that stem from two distinct yet coupled sources: data redundancy and computational redundancy. While most methods focus on data redundancy by pruning visual tokens from the output of the visual encoder or computing redundancy in LLM decoders using blockwise importance, the finer-grained inter-layer representation shifts and the distribution differences within the layers themselves have not been fully explored. In this work, we comprehensively investigate this dual-level inefficiency. We posit that intermediate layer tokens from vision encoders should be considered for effective visual token pruning, as semantic focus shifts across layers, with middle-layer tokens capturing more detailed object-centric information that deeper layers may abstract away. Furthermore, we reveal the differential contributions of Attention and FFNs across distinct LLM decoder layers. Building upon these discoveries, we propose \textbf{SPIDER}, a training-free framework that integrates multi-layer \underline{\textbf{S}}emantic visual token \underline{\textbf{P}}run\underline{\textbf{I}}ng with an a\underline{\textbf{D}}aptive sub-lay\underline{\textbf{ER}} skipping mechanism. Experimental evaluations demonstrate that SPIDER consistently maintains strong performance across various MLLM architectures and reduction ratios. For instance, on LLaVA-NeXT-7B, SPIDER reduces FLOPs by $79\%$ while maintaining 96$\%$ of the baseline performance.