SheafPrune: Sheaf-Guided Graph Propagation for Visual Token Pruning
作者: Xiaoyang Ma, Chi Wang, Hong Sun
分类: cs.CV
发布日期: 2026-10-09
🔗 代码/项目: GITHUB
💡 一句话要点
提出SheafPrune以解决视觉标记选择中的效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉标记选择 多模态学习 图传播 节点度数校正 计算效率 深度学习
📋 核心要点
- 现有方法在处理多模态数据时，无法有效区分相关和无关的视觉标记，导致计算资源浪费。
- SheafPrune通过引入模态特定映射和稀疏图结构，优化视觉标记的选择和重要性传播，提升效率。
- 在多个基准测试中，SheafPrune在28种设置中实现了22次最佳保留率，显著提高了预填充速度和计算效率。
📝 摘要（中文）
多模态大型语言模型处理完整的视觉标记序列，导致预填充成本增加，尤其是当许多标记与指令无关时。现有的基于标记的显著性捕捉了有限的标记间依赖关系，而基于图的选择则依赖于关系如何影响重要性传播和排名。本文提出SheafPrune，利用模态特定的映射和稀疏的文本-视觉图来传递相关性，然后在单独的视觉图上传播分数并进行度数校正。该方法在冻结的语言模型之前保留一个硬性top-$k$子集。实验表明，SheafPrune在多个基准测试中表现优异，显著提高了预填充速度和计算效率。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在处理视觉标记时的效率问题，现有方法无法有效区分相关与无关的标记，导致计算资源浪费和性能下降。
核心思路：SheafPrune的核心思路是利用模态特定的映射和稀疏的文本-视觉图来传递标记的相关性，并在视觉图上进行重要性分数的传播和度数校正，从而实现高效的视觉标记选择。
技术框架：该方法的整体架构包括三个主要模块：模态特定映射、稀疏文本-视觉图和视觉图上的重要性传播。首先，通过模态特定映射将不同模态的特征进行融合，然后构建稀疏图以表示标记之间的关系，最后在视觉图上进行分数传播和校正。
关键创新：SheafPrune的主要创新在于引入了基于图的支持约束传播和节点度数校正，这与传统的标记选择方法形成了鲜明对比，显著提升了选择的准确性和效率。
关键设计：该方法的关键设计包括约4.5M参数的选择器，通过冻结的LLaVA-NeXT-8B骨干网络进行端到端训练，使用语言建模目标进行优化。此外，显式的保留比率条件设计使得一个检查点可以适应不同的预算需求。
🖼️ 关键图片
📊 实验亮点
在LLaVA-NeXT模型上，SheafPrune在保留10%的视觉标记时实现了5.15倍的预填充速度提升和84.0%的端到端FLOPs减少。在28种骨干-预算设置中，SheafPrune在22种情况下实现了最佳保留率，显示出其在中到高强度剪枝条件下的优势。
🎯 应用场景
SheafPrune的研究成果在多模态学习、计算机视觉和自然语言处理等领域具有广泛的应用潜力。通过提高视觉标记选择的效率，该方法能够在实时系统、智能助手和自动驾驶等场景中显著降低计算成本，同时保持高精度的性能。未来，该技术可能推动更高效的多模态模型开发和应用。
📄 摘要（原文）
Multimodal large language models process the complete visual token sequence, increasing prefill cost even when many tokens are irrelevant to the instruction. Token-wise saliency captures limited inter-token dependence; graph-based selection instead depends on how relations govern importance propagation and ranking. We study support-constrained propagation with node-degree correction. Inspired by sheaf geometry, SheafPrune uses modality-specific maps and a sparse text--visual graph to transfer relevance, then propagates scores on a separate visual graph and corrects them for degree. It retains a hard top-$k$ subset once before the frozen language model. The selector has about $4.5$M parameters and is trained end-to-end through the frozen LLaVA-NeXT-8B backbone using only the language-modeling objective. Explicit retention-ratio conditioning lets one checkpoint serve every budget. Across four backbones, ten benchmarks and seven pruning ratios, with all baselines re-implemented under one protocol, SheafPrune achieves the best retention at $22$ of $28$ backbone--budget settings, with monotonically growing margins in the moderate-to-aggressive regime. On LLaVA-NeXT, retaining $10\%$ of visual tokens yields a $5.15\times$ net prefill speedup and an $84.0\%$ end-to-end FLOPs reduction. Together with component ablations, these results support graph-constrained importance propagation and degree correction as a design for visual token selection across the evaluated backbones and tokenization schemes, improving the trade-off between accuracy retention and inference cost. code:https://github.com/Bob0817912/SheafPrune_ICLR_2027