From Token Importance to Conditional Removability: Rethinking Visual Token Pruning in Multimodal Large Language Models
作者: Shengli He, Yongchao Liang, Roumeng He, Junjie Zeng, Jiyuan He, Xin Fang, Can Wu, Li Zheng
分类: cs.CV
发布日期: 2026-09-22
💡 一句话要点
提出CoRePrune以解决视觉标记修剪中的条件可移除性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉标记修剪 多模态大语言模型 条件可移除性 动态评估 计算资源优化
📋 核心要点
- 现有的视觉标记修剪方法主要依赖标记重要性等指标，但无法全面评估标记的可移除性，导致潜在的性能损失。
- 本文提出的CoRePrune框架通过逐步扰动感知的视觉修剪和集合条件的细化，动态评估标记的可移除性，提升了修剪的安全性。
- 在五个多模态大语言模型的实验中，CoRePrune在仅使用128个视觉标记的情况下，保留了90.3%的密集模型性能，并减少了51.0%的预填充时间。
📝 摘要（中文）
训练无关的视觉标记修剪通常使用标记重要性、冗余性等标准作为安全移除的代理。然而，这些信号并不能完全表征可移除性，后者依赖于表示深度和周围的删除集合。通过控制干预，研究表明在不同深度移除相同标记会产生显著不同的下游扰动，而在固定深度下仅改变删除上下文会影响候选边际和修剪边界的决策。基于这一视角，本文提出了CoRePrune，一个训练无关的两阶段框架，能够在激进的标记预算下保持性能。
🔬 方法详解
问题定义：本文旨在解决视觉标记修剪中仅依赖标记重要性等指标导致的可移除性评估不足的问题。现有方法未能考虑表示深度和删除上下文对标记可移除性的影响。
核心思路：CoRePrune框架通过引入逐步扰动感知的视觉修剪和集合条件的细化，动态更新标记的可移除性评估，以适应视觉表示的演变和文本交互的影响。
技术框架：该框架分为两个主要阶段：第一阶段是逐步扰动感知的视觉修剪，实时更新删除效果；第二阶段是集合条件的细化，基于当前删除集合重新评估候选标记的救助效益。
关键创新：最重要的创新在于提出了条件可移除性的概念，强调了表示深度和删除上下文对标记修剪决策的影响，这与传统方法的单一重要性评估形成了鲜明对比。
关键设计：在设计中，关注了标记的动态更新和上下文敏感性，确保在不同的删除集合和深度下，能够准确评估标记的可移除性，具体参数设置和损失函数设计未在摘要中详细说明。
🖼️ 关键图片
📊 实验亮点
在实验中，CoRePrune在Qwen3.5模型上实现了128个视觉标记的预算下，保留了90.3%的密集模型性能，同时减少了51.0%的预填充时间，显示出其在性能和效率上的显著提升。
🎯 应用场景
该研究的潜在应用领域包括多模态大语言模型的优化、计算机视觉任务中的资源管理以及实时视频处理等。通过提高视觉标记的修剪效率，CoRePrune能够在保持模型性能的同时，显著降低计算资源的消耗，具有重要的实际价值和未来影响。
📄 摘要（原文）
Training-free visual-token pruning often uses token importance, redundancy, or related selection criteria as proxies for safe removal. We show that these signals alone do not fully characterize removability, which is conditioned on both representation depth and the surrounding deletion set. Controlled interventions demonstrate that removing the same tokens at different depths produces substantially different downstream perturbations, while changing only the deletion context at a fixed depth alters candidate marginals and pruning-boundary decisions. These findings show that token importance alone cannot determine when a token is safely removable or how its removability changes under joint deletion. Motivated by this perspective, we propose CoRePrune, a training-free two-stage framework. Progressive Perturbation-Aware Visual Pruning refreshes deletion effects as visual representations evolve, while Set-Conditioned Refinement reevaluates candidate rescue benefits under the current deletion set after visual--text interaction. Across five multimodal large language model backbones covering standard images, high-resolution inputs, and video, CoRePrune preserves performance under aggressive token budgets. On Qwen3.5, with a final budget of 128 visual tokens, it retains 90.3% of dense-model performance while reducing aggregate prefill time by 51.0%.