AnchorPrune: Relevance-Anchored Contextual Expansion for Visual Token Pruning

📄 arXiv: 2607.07033v1 📥 PDF

作者: Kyuan Oh, Bumsoo Kim

分类: cs.CV, cs.AI

发布日期: 2026-07-08

备注: ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出AnchorPrune以解决视觉模型中冗余视觉标记问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉标记剪枝 多模态推理 高效推理 视觉语言模型 无训练方法

📋 核心要点

  1. 现有的视觉标记剪枝方法在处理高分辨率输入时，常常面临冗余标记与信息损失之间的矛盾。
  2. AnchorPrune通过构建相关性锚点并扩展互补视觉上下文，提出了一种无训练的剪枝框架，优化了标记选择过程。
  3. 在LLaVA-NeXT-7B模型上，AnchorPrune仅使用160个视觉标记就保留了97.6%的全标记性能，显著提升了效率。

📝 摘要（中文）

大型视觉语言模型在推理时面临高昂的成本，因为高分辨率输入会引入成千上万的视觉标记，其中许多对于特定查询是冗余的。现有的剪枝方法通常结合查询相关性和标记多样性，但在激进压缩下，这些目标可能会相互冲突。本文提出了AnchorPrune，一个无训练的框架，首先构建一个受保护的相关性锚点，然后用互补的视觉上下文进行扩展。AnchorPrune自适应地根据相关性排名标记的新颖性轮廓确定锚点大小，保留紧凑的查询关键证据，并通过重要性加权的新颖性分配剩余预算，以恢复相对于锚点的有信息的非冗余上下文。实验结果表明，AnchorPrune在多个视觉语言模型和基准测试中，尤其是在严重压缩情况下，显著改善了准确性与效率的权衡。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型在高分辨率输入下产生的冗余视觉标记问题。现有方法在压缩过程中可能导致相关性与多样性目标的冲突，影响模型性能。

核心思路：AnchorPrune的核心思路是构建一个受保护的相关性锚点，并通过扩展互补的视觉上下文来优化标记选择。该方法自适应地确定锚点大小，以保留查询关键证据，同时恢复有信息的上下文。

技术框架：AnchorPrune的整体架构包括两个主要阶段：首先构建相关性锚点，然后根据重要性加权的新颖性进行上下文扩展。该框架不需要重新训练或修改模型结构。

关键创新：AnchorPrune的创新之处在于其无训练的设计和相关性锚点的构建方法，避免了传统方法中可能出现的冗余信息和信息损失问题。

关键设计：在参数设置上，AnchorPrune根据相关性排名标记的新颖性轮廓自适应调整锚点大小，并通过重要性加权来分配剩余预算，以确保保留重要的视觉信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AnchorPrune在LLaVA-NeXT-7B模型上，仅使用160个视觉标记就能保留97.6%的全标记性能，相较于训练无关的基线方法，显著提升了准确性与效率的权衡，尤其在高压缩情况下表现突出。

🎯 应用场景

AnchorPrune在视觉语言模型的推理过程中具有广泛的应用潜力，特别是在需要高效处理高分辨率图像和视频的场景中。其设计理念可以为多模态学习和实时视觉分析提供支持，推动相关领域的研究与应用发展。

📄 摘要（原文）

Large vision-language models incur substantial inference costs because high-resolution inputs introduce thousands of visual tokens, many of which are redundant for a given query. Existing pruning methods often combine query relevance and token diversity, yet these objectives can conflict under aggressive compression: relevance-driven selection may overconcentrate the budget on correlated local evidence, while diversity-driven selection may suppress indispensable tokens or retain distinct but uninformative regions. We introduce AnchorPrune, a training-free framework that first constructs a protected relevance anchor and then expands it with complementary visual context. AnchorPrune adaptively determines the anchor size from the novelty profile of relevance-ranked tokens, preserving a compact set of query-critical evidence, and allocates the remaining budget through importance-weighted novelty to recover informative, non-redundant context relative to the anchor. This ordered design prevents contextual expansion from displacing indispensable query cues while improving overall visual coverage. AnchorPrune is lightweight, architecture-aware, and requires neither retraining nor model modification. Across image and video vision-language models and benchmarks, it consistently improves the accuracy-efficiency trade-off over training-free baselines, particularly under severe compression. On LLaVA-NeXT-7B, AnchorPrune preserves 97.6% of full-token performance using only 160 of 2,880 visual tokens. These results establish relevance-anchored contextual expansion as an effective principle for efficient multimodal inference. Code is available at https://github.com/MULTI-cau/AnchorPrune.