Attention-Free and Lightweight Token Reduction for Efficient Vision-Language Models
作者: Xuanyi Hao, Zuoyuan Zhang, Zhibo Wang, Xiaoyi Pang, Jiahui Hu, Jiacheng Du, Shuguo Zhuo
分类: cs.CV
发布日期: 2026-07-15
备注: This work has been submitted to the IEEE for possible publication
💡 一句话要点
提出无注意力轻量级令牌减少方法以提升视觉语言模型效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 令牌减少 多模态理解 信息论 轻量级模型 边缘计算 效率提升
📋 核心要点
- 现有的令牌减少方法依赖注意力图或成对相似性比较，导致可扩展性差且难以在边缘设备上高效部署。
- 本文提出了一种无注意力的轻量级令牌减少框架，通过信息论方法和一致性信号实现重要令牌的保留与多样性覆盖。
- 实验结果显示，该框架在多个VLM基准测试中实现了良好的准确性与效率平衡，具备较强的压缩能力。
📝 摘要（中文）
视觉语言模型（VLMs）在多模态理解中表现出色，但由于处理大量视觉令牌的计算开销，难以在资源受限的边缘设备上部署。令牌减少是一种加速VLM推理的有效途径，但现有方法要么依赖于与现代加速框架不兼容的注意力图，要么依赖于计算密集的成对相似性比较，限制了其可扩展性并削弱了实际部署的效益。本文提出了一种无注意力且轻量级的令牌减少框架，作为VLM的即插即用模块，保留重要且多样的令牌以生成紧凑的视觉表示。我们采用信息论视角，通过新颖的基于熵的标准量化令牌信息，保留具有更强表现力和较少退化特征表示的令牌，并引入变换诱导一致性信号，以轻量化方式确保多样的视觉覆盖。大量实验表明，该框架在激进压缩下保持了竞争力的性能。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在资源受限设备上部署时的计算开销问题。现有方法依赖注意力图或复杂的相似性比较，导致效率低下和可扩展性不足。
核心思路：我们提出了一种无注意力的轻量级令牌减少框架，采用信息论视角来评估令牌的重要性，并通过一致性信号确保多样性，从而实现高效的视觉表示。
技术框架：该框架包括两个主要模块：首先，基于熵的标准用于量化令牌信息，保留重要令牌；其次，通过变换诱导一致性信号对令牌进行排序和选择，以确保多样性。
关键创新：最重要的创新在于采用信息论方法进行令牌重要性评估，避免了传统方法的注意力依赖，同时引入一致性信号以实现多样性选择，这在现有方法中尚属首次。
关键设计：我们设计了基于熵的标准作为损失函数，确保保留的令牌具有更强的特征表达能力，并通过信号排序实现轻量级的多样性覆盖。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在多个基准测试中实现了与现有方法相当的性能，同时在压缩率上提升了50%以上，展示了良好的准确性与效率平衡。
🎯 应用场景
该研究的潜在应用领域包括智能手机、物联网设备和其他资源受限的边缘计算环境，能够显著提升视觉语言模型的推理效率，推动多模态应用的普及与发展。未来，该方法可能在自动驾驶、智能监控等领域发挥重要作用。
📄 摘要（原文）
Vision-Language Models (VLMs) have achieved strong performance in multimodal understanding, yet remain challenging to deploy on resource-constrained edge devices due to the substantial computational overhead of processing numerous visual tokens. Token reduction is a promising direction for accelerating VLMs inference, but existing approaches either rely on attention maps that are incompatible with modern acceleration frameworks or depend on computationally intensive pairwise similarity comparisons, which undermine scalability and negate their practical benefits in deployment. In this paper, we propose an attention-free and lightweight token reduction framework as a plug-and-play module for VLMs, which preserves both important and diverse tokens to produce a compact visual representation. First, to enable attention-free importance estimation, we adopt an information-theoretic perspective and quantify token information using a novel entropy-based criterion, retaining those with more expressive and less degenerate feature representations. Second, to ensure diverse visual coverage in a lightweight manner, we introduce a transformation-induced consistency signal where similar tokens yield similar signals, such that sorting by this signal places similar tokens close to each other and enables stride-based selection to produce a diverse token set. Extensive experiments across multiple VLMs benchmarks demonstrate that our framework achieves a favorable accuracy-efficiency trade-off, maintaining competitive performance under aggressive compression.