V-CoLA: Vision Token Compression with Linear Attention

📄 arXiv: 2610.11251v1 📥 PDF

作者: Hao Jiang, Yiru Mao, Tianpeng Bu, Hao Zhou, Hongtao Duan, Wang Jing, Bowen Xu, Xin Chen, Lulu Hu, Bin Yang, Yongliang Tao, Minying Zhang

分类: cs.CV, cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出V-CoLA以解决视觉语言模型的计算开销问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 标记压缩 线性注意力 计算效率 多模态学习

📋 核心要点

  1. 现有视觉语言模型在计算上存在显著开销，尤其是视觉标记占据输入序列的主导地位，导致效率低下。
  2. V-CoLA提出了一种高效的无训练标记压缩框架，专为线性注意力设计，利用唯一性意识标准和自适应合并策略进行视觉标记压缩。
  3. 实验结果显示，V-CoLA在使用50%视觉标记时仍能保持99.5%的性能，使用12.5%时可达88.0%，同时实现了显著的速度提升。

📝 摘要（中文）

视觉语言模型（VLMs）展现了令人印象深刻的能力，但由于视觉标记在输入序列中占主导地位，导致计算开销显著。这促使视觉标记压缩成为缓解负担的关键方向。然而，随着采用线性注意力的混合架构的出现，之前为softmax注意力设计的方法难以推广。我们的分析表明，基于注意力和相似度的方法均面临显著性能下降，强调了针对这一领域量身定制的压缩方法的迫切需求。为此，我们提出了V-CoLA，一个高效的无训练标记压缩框架，专为线性注意力设计。V-CoLA引入了一种新颖的“唯一性意识重要性标准”来识别关键视觉标记，并结合“自适应标记合并策略”进行压缩。所有组件在实现层面进行了优化，以保持与线性注意力的块级并行性兼容，确保了强大的实际价值。大量实验表明，V-CoLA在多个基准测试中表现优越：仅使用50.0%的视觉标记即可达到原始性能的99.5%，而使用仅12.5%时仍能达到88.0%以上，同时提供1.86倍至6.15倍的预填充速度提升。

🔬 方法详解

问题定义：本论文旨在解决视觉语言模型在处理视觉标记时的高计算开销问题。现有方法在面对线性注意力架构时，基于softmax的压缩技术难以有效推广，导致性能下降。

核心思路：V-CoLA的核心思路是设计一个高效的无训练标记压缩框架，专注于线性注意力的特性。通过引入唯一性意识的重要性标准，识别出关键视觉标记，并采用自适应合并策略进行压缩，从而减少计算负担。

技术框架：V-CoLA的整体架构包括两个主要模块：唯一性意识重要性标准模块和自适应标记合并模块。前者用于评估视觉标记的重要性，后者则负责将重要标记进行合并以实现压缩。所有模块均经过优化，以确保与线性注意力的块级并行性兼容。

关键创新：V-CoLA的主要创新在于其独特的唯一性意识重要性标准，这一标准能够有效识别出对模型性能至关重要的视觉标记，与传统方法相比，显著提升了压缩效果和效率。

关键设计：在设计中，V-CoLA采用了自适应合并策略，能够根据视觉标记的重要性动态调整合并方式。此外，优化的实现确保了与线性注意力的兼容性，提升了整体计算效率。具体的参数设置和损失函数设计在实验中经过验证，确保了模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

V-CoLA在多个基准测试中表现出色，仅使用50%的视觉标记即可实现99.5%的原始性能，而使用12.5%时仍能达到88.0%以上。此外，V-CoLA在预填充速度上实现了1.86倍至6.15倍的提升，显示出其在效率上的显著优势。

🎯 应用场景

V-CoLA的研究成果在多个领域具有潜在应用价值，包括计算机视觉、自然语言处理和多模态学习等。通过有效压缩视觉标记，V-CoLA能够在保持高性能的同时，显著降低计算资源的消耗，适用于资源受限的设备和实时应用场景。未来，该方法可能推动更高效的视觉语言模型的发展，促进相关技术的广泛应用。

📄 摘要（原文）

Vision-language models (VLMs) have demonstrated impressive capabilities but suffer from substantial computational overhead, as vision tokens dominate the input sequence. This motivates vision token compression as a key direction to alleviate the burden. However, with the emergence of hybrid architectures incorporating linear attention (\eg, Qwen3.5), prior methods designed for softmax attention struggle to generalize. Our analysis reveals that both attention- and similarity-based approaches suffer notable performance degradation, underscoring the urgent need for compression methods tailored to this regime. To this end, we propose \textbf{V-CoLA}, an efficient training-free token compression framework specifically designed for linear attention. V-CoLA introduces a novel \textit{uniqueness-aware importance criterion} for identifying critical vision tokens, coupled with an \textit{adaptive token merging strategy} that performs compression. All components are optimized at the implementation level to remain compatible with the chunk-wise parallelism of linear attention, ensuring strong practical value. Extensive experiments across multiple benchmarks demonstrate the superiority of V-CoLA: it achieves 99.5\% of the original performance with only 50.0\% of vision tokens, and over 88.0\% with as few as 12.5\%, while delivering a 1.86$\times$ to 6.15$\times$ prefill speedup.