Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline
作者: Xiao Zhang, Wang Zeng, Sheng Jin, Wentao Liu, Chen Qian, Shichao Kan
分类: cs.CV
发布日期: 2026-09-28
🔗 代码/项目: GITHUB
💡 一句话要点
提出SimpleCluster以提升视频大语言模型的视觉令牌压缩效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频大语言模型 视觉令牌压缩 聚类方法 特征保留 推理效率
📋 核心要点
- 现有的视频令牌压缩方法过于复杂，难以在高效性与性能之间取得平衡。
- 提出的SimpleCluster方法通过简单的聚类策略，保留视觉特征的结构信息，提升压缩效果。
- 实验结果显示，SimpleCluster在多个基准测试中表现优异，尤其在低令牌保留率下具有显著优势。
📝 摘要（中文）
视频大语言模型（Video LLMs）在视频理解方面取得了显著进展，但长视频生成的视觉令牌数量限制了其推理效率。近期的视觉令牌压缩方法引入了复杂的选择、剪枝和合并策略。本文提出了SimpleCluster，一个简单且无需训练的基线方法，通过在视觉特征空间中进行位置感知的跨帧聚类，并用每个聚类的原始视觉特征均值表示。大量实验表明，SimpleCluster在多种令牌保留比率下表现出竞争力，尤其在极低保留率（如1%）下展现出强大的鲁棒性。研究结果表明，较强的下游性能与更好地保留原始视觉特征分布的全球覆盖性密切相关。
🔬 方法详解
问题定义：本文旨在解决视频大语言模型在处理长视频时，因生成大量视觉令牌而导致的推理效率低下问题。现有方法往往依赖复杂的策略，难以实现高效的压缩。
核心思路：论文提出了SimpleCluster方法，通过位置感知的跨帧聚类，简单地保留视觉特征的结构信息，避免了复杂的选择和剪枝过程，从而实现高效的压缩。
技术框架：SimpleCluster的整体架构包括两个主要模块：首先，在视觉特征空间中进行位置感知的聚类；其次，使用每个聚类的均值来表示该聚类的视觉特征。该方法无需训练，直接应用于视觉特征。
关键创新：SimpleCluster的核心创新在于其简单性和高效性，能够在不依赖复杂策略的情况下，保持视觉特征的结构信息。这与现有方法的复杂性形成鲜明对比。
关键设计：在设计上，SimpleCluster采用了位置感知的聚类策略，确保聚类结果能够有效保留视觉特征的空间结构。此外，聚类的均值计算方式也简化了模型的复杂度，提升了处理效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SimpleCluster在多个视频理解基准测试中表现优异，尤其在极低的令牌保留率（如1%）下，仍能保持竞争力或优于现有压缩方法，显示出强大的鲁棒性和有效性。
🎯 应用场景
该研究的潜在应用领域包括视频监控、自动驾驶、视频内容分析等。通过提升视频大语言模型的推理效率，SimpleCluster能够在实时视频处理和分析中发挥重要作用，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Video Large Language Models (Video LLMs) have achieved remarkable progress in video understanding, but their inference efficiency is constrained by the large number of visual tokens produced by long videos. Recent video token compression methods increasingly introduce sophisticated strategies for token selection, pruning, and merging. This raises a fundamental question: how much of compression performance can be obtained by simply preserving the structure encoded in the visual representations? We investigate this question with SimpleCluster, a simple and training-free baseline that performs position-aware cross-frame clustering in the visual feature space and represents each cluster using the mean of its original visual features. Extensive experiments across four video understanding benchmarks and three representative Video LLMs show that SimpleCluster achieves competitive or superior performance over recent compression methods across a wide range of token retention ratios, with particularly strong robustness under extremely low retention rates (e.g., 1%). To understand this behavior, we analyze the feature space preserved by different compression methods in terms of local approximation fidelity and global coverage. The results show that stronger downstream performance is consistently associated with better preservation of the original visual feature distribution, especially its global coverage. These findings highlight feature-space preservation as an important consideration for video token compression under highly constrained token budgets. Our code is available at https://github.com/xiaozhang79/SimpleCluster.