GleanVID: Complementary Token Selection for Efficient Video Large Language Models

📄 arXiv: 2609.37042v1 📥 PDF

作者: Shuo Yang, Changbai Li, Rui Tang, Xinyu Zhao, Linlin Yang, Baochang Zhang

分类: cs.CV, cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出GleanVID以解决视频大语言模型的冗余信息问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频大语言模型 标记选择 推理加速 跨帧互补性 视觉证据 多模态学习 信息压缩

📋 核心要点

  1. 现有视频大语言模型在推理时面临高开销问题，主要由于视觉标记数量庞大且冗余信息未被有效压缩。
  2. GleanVID通过将视频标记选择视为逐步证据累积过程，旨在在有限预算下保留信息丰富且互补的视觉证据。
  3. 实验结果显示，GleanVID在仅使用25%视觉标记的情况下，仍能保留98.6%的原始性能，并显著降低预填充延迟44.7%。

📝 摘要（中文）

视频大语言模型（VideoLLMs）在视频理解方面表现出色，但由于视觉标记数量庞大，推理开销也相应增加。现有的标记压缩方法主要依赖于独立评分，忽视了跨帧的互补性，从而保留了冗余信息。为此，本文提出GleanVID，一个无训练的推理加速框架，旨在在有限的标记预算下保留个体信息丰富且集体互补的视觉证据。GleanVID通过根据时间新颖性分配全局标记预算，并结合局部代表性和子空间互补性选择标记，从而保留更丰富且冗余更少的视觉信息。实验表明，GleanVID在多个VideoLLM和基准测试中均表现出色。

🔬 方法详解

问题定义：本文旨在解决视频大语言模型在推理过程中由于视觉标记冗余而导致的高开销问题。现有方法在标记选择时未能有效考虑跨帧的互补性，导致信息冗余。

核心思路：GleanVID的核心思想是将视频标记选择视为一个逐步的证据累积过程，旨在在有限的标记预算下保留既有个体信息又具互补性的视觉证据。通过这种方式，可以有效减少冗余信息的保留。

技术框架：GleanVID的整体架构包括两个主要阶段：首先，根据时间新颖性分配全局标记预算；其次，结合局部代表性和子空间互补性进行标记选择。这样可以确保所选标记在信息上更具代表性且互补性更强。

关键创新：GleanVID的主要创新在于其标记选择方法，强调了跨帧互补性的重要性，与现有方法的独立评分机制形成鲜明对比。

关键设计：在设计中，GleanVID考虑了时间新颖性作为标记预算分配的依据，并在选择标记时引入了局部代表性和子空间互补性等关键参数，以确保所选标记的有效性和互补性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GleanVID在多个视频大语言模型上表现出色，使用仅25%的视觉标记时，仍能保留98.6%的Qwen3-VL原始性能，并将预填充延迟降低44.7%。在LLaVA-OV-7B模型中，GleanVID在25%的保留比例下甚至略微超越了原始模型，展示了其优越的性能。

🎯 应用场景

GleanVID的研究成果在视频理解、智能监控、自动驾驶等领域具有广泛的应用潜力。通过提高视频大语言模型的推理效率，能够在实时处理和分析视频数据时显著降低计算资源的消耗，提升系统的响应速度和准确性。未来，该方法可能推动更高效的多模态学习和智能系统的发展。

📄 摘要（原文）

Video Large Language Models (VideoLLMs) have achieved strong video understanding capabilities but incur substantial inference overhead due to the large number of visual tokens. Existing VideoLLM token compression methods largely rely on selection-independent scoring, overlooking cross-frame complementarity and consequently retaining redundant evidence across frames. Instead, we view video token selection as a progressive evidence accumulation process. It aims to retain visual evidence that is individually informative and collectively complementary under a limited token budget. Building on this insight, we introduce GleanVID, a training-free inference acceleration framework for VideoLLMs. Specifically, GleanVID first allocates the global token budget across frames according to temporal novelty and then selects tokens by jointly considering local representativeness and subspace complementarity, thereby preserving richer and less redundant visual evidence. Extensive experiments across diverse VideoLLMs and benchmarks demonstrate that GleanVID consistently achieves state-of-the-art performance. Notably, with only 25% of visual tokens, GleanVID preserves 98.6% of Qwen3-VL's original performance while reducing its prefill latency by 44.7%. On LLaVA-OV-7B, GleanVID at a 25% retention ratio even slightly surpasses the original model.