Keyframe-oriented Vision Token Pruning: Enhancing Efficiency of Large Vision Language Models on Long-Form Video Processing

📄 arXiv: 2503.10742v2 📥 PDF

作者: Yudong Liu, Jingwei Sun, Yueqian Lin, Jingyang Zhang, Ming Yin, Qinsi Wang, Jianyi Zhang, Hai Li, Yiran Chen

分类: cs.LG, cs.CL

发布日期: 2025-03-13 (更新: 2025-04-24)

💡 一句话要点

提出KVTP：面向关键帧的视觉Token剪枝，提升大模型长视频理解效率

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 长视频理解 视觉语言模型 Token剪枝 关键帧 自适应剪枝 计算效率 时空依赖

📋 核心要点

  1. 现有VLM在长视频处理中面临计算开销大的问题，传统token剪枝忽略时空依赖，关键帧选择则破坏上下文连续性。
  2. KVTP通过关键帧导向的token剪枝，根据帧与查询的相关性自适应分配剪枝率，保留关键上下文信息。
  3. 实验表明，KVTP能在减少80% token使用的情况下，保持时空和上下文一致性，显著降低计算成本。

📝 摘要（中文）

视觉语言模型(VLM)在联合处理视觉和文本数据方面表现出强大的能力。然而，由于冗余的视觉信息，尤其是在长视频场景中，它们通常会产生大量的计算开销。现有的方法主要集中在视觉token剪枝（可能忽略时空依赖性）或关键帧选择（识别信息丰富的帧但丢弃其他帧，从而破坏上下文连续性）。本文提出KVTP（Keyframe-oriented Vision Token Pruning），一种新颖的框架，克服了token剪枝和关键帧选择的缺点。通过基于帧与查询的相关性自适应地分配剪枝率，KVTP有效地保留了必要的上下文信息，同时显著减少了冗余计算。为了全面评估VLM的长视频理解能力，我们从VideoMME、EgoSchema和NextQA中整理并重组了子集，形成了一个名为SparseKV-QA的统一基准，该基准突出了具有稀疏但关键事件的真实场景。对各种规模的VLM进行的实验表明，KVTP可以在不损害时空和上下文一致性的情况下，减少80%的token使用量，从而显著减少计算量，同时保持性能。这些结果证明了我们的方法在高效长视频处理方面的有效性，从而促进了更具可扩展性的VLM部署。

🔬 方法详解

问题定义：论文旨在解决长视频场景下，视觉语言模型（VLM）由于视觉信息冗余而导致的计算开销过大的问题。现有方法，如token剪枝，可能忽略视频帧之间的时空依赖关系；而关键帧选择虽然能提取重要帧，但会丢弃其他帧，破坏视频的上下文连续性。这些方法都无法在效率和性能之间取得良好的平衡。

核心思路：KVTP的核心思路是基于关键帧导向的视觉token剪枝。它不是简单地对所有视觉token进行统一剪枝，而是根据每个视频帧与当前查询的相关性，自适应地调整剪枝率。与查询更相关的帧保留更多的token，而相关性较低的帧则进行更积极的剪枝。这样既能减少计算量，又能保留关键的上下文信息。

技术框架：KVTP框架主要包含以下几个阶段：1) 帧级别特征提取：使用预训练的视觉编码器（如ViT）提取视频帧的视觉特征。2) 关键帧选择/加权：根据帧与查询的相关性，确定关键帧或为每个帧分配权重。相关性可以通过注意力机制或其他相似度度量方法计算。3) Token剪枝：根据帧的权重或是否为关键帧，自适应地调整每个帧的token剪枝率。权重高的帧剪枝率较低，权重低的帧剪枝率较高。4) 多模态融合：将剪枝后的视觉特征与文本特征进行融合，输入到VLM中进行下游任务。

关键创新：KVTP的关键创新在于其自适应的token剪枝策略，该策略以关键帧为导向，并考虑了帧与查询之间的相关性。与传统的token剪枝方法相比，KVTP能够更智能地保留重要的上下文信息，避免了因过度剪枝而导致的性能下降。与关键帧选择方法相比，KVTP保留了所有帧的信息，只是对冗余的token进行了剪枝，从而更好地维护了视频的上下文连续性。

关键设计：KVTP的关键设计包括：1) 相关性度量：如何准确地衡量帧与查询之间的相关性，可以使用注意力机制、余弦相似度等方法。2) 剪枝率分配：如何根据帧的相关性自适应地分配剪枝率，可以使用线性函数、指数函数等方法。3) 损失函数：在训练过程中，可以使用额外的损失函数来鼓励模型学习到更有效的token剪枝策略，例如，可以使用稀疏性损失来约束剪枝后的token数量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KVTP在SparseKV-QA基准测试中，能够在减少80% token使用量的情况下，保持甚至略微提升VLM的性能。与直接使用所有token相比，KVTP在计算效率上有了显著提升，同时避免了因过度剪枝而导致的性能下降。这些结果验证了KVTP在高效长视频处理方面的有效性。

🎯 应用场景

KVTP适用于各种需要处理长视频的视觉语言任务，例如视频问答、视频摘要、视频检索等。该方法可以显著降低计算成本，使得VLM能够更高效地处理长视频数据，从而促进VLM在实际场景中的应用，例如智能监控、自动驾驶、在线教育等。

📄 摘要（原文）

Vision language models (VLMs) demonstrate strong capabilities in jointly processing visual and textual data. However, they often incur substantial computational overhead due to redundant visual information, particularly in long-form video scenarios. Existing approaches predominantly focus on either vision token pruning, which may overlook spatio-temporal dependencies, or keyframe selection, which identifies informative frames but discards others, thus disrupting contextual continuity. In this work, we propose KVTP (Keyframe-oriented Vision Token Pruning), a novel framework that overcomes the drawbacks of token pruning and keyframe selection. By adaptively assigning pruning rates based on frame relevance to the query, KVTP effectively retains essential contextual information while significantly reducing redundant computation. To thoroughly evaluate the long-form video understanding capacities of VLMs, we curated and reorganized subsets from VideoMME, EgoSchema, and NextQA into a unified benchmark named SparseKV-QA that highlights real-world scenarios with sparse but crucial events. Our experiments with VLMs of various scales show that KVTP can reduce token usage by 80% without compromising spatiotemporal and contextual consistency, significantly cutting computation while maintaining the performance. These results demonstrate our approach's effectiveness in efficient long-video processing, facilitating more scalable VLM deployment.