Video Codec-Guided Training-Free Token Compression for Video Large Language Models
作者: Xihua Sheng, Ruijie Liu, Chang Wen Chen
分类: cs.CV
发布日期: 2026-10-09
💡 一句话要点
提出视频编码引导的无训练令牌压缩方法以提升视频语言模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频大型语言模型 视觉令牌压缩 无训练方法 视频编码 时间匹配 特征比较 多媒体分析
📋 核心要点
- 现有的无训练令牌压缩方法在压缩过程中仍需大量视觉特征比较，导致效率低下。
- 本文提出了一种利用视频编码信息进行令牌压缩的方法，减少了特征比较的复杂性。
- 实验结果显示，该方法在多个视频理解基准上与现有方法相当，甚至在某些情况下超越了它。
📝 摘要（中文）
视频大型语言模型（VLLMs）依赖于长视觉令牌序列来理解复杂的时间内容，因此视觉令牌压缩对于高效推理至关重要。现有的无训练压缩方法主要减少发送给语言模型的令牌数量，但压缩过程仍需进行大量视觉特征比较，尤其是在帧内令牌保护和帧间时间令牌合并方面。本文提出了一种视频编码引导的无训练令牌压缩方法，利用已压缩视频中的编码信息作为低成本搜索先验。该方法将参考帧依赖性、运动矢量和残差与视觉令牌网格对齐，利用残差信息形成紧凑的候选池进行令牌保护，同时沿参考帧链传播运动信息以构建稀疏采样帧之间的时间令牌合并候选。实验表明，该方法在多个基准上表现出与现有无训练基线FlashVID相当的性能，并在某些设置下超越了它，同时显著减少了令牌保护和时间匹配所需的特征比较。
🔬 方法详解
问题定义：本文旨在解决视频大型语言模型中视觉令牌压缩的效率问题。现有方法在压缩过程中需要进行大量的视觉特征比较，尤其是在令牌保护和时间匹配方面，导致推理效率低下。
核心思路：论文提出了一种视频编码引导的无训练令牌压缩方法，利用已压缩视频中的编码信息作为低成本的搜索先验，从而减少特征比较的复杂性。
技术框架：该方法的整体架构包括三个主要模块：首先，将参考帧依赖性、运动矢量和残差与视觉令牌网格对齐；其次，利用残差信息形成候选池进行令牌保护；最后，沿参考帧链传播运动信息以构建时间令牌合并的局部候选。
关键创新：最重要的技术创新在于利用视频编码信息来指导令牌压缩过程，这与现有方法的直接特征比较方式形成了本质区别，显著提高了效率。
关键设计：在设计中，关键参数包括参考帧的选择、运动矢量的传播方式以及残差信息的处理方式，这些设计确保了候选池的紧凑性和有效性。具体的损失函数和网络结构未在摘要中详细描述，需参考原文获取更多信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在三个代表性的视频大型语言模型和四个视频理解基准上表现出与现有无训练基线FlashVID相当的性能，且在某些设置下超越了它，同时显著减少了令牌保护和时间匹配所需的特征比较。
🎯 应用场景
该研究的潜在应用领域包括视频理解、视频检索和多媒体内容分析等。通过提高视频语言模型的推理效率，该方法能够在实时视频处理和分析中发挥重要作用，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Video large language models (VLLMs) rely on long visual token sequences to understand complex temporal content, which makes visual token compression important for efficient inference. Existing training-free compression methods mainly reduce the number of tokens sent to the language model, but the compression process itself can still require many visual feature comparisons, especially for intra-frame token protection and inter-frame temporal token merging. This paper proposes a video codec-guided training-free token compression method for VLLMs that uses coding information already available in compressed video as a low-cost search prior. The method aligns reference-frame dependencies, motion vectors, and residuals with the visual token grid. Residual information forms compact candidate pools for token protection, while motion information is propagated along reference-frame chains to construct localized candidates for temporal token merging between sparsely sampled frames. Local visual feature similarity comparison is then used within these candidates to make the final compression decisions, without modifying the base VLLM. Experiments on three representative VLLMs and four video-understanding benchmarks show that the proposed method achieves performance comparable to the state-of-the-art training-free baseline FlashVID, and in some settings surpasses it, while substantially reducing the feature comparisons required by token protection and temporal matching. These results demonstrate that codec information can effectively improve the accuracy-complexity tradeoff of video token compression.