EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs

📄 arXiv: 2605.10050v1 📥 PDF

作者: Jiameng Li, Minye Wu, Jiezhang Cao, Aleksei Tiulpin, Matthew B. Blaschko

分类: cs.CV

发布日期: 2026-05-11

备注: 9 pages

💡 一句话要点

提出EchoPrune：通过将冗余视频Token解释为时间回声，实现高效的长视频理解

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 视频大语言模型 Token剪枝 多模态学习 时空建模 推理加速

📋 核心要点

  1. 现有VideoLLM在长视频处理中面临困境：密集采样导致Token过载，而稀疏采样则因丢失关键时空信息导致模型幻觉。
  2. EchoPrune提出将视频冗余Token定义为“时间回声”，通过评估Token的时间重构误差与查询相关性，实现高效的动态Token剪枝。
  3. 实验证明该方法在多个基准测试中显著提升了长视频理解性能，在保持Token预算不变的情况下，处理帧数提升至原来的20倍。

📝 摘要（中文）

长视频理解对视频大语言模型（VideoLLMs）而言仍具挑战性：密集采样会产生海量视觉Token，而稀疏采样则可能丢失关键时间证据并导致模型幻觉。现有的免训练Token剪枝方法要么将视频视为静态图像，要么依赖启发式的片段合并，这削弱了细粒度的时空建模能力并引入了额外开销。本文提出了EchoPrune，一种轻量级且无需训练的Token剪枝方法，旨在固定LLM视觉Token预算的前提下提高时间分辨率。其核心思想是将冗余视频Token解释为“时间回声”：若某Token可由前一帧有效重构，则视为冗余回声；否则，它可能捕捉到了新事件、运动或查询相关的视觉证据。EchoPrune通过查询引导的跨模态相关性和基于对应匹配的时间重构误差对Token进行评分。实验表明，该方法在LLaVA-OV、Qwen2.5VL等模型上实现了高达20倍的帧数处理能力，性能提升8.6%，预填充阶段推理速度提升5.6倍。

🔬 方法详解

问题定义：视频大模型在处理长视频时，受限于LLM的上下文窗口，必须在“密集采样带来的高计算开销”与“稀疏采样导致的信息丢失”之间权衡。现有方法往往忽略了视频帧间的高度冗余性，导致计算资源浪费。

核心思路：论文引入“时间回声（Temporal Echoes）”概念，认为视频中大部分Token是可预测的冗余信息。通过量化Token的可重构性，保留那些包含新运动、新事件或与查询高度相关的“非回声”Token，从而在有限预算下最大化信息密度。

技术框架：EchoPrune作为一个免训练的插件，在视觉编码器输出后、输入LLM前执行。它通过计算跨帧的对应匹配（Correspondence Matching）和回声匹配（Echo Matching）来评估Token的冗余度，并结合查询引导的相关性评分进行筛选。

关键创新：与传统基于聚类或启发式合并的方法不同，EchoPrune利用了视频的时间连续性特征，将Token剪枝转化为一个基于重构误差的动态选择过程，无需额外训练即可感知时空变化。

关键设计：核心指标包括：(i) 查询引导的跨模态相关性，确保保留对任务关键的视觉特征；(ii) 时间重构误差，通过计算当前帧Token与前一帧的匹配度，识别并剔除可预测的冗余回声，从而实现高效的Token压缩。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EchoPrune在Qwen2.5VL-7B模型上表现卓越，在保持相同Token预算下，处理帧数提升至原来的20倍。在六大视频理解基准测试中，平均性能提升8.6%，且在预填充阶段实现了5.6倍的推理速度加速，证明了其在高效长视频理解任务中的显著优势。

🎯 应用场景

该技术广泛适用于长视频分析、视频问答、监控视频异常检测及复杂动作识别等领域。在资源受限的边缘设备或需要实时处理长视频流的场景中，EchoPrune能显著降低计算成本，提升模型对长时序信息的捕捉能力，具有极高的工业应用价值。

📄 摘要（原文）

Long-form video understanding remains challenging for Video Large Language Models (VideoLLMs), as the dense frame sampling introduces massive visual tokens while sparse sampling risks missing critical temporal evidence and leading to LLM hallucination. Existing training-free token reduction methods either treat videos equally as static images or rely on segment-level merging heuristics, which weaken fine-grained spatiotemporal modeling and introduce additional overhead. In this paper, we propose EchoPrune, a lightweight and training-free token pruning method that improves temporal resolution under a fixed LLM-side visual token budget. Our core idea is to interpret redundant video tokens as temporal echoes: if a token is well reconstructed from the previous frame, it is merely a temporally redundant echo; otherwise, it may capture new events, motion, or query-relevant visual evidence. Based on this insight, EchoPrune scores visual tokens by (i) query-guided crossmodal relevance and (ii) temporal reconstruction error, measured by correspondence matching and echo matching across consecutive frames. The selected tokens preserve task-relevant cues and temporal novelty while suppressing predictable redundancy, allowing VideoLLMs to observe more frames without increasing the decoding budget. Extensive experiments on LLaVA-OV, Qwen2.5VL, and Qwen3VL across six video understanding benchmarks show that EchoPrune enables VideoLLMs to process up to 20x frames under the same token budget, yielding improved performance (+8.6%) and inference speedup (5.6x for prefilling) on Qwen2.5VL-7B.