CatchUp: Depth-Aware Re-Admission of Visual Tokens for Efficient Large Vision-Language Models

📄 arXiv: 2610.23324v1 📥 PDF

作者: Eunju Park, Uiwon Hwang

分类: cs.CV

发布日期: 2026-10-16

备注: WACV 2027. Code: https://github.com/pej0918/CatchUp

🔗 代码/项目: GITHUB

💡 一句话要点

提出CatchUp以解决大规模视觉语言模型的视觉令牌效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 视觉令牌 深度学习 多模态融合 推理优化

📋 核心要点

  1. 现有视觉令牌修剪方法在推理时不可逆地移除低排名令牌，导致信息损失和性能下降。
  2. CatchUp通过深度感知的视觉令牌重新接纳，动态评估视觉相关性，优化解码器的计算效率。
  3. 在多项基准测试中，CatchUp在保持高性能的同时显著减少了活跃视觉令牌的数量和延迟。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在解码器层中反复处理数百个视觉令牌，导致计算和内存成本高昂。现有的视觉令牌修剪方法通常不可逆地移除低排名的令牌，而CatchUp提出了一种训练无关的框架，通过深度感知的视觉令牌重新接纳，保留未处理的令牌以便后续重新考虑。CatchUp在三个引用表达定位数据集和六个多模态基准测试中表现出色，在64、128和192个令牌预算下，取得了最高的平均相对保留率，并在64个令牌预算下减少了88.9%的活跃视觉令牌，同时保持了92.17%的全模型性能，降低了8.0%的端到端延迟。

🔬 方法详解

问题定义：本论文旨在解决大型视觉语言模型在推理过程中由于反复处理大量视觉令牌而导致的计算和内存成本高的问题。现有方法在移除低排名令牌时，往往不可逆，造成信息损失，影响模型性能。

核心思路：CatchUp的核心思路是通过深度感知的视觉令牌重新接纳，动态评估每个解码器层中视觉令牌的相关性，从而保留未处理的令牌以便后续重新考虑，避免信息丢失。

技术框架：CatchUp的整体架构包括多个模块：首先，动态评估视觉令牌的相关性；其次，在每个解码器间隔中仅处理选定的视觉令牌；最后，在重新接纳时，利用参考到当前的过渡信号来近似错过的表示演变。

关键创新：CatchUp的主要创新在于其训练无关的框架设计，能够在不需要额外训练的情况下，动态调整视觉令牌的处理策略，与现有方法相比，显著提高了模型的灵活性和性能。

关键设计：CatchUp在参数设置上采用了动态阈值来评估视觉令牌的相关性，并设计了特定的损失函数来优化重新接纳过程中的表示演变，确保模型在不同深度下的表现一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，CatchUp在64个令牌预算下，减少了88.9%的活跃视觉令牌，同时保持了92.17%的全模型性能，且降低了8.0%的端到端延迟。这些结果表明CatchUp在提升效率和性能方面的显著优势。

🎯 应用场景

CatchUp的研究成果在多模态理解、视觉问答、图像描述生成等领域具有广泛的应用潜力。通过提高视觉令牌的处理效率，该方法能够在资源受限的环境中实现高效的推理，推动智能设备和应用的发展。未来，CatchUp可能会影响更复杂的多模态模型设计，提升其在实际应用中的表现。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) repeatedly process hundreds of visual tokens across decoder layers, incurring substantial computation and memory costs. Existing inference-time visual token pruning methods often irreversibly remove low-ranked tokens, although the set of visual tokens receiving high query-conditioned attention can change across decoder depth. Recoverable routing preserves skipped tokens for later reconsideration, but re-admits them with stale representations after bypassing intermediate transformations. We further find that replacing stale re-admitted states with their current-depth oracle states from a full-token reference trajectory substantially improves grounding performance. We therefore propose CatchUp, a training-free framework for depth-aware visual-token re-admission. CatchUp repeatedly re-evaluates query-conditioned visual relevance, processes only selected visual tokens through each decoder interval, and preserves deferred tokens for later re-admission. Upon re-admission, CatchUp approximates missed representation evolution using reference-to-current transition signals from semantically and spatially related visual tokens. Across three referring-expression grounding datasets and six multimodal benchmarks, CatchUp achieves the highest average relative retention in both benchmark groups at 64-, 128-, and 192-token budgets. At a 64-token budget with 88.9% fewer active visual tokens, CatchUp retains 92.17% of the full model's performance on average across six multimodal benchmarks while reducing end-to-end latency by 8.0%. Code is available at https://github.com/pej0918/CatchUp