GeoTrace: Geometry-Aware Trajectory Token Compression for Video Large Language Models

📄 arXiv: 2607.09080v1 📥 PDF

作者: Guohuan Xie, Mengqi Lei, Chuan Shi, Wei Bao, Yue Gao, Siqi Li

分类: cs.CV

发布日期: 2026-07-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出GeoTrace以解决视频大语言模型中的视觉令牌压缩问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 视觉令牌压缩 时空建模 无训练框架 多模态学习 深度学习 模型压缩

📋 核心要点

  1. 现有的视频令牌压缩方法过于依赖局部显著性，导致模糊的特征融合，影响视频理解效率。
  2. GeoTrace通过无训练的框架，将视频证据分解为骨架令牌和可追踪的残差事件令牌，提升了压缩效果。
  3. 在LLaVA-OneVision上，仅保留10%的视觉令牌，GeoTrace实现了12.99倍的TFLOPs减少，同时保持99.1%的原始性能。

📝 摘要（中文）

尽管视频大语言模型（Video LLMs）在视频理解方面表现出色，但其效率仍受到大量视觉令牌的限制。现有的视频令牌压缩方法通常依赖于帧级显著性或启发式令牌合并，可能过于关注局部显著区域，导致模糊的融合特征。为了解决这些问题，本文提出了GeoTrace，一个无训练的时空令牌压缩框架，将视频证据分解为精确的骨架令牌和可追踪的残差事件令牌。具体而言，Contextual Farthest-Point Anchoring（CFPA）保留显著的、上下文一致的高覆盖率骨架令牌，而Trajectory-Constrained Residual Condensation（TCRC）通过一对一的时间轨迹和约束近流形凝聚压缩残差令牌，生成可追踪的事件令牌，减少模糊性。我们在四个视频理解基准上评估了GeoTrace，结果表明其在不同模型架构和场景下的有效性和泛化能力。

🔬 方法详解

问题定义：本文旨在解决视频大语言模型中视觉令牌数量庞大导致的效率低下问题。现有方法往往过于关注局部显著性，导致模糊的特征融合，影响整体性能。

核心思路：GeoTrace的核心思路是将视频证据分解为骨架令牌和可追踪的残差事件令牌，采用无训练的方式进行时空令牌压缩，以提升视频理解的效率和准确性。

技术框架：GeoTrace的整体架构包括两个主要模块：Contextual Farthest-Point Anchoring（CFPA）用于生成骨架令牌，Trajectory-Constrained Residual Condensation（TCRC）用于压缩残差令牌。CFPA确保生成的骨架令牌具有显著性和上下文一致性，而TCRC则通过时间轨迹约束和近流形凝聚来减少模糊性。

关键创新：GeoTrace的主要创新在于其无训练的时空令牌压缩框架，特别是CFPA和TCRC的结合使用，使得生成的令牌在保留重要信息的同时，减少了冗余和模糊性。这与现有方法的显著性依赖形成鲜明对比。

关键设计：在设计中，CFPA采用了最远点锚定策略，以确保覆盖率和一致性；而TCRC则通过一对一的时间轨迹和约束近流形凝聚来实现高效的残差令牌压缩，具体的参数设置和损失函数设计在实验中进行了优化。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

GeoTrace在LLaVA-OneVision上仅保留10%的视觉令牌，实现了12.99倍的TFLOPs减少，同时保持99.1%的原始性能。这一结果表明GeoTrace在不同模型架构和场景下的有效性和泛化能力，具有显著的实验优势。

🎯 应用场景

GeoTrace的研究成果在视频理解、智能监控、自动驾驶等领域具有广泛的应用潜力。通过提高视频大语言模型的效率，该方法能够在资源有限的情况下实现更高效的视频分析，推动相关技术的发展和应用。

📄 摘要（原文）

Although Video Large Language Models (Video LLMs) have shown strong performance in video understanding, their efficiency is still limited by the large number of visual tokens. Existing video token compression methods typically rely on frame-wise saliency or heuristic token merging, which can over-focus on locally salient regions and produce ambiguous fused features. To address these issues, we propose GeoTrace, a training-free spatiotemporal token compression framework that decomposes video evidence into exact skeleton tokens and traceable residual event tokens. Specifically, Contextual Farthest-Point Anchoring (CFPA) preserves salient, context-consistent, and high-coverage skeleton tokens, while Trajectory-Constrained Residual Condensation (TCRC) compresses residual tokens through one-to-one temporal trajectories and constrained near-manifold condensation, producing traceable event tokens with reduced ambiguity. We evaluate GeoTrace on four Video LLMs across four video understanding benchmarks, and the results demonstrate its effectiveness and generalization across different model architectures and scenarios. On LLaVA-OneVision, with only 10\% visual tokens retained, GeoTrace achieves a (12.99\times) TFLOPs reduction while preserving 99.1\% of the vanilla performance. Overall, GeoTrace offers a compact and traceable token representation for efficient and robust Video LLM inference. Code is available at \href{https://github.com/guohuan-xie/GeoTrace.git}{\texttt{Code}}.