LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding

📄 arXiv: 2410.17434v1 📥 PDF

作者: Xiaoqian Shen, Yunyang Xiong, Changsheng Zhao, Lemeng Wu, Jun Chen, Chenchen Zhu, Zechun Liu, Fanyi Xiao, Balakrishnan Varadarajan, Florian Bordes, Zhuang Liu, Hu Xu, Hyunwoo J. Kim, Bilge Soran, Raghuraman Krishnamoorthi, Mohamed Elhoseiny, Vikas Chandra

分类: cs.CV

发布日期: 2024-10-22

备注: Project page: https://vision-cair.github.io/LongVU

💡 一句话要点

LongVU：时空自适应压缩长视频，提升视频语言理解能力

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 时空自适应压缩 多模态学习 跨模态查询 视频摘要

📋 核心要点

  1. 现有MLLM处理长视频受限于LLM的上下文长度，无法有效提取和利用长视频中的信息。
  2. LongVU通过跨模态查询和帧间依赖性，自适应地压缩视频，减少时间和空间冗余，保留关键视觉信息。
  3. 实验表明，LongVU在长视频理解任务上显著优于现有方法，尤其是在处理小时级视频时表现突出。

📝 摘要（中文）

多模态大型语言模型(MLLM)在理解和分析视频内容方面取得了显著进展。然而，处理长视频仍然是一个重大挑战，受到LLM上下文长度的限制。为了解决这个问题，我们提出了LongVU，一种时空自适应压缩机制，它减少了视频token的数量，同时保留了长视频的视觉细节。我们的想法是利用跨模态查询和帧间依赖性来自适应地减少视频中的时间和空间冗余。具体来说，我们利用DINOv2特征来删除具有高度相似性的冗余帧。然后，我们利用文本引导的跨模态查询来进行选择性的帧特征减少。此外，我们基于帧的时间依赖性执行跨帧的空间token减少。我们的自适应压缩策略有效地处理了大量帧，并在给定的上下文长度内几乎没有视觉信息损失。我们的LongVU在各种视频理解基准测试中始终优于现有方法，尤其是在VideoMME和MLVU等长达一小时的视频理解任务中。在轻量级LLM的支持下，我们的LongVU也能有效地缩小规模，并具有最先进的视频理解性能。

🔬 方法详解

问题定义：现有方法在处理长视频时，由于LLM上下文长度的限制，无法有效地提取和利用视频中的关键信息，导致视频理解性能下降。现有方法无法在保证信息完整性的前提下，有效压缩长视频。

核心思路：LongVU的核心思路是利用视频帧之间的时间相关性和跨模态的文本信息，自适应地压缩视频，去除冗余信息，保留关键视觉细节。通过时空自适应压缩，在有限的上下文长度内尽可能多地保留有效信息。

技术框架：LongVU包含以下主要模块：1) 冗余帧移除：利用DINOv2特征计算帧之间的相似度，移除相似度高的冗余帧。2) 文本引导的帧特征选择：利用文本信息作为query，对帧特征进行选择，保留与文本相关的特征。3) 基于时间依赖性的空间token减少：根据帧之间的时间依赖性，对帧内的空间token进行减少，去除不重要的空间信息。

关键创新：LongVU的关键创新在于其时空自适应压缩策略。它结合了跨模态信息和帧间依赖性，能够更有效地去除视频中的冗余信息，同时保留关键的视觉细节。这种自适应压缩策略使得模型能够在有限的上下文长度内处理更长的视频。

关键设计：在冗余帧移除阶段，使用DINOv2提取的特征计算帧之间的余弦相似度，并设定阈值来判断是否移除冗余帧。在文本引导的帧特征选择阶段，使用文本embedding作为query，对帧特征进行attention操作，选择与文本相关的特征。在基于时间依赖性的空间token减少阶段，使用Transformer学习帧之间的时间依赖性，并根据依赖性对空间token进行加权，去除权重较低的token。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LongVU在多个视频理解基准测试中取得了显著的性能提升，尤其是在长视频理解任务（如VideoMME和MLVU）上表现突出。实验结果表明，LongVU能够有效地压缩视频，并在保证信息完整性的前提下，显著提高视频理解的准确率。即使在轻量级LLM的支持下，LongVU也能达到最先进的视频理解性能。

🎯 应用场景

LongVU可应用于各种需要处理长视频的场景，例如视频摘要生成、视频问答、视频内容分析和监控等。该技术能够有效降低计算成本，提高处理效率，并为轻量级设备上的长视频理解应用提供可能。未来，LongVU有望推动视频理解技术在更多实际场景中的应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have shown promising progress in understanding and analyzing video content. However, processing long videos remains a significant challenge constrained by LLM's context size. To address this limitation, we propose LongVU, a spatiotemporal adaptive compression mechanism thats reduces the number of video tokens while preserving visual details of long videos. Our idea is based on leveraging cross-modal query and inter-frame dependencies to adaptively reduce temporal and spatial redundancy in videos. Specifically, we leverage DINOv2 features to remove redundant frames that exhibit high similarity. Then we utilize text-guided cross-modal query for selective frame feature reduction. Further, we perform spatial token reduction across frames based on their temporal dependencies. Our adaptive compression strategy effectively processes a large number of frames with little visual information loss within given context length. Our LongVU consistently surpass existing methods across a variety of video understanding benchmarks, especially on hour-long video understanding tasks such as VideoMME and MLVU. Given a light-weight LLM, our LongVU also scales effectively into a smaller size with state-of-the-art video understanding performance.