Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

📄 arXiv: 2504.10068v2 📥 PDF

作者: Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-04-14 (更新: 2025-11-27)

备注: 22 pages

💡 一句话要点

Mavors：多粒度视频表示用于多模态大语言模型，提升长视频理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态大语言模型 视频表示学习 时空建模 多粒度表示

📋 核心要点

  1. 现有长视频理解方法在计算效率和信息保留间难以平衡，导致时空细节损失，尤其在复杂运动视频中。
  2. Mavors通过多粒度视频表示，利用 Intra-chunk Vision Encoder 和 Inter-chunk Feature Aggregator 保留时空信息。
  3. 实验表明，Mavors 在需要细粒度时空推理的任务中显著优于现有方法，提升了长视频理解性能。

📝 摘要（中文）

多模态大语言模型(MLLM)中的长上下文视频理解面临着一个关键挑战：如何在计算效率与保留细粒度时空模式之间取得平衡。现有的方法（例如，稀疏采样、低分辨率的密集采样和token压缩）在时间动态、空间细节或细微交互方面存在显著的信息损失，尤其是在具有复杂运动或不同分辨率的视频中。为了解决这个问题，我们提出了Mavors，一种新颖的框架，引入了多粒度视频表示，用于整体长视频建模。具体来说，Mavors通过两个核心组件将原始视频内容直接编码为潜在表示：1) Intra-chunk Vision Encoder (IVE)，通过3D卷积和Vision Transformers保留高分辨率空间特征；2) Inter-chunk Feature Aggregator (IFA)，使用基于Transformer的依赖建模和chunk级别的旋转位置编码，建立跨chunk的时间连贯性。此外，该框架通过将图像视为单帧视频（通过子图像分解）来统一图像和视频理解。在各种基准测试上的实验表明，Mavors在保持空间保真度和时间连续性方面具有优越性，在需要细粒度时空推理的任务中显著优于现有方法。

🔬 方法详解

问题定义：现有方法在处理长视频时，为了降低计算复杂度，通常采用稀疏采样、降低分辨率或进行token压缩。这些方法会导致时间动态、空间细节以及细微交互信息的丢失，尤其是在包含复杂运动或具有不同分辨率的视频中，从而限制了模型对视频内容的深入理解。

核心思路：Mavors的核心思路是采用多粒度视频表示，即在视频的不同时间尺度上提取和聚合特征。通过 Intra-chunk Vision Encoder (IVE) 保留每个视频片段（chunk）内的高分辨率空间特征，并通过 Inter-chunk Feature Aggregator (IFA) 建立不同视频片段之间的时间连贯性。这种多粒度的方式能够在保证计算效率的同时，尽可能地保留视频中的重要信息。

技术框架：Mavors框架主要包含两个核心模块：1) Intra-chunk Vision Encoder (IVE)：负责处理视频的每个片段（chunk），利用3D卷积和Vision Transformers提取高分辨率的空间特征。2) Inter-chunk Feature Aggregator (IFA)：负责聚合不同视频片段的特征，建立时间上的依赖关系。IFA采用基于Transformer的结构，并使用chunk级别的旋转位置编码，以更好地捕捉长程时间依赖。此外，该框架还能够统一处理图像和视频，将图像视为单帧视频，并通过子图像分解进行处理。

关键创新：Mavors的关键创新在于其多粒度视频表示方法，它能够在保证计算效率的同时，尽可能地保留视频中的时空信息。与现有方法相比，Mavors不是简单地对视频进行降采样或压缩，而是通过IVE和IFA两个模块，分别处理视频片段内的空间信息和片段间的时间关系，从而更好地理解视频内容。

关键设计：IVE模块使用3D卷积和Vision Transformers来提取高分辨率的空间特征，具体实现细节未知。IFA模块采用Transformer结构，并使用chunk级别的旋转位置编码，以更好地捕捉长程时间依赖。损失函数和具体的网络结构细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个视频理解基准测试上进行了实验，结果表明 Mavors 显著优于现有方法。具体的性能数据和提升幅度未知，但摘要中明确指出 Mavors 在需要细粒度时空推理的任务中表现突出，证明了其在保持空间保真度和时间连续性方面的优势。

🎯 应用场景

Mavors 的潜在应用领域包括视频内容分析、智能监控、自动驾驶、视频编辑和生成等。该研究的实际价值在于提升了多模态大语言模型对长视频的理解能力，从而可以更好地进行视频问答、视频摘要、视频检索等任务。未来，Mavors 可以进一步扩展到其他多模态任务中，例如视频与文本的联合建模。

📄 摘要（原文）

Long-context video understanding in multimodal large language models (MLLMs) faces a critical challenge: balancing computational efficiency with the retention of fine-grained spatio-temporal patterns. Existing approaches (e.g., sparse sampling, dense sampling with low resolution, and token compression) suffer from significant information loss in temporal dynamics, spatial details, or subtle interactions, particularly in videos with complex motion or varying resolutions. To address this, we propose $\mathbf{Mavors}$, a novel framework that introduces $\mathbf{M}$ulti-gr$\mathbf{a}$nularity $\mathbf{v}$ide$\mathbf{o}$ $\mathbf{r}$epre$\mathbf{s}$entation for holistic long-video modeling. Specifically, Mavors directly encodes raw video content into latent representations through two core components: 1) an Intra-chunk Vision Encoder (IVE) that preserves high-resolution spatial features via 3D convolutions and Vision Transformers, and 2) an Inter-chunk Feature Aggregator (IFA) that establishes temporal coherence across chunks using transformer-based dependency modeling with chunk-level rotary position encodings. Moreover, the framework unifies image and video understanding by treating images as single-frame videos via sub-image decomposition. Experiments across diverse benchmarks demonstrate Mavors' superiority in maintaining both spatial fidelity and temporal continuity, significantly outperforming existing methods in tasks requiring fine-grained spatio-temporal reasoning.