VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos

📄 arXiv: 2411.04923v3 📥 PDF

作者: Shehan Munasinghe, Hanan Gani, Wenqi Zhu, Jiale Cao, Eric Xing, Fahad Shahbaz Khan, Salman Khan

分类: cs.CV

发布日期: 2024-11-07 (更新: 2025-03-25)

备注: Technical Report of VideoGLaMM

💡 一句话要点

VideoGLaMM：用于视频像素级视觉定位的大型多模态模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 视觉定位 大型多模态模型 视觉-语言对齐 时空建模

📋 核心要点

  1. 现有视频大型多模态模型难以进行精确的像素级视觉定位，无法处理视频中复杂的时空动态。
  2. VideoGLaMM通过双视觉编码器提取时空特征，并利用可调适配器实现视觉-语言对齐，从而实现精确定位。
  3. 实验表明，VideoGLaMM在Grounded Conversation Generation等任务上优于现有方法，证明了其有效性。

📝 摘要（中文）

本文提出VideoGLaMM，一个专为视频中细粒度像素级视觉定位设计的大型多模态模型，其输入为用户提供的文本。该模型无缝连接三个关键组件：大型语言模型、强调空间和时间细节的双视觉编码器，以及用于精确掩码生成的时空解码器。这种连接通过可调的V-L和L-V适配器实现，从而实现紧密的视觉-语言（VL）对齐。该架构经过训练，可将视频内容的空间和时间元素与文本指令同步。为了实现细粒度的定位，我们策划了一个多模态数据集，使用半自动注释流程生成了包含详细视觉定位对话的数据，最终得到包含3.8万个视频-问答三元组以及8.3万个对象和67.1万个掩码的多元数据集。我们在三个具有挑战性的任务上评估了VideoGLaMM：Grounded Conversation Generation、Visual Grounding和Referring Video Segmentation。实验结果表明，我们的模型在所有三个任务中始终优于现有方法。

🔬 方法详解

问题定义：现有基于视频的大型多模态模型（LMMs）虽然能够进行基本的对话，但在视频中进行精确的像素级视觉定位方面存在困难。视频中复杂的空间和时间动态使得视频和文本之间的细粒度对齐成为一项挑战。

核心思路：VideoGLaMM的核心思路是设计一个能够同时关注视频的空间和时间信息的模型，并通过视觉-语言适配器将视觉信息和文本信息紧密对齐。通过这种方式，模型能够理解文本指令，并在视频中精确定位到相应的像素区域。

技术框架：VideoGLaMM的整体架构包含三个主要模块：一个大型语言模型（LLM）、一个双视觉编码器和一个时空解码器。双视觉编码器用于提取视频的空间和时间特征，LLM用于处理文本指令，时空解码器用于生成像素级的掩码。V-L和L-V适配器用于连接视觉编码器和LLM，实现视觉和语言信息的融合。模型首先使用双视觉编码器提取视频帧的空间和时间特征，然后将这些特征通过V-L适配器传递给LLM。LLM根据文本指令和视觉特征生成文本描述，并通过L-V适配器将文本信息传递给时空解码器。最后，时空解码器根据文本信息和视觉特征生成像素级的掩码。

关键创新：VideoGLaMM的关键创新在于其双视觉编码器和可调的视觉-语言适配器。双视觉编码器能够同时关注视频的空间和时间信息，从而更好地理解视频内容。可调的视觉-语言适配器能够实现视觉和语言信息的紧密对齐，从而提高模型的定位精度。此外，半自动标注流程生成的大规模多模态数据集也为模型的训练提供了充足的数据支持。

关键设计：VideoGLaMM使用了可学习的V-L和L-V适配器，这些适配器允许模型在训练过程中学习如何最好地融合视觉和语言信息。损失函数的设计同时考虑了空间和时间信息，以确保模型能够准确地定位视频中的目标。具体参数设置和网络结构细节在论文中进行了详细描述，例如编码器和解码器的具体层数、激活函数类型等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VideoGLaMM在Grounded Conversation Generation、Visual Grounding和Referring Video Segmentation三个任务上都取得了显著的性能提升。具体而言，在Visual Grounding任务上，VideoGLaMM相较于现有最佳方法取得了X%的性能提升（具体数值未知）。实验结果表明，VideoGLaMM能够更准确地理解文本指令，并在视频中精确定位到相应的像素区域。

🎯 应用场景

VideoGLaMM在视频理解、视频编辑、智能监控等领域具有广泛的应用前景。例如，可以用于根据文本描述自动定位视频中的特定对象，或者用于根据用户的指令编辑视频内容。该研究的成果可以推动视频内容理解和生成技术的发展，并为相关应用提供更强大的技术支持。

📄 摘要（原文）

Fine-grained alignment between videos and text is challenging due to complex spatial and temporal dynamics in videos. Existing video-based Large Multimodal Models (LMMs) handle basic conversations but struggle with precise pixel-level grounding in videos. To address this, we introduce VideoGLaMM, a LMM designed for fine-grained pixel-level grounding in videos based on user-provided textual inputs. Our design seamlessly connects three key components: a Large Language Model, a dual vision encoder that emphasizes both spatial and temporal details, and a spatio-temporal decoder for accurate mask generation. This connection is facilitated via tunable V-L and L-V adapters that enable close Vision-Language (VL) alignment. The architecture is trained to synchronize both spatial and temporal elements of video content with textual instructions. To enable fine-grained grounding, we curate a multimodal dataset featuring detailed visually-grounded conversations using a semiautomatic annotation pipeline, resulting in a diverse set of 38k video-QA triplets along with 83k objects and 671k masks. We evaluate VideoGLaMM on three challenging tasks: Grounded Conversation Generation, Visual Grounding, and Referring Video Segmentation. Experimental results show that our model consistently outperforms existing approaches across all three tasks.