Generative Frame Sampler for Long Video Understanding

📄 arXiv: 2503.09146v2 📥 PDF

作者: Linli Yao, Haoning Wu, Kun Ouyang, Yuanxing Zhang, Caiming Xiong, Bei Chen, Xu Sun, Junnan Li

分类: cs.CV, cs.MM

发布日期: 2025-03-12 (更新: 2025-09-02)

备注: ACL 2025 Findings. Code: https://github.com/yaolinli/GenS

💡 一句话要点

提出Generative Frame Sampler (GenS)以提升VideoLLM在长视频理解中的效率与性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 视频大语言模型 帧采样 生成式模型 视觉-语言模型 高效推理 问题相关性 数据集构建

📋 核心要点

  1. 长视频理解面临计算负担大的挑战，现有VideoLLM难以高效处理包含大量帧的视频。
  2. GenS利用轻量级VideoLLM的视觉-语言能力，生成与问题相关的帧采样策略，降低计算成本。
  3. 实验表明，GenS显著提升了多种VideoLLM在长视频基准测试中的性能，包括开源和闭源模型。

📝 摘要（中文）

本文提出了一种名为Generative Frame Sampler (GenS) 的即插即用模块，旨在提升Video Large Language Models (VideoLLMs) 在长视频理解方面的效率。由于处理包含数千帧的长视频会带来巨大的计算负担，GenS利用轻量级VideoLLM的视觉-语言能力来识别与问题相关的帧，从而缓解这一问题。为了支持有效的检索，作者构建了一个大规模视频指令数据集GenS-Video-150K，其中包含密集的帧相关性标注。大量实验表明，GenS能够持续提升各种VideoLLM的性能，包括开源模型（Qwen2-VL-7B, Aria-25B, VILA-40B, LLaVA-Video-7B/72B）和专有助手（GPT-4o, Gemini）。配备GenS后，开源VideoLLM在长视频基准测试中取得了令人印象深刻的state-of-the-art结果：LLaVA-Video-72B在LongVideoBench上达到66.8 (+4.3)，在MLVU上达到77.0 (+2.7)，而Aria在HourVideo上达到39.2，超过Gemini-1.5-pro 1.9个点。所有数据集和模型都将在https://generative-sampler.github.io上发布。

🔬 方法详解

问题定义：现有VideoLLM在处理长视频时，需要处理大量的视频帧，导致计算成本高昂，效率低下。如何有效地从长视频中提取关键信息，降低计算负担，是长视频理解的关键问题。现有方法通常采用均匀采样或随机采样，无法保证采样帧与问题相关性，导致性能瓶颈。

核心思路：GenS的核心思路是利用一个轻量级的VideoLLM，学习生成与特定问题相关的帧采样策略。通过预测哪些帧包含回答问题所需的信息，从而有选择性地采样这些帧，避免处理大量无关帧，降低计算成本，提高效率。这种方法的核心在于利用视觉-语言模型的能力，将问题与视频内容关联起来，实现智能采样。

技术框架：GenS作为一个即插即用模块，可以集成到现有的VideoLLM中。其主要流程包括：1) 接收视频和问题作为输入；2) 利用轻量级VideoLLM生成帧采样策略；3) 根据采样策略选择视频帧；4) 将选择的帧和问题输入到主VideoLLM中进行推理；5) 输出答案。GenS的关键在于轻量级VideoLLM的设计和训练，以及采样策略的生成方式。

关键创新：GenS最重要的创新点在于其生成式的帧采样方法。与传统的均匀采样或随机采样不同，GenS能够根据问题动态地选择相关的帧，从而显著降低计算负担，提高效率。此外，GenS的即插即用特性使其能够方便地集成到各种VideoLLM中，具有良好的通用性。

关键设计：GenS使用一个轻量级的VideoLLM作为采样器，该模型通过GenS-Video-150K数据集进行训练，学习预测帧与问题的相关性。采样策略可以采用多种形式，例如，每个帧的相关性得分，或者一个指示哪些帧应该被选择的二元掩码。损失函数的设计需要考虑采样效率和信息完整性，例如，可以使用交叉熵损失来训练采样器预测正确的帧选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GenS能够显著提升各种VideoLLM在长视频基准测试中的性能。例如，LLaVA-Video-72B在LongVideoBench上达到66.8 (+4.3)，在MLVU上达到77.0 (+2.7)，而Aria在HourVideo上达到39.2，超过Gemini-1.5-pro 1.9个点。这些结果表明，GenS能够有效地提高VideoLLM在长视频理解方面的效率和准确性。

🎯 应用场景

GenS的应用场景广泛，包括视频监控、自动驾驶、智能客服、在线教育等领域。在视频监控中，GenS可以帮助快速定位异常事件；在自动驾驶中，可以帮助车辆快速识别关键交通信息；在智能客服中，可以帮助理解用户提出的视频相关问题；在在线教育中，可以帮助学生快速回顾课程重点。GenS的出现，有望推动长视频理解技术在各个领域的应用。

📄 摘要（原文）

Despite recent advances in Video Large Language Models (VideoLLMs), effectively understanding long-form videos remains a significant challenge. Perceiving lengthy videos containing thousands of frames poses substantial computational burden. To mitigate this issue, this paper introduces Generative Frame Sampler (GenS), a plug-and-play module integrated with VideoLLMs to facilitate efficient lengthy video perception. Built upon a lightweight VideoLLM, GenS leverages its inherent vision-language capabilities to identify question-relevant frames. To facilitate effective retrieval, we construct GenS-Video-150K, a large-scale video instruction dataset with dense frame relevance annotations. Extensive experiments demonstrate that GenS consistently boosts the performance of various VideoLLMs, including open-source models (Qwen2-VL-7B, Aria-25B, VILA-40B, LLaVA-Video-7B/72B) and proprietary assistants (GPT-4o, Gemini). When equipped with GenS, open-source VideoLLMs achieve impressive state-of-the-art results on long-form video benchmarks: LLaVA-Video-72B reaches 66.8 (+4.3) on LongVideoBench and 77.0 (+2.7) on MLVU, while Aria obtains 39.2 on HourVideo surpassing the Gemini-1.5-pro by 1.9 points. We will release all datasets and models at https://generative-sampler.github.io.