Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding

📄 arXiv: 2607.15778 📥 PDF

作者: Wei Feng, Xin Wang, Yu-Wei Zhan, Yuwei Zhou, Wenwu Zhu

分类: cs.CV, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出MoD-VLLM以解决长视频多事件理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 视频大型语言模型 动态粒度 模块化设计 多事件推理

📋 核心要点

  1. 现有方法在处理长视频时面临有限视觉标记预算与多事件捕捉之间的矛盾，导致建模不可靠。
  2. 提出MoD-VLLM框架，通过正负视频片段定位和动态粒度反思模块，迭代实现时间定位与语义理解。
  3. 在多个长视频理解基准上，MoD-VLLM显著超越现有最先进的模型，验证了其有效性。

📝 摘要（中文）

视频大型语言模型（Video LLMs）在各种视频理解任务中取得了显著进展。然而，长视频场景仍然面临挑战，主要是由于有限的视觉标记预算与捕捉多个关键事件之间的矛盾。现有方法通常采用两阶段处理长视频，即选择关键帧和进行详细感知，但缺乏自适应能力分配和自我修正的模块化机制，导致建模不可靠。为此，我们提出了MoD-VLLM，一个新颖的模块化动态粒度视频LLM框架，旨在实现多事件长视频理解。该框架通过正负视频片段定位模块和模块化动态粒度反思模块形成闭环，逐步定位与问题相关的视频片段。实验结果表明，MoD-VLLM在多个长视频理解基准上显著优于现有最先进的基线。

🔬 方法详解

问题定义：本论文旨在解决长视频理解中的多事件捕捉问题，现有方法在处理长视频时通常采用两阶段处理，缺乏灵活的模块化机制，导致无法有效分配资源和自我修正。

核心思路：MoD-VLLM通过模块化的动态粒度设计，结合正负视频片段定位和反思机制，实现了对视频片段的有效区分和细致感知，提升了长视频理解的准确性。

技术框架：MoD-VLLM框架包括两个主要模块：正负视频片段定位模块用于根据问题区分相关和无关片段，模块化动态粒度反思模块则动态选择细粒度编码以捕捉相关片段的细节，同时对无关片段使用粗粒度编码以保持全局上下文。

关键创新：最重要的创新在于提出了动态粒度强化学习策略，使得MoD-VLLM能够联合学习最佳的定位策略和动态粒度视觉表示，与传统方法相比，具备更高的灵活性和准确性。

关键设计：在设计中，采用了模块化调度器来动态选择编码粒度，并通过闭环机制实现自我反思和优化，确保了模型在不同场景下的适应性和有效性。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个长视频理解基准上，MoD-VLLM的性能显著优于现有最先进的基线，具体提升幅度达到XX%，验证了其在复杂长视频推理中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、内容推荐、视频摘要生成等。通过提升长视频理解的能力，MoD-VLLM可以帮助实现更智能的视频分析和处理，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Video Large Language Models (Video LLMs) have made significant advancements in various video understanding tasks. However, long-video scenarios remain challenging due to the tension between limited visual token budgets and the need to capture multiple key events. Existing approaches typically process long videos in two stages, i.e., i) select keyframes and ii) perform detailed perception, which exhibit limitations: they lack a modular mechanism for adaptive capacity allocation and self-correction, resulting in unreliable modeling. To tackle these challenges, we propose MoD-VLLM, a novel Modularized Dynamic-Granularity Video LLM framework for multi-event long video understanding, which unifies temporal grounding and semantic understanding iteratively and self-reflectively. Specifically, we propose a Positive-Negative Video Segments Grounding module and a Modularized Dynamic-Granularity Reflection module, which form a closed loop to progressively localize the question-related video segments. The grounding module instructs a Video LLM to distinguish relevant from irrelevant video segments based on the video question. The reflection module employs a modularized scheduler that dynamically selects fine-grained encoding for relevant positive segments to capture detailed perception and coarse-grained encoding for negative segments to maintain global context. We further propose a dynamic-granularity reinforcement learning strategy, allowing MoD-VLLM to learn optimal grounding policies and dynamic granularity visual representation jointly. Moreover, we propose MEventBench, a challenging Multi-Event Long Video Benchmark for complex long video reasoning. Extensive experiments on several long video understanding benchmarks and our MEventBench demonstrate that MoD-VLLM significantly outperforms state-of-the-art baselines.