Online Video Understanding: OVBench and VideoChat-Online

📄 arXiv: 2501.00584v2 📥 PDF

作者: Zhenpeng Huang, Xinhao Li, Jiaqi Li, Jing Wang, Xiangyu Zeng, Cheng Liang, Tao Wu, Xi Chen, Liang Li, Limin Wang

分类: cs.CV, cs.LG

发布日期: 2024-12-31 (更新: 2025-04-17)

备注: CVPR 2025 Camera Ready Version. Project Page: https://videochat-online.github.io

💡 一句话要点

提出VideoChat-Online，用于在线视频理解，并在OVBench上超越SOTA模型。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线视频理解 多模态学习 大型语言模型 金字塔记忆库 离线到在线学习

📋 核心要点

  1. 现有MLLM在离线视频理解表现出色，但难以直接应用于需要实时处理的在线视频场景。
  2. 论文提出VideoChat-Online，通过金字塔记忆库(PMB)和离线到在线的学习范式，提升在线视频理解能力。
  3. VideoChat-Online在OVBench上超越了现有SOTA离线模型Qwen2-VL 7B和在线模型Flash-VStream，分别提升4.19%和23.7%。

📝 摘要（中文）

多模态大型语言模型(MLLM)在离线视频理解方面取得了显著进展。然而，将这些模型应用于自动驾驶和人机交互等实际场景时，由于需要实时处理连续的在线视频流，因此面临着独特的挑战。为此，本文从三个角度进行了系统的研究：评估基准、模型架构和训练策略。首先，我们引入了OVBench，这是一个综合性的问答基准，旨在评估模型在在线视频上下文中感知、记忆和推理的能力。它包含跨越过去、现在和未来三个时间上下文的6个核心任务类型，形成了来自不同数据集的16个子任务。其次，我们提出了一种新的金字塔记忆库(PMB)，可以有效地保留视频流中的关键时空信息。第三，我们提出了一种离线到在线的学习范式，为在线视频数据设计了一种交错对话格式，并构建了一个专门为在线视频训练定制的指令调优数据集。该框架促成了VideoChat-Online的开发，这是一个用于在线视频理解的强大而高效的模型。尽管计算成本较低且效率较高，但VideoChat-Online在流行的离线视频基准和OVBench上优于现有的最先进的离线和在线模型，证明了我们的模型架构和训练策略的有效性。

🔬 方法详解

问题定义：论文旨在解决在线视频理解问题，即如何让模型能够实时处理和理解连续的视频流，并进行问答等交互。现有方法，如离线视频理解模型，无法直接应用于在线场景，因为它们通常需要完整的视频作为输入，且计算成本高昂。现有的在线视频理解模型在性能上仍有提升空间。

核心思路：论文的核心思路是设计一个高效的在线视频理解模型，该模型能够有效地记忆和推理视频流中的时空信息。通过引入金字塔记忆库(PMB)来保留关键信息，并采用离线到在线的学习范式，利用离线数据进行预训练，然后针对在线场景进行微调。

技术框架：VideoChat-Online的整体架构包含视频编码器、金字塔记忆库(PMB)和语言模型。视频编码器将视频帧转换为视觉特征，PMB用于存储和更新视频流中的关键时空信息，语言模型则根据PMB中的信息生成答案。训练过程分为两个阶段：首先，使用离线视频数据进行预训练，学习通用的视频理解能力；然后，使用在线视频数据进行微调，提升模型在在线场景下的性能。

关键创新：论文的关键创新在于提出了金字塔记忆库(PMB)和离线到在线的学习范式。PMB能够有效地保留视频流中的关键时空信息，避免了信息丢失的问题。离线到在线的学习范式能够充分利用离线数据，加速模型的训练过程，并提升模型的泛化能力。

关键设计：PMB采用金字塔结构，不同层级存储不同尺度的时空信息。在训练过程中，使用交叉熵损失函数来优化模型的参数。离线到在线的学习范式中，设计了一种交错对话格式，模拟在线视频场景下的交互过程。具体参数设置和网络结构细节未在摘要中详细说明，需要参考论文全文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VideoChat-Online在OVBench上取得了显著的性能提升，超越了现有的SOTA离线模型Qwen2-VL 7B和在线模型Flash-VStream，分别提升4.19%和23.7%。这表明论文提出的模型架构和训练策略是有效的，能够显著提升在线视频理解的性能。

🎯 应用场景

该研究成果可应用于自动驾驶、人机交互、智能监控等领域。例如，在自动驾驶中，模型可以实时理解车辆周围的交通状况，并做出相应的决策。在人机交互中，模型可以理解用户的意图，并提供个性化的服务。在智能监控中，模型可以检测异常事件，并及时发出警报。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have significantly progressed in offline video understanding. However, applying these models to real-world scenarios, such as autonomous driving and human-computer interaction, presents unique challenges due to the need for real-time processing of continuous online video streams. To this end, this paper presents systematic efforts from three perspectives: evaluation benchmark, model architecture, and training strategy. First, we introduce OVBench, a comprehensive question-answering benchmark designed to evaluate models' ability to perceive, memorize, and reason within online video contexts. It features 6 core task types across three temporal contexts-past, current, and future-forming 16 subtasks from diverse datasets. Second, we propose a new Pyramid Memory Bank (PMB) that effectively retains key spatiotemporal information in video streams. Third, we proposed an offline-to-online learning paradigm, designing an interleaved dialogue format for online video data and constructing an instruction-tuning dataset tailored for online video training. This framework led to the development of VideoChat-Online, a robust and efficient model for online video understanding. Despite the lower computational cost and higher efficiency, VideoChat-Online outperforms existing state-of-the-art offline and online models across popular offline video benchmarks and OVBench, demonstrating the effectiveness of our model architecture and training strategy. % Our approach surpasses existing state-of-the-art offline models Qwen2-VL 7B and online models Flash-VStream, by 4.19% and 23.7% on OVBench, respectively.