VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding

📄 arXiv: 2607.14935v1 📥 PDF

作者: Xinhao Li, Yuhan Zhu, Xiangyu Zeng, Yuhao Dong, Haoning Wu, Zhiqiu Zhang, Yuandong Yang, Changlian Ma, Qingyu Zhang, Yansong Shi, Xinyu Chen, Haoran Chen, Zizheng Huang, Jun Zhang, Kun Ouyang, Lin Sui, Ziang Yan, Yicheng Xu, Chenting Wang, Yinan He, Hongjie Zhang, Yi Wang, Yu Qiao, Yali Wang, Ziwei Liu, Kai Chen, Limin Wang

分类: cs.CV

发布日期: 2026-07-16

💡 一句话要点

提出VideoChat3以解决视频理解中的通用性与效率问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频理解 多模态大语言模型 高效计算 数据合成 跨领域泛化 流媒体分析 长视频处理

📋 核心要点

  1. 现有视频理解模型在多样视频类型上的泛化能力不足，且计算需求高，限制了其效率与可扩展性。
  2. 本文提出VideoChat3，通过引入I3D-ViT和自适应帧分辨率等设计，提升视频理解的效率与效果。
  3. 实验结果显示，VideoChat3在多个基准测试中以仅4B参数超越了同类模型，展现出更高的效率与泛化能力。

📝 摘要（中文）

近年来，视频理解领域在运动、长视频和流媒体交互方面取得了显著进展，推动了实际应用的发展。然而，现有的开源模型在跨视频类型的泛化能力上存在局限，且计算需求高，影响了效率和可扩展性。此外，大多数模型的关键组件不可用，阻碍了可重复性和社区驱动的发展。为了解决这些问题，本文提出了VideoChat3，这是一种完全开放、高效且通用的视频中心多模态大语言模型。VideoChat3通过引入膨胀3D视觉变换器（I3D-ViT）和自适应帧分辨率等设计，提升了视频理解的效率，并开发了可扩展的视频数据合成管道，创建了三个高质量的训练数据集，从而提高了模型的跨领域泛化能力。实验表明，VideoChat3在多个基准测试中超越了先前的开源模型，展现出更高的效率。

🔬 方法详解

问题定义：本文旨在解决现有视频理解模型在跨视频类型泛化能力不足和计算效率低下的问题。现有模型通常只能在特定领域内有效，且计算资源消耗大。

核心思路：论文提出VideoChat3，通过引入膨胀3D视觉变换器（I3D-ViT）和自适应帧分辨率设计，旨在提高视频理解的效率和效果。这种设计使得模型能够更好地处理视频输入，降低计算成本。

技术框架：VideoChat3的整体架构包括高效的I3D-ViT模块和一个可扩展的视频数据合成管道。该管道生成三个高质量的训练数据集，涵盖一般、长视频和流媒体场景，增强模型的泛化能力。

关键创新：VideoChat3的主要创新在于其完全开放的设计和高效的计算框架。与现有方法相比，它在保持较小参数量的同时，实现了更高的效率和更强的泛化能力。

关键设计：在模型设计中，采用了自适应帧分辨率来优化视频处理，结合了多样化的数据集以提升训练效果。损失函数和网络结构经过精心设计，以确保模型在不同视频场景下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，VideoChat3以仅4B参数的配置超越了先前的开源模型，展现出更高的效率和泛化能力，尤其在长视频和流媒体场景中表现突出，提升幅度显著。

🎯 应用场景

VideoChat3的研究成果在多个领域具有潜在应用价值，包括智能监控、视频内容分析、在线教育和娱乐等。其高效的处理能力和广泛的适用性使其能够支持实时视频理解和交互，推动相关技术的发展与应用。

📄 摘要（原文）

Recent advances in video understanding have spanned motion, long video, and streaming interaction, driving this field toward real-world applications. Despite this progress, current open-source models remain limited in several ways. They often struggle to generalize across diverse video types, making them effective only in specific domains. High computational demands further restrict their efficiency and scalability. Moreover, most models are only partially open, with key components such as training code, strategy, or datasets unavailable, which hinders reproducibility and slows community-driven development. To address these issues, we introduce VideoChat3, a fully open, efficient, and generalist video-centric MLLM. VideoChat3 advances video understanding through two complementary designs. For efficiency, we introduce Inflated 3D Vision Transformer (I3D-ViT) and Adaptive Frame Resolution for Streaming Video Perception, which enables efficient spatiotemporal representation and reduces the cost of processing video inputs during training and inference. For effectiveness, we develop a scalable video data synthesis pipeline that curates three diverse, high-quality training datasets: VideoChat3-Academic2M, VideoChat3-LV116K, and VideoChat3-OL617K, covering general, long-form, and streaming video scenarios, improving the model's generalization across domains. By integrating these designs, VideoChat3 achieves a rare balance of broad generalization and computational efficiency. Experiments across general, long-form, and streaming benchmarks demonstrate that VideoChat3 surpasses prior open-source models with equal or larger parameter counts with only 4B parameters and higher efficiency.