CogVLM2: Visual Language Models for Image and Video Understanding

📄 arXiv: 2408.16500v1 📥 PDF

作者: Wenyi Hong, Weihan Wang, Ming Ding, Wenmeng Yu, Qingsong Lv, Yan Wang, Yean Cheng, Shiyu Huang, Junhui Ji, Zhao Xue, Lei Zhao, Zhuoyi Yang, Xiaotao Gu, Xiaohan Zhang, Guanyu Feng, Da Yin, Zihan Wang, Ji Qi, Xixuan Song, Peng Zhang, Debing Liu, Bin Xu, Juanzi Li, Yuxiao Dong, Jie Tang

分类: cs.CV

发布日期: 2024-08-29

🔗 代码/项目: GITHUB | GITHUB

💡 一句话要点

CogVLM2：用于图像和视频理解的视觉语言模型，支持高分辨率和时序建模。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 图像理解 视频理解 高分辨率 时序建模

📋 核心要点

  1. 现有视觉语言模型在视觉-语言融合、高分辨率处理和多模态应用方面存在挑战。
  2. CogVLM2系列通过改进的视觉专家架构、时间戳多帧输入和自动时序定位数据构建来解决上述问题。
  3. CogVLM2系列在多个基准测试中取得了领先成果，证明了其在图像和视频理解方面的有效性。

📝 摘要（中文）

CogVLM2系列是新一代的视觉语言模型，旨在增强视觉-语言融合，提高高分辨率架构的效率，并扩展模态和应用。该系列包括CogVLM2、CogVLM2-Video和GLM-4V。CogVLM2作为图像理解模型，继承了视觉专家架构，并在预训练和后训练阶段改进了训练方法，支持高达1344x1344像素的输入分辨率。CogVLM2-Video作为视频理解模型，集成了带时间戳的多帧输入，并提出了自动时序定位数据构建方法。CogVLM2系列在MMBench、MM-Vet、TextVQA、MVBench和VCGBench等基准测试中取得了最先进的结果。所有模型均已开源，为该领域的发展做出了贡献。

🔬 方法详解

问题定义：现有视觉语言模型在处理高分辨率图像和视频时，面临计算效率和信息融合的挑战。尤其是在视频理解方面，如何有效地利用时序信息是一个关键问题。现有方法在时序建模方面存在不足，难以充分挖掘视频中的时间关系。

核心思路：CogVLM2系列的核心思路是改进视觉-语言融合机制，并针对图像和视频分别设计优化方案。对于图像，通过视觉专家架构和改进的训练方法提升高分辨率图像的处理能力。对于视频，通过引入时间戳信息和自动时序定位数据构建，增强模型对视频时序信息的理解能力。

技术框架：CogVLM2的整体架构基于视觉专家模型，包含视觉编码器、语言模型和视觉-语言融合模块。CogVLM2-Video在CogVLM2的基础上，增加了多帧输入处理模块和时间戳编码模块，用于处理视频帧序列和时间信息。GLM-4V是该系列的另一个变体，具体架构细节未知。

关键创新：CogVLM2的关键创新在于：1) 针对高分辨率图像的优化训练策略；2) CogVLM2-Video中引入的时间戳信息和自动时序定位数据构建方法，这使得模型能够更好地理解视频中的时间关系。与现有方法相比，CogVLM2系列更注重高分辨率图像和视频的时序建模。

关键设计：CogVLM2支持高达1344x1344像素的输入分辨率，具体的视觉专家架构细节未知。CogVLM2-Video使用时间戳来编码视频帧的时间信息，并采用自动时序定位数据构建方法来生成训练数据，具体的损失函数和网络结构细节未知。

🖼️ 关键图片

img_0

📊 实验亮点

CogVLM2系列在MMBench、MM-Vet、TextVQA、MVBench和VCGBench等多个基准测试中取得了最先进的结果。这些结果表明，CogVLM2系列在图像和视频理解方面具有显著的优势，尤其是在处理高分辨率图像和理解视频时序信息方面。

🎯 应用场景

CogVLM2系列模型可广泛应用于图像和视频理解任务，例如视觉问答、图像描述、视频摘要、视频检索等。在工业领域，可用于智能监控、自动驾驶、内容审核等场景。该研究的开源将促进视觉语言模型的发展，并推动相关技术的应用。

📄 摘要（原文）

Beginning with VisualGLM and CogVLM, we are continuously exploring VLMs in pursuit of enhanced vision-language fusion, efficient higher-resolution architecture, and broader modalities and applications. Here we propose the CogVLM2 family, a new generation of visual language models for image and video understanding including CogVLM2, CogVLM2-Video and GLM-4V. As an image understanding model, CogVLM2 inherits the visual expert architecture with improved training recipes in both pre-training and post-training stages, supporting input resolution up to $1344 \times 1344$ pixels. As a video understanding model, CogVLM2-Video integrates multi-frame input with timestamps and proposes automated temporal grounding data construction. Notably, CogVLM2 family has achieved state-of-the-art results on benchmarks like MMBench, MM-Vet, TextVQA, MVBench and VCGBench. All models are open-sourced in https://github.com/THUDM/CogVLM2 and https://github.com/THUDM/GLM-4, contributing to the advancement of the field.