Building an Open-Vocabulary Video CLIP Model with Better Architectures, Optimization and Data

📄 arXiv: 2310.05010v1 📥 PDF

作者: Zuxuan Wu, Zejia Weng, Wujian Peng, Xitong Yang, Ang Li, Larry S. Davis, Yu-Gang Jiang

分类: cs.CV

发布日期: 2023-10-08

备注: arXiv admin note: substantial text overlap with arXiv:2302.00624

🔗 代码/项目: GITHUB

💡 一句话要点

提出Open-VCLIP++以解决零-shot视频识别问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot视频识别 时空特征 插值权重优化 多模态学习 视频分类

📋 核心要点

  1. 现有的CLIP方法在视频识别领域的应用尚未得到充分探索，尤其是在零-shot场景下的表现有限。
  2. 本文提出的Open-VCLIP++框架通过最小修改CLIP，增强了其在视频分类中的时空关系捕捉能力，适应零-shot视频识别需求。
  3. 在UCF、HMDB和Kinetics-600数据集上，Open-VCLIP++的零-shot准确率分别达到了88.1%、58.7%和81.2%，显著超越了现有方法。

📝 摘要（中文）

尽管对比语言-图像预训练（CLIP）在零-shot图像识别中取得了显著成果，但对其在零-shot视频识别中的潜力探索有限。本文提出了Open-VCLIP++，一个简单而有效的框架，将CLIP适配为强大的零-shot视频分类器，能够在测试期间识别新颖的动作和事件。Open-VCLIP++最小化地修改了CLIP，以捕捉视频中的时空关系，从而创建一个专门的视频分类器，同时努力实现泛化。我们正式证明训练Open-VCLIP++等同于在没有历史数据的情况下进行持续学习。为了解决这个问题，我们引入了插值权重优化技术，在训练和测试过程中利用权重插值的优势。我们的方案在三个广泛使用的动作识别数据集上进行了评估，结果表明我们的方法显著超越了现有的最先进技术。

🔬 方法详解

问题定义：本文旨在解决现有CLIP在零-shot视频识别中的应用不足，尤其是如何有效捕捉视频的时空特征以进行准确分类。

核心思路：Open-VCLIP++通过最小化对CLIP的修改，增强其对视频数据的适应性，同时引入插值权重优化技术，以支持在没有历史数据的情况下进行持续学习。

技术框架：该框架包括视频特征提取模块、时空关系捕捉模块和插值权重优化模块，整体流程从视频输入到特征提取，再到分类决策，形成闭环。

关键创新：引入插值权重优化技术是本文的核心创新，它在训练和测试过程中利用权重插值，提升了模型的泛化能力，与传统方法相比具有本质区别。

关键设计：在模型设计中，采用了大语言模型生成细粒度视频描述，并与视频特征对齐，优化了损失函数以增强模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在UCF、HMDB和Kinetics-600数据集上，Open-VCLIP++分别实现了88.1%、58.7%和81.2%的零-shot准确率，较最佳替代方法分别提升了8.5%、8.2%和12.3%。在MSR-VTT视频-文本检索数据集上，该方法在视频到文本和文本到视频的检索性能上也表现出竞争力，且所需微调数据显著减少。

🎯 应用场景

该研究的潜在应用领域包括视频监控、体育分析、社交媒体内容自动标注等，能够在实时视频分析和内容检索中发挥重要作用。未来，Open-VCLIP++有望推动更多领域的零-shot学习研究，提升多模态学习的效率与准确性。

📄 摘要（原文）

Despite significant results achieved by Contrastive Language-Image Pretraining (CLIP) in zero-shot image recognition, limited effort has been made exploring its potential for zero-shot video recognition. This paper presents Open-VCLIP++, a simple yet effective framework that adapts CLIP to a strong zero-shot video classifier, capable of identifying novel actions and events during testing. Open-VCLIP++ minimally modifies CLIP to capture spatial-temporal relationships in videos, thereby creating a specialized video classifier while striving for generalization. We formally demonstrate that training Open-VCLIP++ is tantamount to continual learning with zero historical data. To address this problem, we introduce Interpolated Weight Optimization, a technique that leverages the advantages of weight interpolation during both training and testing. Furthermore, we build upon large language models to produce fine-grained video descriptions. These detailed descriptions are further aligned with video features, facilitating a better transfer of CLIP to the video domain. Our approach is evaluated on three widely used action recognition datasets, following a variety of zero-shot evaluation protocols. The results demonstrate that our method surpasses existing state-of-the-art techniques by significant margins. Specifically, we achieve zero-shot accuracy scores of 88.1%, 58.7%, and 81.2% on UCF, HMDB, and Kinetics-600 datasets respectively, outpacing the best-performing alternative methods by 8.5%, 8.2%, and 12.3%. We also evaluate our approach on the MSR-VTT video-text retrieval dataset, where it delivers competitive video-to-text and text-to-video retrieval performance, while utilizing substantially less fine-tuning data compared to other methods. Code is released at https://github.com/wengzejia1/Open-VCLIP.