Kronecker Mask and Interpretive Prompts are Language-Action Video Learners
作者: Jingyi Yang, Zitong Yu, Xiuming Ni, Jia He, Hui Li
分类: cs.CV
发布日期: 2025-02-05 (更新: 2025-02-10)
备注: Accepted to ICLR 2025
💡 一句话要点
提出CLAVER，通过Kronecker Mask和解释性提示增强CLIP在视频动作识别中的性能。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频动作识别 对比学习 CLIP Kronecker Mask Transformer 语言模型 解释性提示
📋 核心要点
- 现有方法在将CLIP应用于视频动作识别时，通常只调整文本或视觉分支，忽略了两者结合的重要性。
- CLAVER通过Kronecker Mask扩展时间感受野，并利用解释性提示增强动词理解，从而实现更好的动作识别。
- 实验表明，CLAVER在多个基准测试和学习场景中表现出色，证明了其优越性和通用性。
📝 摘要（中文）
对比语言-图像预训练（CLIP）在基于图像的视觉学习中取得了显著进展。一个紧迫的问题随之出现：如何有效地将CLIP应用于视频领域？最近的研究主要集中在调整CLIP的文本或视觉分支以进行动作识别。然而，我们认为对两个分支的调整至关重要。在本文中，我们提出了CLAVER：一种对比语言-动作视频学习器，旨在将CLIP的重点从静态视觉对象和具体名词的对齐转移到动态动作行为和抽象动词的对齐。具体来说，我们引入了一种新颖的Kronecker Mask注意力机制用于时间建模。我们定制的Kronecker Mask提供了三个好处：1）它扩展了每个token的时间感受野；2）它作为一种有效的时空异质性归纳偏置，缓解了时空同质化的问题；3）它可以无缝地插入到基于Transformer的模型中。在文本分支方面，我们利用大型语言模型生成多样化的、句子级别的和语义丰富的动作解释性提示，从而将模型的重点转移到动词理解上。在各种基准和学习场景下进行的大量实验证明了我们方法的优越性和通用性。
🔬 方法详解
问题定义：现有的基于CLIP的视频动作识别方法通常只关注对CLIP的视觉或文本分支进行单独的调整，而忽略了动作识别需要同时理解动态行为和抽象动词的特点。这些方法在处理视频的时序信息和理解动作的语义信息方面存在不足，导致性能受限。
核心思路：CLAVER的核心思路是将CLIP的重点从静态视觉对象和具体名词的对齐转移到动态动作行为和抽象动词的对齐。通过引入Kronecker Mask注意力机制来更好地建模视频的时序信息，并利用大型语言模型生成解释性提示来增强模型对动作语义的理解。
技术框架：CLAVER的整体框架包括一个视觉编码器和一个文本编码器。视觉编码器使用Transformer结构，并引入了Kronecker Mask注意力机制来处理视频帧序列。文本编码器使用预训练的语言模型，并利用生成的解释性提示来编码动作的语义信息。视觉和文本编码器的输出通过对比学习进行对齐。
关键创新：CLAVER的关键创新在于Kronecker Mask注意力机制和解释性提示的使用。Kronecker Mask注意力机制能够有效地扩展每个token的时间感受野，并引入时空异质性归纳偏置，从而更好地建模视频的时序信息。解释性提示能够提供更丰富和更具体的动作语义信息，从而增强模型对动作的理解。
关键设计：Kronecker Mask的具体实现方式未知，但其目的是为了扩大时间感受野并引入时空异质性。解释性提示的生成利用大型语言模型，并针对不同的动作生成多样化的、句子级别的提示。对比学习的目标函数用于对齐视觉和文本编码器的输出，具体的损失函数形式未知。
🖼️ 关键图片
📊 实验亮点
论文在多个视频动作识别基准测试中取得了显著的性能提升，证明了CLAVER的有效性。具体的性能数据和对比基线未知，但论文强调了CLAVER在不同学习场景下的优越性和通用性，表明其具有良好的泛化能力。
🎯 应用场景
CLAVER可应用于视频监控、智能安防、人机交互、视频内容分析等领域。例如，在视频监控中，CLAVER可以用于自动识别异常行为；在人机交互中，CLAVER可以用于理解用户的动作指令。该研究的成果有助于提升机器对视频内容的理解能力，为更智能化的应用提供支持。
📄 摘要（原文）
Contrastive language-image pretraining (CLIP) has significantly advanced image-based vision learning. A pressing topic subsequently arises: how can we effectively adapt CLIP to the video domain? Recent studies have focused on adjusting either the textual or visual branch of CLIP for action recognition. However, we argue that adaptations of both branches are crucial. In this paper, we propose \textbf{CLAVER}: a \textbf{C}ontrastive \textbf{L}anguage-\textbf{A}ction \textbf{V}ideo Learn\textbf{er}, designed to shift CLIP's focus from the alignment of static visual objects and concrete nouns to the alignment of dynamic action behaviors and abstract verbs. Specifically, we introduce a novel Kronecker mask attention for temporal modeling. Our tailored Kronecker mask offers three benefits 1) it expands the temporal receptive field for each token, 2) it serves as an effective spatiotemporal heterogeneity inductive bias, mitigating the issue of spatiotemporal homogenization, and 3) it can be seamlessly plugged into transformer-based models. Regarding the textual branch, we leverage large language models to generate diverse, sentence-level and semantically rich interpretive prompts of actions, which shift the model's focus towards the verb comprehension. Extensive experiments on various benchmarks and learning scenarios demonstrate the superiority and generality of our approach.