Self-Supervised Contrastive Learning for Videos using Differentiable Local Alignment

📄 arXiv: 2409.04607v2 📥 PDF

作者: Keyne Oei, Amr Gomaa, Anna Maria Feit, João Belo

分类: cs.CV

发布日期: 2024-09-06 (更新: 2025-03-03)

备注: Accepted in 2nd Workshop on Video Understanding and its Applications, held in conjunction with the British Machine Vision Conference (BMVC) 2024

💡 一句话要点

提出基于可微局部对齐的自监督对比学习视频表征方法，提升动作识别性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 对比学习 视频表征 局部对齐 动作识别

📋 核心要点

  1. 现有视频表征学习方法难以有效捕捉视频中的局部时间依赖关系，限制了其在复杂视频分析任务中的性能。
  2. 论文提出局部对齐对比(LAC)损失，结合可微Smith-Waterman算法和对比学习，鼓励模型学习最佳子序列对齐。
  3. 实验结果表明，该方法学习到的视频表征在动作识别任务上优于现有方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种基于对齐时间视频序列的自监督表征学习方法，用于获得鲁棒的帧级别嵌入，这对于视频分析和理解任务至关重要。该框架使用基于Transformer的编码器提取帧级别特征，并利用这些特征来寻找视频序列之间的最佳对齐路径。我们引入了新颖的局部对齐对比(LAC)损失，它结合了可微局部对齐损失（用于捕获局部时间依赖性）和对比损失（用于增强判别学习）。与以往侧重于序列对之间的全局时间顺序的视频对齐工作不同，我们的损失鼓励识别最佳得分的子序列对齐。LAC使用可微的Smith-Waterman (SW)仿射方法，该方法具有通过训练阶段学习的灵活参数化，使模型能够动态调整时间间隙惩罚长度。评估表明，我们学习到的表征优于现有的最先进的动作识别方法。

🔬 方法详解

问题定义：现有视频表征学习方法通常侧重于全局时间顺序，忽略了视频中重要的局部时间依赖关系。此外，如何有效地学习鲁棒的帧级别嵌入，以支持各种视频分析和理解任务，仍然是一个挑战。这些方法在处理具有复杂时间结构的视频时，性能会受到限制。

核心思路：本文的核心思路是通过学习视频序列之间的最佳局部对齐来提取更具判别性的视频表征。通过引入可微的局部对齐损失，模型能够关注视频中的关键子序列，并学习它们之间的关系。结合对比学习，模型可以区分不同的视频序列，从而提高表征的鲁棒性和泛化能力。

技术框架：该框架主要包含以下几个模块：1) 基于Transformer的编码器：用于提取视频帧级别的特征。2) 可微Smith-Waterman (SW)算法：用于计算视频序列之间的局部对齐得分，并找到最佳对齐路径。3) 局部对齐对比(LAC)损失：结合了SW算法的对齐损失和对比损失，用于训练模型。整体流程是：首先，使用Transformer编码器提取视频帧特征；然后，使用SW算法计算序列间的对齐得分；最后，使用LAC损失优化模型参数。

关键创新：该论文的关键创新在于引入了可微的局部对齐损失，并将其与对比学习相结合。与以往侧重于全局时间顺序的方法不同，该方法能够关注视频中的关键子序列，并学习它们之间的关系。此外，使用可学习的Smith-Waterman算法，使得模型能够动态调整时间间隙惩罚长度，从而更好地适应不同的视频序列。

关键设计：LAC损失函数是关键设计之一，它由两部分组成：可微的Smith-Waterman对齐损失和对比损失。Smith-Waterman算法中的间隙惩罚参数是可学习的，允许模型自适应地调整时间间隔的惩罚。Transformer编码器的具体结构和参数设置也会影响最终的表征质量。对比损失通常采用InfoNCE损失，用于最大化正样本对之间的相似度，同时最小化负样本对之间的相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在动作识别任务上取得了显著的性能提升，超越了现有的最先进方法。具体的性能数据和对比基线在论文中进行了详细的展示。通过消融实验，验证了局部对齐损失和对比损失的有效性，以及可学习的Smith-Waterman算法的优势。

🎯 应用场景

该研究成果可广泛应用于视频分析和理解领域，例如动作识别、视频检索、视频摘要等。通过学习更鲁棒和具有判别性的视频表征，可以提高这些应用在复杂场景下的性能。此外，该方法还可以应用于其他序列数据分析任务，例如语音识别、自然语言处理等。

📄 摘要（原文）

Robust frame-wise embeddings are essential to perform video analysis and understanding tasks. We present a self-supervised method for representation learning based on aligning temporal video sequences. Our framework uses a transformer-based encoder to extract frame-level features and leverages them to find the optimal alignment path between video sequences. We introduce the novel Local-Alignment Contrastive (LAC) loss, which combines a differentiable local alignment loss to capture local temporal dependencies with a contrastive loss to enhance discriminative learning. Prior works on video alignment have focused on using global temporal ordering across sequence pairs, whereas our loss encourages identifying the best-scoring subsequence alignment. LAC uses the differentiable Smith-Waterman (SW) affine method, which features a flexible parameterization learned through the training phase, enabling the model to adjust the temporal gap penalty length dynamically. Evaluations show that our learned representations outperform existing state-of-the-art approaches on action recognition tasks.