When the Future Becomes the Past: Taming Temporal Correspondence for Self-supervised Video Representation Learning

📄 arXiv: 2503.15096v1 📥 PDF

作者: Yang Liu, Qianqian Xu, Peisong Wen, Siran Dai, Qingming Huang

分类: cs.CV

发布日期: 2025-03-19

备注: Accepted at CVPR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出T-CoRe，利用时序对应关系进行自监督视频表征学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 视频表征学习 掩码视频建模 时间对应关系 自蒸馏

📋 核心要点

  1. 现有MVM方法在无标注视频中随机采样，引入不确定性，增加了模型训练难度。
  2. T-CoRe利用三明治采样减少重建不确定性，并引入辅助分支恢复潜在空间表征。
  3. 实验表明，T-CoRe在多个下游任务中表现优异，验证了其视频表征学习的有效性。

📝 摘要（中文）

过去十年，视频任务的自监督学习取得了显著成就。最近的研究通常采用掩码视频建模（MVM）范式，并在多个视频任务上取得了重大进展。然而，仍然存在两个关键挑战：1）在没有人工标注的情况下，随机时间采样引入了不确定性，增加了模型训练的难度。2）先前的MVM方法主要恢复像素空间中的掩码块，导致下游任务的信息压缩不足。为了共同应对这些挑战，我们提出了一个自监督框架，该框架利用时间对应关系进行视频表征学习（T-CoRe）。对于挑战1），我们提出了一种三明治采样策略，该策略选择两个辅助帧，以双边挤压的方式减少重建不确定性。为了应对挑战2），我们在自蒸馏架构中引入了一个辅助分支，以恢复潜在空间中的表征，从而生成富含时间信息的高级语义表征。T-CoRe的实验在多个下游任务中始终表现出卓越的性能，证明了其在视频表征学习方面的有效性。代码可在https://github.com/yafeng19/T-CORE 获取。

🔬 方法详解

问题定义：现有基于掩码视频建模（MVM）的自监督视频表征学习方法，在没有人工标注的情况下，随机时间采样导致训练数据存在不确定性，增加了模型学习难度。此外，以往方法主要关注像素级别的重建，信息压缩不足，不利于下游任务。

核心思路：论文的核心思路是通过引入时间对应关系来减少训练的不确定性，并利用自蒸馏架构在潜在空间中进行表征恢复，从而学习到更鲁棒、更具语义信息的视频表征。三明治采样策略旨在通过辅助帧来约束目标帧的重建，降低随机采样带来的不确定性。潜在空间的表征恢复则旨在学习更高级的语义特征。

技术框架：T-CoRe框架包含两个主要分支：主分支和辅助分支。主分支采用标准的MVM流程，对视频帧进行掩码，然后进行重建。辅助分支则用于在潜在空间中进行表征恢复。整个框架采用自蒸馏架构，主分支作为学生网络，辅助分支作为教师网络。通过最小化两个分支输出表征之间的差异，实现知识迁移。

关键创新：论文的关键创新在于以下两点：一是提出了三明治采样策略，有效降低了随机采样带来的不确定性；二是引入了辅助分支，在潜在空间中进行表征恢复，从而学习到更高级的语义特征。与现有方法相比，T-CoRe不仅关注像素级别的重建，更注重学习视频的时序结构和语义信息。

关键设计：三明治采样策略选择目标帧前后各一帧作为辅助帧，共同约束目标帧的重建。损失函数包括重建损失和蒸馏损失。重建损失用于约束主分支的重建效果，蒸馏损失用于约束主分支和辅助分支的表征一致性。网络结构方面，可以使用Transformer等常用的视频编码器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，T-CoRe在多个下游任务上取得了显著的性能提升。例如，在Something-Something V2数据集上，T-CoRe的准确率超过了现有自监督方法的SOTA结果。此外，消融实验验证了三明治采样策略和辅助分支的有效性，证明了T-CoRe的优越性。

🎯 应用场景

该研究成果可应用于各种视频理解任务，例如视频分类、动作识别、视频检索等。通过学习高质量的视频表征，可以提升这些任务的性能。此外，该方法也可以应用于无监督视频异常检测、视频内容分析等领域，具有广泛的应用前景和实际价值。

📄 摘要（原文）

The past decade has witnessed notable achievements in self-supervised learning for video tasks. Recent efforts typically adopt the Masked Video Modeling (MVM) paradigm, leading to significant progress on multiple video tasks. However, two critical challenges remain: 1) Without human annotations, the random temporal sampling introduces uncertainty, increasing the difficulty of model training. 2) Previous MVM methods primarily recover the masked patches in the pixel space, leading to insufficient information compression for downstream tasks. To address these challenges jointly, we propose a self-supervised framework that leverages Temporal Correspondence for video Representation learning (T-CoRe). For challenge 1), we propose a sandwich sampling strategy that selects two auxiliary frames to reduce reconstruction uncertainty in a two-side-squeezing manner. Addressing challenge 2), we introduce an auxiliary branch into a self-distillation architecture to restore representations in the latent space, generating high-level semantic representations enriched with temporal information. Experiments of T-CoRe consistently present superior performance across several downstream tasks, demonstrating its effectiveness for video representation learning. The code is available at https://github.com/yafeng19/T-CORE.