Image Classifiers are Efficient Self-Supervised Video Representation Learners

📄 arXiv: 2609.40347v1 📥 PDF

作者: Owais Iqbal, Sudipta Sarkar, Shyam Marjit, Omprakash Chakraborty, Anirban Chakraborty, Abir Das

分类: cs.CV, cs.LG

发布日期: 2026-09-30

备注: Accepted in BMVC 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出VideoMSN以解决视频自监督表示学习效率低的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频自监督学习 时空表示 视觉变换器 掩蔽学习 低样本分类

📋 核心要点

  1. 现有的视频自监督学习方法通常依赖于复杂的3D网络架构或重建型自编码器，导致计算资源消耗大且效率低下。
  2. 论文提出的VideoMSN通过将视频视为超图像，利用标准图像视觉变换器进行时空表示学习，避免了重建过程。
  3. 实验结果表明，VideoMSN在多个视频分类基准上表现优异，且预训练周期显著减少，提升了学习效率。

📝 摘要（中文）

我们提出了VideoMSN，一个用于高效自监督时空表示学习的Masked Siamese Network框架。该方法不依赖于复杂的3D架构或重建型自编码器，而是通过将视频表示为由采样帧组成的超图像，重新利用标准图像视觉变换器。我们从每个超图像构建两个视图：一个进行空间补丁掩蔽，另一个进行时间帧掩蔽，确保帧间信息不泄漏。共享的视觉变换器编码器使用掩蔽Siamese损失对其嵌入进行对齐，捕捉运动和外观线索而无需重建。VideoMSN在Kinetics-400、UCF101和HMDB51上实现了最先进的性能，同时与之前的视频自监督学习方法相比，预训练视频的周期减少了多达32倍和160倍。该方法在低样本分类中也表现出色，验证了学习表示在标签稀缺场景中的可迁移性。

🔬 方法详解

问题定义：本论文旨在解决现有视频自监督学习方法效率低下的问题，尤其是依赖复杂3D架构和重建型自编码器的不足之处。

核心思路：我们通过将视频表示为由帧组成的超图像，利用标准图像视觉变换器进行学习，避免了重建过程，从而提高了学习效率。

技术框架：VideoMSN的整体架构包括两个主要模块：超图像的构建和共享视觉变换器编码器。超图像通过空间和时间掩蔽生成两个视图，编码器则对其嵌入进行对齐。

关键创新：最大的创新在于使用掩蔽Siamese损失来对齐不同视图的嵌入，捕捉运动和外观信息，而不需要重建，显著提高了表示学习的效率。

关键设计：我们使用了预训练的DINO-v3和DeiT-v3图像编码器，设计了空间补丁掩蔽和时间帧掩蔽策略，确保信息不泄漏，同时优化了损失函数以增强模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VideoMSN在Kinetics-400、UCF101和HMDB51等多个数据集上达到了最先进的性能，预训练周期分别减少了32倍和160倍，显示出显著的效率提升。此外，该方法在低样本分类任务中也表现出色，验证了其学习表示的可迁移性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、视频检索和内容推荐等。通过高效的自监督学习，VideoMSN能够在标签稀缺的情况下快速适应新任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

We introduce VideoMSN, a Masked Siamese Network framework for efficient self-supervised spatio-temporal representation learning in videos. Instead of relying on heavy 3D architectures or reconstruction-based autoencoders for learning with unlabeled data, we repurpose standard image Vision Transformers by representing videos as super images which are grids composed of frames sampled from videos. From each super image, we construct two views: one with spatial patch masking and the other with temporal frame masking, ensuring no information leakage across frames. A shared Vision Transformer (ViT) encoder aligns their embeddings using a masked Siamese loss, capturing both motion and appearance cues without reconstruction. Our decoder-free formulation leverages an image foundation model towards efficient video representation learning. Starting from pretrained DINO-v3 and DeiT-v3 image encoders, VideoMSN achieves state-of-the-art performance on Kinetics-400, UCF101, and HMDB51 while requiring up to $32\times$ fewer and $160\times$ fewer video pretraining epochs compared to prior video self-supervised learning methods. Our proposed approach also shows strong performance in low-shot classification, confirming the transferability of the learned representations in a label-scarce scenario. Project Page: https://cvir.github.io/projects/videomsn.