Supervised Contrastive Frame Aggregation for Video Representation Learning

📄 arXiv: 2512.12549v1 📥 PDF

作者: Shaif Chowdhury, Mushfika Rahman, Greg Hamerly

分类: cs.CV, cs.LG

发布日期: 2025-12-14

备注: 12 pages

💡 一句话要点

提出监督对比帧聚合方法，用于高效视频表征学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频表征学习 监督对比学习 帧聚合 卷积神经网络 视频分类

📋 核心要点

  1. 现有视频表征学习方法计算成本高昂，例如复杂的视频Transformer模型。
  2. 提出一种视频帧聚合策略，将视频帧排列成单张图像，利用预训练CNN提取特征，降低计算复杂度。
  3. 设计监督对比学习目标，通过不同时间采样生成正样本，提升模型泛化能力，并在Penn Action和HMDB51数据集上验证有效性。

📝 摘要（中文）

本文提出了一种用于视频表征学习的监督对比学习框架，该框架利用了时间上的全局上下文信息。我们引入了一种视频到图像的聚合策略，将每个视频的多个帧在空间上排列成单个输入图像。这种设计使得可以使用预训练的卷积神经网络骨干网络（如ResNet50），并避免了复杂视频Transformer模型的计算开销。然后，我们设计了一个对比学习目标，直接比较模型生成的成对投影。正样本对被定义为来自共享相同标签的视频的投影，而所有其他投影都被视为负样本。通过从同一底层视频进行不同的时间帧采样，创建同一视频的多个自然视图。这些帧级别的变化产生具有全局上下文的多样化正样本，并减少过拟合，而不是依赖于数据增强。在Penn Action和HMDB51数据集上的实验表明，所提出的方法在分类精度方面优于现有方法，同时需要更少的计算资源。所提出的监督对比帧聚合方法在监督和自监督设置中都能学习有效的视频表征，并支持基于视频的任务，如分类和字幕生成。该方法在Penn Action上实现了76%的分类精度，而ViViT的精度为43%，在HMDB51上实现了48%的精度，而ViViT的精度为37%。

🔬 方法详解

问题定义：现有视频表征学习方法，尤其是基于Transformer的模型，计算复杂度高，难以应用到资源受限的场景。同时，如何有效利用视频中的时间上下文信息，并避免过拟合，也是一个挑战。

核心思路：本文的核心思路是将视频帧聚合为单张图像，利用预训练的CNN提取特征，从而降低计算复杂度。同时，通过监督对比学习，将同一视频的不同时间采样作为正样本，学习视频的全局上下文信息，并提升模型的泛化能力。

技术框架：整体框架包括三个主要步骤：1) 视频帧聚合：将视频的多个帧在空间上排列成一张图像。2) 特征提取：使用预训练的CNN（如ResNet50）提取聚合图像的特征。3) 对比学习：设计对比损失函数，将同一视频的不同时间采样作为正样本，不同视频作为负样本，训练模型。

关键创新：最重要的创新点在于视频帧聚合策略和监督对比学习的结合。通过帧聚合，可以利用预训练的CNN，避免了复杂视频Transformer模型的计算开销。通过监督对比学习，可以有效利用视频的时间上下文信息，并提升模型的泛化能力。

关键设计：关键设计包括：1) 帧聚合策略：具体如何将多个帧排列成一张图像，例如可以采用网格排列或随机排列。2) 对比损失函数：如何定义正负样本对，以及如何计算对比损失。3) 时间采样策略：如何从视频中选择不同的时间帧进行采样，以生成多样化的正样本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在Penn Action数据集上达到了76%的分类精度，显著优于ViViT的43%。在HMDB51数据集上，该方法达到了48%的分类精度，也优于ViViT的37%。这些结果表明，该方法在计算资源有限的情况下，能够有效地学习视频表征。

🎯 应用场景

该研究成果可应用于视频分类、视频检索、视频字幕生成等多种视频理解任务。通过降低计算复杂度，该方法更易于部署在资源受限的设备上，例如移动设备或嵌入式系统。未来，该方法可以扩展到更复杂的视频分析任务，例如视频异常检测或行为识别。

📄 摘要（原文）

We propose a supervised contrastive learning framework for video representation learning that leverages temporally global context. We introduce a video to image aggregation strategy that spatially arranges multiple frames from each video into a single input image. This design enables the use of pre trained convolutional neural network backbones such as ResNet50 and avoids the computational overhead of complex video transformer models. We then design a contrastive learning objective that directly compares pairwise projections generated by the model. Positive pairs are defined as projections from videos sharing the same label while all other projections are treated as negatives. Multiple natural views of the same video are created using different temporal frame samplings from the same underlying video. Rather than relying on data augmentation these frame level variations produce diverse positive samples with global context and reduce overfitting. Experiments on the Penn Action and HMDB51 datasets demonstrate that the proposed method outperforms existing approaches in classification accuracy while requiring fewer computational resources. The proposed Supervised Contrastive Frame Aggregation method learns effective video representations in both supervised and self supervised settings and supports video based tasks such as classification and captioning. The method achieves seventy six percent classification accuracy on Penn Action compared to forty three percent achieved by ViVIT and forty eight percent accuracy on HMDB51 compared to thirty seven percent achieved by ViVIT.