HVM-1: Large-scale video models pretrained with nearly 5000 hours of human-like video data

📄 arXiv: 2407.18067v1 📥 PDF

作者: A. Emin Orhan

分类: cs.CV, cs.LG, cs.NE, q-bio.NC

发布日期: 2024-07-25

备注: 10 pages, 5 figures, 1 table; code & models available from https://github.com/eminorhan/hvm-1

💡 一句话要点

提出HVM-1，利用近5000小时类人视频数据预训练大规模视频模型，提升视频和图像识别能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频预训练 自监督学习 时空掩码自编码器 类人视频数据 大规模视频模型

📋 核心要点

  1. 现有视频模型依赖短视频数据集，缺乏长时间连续视频的学习，限制了对复杂时序关系的理解。
  2. HVM-1利用ST-MAE算法，通过大规模类人第一视角视频进行预训练，学习视频中的时空规律。
  3. 实验表明，HVM-1在下游任务中表现出竞争力，并能学习到更准确、鲁棒的对象表示。

📝 摘要（中文）

本文介绍了类人视频模型（HVM-1），这是一种大规模视频模型，使用时空掩码自编码器（ST-MAE）算法，通过近5000小时精心策划的类人视频数据（主要是以自我为中心的、时间上连续的视频记录）进行预训练。我们发布了两个参数为6.33亿的模型，训练空间分辨率分别为224x224和448x448像素。我们评估了这些模型在下游少样本视频和图像识别任务中的性能，并将其与使用来自YouTube的1330小时短动作导向视频片段（Kinetics-700）预训练的模型进行了比较。尽管相应预训练数据集的时空特征存在显著的定性差异，但HVM-1模型在下游评估中与Kinetics-700预训练模型相比具有竞争力。与在相同数据上使用基于图像的MAE算法预训练的模型相比，HVM-1模型还学习了更准确、更鲁棒的对象表示，证明了学习预测自然视频中的时间规律性对于学习更好的对象表示的潜在好处。

🔬 方法详解

问题定义：现有视频预训练方法通常依赖于短视频数据集，例如Kinetics-700，这些数据集主要包含动作导向的片段。然而，真实世界的视频往往是长时间、连续的，并且包含更丰富的时空信息。因此，如何利用大规模的、类人的、长时间的视频数据进行预训练，从而提升模型对视频内容的理解和泛化能力，是一个重要的挑战。现有方法难以捕捉长时间视频中的复杂时序关系和上下文信息。

核心思路：HVM-1的核心思路是利用大规模的类人第一视角视频数据，通过时空掩码自编码器（ST-MAE）进行预训练。这种方法旨在让模型学习预测视频中被掩盖的部分，从而捕捉视频中的时空规律和上下文信息。通过这种方式，模型可以学习到更鲁棒、更准确的对象表示，并提升在下游任务中的性能。

技术框架：HVM-1的整体框架包括以下几个主要步骤：1）收集和整理大规模的类人第一视角视频数据；2）使用ST-MAE算法对视频数据进行预训练。ST-MAE算法首先将视频分割成时空块，然后随机掩盖一部分块，并训练模型来预测被掩盖的块。预训练完成后，可以将模型应用于各种下游任务，例如视频和图像识别。

关键创新：HVM-1的关键创新在于使用了大规模的类人第一视角视频数据进行预训练，并结合了ST-MAE算法。与传统的基于短视频数据集的预训练方法相比，HVM-1能够学习到更丰富的时空信息和上下文关系。此外，ST-MAE算法能够有效地利用未标记的视频数据，从而提升模型的泛化能力。

关键设计：HVM-1使用了两个参数为6.33亿的模型，训练空间分辨率分别为224x224和448x448像素。ST-MAE算法中的掩码比例是一个重要的参数，需要根据具体的数据集和任务进行调整。损失函数通常采用均方误差（MSE）或交叉熵损失函数，用于衡量模型预测结果与真实值之间的差异。网络结构通常采用Transformer或卷积神经网络（CNN），用于提取视频中的时空特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HVM-1在下游少样本视频和图像识别任务中表现出与Kinetics-700预训练模型相当的竞争力，尽管预训练数据集存在显著差异。更重要的是，HVM-1模型学习到了比基于图像的MAE预训练模型更准确和鲁棒的对象表示，这表明了学习预测自然视频中的时间规律性对于学习更好的对象表示的潜在好处。

🎯 应用场景

HVM-1的潜在应用领域包括机器人视觉、自动驾驶、视频监控、虚拟现实和增强现实等。通过学习类人视频数据，HVM-1可以帮助机器人更好地理解周围环境，从而实现更智能的交互和导航。在自动驾驶领域，HVM-1可以用于识别交通标志、行人和其他车辆，从而提高驾驶安全性。此外，HVM-1还可以用于视频内容分析、异常检测和视频编辑等任务。

📄 摘要（原文）

We introduce Human-like Video Models (HVM-1), large-scale video models pretrained with nearly 5000 hours of curated human-like video data (mostly egocentric, temporally extended, continuous video recordings), using the spatiotemporal masked autoencoder (ST-MAE) algorithm. We release two 633M parameter models trained at spatial resolutions of 224x224 and 448x448 pixels. We evaluate the performance of these models in downstream few-shot video and image recognition tasks and compare them against a model pretrained with 1330 hours of short action-oriented video clips from YouTube (Kinetics-700). HVM-1 models perform competitively against the Kinetics-700 pretrained model in downstream evaluations despite substantial qualitative differences between the spatiotemporal characteristics of the corresponding pretraining datasets. HVM-1 models also learn more accurate and more robust object representations compared to models pretrained with the image-based MAE algorithm on the same data, demonstrating the potential benefits of learning to predict temporal regularities in natural videos for learning better object representations.