HuC-VideoMAE: Human-Centric Video Masked Autoencoding from synthetic data

📄 arXiv: 2610.08433v1 📥 PDF

作者: Ricardo Pizarro, Roberto Valle, José M. Buenaposada, Luis M. Bergasa, Luis Baumela

分类: cs.CV

发布日期: 2026-10-06

期刊: ECCV 2026 Workshop on Privacy, Fairness, Accountability and Transparency in Computer Vision

💡 一句话要点

提出人本视频掩码自编码以解决伦理数据问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 动作识别 视频变换器 自监督学习 合成数据 伦理问题 人本掩码 关键点检测 模型预训练

📋 核心要点

  1. 现有的动作识别模型依赖于未经同意的真实视频数据，存在伦理问题。
  2. 提出了一种人本掩码方案，利用关键点和边界框区域来优化视频变换器的预训练。
  3. 实验结果显示，该方法在NTU RGB+D和Toyota-Smarthome数据集上显著提升性能。

📝 摘要（中文）

现代动作识别模型依赖于在大量网络爬取视频上预训练的视频变换器，但这引发了伦理问题，因为通常未获得受试者的同意。本文探讨了在合成的人体运动数据集上进行自监督预训练的方法。我们首先发现，直接应用标准的视频掩码自编码策略会导致性能显著下降。为了解决这一限制，我们提出了一种人本掩码方案，利用身体关键点和人物边界框区域，鼓励模型在预训练期间关注人体运动的结构和动态。实验结果表明，我们的方法在合成数据上显著优于标准的视频掩码自编码，缩小了与Kinetics预训练的49%的差距，且在预训练过程中未使用任何真实帧。为了促进伦理动作识别模型的使用，我们将公开发布我们的预训练模型。

🔬 方法详解

问题定义：现有的动作识别模型通常依赖于大规模的真实视频数据进行预训练，这不仅面临伦理问题，还可能导致模型对人类运动的理解不够精准。

核心思路：本文提出了一种人本掩码方案，旨在通过关注人体关键点和边界框区域，提升模型对人类运动结构和动态的理解，从而改善预训练效果。

技术框架：整体方法包括数据准备、掩码策略设计和模型训练三个主要阶段。首先，利用合成数据集生成训练样本；其次，设计人本掩码策略以优化模型关注区域；最后，进行自监督预训练。

关键创新：本研究的创新点在于提出了人本掩码方案，显著改善了标准视频掩码自编码的性能，尤其是在合成数据上，解决了传统方法在真实数据预训练中存在的不足。

关键设计：在模型设计中，采用了基于关键点的掩码策略，调整了损失函数以强调运动动态的学习，同时确保模型在预训练过程中不依赖任何真实视频帧。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，提出的方法在NTU RGB+D数据集上显著优于标准视频掩码自编码，缩小了与Kinetics预训练的49%的性能差距，展示了合成数据在动作识别中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实和人机交互等场景。通过使用合成数据进行训练，可以有效避免伦理问题，同时提升模型在复杂环境下的动作识别能力，具有重要的实际价值和社会影响。

📄 摘要（原文）

Modern action recognition models rely on video transformers pretrained on massive collections of web-crawled videos, such as Kinetics-700. However, the use of such data raises ethical concerns, as subjects' consent is typically not obtained. Recent high-quality synthetic video datasets generated from motion-capture data, such as BEDLAM2.0, offer a promising ethical alternative. In this work, we investigate self-supervised pretraining of video transformers on synthetic human-motion datasets. We first show that directly applying the standard VideoMAE masking strategy leads to substantially worse performance than pretraining on Kinetics. To address this limitation, we propose a human-centric masking scheme that leverages body keypoints and person bounding box regions. Our approach encourages the model to focus on the structure and dynamics of human motion during pretraining. Experiments on NTU RGB+D and Toyota-Smarthome demonstrate that our method significantly outperforms standard VideoMAE pretraining on synthetic data, closing 49% of the gap to Kinetics pretraining on NTU RGB+D cross-view-subject without using a single real frame during pretraining. To promote the use of ethical action recognition models, we will publicly release our pretrained models.