MHAD: Multimodal Home Activity Dataset with Multi-Angle Videos and Synchronized Physiological Signals

📄 arXiv: 2409.09366v1 📥 PDF

作者: Lei Yu, Jintao Fei, Xinyi Liu, Yang Yao, Jun Zhao, Guoxin Wang, Xin Li

分类: cs.CV, cs.MM

发布日期: 2024-09-14

DOI: 10.1109/ICASSP49660.2025.10888739

🔗 代码/项目: GITHUB

💡 一句话要点

提出MHAD多模态家庭活动数据集，用于提升视频生理信号分析在家庭环境中的性能。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 家庭活动识别 视频生理信号 rPPG 健康监测 多角度视频 生理信号分析

📋 核心要点

  1. 现有视频生理数据集通常局限于近距离、静态、正面录制，且仅包含1-2种生理信号，难以满足真实家庭环境的需求。
  2. MHAD数据集通过模拟真实家庭环境，提供多角度视频和多种生理信号，旨在弥补现有数据集的不足，推动相关技术发展。
  3. 该数据集与rPPG-toolbox兼容，并通过多种方法验证，证明了其有效性，为后续研究提供了可靠的基础。

📝 摘要（中文）

本文提出了一个名为MHAD的多模态家庭活动数据集，旨在推动基于视频的生理信号分析技术在真实家庭环境中的应用。该数据集包含来自40名受试者的1440个视频，涵盖了3个角度拍摄的6种典型家庭活动。此外，还同步记录了5种生理信号，使其成为一个全面的视频生理数据集。MHAD数据集与rPPG-toolbox兼容，并通过多种无监督和监督方法进行了验证。该数据集已公开，可促进相关研究的进展。

🔬 方法详解

问题定义：现有基于视频的生理信号分析数据集，如rPPG，在家庭环境应用中存在局限性。主要痛点在于：一是数据集采集场景单一，通常为近距离、静态、正面视角；二是数据集包含的生理信号种类有限，通常只有1-2种，无法满足复杂家庭活动监测的需求。这些限制阻碍了相关技术在真实家庭环境中的有效应用。

核心思路：MHAD数据集的核心思路是创建一个更贴近真实家庭环境的数据集，以促进视频生理信号分析技术的发展。通过模拟真实家庭场景，采集多角度视频和多种生理信号，旨在弥补现有数据集的不足，提高算法在实际应用中的泛化能力。

技术框架：MHAD数据集的构建主要包括以下几个阶段：1) 设计家庭活动场景，选择具有代表性的家庭活动；2) 招募受试者，进行数据采集；3) 使用多个摄像头从不同角度同步录制视频；4) 使用生理传感器同步记录多种生理信号；5) 对采集的数据进行预处理和标注；6) 公开数据集，供研究人员使用。

关键创新：MHAD数据集的关键创新在于其多模态和多角度的特性。与现有数据集相比，MHAD数据集不仅包含视频数据，还包含多种生理信号，可以进行多模态融合分析。此外，MHAD数据集还从多个角度录制视频，可以提高算法对视角变化的鲁棒性。

关键设计：MHAD数据集包含6种典型的家庭活动，分别是：聊天、阅读、写作、玩游戏、看电视和休息。视频数据从3个角度同步录制，生理信号包括心电图(ECG)、呼吸、血氧饱和度(SpO2)、体温和血压。数据集与rPPG-toolbox兼容，方便研究人员使用现有的rPPG算法进行实验。

🖼️ 关键图片

fig_0

📊 实验亮点

MHAD数据集包含1440个视频，涵盖40名受试者，6种活动和3个角度。同步记录了5种生理信号，使其成为一个全面的视频生理数据集。该数据集与rPPG-toolbox兼容，并使用无监督和监督方法进行了验证，结果表明该数据集具有良好的可用性和有效性。数据集的公开为相关研究提供了宝贵资源。

🎯 应用场景

MHAD数据集可广泛应用于家庭健康监测、老年人护理、远程医疗等领域。通过分析家庭环境中的视频和生理信号，可以实现对个体健康状况的非接触式、实时监测，从而及早发现潜在的健康问题，并提供个性化的健康管理方案。该研究有助于提高人们的生活质量，降低医疗成本。

📄 摘要（原文）

Video-based physiology, exemplified by remote photoplethysmography (rPPG), extracts physiological signals such as pulse and respiration by analyzing subtle changes in video recordings. This non-contact, real-time monitoring method holds great potential for home settings. Despite the valuable contributions of public benchmark datasets to this technology, there is currently no dataset specifically designed for passive home monitoring. Existing datasets are often limited to close-up, static, frontal recordings and typically include only 1-2 physiological signals. To advance video-based physiology in real home settings, we introduce the MHAD dataset. It comprises 1,440 videos from 40 subjects, capturing 6 typical activities from 3 angles in a real home environment. Additionally, 5 physiological signals were recorded, making it a comprehensive video-based physiology dataset. MHAD is compatible with the rPPG-toolbox and has been validated using several unsupervised and supervised methods. Our dataset is publicly available at https://github.com/jdh-algo/MHAD-Dataset.