PhysDrive: A Multimodal Remote Physiological Measurement Dataset for In-vehicle Driver Monitoring

📄 arXiv: 2507.19172v1 📥 PDF

作者: Jiyao Wang, Xiao Yang, Qingyong Hu, Jiankai Tang, Can Liu, Dengbo He, Yuntao Wang, Yingcong Chen, Kaishun Wu

分类: cs.AI, cs.CV

发布日期: 2025-07-25

备注: It is the initial version, not the final version

💡 一句话要点

PhysDrive：首个大规模多模态车载驾驶员生理监测数据集，助力智能座舱研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 驾驶员监测 生理信号 多模态数据 车载系统 数据集 非接触式 毫米波雷达

📋 核心要点

  1. 现有车载生理监测数据集规模小、模态单一，难以应对真实驾驶场景中的复杂变化，限制了相关算法的实际应用。
  2. PhysDrive数据集通过同步采集RGB、近红外、毫米波雷达等多模态数据，并覆盖多种驾驶条件，旨在解决现有数据集的不足。
  3. 论文在PhysDrive数据集上评估了多种信号处理和深度学习方法，为多模态驾驶员生理监测研究提供了基准。

📝 摘要（中文）

为了实现稳健且无干扰的车载生理监测，确保驾驶安全和用户体验，本文提出了PhysDrive，这是首个大规模多模态数据集，用于非接触式车载生理传感。现有资源在规模、模态多样性、生物特征标注广度以及捕获条件范围方面存在局限性，忽略了驾驶中固有的真实世界挑战。PhysDrive从48名驾驶员处收集数据，包括同步的RGB、近红外相机和原始毫米波雷达数据，以及六个同步的ground truth（ECG、BVP、呼吸、HR、RR和SpO2）。它涵盖了广泛的自然驾驶条件，包括驾驶员运动、动态自然光、车辆类型和道路条件。我们在PhysDrive上广泛评估了信号处理和深度学习方法，建立了跨所有模态的综合基准，并发布了完全开源的代码，与主流公共工具箱兼容。我们期望PhysDrive将成为基础资源，加速多模态驾驶员监控和智能座舱系统的研究。

🔬 方法详解

问题定义：现有车载驾驶员生理监测数据集在规模、模态多样性以及驾驶条件覆盖范围上存在不足，难以反映真实驾驶场景的复杂性和挑战性。这导致基于这些数据集训练的模型在实际应用中表现不佳，限制了非接触式生理监测技术在驾驶安全领域的应用。

核心思路：PhysDrive数据集的核心思路是通过大规模、多模态的数据采集，尽可能覆盖真实驾驶场景中的各种因素，包括驾驶员的运动、光照变化、车辆类型和道路条件等。通过提供更全面、更真实的数据，促进相关算法的开发和优化，提高其在实际驾驶环境中的鲁棒性和准确性。

技术框架：PhysDrive数据集的构建主要包括以下几个阶段： 1. 数据采集：使用RGB相机、近红外相机和毫米波雷达同步采集驾驶员的视觉和雷达数据。 2. 生理信号采集：使用专业的生理监测设备同步采集驾驶员的ECG、BVP、呼吸、HR、RR和SpO2等生理信号作为ground truth。 3. 数据同步与标注：对采集到的多模态数据进行时间同步，并对生理信号进行准确标注。 4. 数据集划分：将数据集划分为训练集、验证集和测试集，用于算法的训练和评估。

关键创新：PhysDrive数据集的关键创新在于其大规模、多模态和真实驾驶场景的覆盖。它是首个专门为车载非接触式生理监测设计的综合性数据集，包含了多种模态的数据，并考虑了各种驾驶条件的影响。这使得研究人员能够开发更鲁棒、更准确的驾驶员生理监测算法。

关键设计：PhysDrive数据集在数据采集过程中，特别关注了以下几个关键设计： 1. 多模态传感器选择：选择了RGB相机、近红外相机和毫米波雷达三种传感器，以捕捉驾驶员的不同特征。 2. 驾驶场景设计：设计了多种驾驶场景，包括不同的道路条件、光照条件和驾驶员行为。 3. 数据同步精度：采用了高精度的时间同步技术，确保多模态数据之间的同步精度。 4. 数据标注质量：由专业的医护人员对生理信号进行标注，确保标注的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在PhysDrive数据集上进行了广泛的实验评估，包括信号处理和深度学习方法。实验结果表明，基于多模态数据的驾驶员生理监测算法能够取得更好的性能。该数据集为研究人员提供了一个统一的基准，方便比较不同算法的性能，并促进相关领域的研究进展。具体性能数据未知。

🎯 应用场景

PhysDrive数据集可广泛应用于驾驶员疲劳检测、情绪识别、健康状态监测等领域，有助于开发更智能、更安全的驾驶辅助系统。通过实时监测驾驶员的生理状态，可以及时发出预警，避免交通事故的发生，提升驾驶安全性。此外，该数据集还可用于智能座舱系统的开发，提升用户体验。

📄 摘要（原文）

Robust and unobtrusive in-vehicle physiological monitoring is crucial for ensuring driving safety and user experience. While remote physiological measurement (RPM) offers a promising non-invasive solution, its translation to real-world driving scenarios is critically constrained by the scarcity of comprehensive datasets. Existing resources are often limited in scale, modality diversity, the breadth of biometric annotations, and the range of captured conditions, thereby omitting inherent real-world challenges in driving. Here, we present PhysDrive, the first large-scale multimodal dataset for contactless in-vehicle physiological sensing with dedicated consideration on various modality settings and driving factors. PhysDrive collects data from 48 drivers, including synchronized RGB, near-infrared camera, and raw mmWave radar data, accompanied with six synchronized ground truths (ECG, BVP, Respiration, HR, RR, and SpO2). It covers a wide spectrum of naturalistic driving conditions, including driver motions, dynamic natural light, vehicle types, and road conditions. We extensively evaluate both signal-processing and deep-learning methods on PhysDrive, establishing a comprehensive benchmark across all modalities, and release full open-source code with compatibility for mainstream public toolboxes. We envision PhysDrive will serve as a foundational resource and accelerate research on multimodal driver monitoring and smart-cockpit systems.