Human Centered Non Intrusive Driver State Modeling Using Personalized Physiological Signals in Real World Automated Driving
作者: David Puertas-Ramirez, Raul Fernandez-Matellan, David Martin Gomez, Jesus G. Boticario
分类: cs.HC, cs.LG, cs.RO
发布日期: 2026-04-13
备注: 17 pages (including references), 4 Figures, 4 Tables
💡 一句话要点
提出基于个性化生理信号的非侵入式驾驶员状态建模方法，提升自动驾驶安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 驾驶员状态监控 个性化建模 生理信号 深度学习 自动驾驶
📋 核心要点
- 现有驾驶员监控系统依赖通用模型，忽略个体生理差异，导致监控精度下降。
- 将生理信号转化为二维图像，利用预训练ResNet50提取特征，构建个性化驾驶员状态模型。
- 实验表明，个性化模型准确率显著高于通用模型，验证了个性化建模的有效性。
📝 摘要（中文）
在部分或有条件自动驾驶（SAE 2-3级）车辆中，驾驶员仍需负责监督系统并响应接管请求。因此，可靠的驾驶员监控对于安全的人机协作至关重要。然而，现有驾驶员监控系统大多依赖于忽略个体生理差异的通用模型。本研究探讨了在真实自动驾驶场景中，使用非侵入式生理传感进行个性化驾驶员状态建模的可行性。我们在SAE 2级车辆上使用Empatica E4可穿戴传感器采集多模态生理信号，包括皮肤电活动、心率、体温和运动数据。为了利用为图像设计的深度学习架构，我们将生理信号转换为二维表示，并使用基于预训练ResNet50特征提取器的多模态架构进行处理。对四名驾驶员的实验表明，与驾驶员意识相关的生理模式存在显著的个体差异。个性化模型的平均准确率达到92.68%，而基于多用户训练的通用模型准确率降至54%，揭示了跨用户泛化的局限性。这些结果强调了未来自动驾驶车辆采用自适应、个性化驾驶员监控系统的必要性，并暗示自动驾驶系统应适应每个驾驶员独特的生理特征。
🔬 方法详解
问题定义：论文旨在解决自动驾驶系统中驾驶员状态监控的准确性问题。现有驾驶员监控系统通常采用通用模型，忽略了驾驶员个体之间的生理差异，导致监控精度下降，无法满足高级别自动驾驶对驾驶员状态监控的可靠性要求。
核心思路：论文的核心思路是构建个性化的驾驶员状态模型，利用非侵入式生理传感器采集驾驶员的生理信号，并针对每个驾驶员的生理特征进行建模，从而提高驾驶员状态监控的准确性和可靠性。通过这种方式，系统能够更好地适应不同驾驶员的生理差异，从而更准确地判断驾驶员的警觉性和注意力水平。
技术框架：整体框架包括数据采集、数据预处理、特征提取和模型训练四个主要阶段。首先，使用Empatica E4可穿戴传感器采集驾驶员的生理信号，包括皮肤电活动、心率、体温和运动数据。然后，对生理信号进行预处理，包括降噪、滤波和归一化等操作。接着，将预处理后的生理信号转换为二维图像表示，并使用预训练的ResNet50模型提取特征。最后，使用提取的特征训练个性化的驾驶员状态模型。
关键创新：论文的关键创新在于提出了基于个性化生理信号的驾驶员状态建模方法，并验证了该方法在真实自动驾驶场景中的有效性。与传统的通用模型相比，个性化模型能够更好地适应不同驾驶员的生理差异，从而提高驾驶员状态监控的准确性和可靠性。此外，将生理信号转换为二维图像表示，并利用预训练的深度学习模型提取特征，也为生理信号处理提供了一种新的思路。
关键设计：论文的关键设计包括以下几个方面：1) 使用Empatica E4可穿戴传感器采集多模态生理信号，保证了数据的丰富性和可靠性；2) 将生理信号转换为二维图像表示，并使用预训练的ResNet50模型提取特征，充分利用了深度学习在图像处理方面的优势；3) 针对每个驾驶员训练个性化的模型，保证了模型的准确性和可靠性；4) 实验中使用了真实自动驾驶场景，验证了方法的实际应用价值。
🖼️ 关键图片
📊 实验亮点
实验结果表明，个性化模型在驾驶员状态识别方面取得了显著的性能提升。个性化模型的平均准确率达到92.68%，而基于多用户训练的通用模型准确率仅为54%。这表明，个性化建模能够显著提高驾驶员状态监控的准确性，验证了个性化建模的有效性。
🎯 应用场景
该研究成果可应用于高级别自动驾驶系统，提高驾驶员状态监控的准确性和可靠性，从而提升自动驾驶安全性。此外，该方法还可应用于疲劳驾驶预警、驾驶员健康监测等领域，具有广阔的应用前景和实际价值。未来，该研究可进一步扩展到其他类型的车辆和驾驶场景，并与其他驾驶员辅助系统相结合，实现更智能、更安全的驾驶体验。
📄 摘要（原文）
In vehicles with partial or conditional driving automation (SAE Levels 2-3), the driver remains responsible for supervising the system and responding to take-over requests. Therefore, reliable driver monitoring is essential for safe human-automation collaboration. However, most existing Driver Monitoring Systems rely on generalized models that ignore individual physiological variability. In this study, we examine the feasibility of personalized driver state modeling using non-intrusive physiological sensing during real-world automated driving. We conducted experiments in an SAE Level 2 vehicle using an Empatica E4 wearable sensor to capture multimodal physiological signals, including electrodermal activity, heart rate, temperature, and motion data. To leverage deep learning architectures designed for images, we transformed the physiological signals into two-dimensional representations and processed them using a multimodal architecture based on pre-trained ResNet50 feature extractors. Experiments across four drivers demonstrate substantial interindividual variability in physiological patterns related to driver awareness. Personalized models achieved an average accuracy of 92.68%, whereas generalized models trained on multiple users dropped to an accuracy of 54%, revealing substantial limitations in cross-user generalization. These results underscore the necessity of adaptive, personalized driver monitoring systems for future automated vehicles and imply that autonomous systems should adapt to each driver's unique physiological profile.