From Stress to Affect: Multimodal Deep Learning for Physiological Emotion Recognition Across Wearable Sensor Modalities

📄 arXiv: 2609.20991v1 📥 PDF

作者: Desta Haileselassie Hagos, Saurav Keshari Aryal, Legand L. Burge

分类: cs.LG

发布日期: 2026-09-17

备注: Under review

💡 一句话要点

提出多模态深度学习方法以提升生理情感识别性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生理情感识别 多模态学习 深度学习 可穿戴传感器 情感计算 人机交互 时间序列分析

📋 核心要点

  1. 现有的生理情感识别研究通常只关注单一模型或数据集，限制了对不同因素影响的全面理解。
  2. 本文提出了一种比较研究方法，评估多种深度学习架构在不同传感配置下的表现，旨在提高情感识别的准确性。
  3. 实验结果显示，Transformer和LSTM在不同数据集上表现优异，且多模态传感配置始终优于单一传感配置。

📝 摘要（中文）

生理情感识别在心理健康监测、情感计算和人机交互中具有重要应用。然而，现有研究通常只评估单一模型、传感配置或数据集，限制了对这些因素如何影响识别性能的理解。本文通过比较研究不同的时间深度学习架构，使用WESAD和EmoWear两个多模态可穿戴数据集，评估了双向长短期记忆网络（LSTM）、时间卷积网络（TCN）和Transformer模型在不同传感配置下的表现。研究结果表明，Transformer在WESAD数据集上达到了99.02%的最高准确率，而LSTM在EmoWear数据集上对唤醒度和情感价值的识别表现最佳。这些发现为可穿戴生理情感识别的架构选择、传感模态和采样频率提供了指导。

🔬 方法详解

问题定义：本文旨在解决生理情感识别中现有方法对单一模型和数据集的依赖，导致对识别性能影响因素理解不足的问题。

核心思路：通过比较不同的时间深度学习架构（如LSTM、TCN和Transformer），并在多模态传感配置下进行评估，以提升情感识别的准确性和可靠性。

技术框架：研究采用了参与者独立的留一法交叉验证（LOSO-CV），在不同的传感配置（手腕、胸部和多模态）下进行模型评估，分析了软投票集成、传感器消融、采样频率和基于梯度的显著性。

关键创新：本研究的创新点在于比较多种深度学习架构在不同数据集和传感配置下的表现，揭示了架构性能与数据集特征之间的关系，而非单一架构的普遍优越性。

关键设计：在实验中，Transformer在WESAD数据集上达到了99.02%的准确率，而LSTM在EmoWear数据集上对唤醒度和情感价值的识别表现最佳，分别为91.80%和89.96%。此外，研究发现4 Hz的采样频率在训练成本和性能上具有良好的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Transformer在WESAD数据集上达到了99.02%的准确率，而LSTM在EmoWear数据集上对唤醒度和情感价值的识别表现最佳，分别为91.80%和89.96%。多模态传感配置在两个数据集上均表现优于单一传感配置，且4 Hz的采样频率在性能和训练成本上具有显著优势。

🎯 应用场景

该研究在心理健康监测、情感计算和人机交互等领域具有广泛的应用潜力。通过提高生理情感识别的准确性，能够更好地支持情感状态的实时监测和反馈，促进人机交互的自然性和有效性。未来，该方法还可能扩展到其他生理信号的分析与应用。

📄 摘要（原文）

Physiological emotion recognition using wearable sensors has important applications in mental health monitoring, affective computing, and human-computer interaction. However, existing studies typically evaluate a single model, sensing configuration, or dataset, limiting our understanding of how these factors influence recognition performance. We present a comparative study of temporal deep learning architectures for physiological emotion recognition using two multimodal wearable datasets: WESAD and EmoWear. Bidirectional long short-term memory (LSTM), temporal convolutional network (TCN), and Transformer models are evaluated under wrist-only, chest-only, and multimodal sensing configurations using participant-independent leave-one-subject-out cross-validation (LOSO-CV). We also investigate soft-voting ensembles, sensor ablation, sampling frequency, and gradient-based saliency. The Transformer achieved the highest multimodal accuracy on WESAD (99.02% +/- 0.51%), whereas the LSTM achieved the best multimodal accuracy on EmoWear for both arousal (91.80% +/- 1.06%) and valence (89.96% +/- 0.36%). These results show that relative architecture performance depends on dataset characteristics rather than one architecture being uniformly superior. Multimodal sensing consistently outperformed wrist-only and chest-only configurations across both datasets. Sampling-frequency analysis showed that 4 Hz provides a practical operating point, with performance comparable to higher frequencies at substantially lower training cost. These findings provide guidance for selecting architectures, sensing modalities, and sampling frequencies for wearable physiological emotion recognition.