Introducing WARM-VR: Benchmark Dataset for Multimodal Wearable Affect Recognition in Virtual Reality

📄 arXiv: 2605.00184v1 📥 PDF

作者: Karim Alghoul, Faisal Mohd, Fedwa Laamarti, Hussein Al Osman, Abdulmotaleb El Saddik

分类: cs.LG, cs.HC

发布日期: 2026-04-30

💡 一句话要点

WARM-VR：用于虚拟现实中多模态可穿戴情感识别的基准数据集

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 虚拟现实 多模态数据 可穿戴传感器 生理信号

📋 核心要点

  1. 现有情感识别数据集主要关注静态环境，限制了其在虚拟现实等沉浸式多媒体环境中的应用。
  2. WARM-VR数据集通过可穿戴传感器收集参与者在虚拟现实体验中的生理数据，并结合多感官刺激来诱导不同的情感状态。
  3. 实验结果表明，该数据集可用于训练情感识别模型，并为虚拟现实环境中的情感计算研究提供基准。

📝 摘要（中文）

本文介绍WARM-VR，这是一个新的公开多模态数据集，旨在支持使用可穿戴传感仪器在沉浸式、多感官环境中进行情感识别。数据来自31名年龄在19-37岁之间的参与者，他们佩戴可穿戴传感器：一个测量血容量脉搏(BVP)、皮肤电活动(EDA)、皮肤温度、三轴加速度的手环，以及一个记录心电图(ECG)信号的胸带。参与者沉浸在虚拟现实体验中，通过平静的海滩环境来诱导放松，此前通过算术任务诱导压力。这些环节结合了同步的多媒体刺激：视觉、听觉和嗅觉。情感状态通过经过验证的自我报告问卷进行主观评估，并通过生理测量的分析进行客观评估。问卷的统计分析证实，虚拟现实放松显著降低了负面情绪，尤其是在嗅觉增强的情况下。此外，我们使用广泛认可的机器学习算法在该数据集上建立了基准。对于效价的BVP数据二元分类，CNN和CNN-Bi-GRU模型获得了最佳性能，平均F1分数均为0.63，AUC为0.69。对于唤醒度，轻量级Transformer架构提供了最平衡的结果（F1-0为0.54，F1-1为0.63），优于循环混合模型。在放松任务中，CNN-Bi-GRU模型达到了最高的整体性能（平均F1分数为0.64，AUC为0.69）。

🔬 方法详解

问题定义：现有情感识别数据集主要集中在静态、受控的环境中，缺乏对沉浸式、多感官虚拟现实环境的适应性。这些数据集难以捕捉用户在VR体验中复杂的情感变化，限制了情感计算在VR领域的应用。因此，需要一个专门为VR环境设计的多模态情感识别数据集。

核心思路：WARM-VR数据集的核心思路是通过在虚拟现实环境中诱导不同的情感状态，并使用可穿戴传感器收集参与者的生理数据，建立情感状态与生理信号之间的联系。通过结合视觉、听觉和嗅觉等多感官刺激，增强情感诱导效果，从而获得更丰富、更具代表性的情感数据。

技术框架：WARM-VR数据集的构建流程包括以下几个主要阶段：1) 招募参与者并进行背景信息收集；2) 使用算术任务诱导压力；3) 让参与者沉浸在虚拟现实海滩环境中进行放松，同时施加视觉、听觉和嗅觉刺激；4) 使用可穿戴传感器（腕带和胸带）同步记录参与者的生理信号（BVP, EDA, 皮肤温度, 加速度, ECG）；5) 通过自我报告问卷收集参与者的主观情感状态评估；6) 对收集到的生理数据和主观评估数据进行预处理、同步和标注。

关键创新：WARM-VR数据集的关键创新在于：1) 专门为虚拟现实环境设计，考虑了VR的沉浸式和多感官特性；2) 结合了多种生理信号和主观评估数据，提供了更全面的情感信息；3) 采用了多感官刺激来增强情感诱导效果，提高了数据的质量和代表性；4) 公开数据集，为VR情感计算研究提供基准。

关键设计：在数据采集中，使用了以下关键设计：1) 虚拟现实环境：设计了一个平静的海滩环境，用于诱导放松状态；2) 多感官刺激：同步施加视觉（海滩场景）、听觉（海浪声）和嗅觉（海洋气味）刺激；3) 可穿戴传感器：使用腕带和胸带同步记录多种生理信号，包括BVP, EDA, 皮肤温度, 加速度, ECG；4) 自我报告问卷：使用经过验证的问卷来评估参与者的主观情感状态，包括效价和唤醒度。

📊 实验亮点

论文使用WARM-VR数据集进行了基准测试，结果表明，对于效价的二元分类，CNN和CNN-Bi-GRU模型在BVP数据上取得了最佳性能，平均F1分数为0.63，AUC为0.69。对于唤醒度，轻量级Transformer架构提供了最平衡的结果（F1-0为0.54，F1-1为0.63），优于循环混合模型。在放松任务中，CNN-Bi-GRU模型达到了最高的整体性能（平均F1分数为0.64，AUC为0.69）。

🎯 应用场景

WARM-VR数据集可广泛应用于虚拟现实、人机交互、情感计算等领域。例如，可以用于开发能够感知用户情感并做出相应调整的智能VR系统，提升用户体验。此外，该数据集还可以用于研究情感与生理信号之间的关系，为情感计算的理论研究提供数据支持。未来，基于WARM-VR数据集的研究有望推动情感计算在医疗、教育、娱乐等领域的应用。

📄 摘要（原文）

With the growing integration of human-computer interaction into everyday life, advances in machine learning have enabled systems to better perceive and respond to users' emotional states. Most existing affect recognition datasets focus on static environments, limiting their applicability to immersive multimedia contexts such as Virtual Reality (VR). In this paper, we introduce WARM-VR, a novel publicly available multimodal dataset designed to support affect recognition in immersive, multisensory environments using wearable sensing instrumentation. Data were collected from 31 participants aged 19-37 using wearable sensors: a wristband measuring Blood Volume Pulse (BVP), EDA, skin Temperature, three-axis Acceleration, and a chest strap recording ECG signals. Participants engaged in immersive VR experiences designed to elicit relaxation through a calming beach environment following stress induction via an arithmetic task. These sessions incorporated synchronized multimedia stimuli: visual, auditory, and olfactory. Affective states were assessed subjectively through validated self-report questionnaires and objectively through the analysis of physiological measurements. Statistical analysis of the questionnaires confirmed that VR relaxation significantly reduced negative affect, particularly with olfactory enhancement. Furthermore, we established a benchmark on the dataset using widely recognized machine learning algorithms. The best performance for binary classification from BVP data of valence, was obtained with a CNN and a CNN-Bi-GRU model, both achieving an average F1-score of 0.63 and an AUC of 0.69. For arousal, a lightweight Transformer architecture provided the most balanced results (F1-0 0.54 and F1-1 0.63), outperforming recurrent hybrids. In the relaxation task, a CNN-Bi-GRU model reached the highest overall performance (average F1-score 0.64, AUC 0.69).