Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals

📄 arXiv: 2310.07648v1 📥 PDF

作者: Eleonora Lopez, Eleonora Chiarantano, Eleonora Grassucci, Danilo Comminiello

分类: cs.HC, cs.LG, eess.SP

发布日期: 2023-10-11

备注: Published at IEEE ICASSP workshops 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出超复数多模态网络以解决情感识别的不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 超复数网络 生理信号 深度学习 特征融合

📋 核心要点

  1. 现有的情感识别方法多依赖手工特征提取，未能充分利用深度学习的潜力，且通常只采用单一模态。
  2. 本文提出了一种超复数多模态网络，结合新颖的融合模块，通过超复数乘法实现特征的有效融合。
  3. 在MAHNOB-HCI数据库上进行的实验表明，所提方法在愉悦度和唤醒度分类上超越了现有的多模态网络。

📝 摘要（中文）

多模态情感识别正受到越来越多的关注，因为生理信号比行为反应更难以控制，从而提供更可靠的信息。现有基于深度学习的方法仍依赖于手工提取的特征，未能充分利用神经网络的学习能力，并且通常采用单一模态的方法，而人类情感本质上是以多模态方式表达的。本文提出了一种超复数多模态网络，配备了一种新颖的融合模块，采用参数化的超复数乘法。通过在超复数域中操作，这些操作遵循代数规则，能够建模学习特征维度之间的潜在关系，从而实现更有效的融合步骤。我们利用公开数据库MAHNOB-HCI进行情感的愉悦度和唤醒度分类，超越了多模态领域的现有网络。我们的代码可在https://github.com/ispamm/MHyEEG上免费获取。

🔬 方法详解

问题定义：本文旨在解决现有多模态情感识别方法中对手工特征的依赖和单一模态处理带来的局限性。现有方法未能充分利用深度学习的优势，导致情感识别的准确性不足。

核心思路：论文提出的超复数多模态网络通过引入参数化的超复数乘法，能够在超复数域中有效融合多种生理信号特征，从而更好地捕捉情感的多模态表达。

技术框架：整体架构包括数据预处理、特征提取、超复数融合模块和分类器。首先对EEG和外周生理信号进行预处理，然后提取特征，接着通过超复数融合模块进行特征融合，最后进行情感分类。

关键创新：最重要的技术创新在于引入超复数乘法进行特征融合，这一方法能够建模特征维度之间的潜在关系，显著提升了融合效果，与传统方法相比具有本质区别。

关键设计：在网络设计中，采用了特定的损失函数以优化分类性能，并在超复数域中进行参数化设置，以确保特征融合的有效性和准确性。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，所提出的超复数多模态网络在愉悦度和唤醒度分类任务中，性能超过了现有的多模态网络，具体提升幅度未知，显示出该方法在情感识别领域的有效性。

🎯 应用场景

该研究的潜在应用领域包括情感计算、心理健康监测和人机交互等。通过更准确的情感识别，能够提升用户体验，促进智能系统的情感理解与响应，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal emotion recognition from physiological signals is receiving an increasing amount of attention due to the impossibility to control them at will unlike behavioral reactions, thus providing more reliable information. Existing deep learning-based methods still rely on extracted handcrafted features, not taking full advantage of the learning ability of neural networks, and often adopt a single-modality approach, while human emotions are inherently expressed in a multimodal way. In this paper, we propose a hypercomplex multimodal network equipped with a novel fusion module comprising parameterized hypercomplex multiplications. Indeed, by operating in a hypercomplex domain the operations follow algebraic rules which allow to model latent relations among learned feature dimensions for a more effective fusion step. We perform classification of valence and arousal from electroencephalogram (EEG) and peripheral physiological signals, employing the publicly available database MAHNOB-HCI surpassing a multimodal state-of-the-art network. The code of our work is freely available at https://github.com/ispamm/MHyEEG.