LibEMER: A novel benchmark and algorithms library for EEG-based Multimodal Emotion Recognition

📄 arXiv: 2509.19330v2 📥 PDF

作者: Zejun Liu, Yunshan Chen, Chengxi Xie, Yugui Xie, Huan Liu

分类: eess.SP, cs.AI, cs.HC, cs.LG, cs.MM

发布日期: 2025-09-14 (更新: 2025-10-15)

备注: 5 pages, 2 figures

💡 一句话要点

LibEMER：用于脑电多模态情感识别的基准测试与算法库

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电信号 多模态情感识别 深度学习 基准测试 开源库

📋 核心要点

  1. 现有脑电多模态情感识别研究缺乏开源实现和统一的评估基准，阻碍了公平的性能比较和复现。
  2. LibEMER提供了一个统一的评估框架，包含可复现的PyTorch实现和标准化的数据处理、模型实现和实验设置。
  3. LibEMER在三个公开数据集上进行了无偏的性能评估，为该领域的研究提供了一个可靠的基准。

📝 摘要（中文）

基于脑电的多模态情感识别(EMER)受到了广泛关注并取得了显著进展。由于人类神经系统固有的复杂性，多模态方法的研究投入了大量精力。然而，该领域目前存在三个关键限制：（i）缺乏开源实现；（ii）缺乏用于公平性能分析的标准化和透明的基准；（iii）对主要挑战和有前景的研究方向的深入讨论明显不足。为了解决这些挑战，我们推出了LibEMER，一个统一的评估框架，它提供了精选深度学习方法的可完全复现的PyTorch实现，以及用于数据预处理、模型实现和实验设置的标准化协议。该框架能够在两个学习任务中的三个广泛使用的公共数据集上进行无偏的性能评估。该开源库可在以下网址公开访问：https://anonymous.4open.science/r/2025ULUIUBUEUMUEUR485384

🔬 方法详解

问题定义：脑电多模态情感识别旨在利用脑电信号和其他模态数据准确识别个体的情感状态。现有方法的痛点在于缺乏统一的评估标准和开源实现，导致研究结果难以复现和比较，阻碍了该领域的健康发展。

核心思路：LibEMER的核心思路是构建一个标准化的、可复现的评估框架，包含常用的数据集、预处理流程、模型实现和评估指标。通过提供开源的代码和统一的实验设置，LibEMER旨在促进公平的性能比较和算法的改进。

技术框架：LibEMER框架主要包含以下几个模块：1) 数据集管理：支持常用的脑电情感数据集，并提供标准化的数据加载和预处理接口。2) 模型库：包含多种深度学习模型，如卷积神经网络(CNN)、循环神经网络(RNN)和Transformer等，并提供可复现的PyTorch实现。3) 评估模块：提供常用的情感识别评估指标，如准确率、F1值等，并支持交叉验证等实验设置。4) 基准测试：在标准数据集上评估不同模型的性能，并提供详细的实验报告。

关键创新：LibEMER的关键创新在于其统一性和可复现性。它不仅提供了一系列常用的模型实现，还标准化了数据预处理和实验设置，使得研究者可以方便地比较不同算法的性能，并在此基础上进行改进。此外，LibEMER的开源特性也促进了社区的合作和知识共享。

关键设计：LibEMER在模型实现方面，采用了模块化的设计，方便用户自定义模型结构和训练参数。在数据预处理方面，提供了常用的滤波、降采样等方法，并支持用户自定义预处理流程。在评估指标方面，除了常用的准确率和F1值外，还提供了混淆矩阵等可视化工具，方便用户分析模型的性能。

📊 实验亮点

LibEMER在三个广泛使用的公共数据集上进行了评估，结果表明，该框架能够提供可靠的性能评估，并促进不同算法之间的公平比较。通过LibEMER，研究人员可以更容易地复现现有研究，并在此基础上进行改进，从而推动脑电多模态情感识别领域的发展。

🎯 应用场景

LibEMER在情感计算、人机交互、医疗健康等领域具有广泛的应用前景。例如，可以用于开发情感智能助手，根据用户的脑电信号识别其情感状态，并提供个性化的服务。此外，还可以用于辅助诊断精神疾病，如抑郁症和焦虑症，通过分析脑电信号的变化来评估患者的情感状态。

📄 摘要（原文）

EEG-based multimodal emotion recognition(EMER) has gained significant attention and witnessed notable advancements, the inherent complexity of human neural systems has motivated substantial efforts toward multimodal approaches. However, this field currently suffers from three critical limitations: (i) the absence of open-source implementations. (ii) the lack of standardized and transparent benchmarks for fair performance analysis. (iii) in-depth discussion regarding main challenges and promising research directions is a notable scarcity. To address these challenges, we introduce LibEMER, a unified evaluation framework that provides fully reproducible PyTorch implementations of curated deep learning methods alongside standardized protocols for data preprocessing, model realization, and experimental setups. This framework enables unbiased performance assessment on three widely-used public datasets across two learning tasks. The open-source library is publicly accessible at: https://anonymous.4open.science/r/2025ULUIUBUEUMUEUR485384