LibEMER: A novel benchmark and algorithms library for EEG-based Multimodal Emotion Recognition

📄 arXiv: 2509.19330v2 📥 PDF

作者: Zejun Liu, Yunshan Chen, Chengxi Xie, Yugui Xie, Huan Liu

分类: eess.SP, cs.AI, cs.HC, cs.LG, cs.MM

发布日期: 2025-09-14 (更新: 2025-10-15)

备注: 5 pages, 2 figures

💡 一句话要点

LibEMER：用于脑电多模态情感识别的基准测试与算法库

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电信号 多模态情感识别 深度学习 基准测试 开源库

📋 核心要点

  1. 现有脑电多模态情感识别研究缺乏开源实现和统一的评估基准，阻碍了公平的性能比较和复现。
  2. LibEMER旨在提供一个统一的评估框架，包含可复现的PyTorch实现和标准化的数据处理、模型实现和实验流程。
  3. LibEMER在三个公开数据集上进行了无偏的性能评估，为该领域的研究提供了一个可靠的基准。

📝 摘要（中文）

基于脑电的多模态情感识别(EMER)受到了广泛关注并取得了显著进展。由于人类神经系统固有的复杂性，多模态方法的研究投入了大量精力。然而，该领域目前存在三个关键限制：（i）缺乏开源实现；（ii）缺乏用于公平性能分析的标准化和透明的基准；（iii）对主要挑战和有前景的研究方向的深入讨论明显不足。为了应对这些挑战，我们推出了LibEMER，一个统一的评估框架，它提供了精选深度学习方法的可完全复现的PyTorch实现，以及用于数据预处理、模型实现和实验设置的标准化协议。该框架能够在两个学习任务中的三个广泛使用的公共数据集上进行无偏的性能评估。该开源库可在以下网址公开访问：https://anonymous.4open.science/r/2025ULUIUBUEUMUEUR485384

🔬 方法详解

问题定义：脑电多模态情感识别旨在利用脑电信号和其他模态数据准确识别人类的情感状态。现有方法的痛点在于缺乏统一的开源实现和评估基准，导致研究结果难以复现和比较，阻碍了该领域的健康发展。

核心思路：LibEMER的核心思路是构建一个统一的评估框架，提供可复现的深度学习模型实现、标准化的数据预处理流程和实验设置，从而为脑电多模态情感识别研究提供一个公平、透明的基准。通过开源代码和详细的文档，促进研究成果的共享和复现。

技术框架：LibEMER框架主要包含以下几个模块：1) 数据预处理模块：提供标准化的脑电信号预处理流程，包括滤波、降噪、分段等。2) 模型实现模块：包含多种深度学习模型的PyTorch实现，涵盖不同的网络结构和训练策略。3) 实验设置模块：定义了标准化的实验流程，包括数据集划分、评估指标等。4) 评估模块：用于评估不同模型在不同数据集上的性能，并生成详细的实验报告。

关键创新：LibEMER的关键创新在于其统一性和可复现性。它不仅提供了一系列深度学习模型的实现，还标准化了数据预处理和实验流程，使得研究者可以轻松地复现现有方法，并在此基础上进行改进。此外，LibEMER还提供了详细的文档和示例代码，方便用户快速上手。

关键设计：LibEMER中的模型实现基于PyTorch框架，方便研究者进行修改和扩展。数据预处理流程采用了常用的脑电信号处理技术，并提供了多种参数选项供用户选择。实验设置模块定义了常用的评估指标，如准确率、F1-score等。框架的设计注重模块化和可扩展性，方便用户根据自己的需求进行定制。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

LibEMER通过在三个广泛使用的公共数据集上进行实验，展示了其作为基准测试的有效性。实验结果表明，LibEMER能够提供无偏的性能评估，并为研究者提供了一个可靠的参考。具体的性能数据和对比基线可在开源库中查阅。

🎯 应用场景

LibEMER在情感计算、人机交互、医疗健康等领域具有广泛的应用前景。例如，可以用于开发情感识别系统，帮助人们更好地理解和表达情感；可以用于改善人机交互体验，使机器能够更好地理解人类的情感需求；可以用于辅助诊断和治疗精神疾病，通过分析脑电信号识别患者的情感状态。

📄 摘要（原文）

EEG-based multimodal emotion recognition(EMER) has gained significant attention and witnessed notable advancements, the inherent complexity of human neural systems has motivated substantial efforts toward multimodal approaches. However, this field currently suffers from three critical limitations: (i) the absence of open-source implementations. (ii) the lack of standardized and transparent benchmarks for fair performance analysis. (iii) in-depth discussion regarding main challenges and promising research directions is a notable scarcity. To address these challenges, we introduce LibEMER, a unified evaluation framework that provides fully reproducible PyTorch implementations of curated deep learning methods alongside standardized protocols for data preprocessing, model realization, and experimental setups. This framework enables unbiased performance assessment on three widely-used public datasets across two learning tasks. The open-source library is publicly accessible at: https://anonymous.4open.science/r/2025ULUIUBUEUMUEUR485384