CG-MER: A Card Game-based Multimodal dataset for Emotion Recognition

📄 arXiv: 2501.08182v1 📥 PDF

作者: Nessrine Farhat, Amine Bohi, Leila Ben Letaifa, Rim Slama

分类: cs.AI, cs.CV, cs.HC

发布日期: 2025-01-14

备注: 8 pages, 2 figures and 4 tables. Sixteenth International Conference on Machine Vision (ICMV 2023), Yerevan, Armenia

DOI: 10.1117/12.3023377

💡 一句话要点

CG-MER：一个基于卡牌游戏的多模态情感识别法语数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 多模态数据 法语数据集 面部表情 语音识别 手势识别 卡牌游戏 情感计算

📋 核心要点

  1. 情感计算领域在探索情感与新兴技术之间的关系方面取得了显著进展，但缺乏高质量的多模态情感数据集。
  2. 论文通过卡牌游戏互动方式，收集参与者在表达不同情感时的面部表情、语音和手势数据，构建了一个综合性的法语多模态情感数据集。
  3. 该数据集包含20名参与者的10个会话数据，为情感识别研究提供了一个宝贵的资源，并为未来扩展到其他模态（如NLP）提供了可能性。

📝 摘要（中文）

本文介绍了一个用于情感识别的全新且有价值的法语多模态数据集。该数据集包含面部表情、语音和手势三种主要模态，提供了情感的全面视角。此外，该数据集还具有整合自然语言处理（NLP）等额外模态的潜力，以扩展情感识别研究的范围。该数据集通过让参与者参与卡牌游戏环节来收集，在游戏中，参与者被提示表达一系列情感，同时回答各种问题。该研究包括10个环节，共有20名参与者（9名女性和11名男性）。该数据集为推进情感识别研究提供了一个宝贵的资源，并为探索人类情感与数字技术之间错综复杂的联系提供了一条途径。

🔬 方法详解

问题定义：现有情感识别研究缺乏高质量、多模态的法语数据集，限制了相关算法的开发和评估。已有的数据集可能在模态覆盖、情感类别、数据质量等方面存在不足，难以满足复杂场景下的情感识别需求。

核心思路：通过设计一种卡牌游戏互动场景，诱导参与者自然地表达各种情感，并同步记录他们的面部表情、语音和手势。这种方法旨在创建一个更真实、更自然的情感表达数据集，从而提高情感识别模型的泛化能力。

技术框架：该数据集的构建流程主要包括以下几个阶段：1) 设计卡牌游戏规则和问题，确保能够激发参与者表达不同类型的情感；2) 招募参与者并进行实验，记录他们的面部表情、语音和手势数据；3) 对收集到的数据进行预处理和标注，包括人脸检测、语音分割、手势识别等；4) 构建数据集，并提供相应的API和工具，方便研究人员使用。

关键创新：该数据集的关键创新在于其数据收集方法。通过卡牌游戏互动，能够有效地激发参与者表达各种情感，从而获得更真实、更自然的情感表达数据。此外，该数据集还具有多模态的特点，能够同时捕捉到面部表情、语音和手势等多种信息，为情感识别研究提供了更全面的视角。

关键设计：卡牌游戏的设计是关键。问题设计需要覆盖多种情感，并且具有一定的趣味性，以保证参与者的积极性。数据采集过程中，需要使用高质量的摄像头和麦克风，以保证数据的质量。数据标注方面，需要聘请专业的标注人员，并制定详细的标注规范，以保证标注的准确性。

📊 实验亮点

该论文的主要贡献在于构建了一个新的法语多模态情感数据集，该数据集包含面部表情、语音和手势三种模态，并通过卡牌游戏互动的方式收集数据，保证了数据的真实性和多样性。虽然论文中没有给出具体的性能数据，但该数据集的发布为情感识别领域的研究人员提供了一个宝贵的资源，可以用于训练和评估各种情感识别模型。

🎯 应用场景

该数据集可广泛应用于情感计算、人机交互、心理学等领域。例如，可以用于开发情感智能助手、情感分析系统、心理健康评估工具等。此外，该数据集还可以用于研究不同文化背景下情感表达的差异，以及情感与行为之间的关系。未来，该数据集有望促进情感识别技术在医疗、教育、娱乐等领域的应用。

📄 摘要（原文）

The field of affective computing has seen significant advancements in exploring the relationship between emotions and emerging technologies. This paper presents a novel and valuable contribution to this field with the introduction of a comprehensive French multimodal dataset designed specifically for emotion recognition. The dataset encompasses three primary modalities: facial expressions, speech, and gestures, providing a holistic perspective on emotions. Moreover, the dataset has the potential to incorporate additional modalities, such as Natural Language Processing (NLP) to expand the scope of emotion recognition research. The dataset was curated through engaging participants in card game sessions, where they were prompted to express a range of emotions while responding to diverse questions. The study included 10 sessions with 20 participants (9 females and 11 males). The dataset serves as a valuable resource for furthering research in emotion recognition and provides an avenue for exploring the intricate connections between human emotions and digital technologies.