MECO: A Multimodal Dataset for Emotion and Cognitive Understanding in Older Adults

📄 arXiv: 2604.03050 📥 PDF

作者: Hongbin Chen, Jie Li, Wei Wang, Siyang Song, Xiao Gu, Jianqing Li, Wentao Xiang

分类: cs.HC, cs.AI

发布日期: 2026-04-06

💡 一句话要点

MECO：用于老年人情绪和认知理解的多模态数据集

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 老年人 情感计算 认知理解 脑电图 心电图 情绪识别 轻度认知障碍

📋 核心要点

  1. 现有情感计算数据集主要面向年轻人，缺乏针对老年人群体的多模态情感分析研究。
  2. MECO数据集通过收集老年人在社区环境下的多模态数据，并进行情绪和认知状态标注，填补了该领域的空白。
  3. 论文建立了情绪和认知预测的基准模型，为后续研究提供了参考，并为个性化情绪识别和MCI早期检测奠定基础。

📝 摘要（中文）

情感计算取得了显著进展，但针对老年人群体的多模态情绪预测仍未得到充分探索，这主要是由于缺乏专门的数据集。现有的多模态基准测试主要针对年轻、认知健康的受试者，忽略了认知衰退对情绪表达和生理反应的影响。为了弥补这一差距，我们提出了MECO，一个用于老年人情绪和认知理解的多模态数据集。MECO包括42名参与者，提供约38小时的多模态信号，产生30,592个同步样本。为了最大限度地提高生态效度，数据收集遵循社区环境中的标准化协议。模态涵盖视频、音频、脑电图（EEG）和心电图（ECG）。此外，该数据集还提供情绪和认知状态的全面注释，包括自我评估的效价、唤醒度、六种基本情绪和简易精神状态检查认知评分。我们进一步建立了情绪和认知预测的基准。MECO作为老年人群体情感和认知多模态建模的基础资源，促进下游应用，如个性化情绪识别和现实环境中轻度认知障碍（MCI）的早期检测。

🔬 方法详解

问题定义：现有情感计算数据集主要面向年轻人和认知健康人群，忽略了老年人群体认知衰退对情绪表达和生理反应的影响。缺乏针对老年人群体的多模态情感分析数据集，阻碍了相关研究的进展。现有方法难以有效处理老年人情绪识别和认知状态评估问题。

核心思路：通过构建一个包含老年人多模态数据（视频、音频、脑电图、心电图）的大型数据集MECO，并提供详细的情绪和认知状态标注，为老年人群体的情感和认知理解研究提供基础。该数据集旨在捕捉老年人在自然环境下的真实情绪和认知状态，从而提高模型的泛化能力。

技术框架：MECO数据集的构建流程包括：招募老年参与者，在社区环境中按照标准化协议收集多模态数据（视频、音频、脑电图、心电图），对数据进行同步处理，并进行情绪（效价、唤醒度、六种基本情绪）和认知状态（简易精神状态检查认知评分）的标注。此外，论文还建立了情绪和认知预测的基准模型。

关键创新：MECO数据集是首个专门针对老年人群体的多模态情感和认知数据集，它考虑了认知衰退对情绪表达和生理反应的影响，并提供了全面的情绪和认知状态标注。该数据集的构建遵循社区环境中的标准化协议，最大限度地提高了生态效度。

关键设计：数据收集过程中，采用了标准化的实验流程，保证了数据的质量和一致性。情绪标注采用了自我评估的方式，认知状态评估采用了简易精神状态检查（MMSE）量表。基准模型采用了常见的机器学习和深度学习算法，如支持向量机（SVM）和循环神经网络（RNN）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MECO数据集包含42名老年参与者，提供了约38小时的多模态信号，共计30,592个同步样本。论文建立了情绪和认知预测的基准模型，为后续研究提供了参考。该数据集的构建遵循社区环境中的标准化协议，最大限度地提高了生态效度。

🎯 应用场景

MECO数据集可广泛应用于老年人情感计算、智能养老、医疗健康等领域。例如，可用于开发个性化的情绪识别系统，帮助老年人更好地管理情绪；可用于早期检测轻度认知障碍（MCI），为早期干预提供依据；还可用于开发智能辅助设备，提高老年人的生活质量。

📄 摘要（原文）

While affective computing has advanced considerably, multimodal emotion prediction in aging populations remains underexplored, largely due to the scarcity of dedicated datasets. Existing multimodal benchmarks predominantly target young, cognitively healthy subjects, neglecting the influence of cognitive decline on emotional expression and physiological responses. To bridge this gap, we present MECO, a Multimodal dataset for Emotion and Cognitive understanding in Older adults. MECO includes 42 participants and provides approximately 38 hours of multimodal signals, yielding 30,592 synchronized samples. To maximize ecological validity, data collection followed standardized protocols within community-based settings. The modalities cover video, audio, electroencephalography (EEG), and electrocardiography (ECG). In addition, the dataset offers comprehensive annotations of emotional and cognitive states, including self-assessed valence, arousal, six basic emotions, and Mini-Mental State Examination cognitive scores. We further establish baseline benchmarks for both emotion and cognitive prediction. MECO serves as a foundational resource for multimodal modeling of affect and cognition in aging populations, facilitating downstream applications such as personalized emotion recognition and early detection of mild cognitive impairment (MCI) in real-world settings. The complete dataset and supplementary materials are available atthis https URL.