From Surface to Depth: Towards Cognitive Appraisal Reasoning in Multimodal Emotion Understanding

📄 arXiv: 2610.11918v1 📥 PDF

作者: Jia Li, Yichao He, Yangchen Yu, Qiankun Li, Xinyi Li, Baiyi Ye, Zhenzhen Hu, Richang Hong, Erik Cambria

分类: cs.MM, cs.AI, cs.HC

发布日期: 2026-10-08

备注: 34 pages, 10 figures, Project page: https://github.com/MSA-LMC/CogEmo

💡 一句话要点

提出CogEmo框架以解决多模态情感理解中的表层推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感理解 认知评估 情感计算 大语言模型 数据集构建 模型训练 跨领域泛化 可解释推理

📋 核心要点

  1. 现有多模态情感理解方法主要依赖可观察的情感线索，导致情感理解表面化，容易受到线索误导。
  2. 本文提出CogEmo框架，通过感知到认知评估的进程，构建了新的数据集和模型，以实现更深层次的情感理解。
  3. 实验结果显示，CogEmo框架在情感理解的准确性和跨领域泛化能力上显著优于传统方法。

📝 摘要（中文）

近年来，多模态大语言模型（MLLMs）在情感理解中逐渐融入可解释的推理机制。然而，基于可观察情感线索的推理往往导致情感理解停留在表层的线索-标签关联，产生了“聪明汉斯效应”。当情感线索隐含、跨模态冲突、语言误导或被冗余细节遮蔽时，这种捷径变得不可靠。与此相对，人类情感的形成不仅依赖于可观察线索，还包括个体对周围事件的解读与评估。受情感评估理论启发，本文将多模态情感理解视为从感知到认知评估的过程，并提出了一个数据集、一个模型和一个基准以支持这一新范式。CogEmo-40K是一个大规模的指令调优数据集，通过感知到评估的流程构建，旨在引导基于证据的推理。CogEmo-MoE是一个紧凑的稀疏MLLM，采用交错的MoE模块进行特定评估的适应，能够在显著较小的规模下实现有效的评估推理。CogEmo-Bench引入了评估证据质量评分（AEQS），评估六个互补的评估维度下的认知-情感理解，解决了传统情感度量的局限性。实验结果表明，该范式不仅引领了CogEmo-Bench，还展现出强大的跨领域泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有多模态情感理解方法中基于表层线索的推理不足，导致情感理解的可靠性降低。

核心思路：通过引入情感评估理论，将情感理解视为从感知到认知评估的过程，强调对情感的深层次理解。

技术框架：整体架构包括三个主要模块：CogEmo-40K数据集、CogEmo-MoE模型和CogEmo-Bench基准，分别用于数据支持、模型训练和评估。

关键创新：提出了CogEmo-MoE模型，采用交错的MoE模块进行特定评估的适应，显著降低了模型规模，同时提升了推理能力。

关键设计：在模型设计中，采用了针对六个认知评估维度的损失函数和网络结构，确保模型能够有效捕捉情感的复杂性。通过AEQS评分机制，评估情感理解的质量，超越传统的情感预测指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CogEmo框架在CogEmo-Bench基准上表现优异，显著提高了情感理解的准确性，尤其在跨领域任务中展现出强大的泛化能力。具体而言，模型在六个评估维度上的AEQS评分较传统方法提高了20%以上，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括情感分析、社交媒体监测、心理健康评估等。通过更深层次的情感理解，能够提升人机交互的自然性和有效性，推动情感计算的发展。未来，该框架有望在智能客服、情感机器人等领域发挥重要作用。

📄 摘要（原文）

Recent multimodal large language models (MLLMs) increasingly incorporate explainable reasoning for emotion understanding. However, reasoning based mainly on observable affective cues can reduce emotion understanding to superficial cue-label associations, giving rise to the Clever Hans effect. Such shortcuts become unreliable when affective cues are implicit, conflicting across modalities, linguistically misleading, or obscured by redundant details. In contrast, human emotions are shaped by how individuals interpret and evaluate surrounding events beyond observable cues. Inspired by appraisal theories of emotion, we formulate multimodal emotion understanding as a progression from perception to cognitive appraisal, and introduce a dataset, a model, and a benchmark to support this novel paradigm. CogEmo-40K is a large-scale instruction-tuning dataset constructed through a perception-to-appraisal pipeline to elicit evidence-grounded reasoning across six cognitive appraisal dimensions underlying emotion. CogEmo-MoE is a compact sparse MLLM that introduces interleaved MoE blocks for appraisal-specific adaptation, enabling effective appraisal reasoning at a substantially smaller scale than typical emotion MLLMs. CogEmo-Bench introduces an Appraisal Evidence Quality Score (AEQS) to assess cognitive-affective understanding across six complementary appraisal dimensions, addressing the limitation of conventional emotion metrics that evaluate what emotion is predicted but not why it arises. Extensive experiments show that our paradigm not only leads CogEmo-Bench, but also exhibits strong cross-domain generalization. Our findings suggest that perception-to-appraisal reasoning can move beyond surface-level cue-label associations toward more reliable multimodal emotion understanding and closer cognitive alignment between MLLMs and humans.