EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models

📄 arXiv: 2602.23802v1 📥 PDF

作者: Yiyang Fang, Wenke Huang, Pei Fu, Yihao Yang, Kehua Su, Zhenbo Luo, Jian Luan, Mang Ye

分类: cs.AI, cs.CV

发布日期: 2026-02-27

备注: Accepted by CVPR 2026

💡 一句话要点

提出EMO-R3框架，提升多模态大语言模型在视觉情感理解中的推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 情感推理 反思强化学习 视觉情感理解 结构化情感思维

📋 核心要点

  1. 现有MLLM在情感理解方面泛化性差、可解释性弱，且强化学习方法与情感认知不符。
  2. EMO-R3通过结构化情感思维引导模型逐步推理，并设计反思情感奖励进行自我评估。
  3. 实验表明，EMO-R3显著提升了MLLM的情感智能和可解释性，并在多个基准上表现优异。

📝 摘要（中文）

多模态大语言模型(MLLMs)在视觉推理和理解任务中取得了显著进展，但仍然难以捕捉人类情感的复杂性和主观性。现有的基于监督微调的方法通常存在泛化能力有限和可解释性差的问题，而诸如Group Relative Policy Optimization等强化学习方法未能与情感认知的内在特征对齐。为了解决这些挑战，我们提出了用于情感推理的反思强化学习(EMO-R3)框架，旨在增强MLLMs的情感推理能力。具体来说，我们引入了结构化情感思维，引导模型以结构化和可解释的方式逐步进行情感推理，并设计了一种反思情感奖励，使模型能够根据视觉-文本一致性和情感连贯性重新评估其推理。大量实验表明，EMO-R3显著提高了MLLMs的可解释性和情感智能，并在多个视觉情感理解基准测试中取得了优异的性能。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型(MLLMs)在视觉情感理解任务中，难以准确捕捉和推理人类情感的复杂性和主观性的问题。现有方法，如监督微调，泛化能力有限且缺乏可解释性；而传统的强化学习方法，如Group Relative Policy Optimization，难以与情感认知的内在特性对齐，导致模型无法有效进行情感推理。

核心思路：论文的核心思路是利用反思强化学习(Reflective Reinforcement Learning)来引导MLLM进行更结构化、可解释的情感推理。通过引入“结构化情感思维”和“反思情感奖励”，模型能够逐步分解情感推理过程，并根据视觉-文本一致性和情感连贯性对自身的推理进行评估和改进。这种设计旨在使模型更好地理解情感的内在逻辑，从而提高情感推理的准确性和可靠性。

技术框架：EMO-R3框架主要包含以下几个关键模块：1) 结构化情感思维模块：引导模型以步骤化的方式进行情感推理，例如识别场景、分析人物表情、推断情感状态等。2) 反思情感奖励模块：根据视觉-文本一致性和情感连贯性，对模型的推理过程进行奖励或惩罚。视觉-文本一致性确保模型关注图像中的关键信息，情感连贯性则保证推理结果符合情感逻辑。3) 强化学习优化模块：利用强化学习算法，根据反思情感奖励优化模型的策略，使其能够更好地进行情感推理。

关键创新：EMO-R3的关键创新在于将反思强化学习应用于多模态情感推理任务。与传统的监督学习方法相比，EMO-R3能够通过奖励机制引导模型自主学习情感推理的内在逻辑，从而提高泛化能力和可解释性。与传统的强化学习方法相比，EMO-R3提出的“结构化情感思维”和“反思情感奖励”更符合情感认知的特点，能够更有效地提升模型的情感推理能力。

关键设计：在结构化情感思维模块中，论文可能采用了预定义的推理步骤模板，引导模型按照一定的逻辑顺序进行推理。在反思情感奖励模块中，视觉-文本一致性可能通过计算视觉特征和文本描述之间的相似度来实现，情感连贯性则可能通过情感知识图谱或情感分类器来评估。具体的强化学习算法和超参数设置（如学习率、折扣因子等）在论文中应该有详细描述，但根据摘要无法得知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

摘要中提到，EMO-R3在多个视觉情感理解基准测试中取得了优异的性能，表明该方法在提升MLLM的情感智能方面具有显著效果。具体的性能数据和对比基线需要在论文正文中查找。该方法显著提高了MLLM的可解释性，这对于理解模型的推理过程和发现潜在的偏差至关重要。

🎯 应用场景

EMO-R3的研究成果可应用于情感智能聊天机器人、心理健康评估、社交媒体情感分析、智能广告推荐等领域。通过提升机器对人类情感的理解能力，可以构建更具同理心和人情味的AI系统，从而改善人机交互体验，并为心理健康领域提供辅助诊断工具。未来，该技术有望在教育、娱乐等领域发挥更大的作用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have shown remarkable progress in visual reasoning and understanding tasks but still struggle to capture the complexity and subjectivity of human emotions. Existing approaches based on supervised fine-tuning often suffer from limited generalization and poor interpretability, while reinforcement learning methods such as Group Relative Policy Optimization fail to align with the intrinsic characteristics of emotional cognition. To address these challenges, we propose Reflective Reinforcement Learning for Emotional Reasoning (EMO-R3), a framework designed to enhance the emotional reasoning ability of MLLMs. Specifically, we introduce Structured Emotional Thinking to guide the model to perform step-by-step emotional reasoning in a structured and interpretable manner, and design a Reflective Emotional Reward that enables the model to re-evaluate its reasoning based on visual-text consistency and emotional coherence. Extensive experiments demonstrate that EMO-R3 significantly improves both the interpretability and emotional intelligence of MLLMs, achieving superior performance across multiple visual emotional understanding benchmarks.