MVEI & EmObserver: Empowering MLLM-Oriented Visual Emotional Intelligence via Emotion Statement Judgement

📄 arXiv: 2607.21061v1 📥 PDF

作者: Daiqing Wu, Dongbao Yang, Jiashu Yao, Hongrui Zhang, Can Ma, Yu Zhou, Sicheng Zhao

分类: cs.CV

发布日期: 2026-07-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出情感声明判断以解决多模态大语言模型的视觉情感智能问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 多模态大语言模型 视觉情感智能 情感声明判断 INSETS 基准测试 人工智能

📋 核心要点

  1. 现有的多模态大语言模型在视觉情感智能的系统评估上存在显著不足，主要体现在响应缺失、情感分类有限、上下文因素忽视和标注劳动密集等方面。
  2. 论文提出情感声明判断（ESJ），通过声明验证的方式，增强了输入的表现力，并将输出限制为更具区分性的判断，克服了传统AICA方法的局限。
  3. 实验结果显示，EmObserver在多个基准测试中表现出色，具有较高的准确性和良好的泛化能力，为多模态大语言模型的视觉情感智能提供了先进的基线。

📝 摘要（中文）

情感图像内容分析（AICA）旨在识别和理解视觉内容引发的情感，这是实现人工通用智能（AGI）的重要一步。然而，尽管多模态大语言模型（MLLMs）快速发展，系统评估其视觉情感智能的工作仍然缺乏。本文提出情感声明判断（ESJ），一种保留输入空间表现力的声明验证形式，同时将输出限制为区分性判断。我们开发了INSETS，一个高效的管道，通过构建INSETS-462k来大规模实现ESJ，并支持MVEI，一个涵盖情感极性、情感解释、场景上下文和感知主观性的严格基准。我们还构建了EmObserver，一个基于ESJ优化的情感导向MLLM。通过对MVEI的广泛评估，揭示了当前人工视觉情感智能的细微见解，实验结果表明EmObserver在多个AICA基准上的准确性、泛化能力和推理可信度。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在视觉情感智能评估中的不足，尤其是传统情感图像内容分析方法与MLLM开放式指令驱动特性之间的结构不匹配问题。

核心思路：通过引入情感声明判断（ESJ），实现对情感的声明验证，保留输入的丰富性，同时限制输出为有效的情感判断，从而提升模型的情感理解能力。

技术框架：整体架构包括情感声明判断的实现、INSETS管道的构建以及MVEI基准的设计，具体分为情感极性、情感解释、场景上下文和感知主观性四个模块。

关键创新：情感声明判断（ESJ）作为一种新的声明验证形式，显著提升了情感分析的准确性和效率，克服了传统方法在响应和上下文理解上的不足。

关键设计：在设计中，采用了高效的标注策略和多阶段优化流程，确保了模型在多个情感分析基准上的高性能表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EmObserver在多个AICA基准上展现出优异的性能，准确率显著高于传统方法，且在情感理解和推理方面表现出良好的泛化能力，为多模态大语言模型的视觉情感智能提供了新的基准和参考。

🎯 应用场景

该研究的潜在应用领域包括情感分析、社交媒体监测、用户体验优化等。通过提升多模态大语言模型的视觉情感智能，能够更好地理解用户情感，进而改善人机交互体验，推动人工智能在情感计算领域的发展。

📄 摘要（原文）

Affective Image Content Analysis (AICA) aims to recognize and understand emotions elicited by visual content, representing an indispensable step toward Artificial General Intelligence (AGI). However, despite the rapid progress of Multimodal Large Language Models (MLLMs), systematic evaluation of their visual emotional intelligence remains largely absent from recent model releases. We attribute this gap to a structural mismatch between conventional AICA paradigms and the open-ended, instruction-driven nature of MLLMs, where further analysis reveals four major limitations: omission of plausible responses, limited emotion taxonomies, neglect of contextual factors, and labor-intensive annotation. To overcome these barriers, we introduce Emotion Statement Judgement (ESJ), a statement-verification formulation that preserves the expressiveness of the input space while constraining outputs to discriminative judgements. We further develop INSETS, a labor-efficient pipeline that instantiates ESJ at scale by constructing INSETS-462k and supporting MVEI, a rigorously refined benchmark spanning sentiment polarity, emotion interpretation, scene context, and perception subjectivity. Beyond evaluation, we build EmObserver, an emotion-oriented MLLM optimized on ESJ through an elaborate multi-stage recipe. Extensive evaluation of broad-spectrum MLLMs on MVEI reveals fine-grained insights into current artificial visual emotional intelligence, while experiments on multiple AICA benchmarks demonstrate the accuracy, generalization, and reasoning faithfulness of EmObserver. Collectively, these results establish ESJ as a practical formulation, MVEI as a comprehensive benchmark, and EmObserver as an advanced baseline for advancing MLLM-oriented visual emotional intelligence. Code will be released at: https://github.com/wdqqdw/EmObserver.