MOSABench: Multi-Object Sentiment Analysis Benchmark for Evaluating Multimodal Large Language Models Understanding of Complex Image

📄 arXiv: 2412.00060v2 📥 PDF

作者: Shezheng Song, Chengxiang He, Shan Zhao, Chengyu Wang, Qian Wan, Tianwei Yan, Meng Wang

分类: cs.CV, cs.AI

发布日期: 2024-11-25 (更新: 2025-11-14)

💡 一句话要点

提出MOSABench，用于评估多模态大语言模型在多目标情感分析中的图像理解能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 情感分析 多目标识别 图像理解 评估基准

📋 核心要点

  1. 现有MLLM在多目标情感分析方面缺乏标准化的评估基准，难以有效衡量其语义理解能力。
  2. MOSABench通过构建包含多个对象及其情感标注的数据集，并设计相应的评估方法，来解决上述问题。
  3. 实验表明，现有MLLM在处理复杂场景下的多目标情感分析时存在局限性，需要进一步提升。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉问答、图像描述和情感识别等高级语义任务中表现出显著进展。然而，在多目标情感分析这一语义理解的关键任务中，仍然缺乏评估MLLMs性能的标准化基准。为了弥补这一空白，我们引入了MOSABench，这是一个专门为多目标情感分析设计的新型评估数据集。MOSABench包含约1000张具有多个对象的图像，要求MLLMs独立评估每个对象的情感，从而反映真实世界的复杂性。MOSABench的关键创新包括基于距离的目标标注、用于标准化输出的评估后处理以及改进的评分机制。实验表明，当前MLLMs存在显著局限性：虽然mPLUG-owl和Qwen-VL2等模型表现出对情感相关特征的有效关注，但其他模型表现出分散的关注点和性能下降，尤其是在对象之间的空间距离增加时。这项研究强调了MLLMs需要提高在复杂的多目标情感分析任务中的准确性，并将MOSABench确立为推进MLLMs情感分析能力的基础工具。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）在复杂图像场景下，对多个目标对象进行情感分析时缺乏有效评估基准的问题。现有方法难以准确评估模型在多目标情感分析任务中的性能，尤其是在目标对象之间存在空间关系时，模型的注意力机制和推理能力面临挑战。

核心思路：论文的核心思路是构建一个专门用于多目标情感分析的评估数据集MOSABench。该数据集包含大量具有多个对象的图像，并对每个对象的情感进行独立标注。通过要求MLLMs对每个对象的情感进行评估，可以更全面地评估模型在复杂场景下的情感理解能力。同时，论文还设计了相应的评估方法，包括基于距离的目标标注、后处理和改进的评分机制，以确保评估的准确性和可靠性。

技术框架：MOSABench的整体框架主要包括以下几个阶段：1) 数据收集与标注：收集包含多个对象的图像，并使用基于距离的方法对每个对象的情感进行标注。2) 模型预测：使用MLLMs对图像中的每个对象进行情感预测。3) 后处理：对模型的输出进行标准化处理，以便进行统一的评估。4) 评估与分析：使用改进的评分机制对模型的预测结果进行评估，并分析模型的性能表现。

关键创新：MOSABench的关键创新在于：1) 提出了一个专门用于多目标情感分析的评估数据集，填补了现有基准的空白。2) 采用了基于距离的目标标注方法，能够更准确地标注对象的情感。3) 设计了后处理方法，能够标准化模型的输出，提高评估的可靠性。4) 提出了改进的评分机制，能够更全面地评估模型的性能。

关键设计：在数据标注方面，采用了基于距离的标注方法，即根据对象之间的距离来确定标注的粒度。在评估指标方面，采用了改进的评分机制，该机制考虑了模型预测的准确性和完整性。此外，论文还对模型的输出进行了后处理，例如，将模型的输出转换为统一的格式，以便进行统一的评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有MLLMs在多目标情感分析任务中存在局限性，尤其是在对象之间的空间距离增加时，模型的性能会显著下降。虽然mPLUG-owl和Qwen-VL2等模型表现出对情感相关特征的有效关注，但其他模型表现出分散的关注点。MOSABench的提出为评估和改进MLLMs在多目标情感分析方面的能力提供了一个有效的工具。

🎯 应用场景

该研究成果可应用于智能客服、舆情监控、社交媒体分析等领域。通过提升MLLMs在多目标情感分析方面的能力，可以更准确地理解用户的情感需求，从而提供更个性化、更智能的服务。未来，该研究还可以扩展到其他多模态任务中，例如视频情感分析、语音情感分析等。

📄 摘要（原文）

Multimodal large language models (MLLMs) have shown remarkable progress in high-level semantic tasks such as visual question answering, image captioning, and emotion recognition. However, despite advancements, there remains a lack of standardized benchmarks for evaluating MLLMs performance in multi-object sentiment analysis, a key task in semantic understanding. To address this gap, we introduce MOSABench, a novel evaluation dataset designed specifically for multi-object sentiment analysis. MOSABench includes approximately 1,000 images with multiple objects, requiring MLLMs to independently assess the sentiment of each object, thereby reflecting real-world complexities. Key innovations in MOSABench include distance-based target annotation, post-processing for evaluation to standardize outputs, and an improved scoring mechanism. Our experiments reveal notable limitations in current MLLMs: while some models, like mPLUG-owl and Qwen-VL2, demonstrate effective attention to sentiment-relevant features, others exhibit scattered focus and performance declines, especially as the spatial distance between objects increases. This research underscores the need for MLLMs to enhance accuracy in complex, multi-object sentiment analysis tasks and establishes MOSABench as a foundational tool for advancing sentiment analysis capabilities in MLLMs.