MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis

📄 arXiv: 2411.11235v1 📥 PDF

作者: Yingjie Zhou, Zicheng Zhang, Jiezhang Cao, Jun Jia, Yanwei Jiang, Farong Wen, Xiaohong Liu, Xiongkuo Min, Guangtao Zhai

分类: cs.CL, cs.AI

发布日期: 2024-11-18

💡 一句话要点

提出MEMO-Bench，用于评估文本到图像模型和多模态大语言模型在人类情感分析上的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 文本到图像 多模态大语言模型 基准测试 人机交互

📋 核心要点

  1. 现有AI模型在情感理解和表达方面存在不足，尤其是在人机交互和虚拟数字人设计等领域。
  2. 论文提出MEMO-Bench基准，包含大量情感人像，用于全面评估T2I模型和MLLM的情感分析能力。
  3. 实验表明，T2I模型更擅长生成积极情感，而MLLM在精细情感分析方面与人类水平存在差距。

📝 摘要（中文）

本文介绍了一个名为MEMO-Bench的综合基准测试，用于评估文本到图像（T2I）模型和多模态大型语言模型（MLLM）在人类情感分析方面的能力。该基准包含7145张人像，由12个T2I模型生成，每张人像描绘了六种不同的情感之一。与以往工作不同，MEMO-Bench提供了一个评估T2I模型和MLLM在情感分析背景下的框架。此外，采用了一种由粗到细的渐进式评估方法，以提供对MLLM情感分析能力的更详细和全面的评估。实验结果表明，现有的T2I模型在生成积极情感方面比生成消极情感更有效。同时，虽然MLLM在区分和识别人类情感方面表现出一定的有效性，但它们在精细情感分析方面未能达到人类水平的准确性。MEMO-Bench将公开发布，以支持该领域的进一步研究。

🔬 方法详解

问题定义：现有的人工智能模型，特别是文本到图像（T2I）模型和多模态大型语言模型（MLLM），在理解和表达人类情感方面存在不足。现有的评估方法缺乏一个全面的基准来系统地评估这些模型在情感分析任务上的表现，尤其是在细粒度情感识别方面。

核心思路：论文的核心思路是构建一个包含大量情感人像的基准测试集MEMO-Bench，并设计一套由粗到细的评估方法，从而全面评估T2I模型生成情感图像的能力以及MLLM理解和识别这些情感的能力。通过这种方式，可以更清晰地了解现有模型在情感分析方面的优势和不足。

技术框架：MEMO-Bench的整体框架包含以下几个主要部分：1) 使用12个不同的T2I模型生成包含六种不同情感的人像图像；2) 构建包含7145张人像的基准数据集；3) 设计由粗到细的评估指标，包括情感分类的准确率、精确率、召回率等；4) 使用MLLM对生成的人像进行情感分析，并与人类水平进行比较。

关键创新：MEMO-Bench的关键创新在于：1) 首次提出了一个专门用于评估T2I模型和MLLM在情感分析任务上的综合基准；2) 采用了由粗到细的渐进式评估方法，可以更细致地分析模型在不同情感类别上的表现；3) 数据集包含大量由不同T2I模型生成的人像，具有多样性和代表性。

关键设计：在数据集构建方面，论文选择了六种基本情感（例如，快乐、悲伤、愤怒等）。在评估指标方面，采用了常用的分类指标，如准确率、精确率和召回率，并针对不同情感类别进行了细分。此外，还设计了专门的评估协议，以确保评估的公平性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的T2I模型在生成积极情感方面表现较好，但在生成消极情感方面仍有提升空间。MLLM在情感识别方面取得了一定的效果，但与人类水平相比仍存在差距，尤其是在细粒度情感分析上。例如，MLLM在识别“快乐”情感时准确率较高，但在区分“悲伤”和“沮丧”等相似情感时表现较差。

🎯 应用场景

该研究成果可应用于人机交互、虚拟数字人、情感计算等领域。通过MEMO-Bench，研究人员可以更有效地评估和改进AI模型的情感理解能力，从而开发出更具同理心和情感智能的AI系统。未来，该基准测试可以扩展到更多情感类别和模态，为情感AI的发展提供有力支持。

📄 摘要（原文）

Artificial Intelligence (AI) has demonstrated significant capabilities in various fields, and in areas such as human-computer interaction (HCI), embodied intelligence, and the design and animation of virtual digital humans, both practitioners and users are increasingly concerned with AI's ability to understand and express emotion. Consequently, the question of whether AI can accurately interpret human emotions remains a critical challenge. To date, two primary classes of AI models have been involved in human emotion analysis: generative models and Multimodal Large Language Models (MLLMs). To assess the emotional capabilities of these two classes of models, this study introduces MEMO-Bench, a comprehensive benchmark consisting of 7,145 portraits, each depicting one of six different emotions, generated by 12 Text-to-Image (T2I) models. Unlike previous works, MEMO-Bench provides a framework for evaluating both T2I models and MLLMs in the context of sentiment analysis. Additionally, a progressive evaluation approach is employed, moving from coarse-grained to fine-grained metrics, to offer a more detailed and comprehensive assessment of the sentiment analysis capabilities of MLLMs. The experimental results demonstrate that existing T2I models are more effective at generating positive emotions than negative ones. Meanwhile, although MLLMs show a certain degree of effectiveness in distinguishing and recognizing human emotions, they fall short of human-level accuracy, particularly in fine-grained emotion analysis. The MEMO-Bench will be made publicly available to support further research in this area.