EmoMeta: A Multimodal Dataset for Fine-grained Emotion Classification in Chinese Metaphors

📄 arXiv: 2505.13483v1 📥 PDF

作者: Xingyuan Lu, Yuxi Liu, Dongyu Zhang, Zhiyao Wu, Jing Ren, Feng Xia

分类: cs.CL, cs.AI, cs.CV

发布日期: 2025-05-12

DOI: 10.1145/3701716.3735080

🔗 代码/项目: GITHUB

💡 一句话要点

EmoMeta：构建中文隐喻细粒度情感分类多模态数据集，促进情感智能研究。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 中文隐喻 细粒度情感分类 文本图像对 情感计算

📋 核心要点

  1. 现有情感分类研究缺乏对多模态隐喻的关注，且数据集多为英文，忽略了跨语言的情感差异。
  2. EmoMeta数据集旨在通过构建包含文本-图像对的中文隐喻数据集，促进多模态情感理解研究。
  3. 该数据集包含5000个广告样本，并标注了隐喻、领域关系和细粒度情感，为情感分类提供了丰富资源。

📝 摘要（中文）

隐喻在表达情感方面起着关键作用，对情感智能至关重要。多模态数据和广泛交流的出现导致了多模态隐喻的激增，与单模态场景相比，这增加了情感分类的复杂性。然而，目前在构建多模态隐喻细粒度情感数据集方面的研究非常有限，阻碍了该领域的发展。此外，现有研究主要集中在英语上，忽略了不同语言之间情感细微差别的潜在差异。为了解决这些问题，我们引入了一个中文多模态数据集，包含5000个隐喻广告的文本-图像对。每个条目都经过精心标注，包括隐喻出现、领域关系和细粒度情感分类，涵盖喜悦、爱、信任、恐惧、悲伤、厌恶、愤怒、惊讶、期待和中性。我们的数据集已公开（https://github.com/DUTIR-YSQ/EmoMeta），以促进该新兴领域的进一步发展。

🔬 方法详解

问题定义：现有情感分类方法在处理多模态隐喻时面临挑战，主要体现在两个方面：一是缺乏针对多模态隐喻的标注数据集，二是现有数据集主要集中在英文，忽略了中文语境下的情感表达特点。这导致模型难以准确识别和理解中文多模态隐喻所蕴含的细粒度情感。

核心思路：EmoMeta数据集的核心思路是构建一个高质量、大规模的中文多模态隐喻数据集，为情感分类模型提供充足的训练数据。通过对文本-图像对进行细粒度情感标注，使模型能够学习到不同情感在多模态语境下的表达方式，从而提高情感分类的准确性和鲁棒性。

技术框架：EmoMeta数据集的构建流程主要包括以下几个阶段：1) 数据收集：从互联网上收集包含隐喻的中文广告文本和图像；2) 数据清洗：对收集到的数据进行清洗和过滤，去除噪声和不相关信息；3) 隐喻标注：标注文本中出现的隐喻，并确定其领域关系；4) 情感标注：对每个文本-图像对进行细粒度情感标注，包括喜悦、爱、信任、恐惧、悲伤、厌恶、愤怒、惊讶、期待和中性；5) 数据集发布：将标注好的数据集公开发布，供研究人员使用。

关键创新：EmoMeta数据集的关键创新在于：1) 它是首个针对中文多模态隐喻的细粒度情感数据集；2) 它包含了丰富的隐喻和情感标注信息，为情感分类模型提供了更全面的训练数据；3) 它的公开性促进了该领域的研究和发展。

关键设计：在情感标注方面，采用了细粒度的情感分类体系，涵盖了10种不同的情感类别。为了保证标注质量，采用了多轮标注和专家审核机制。在隐喻标注方面，标注了隐喻的出现位置和领域关系，为研究隐喻的语义理解提供了支持。数据集的规模为5000个文本-图像对，保证了数据的多样性和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EmoMeta数据集是首个针对中文多模态隐喻的细粒度情感数据集，包含5000个文本-图像对，并标注了隐喻、领域关系和10种细粒度情感。该数据集的发布将为多模态情感分类研究提供重要资源，并有望推动相关技术的进步。

🎯 应用场景

EmoMeta数据集可广泛应用于情感计算、自然语言处理和多模态信息处理等领域。例如，可用于开发更智能的情感聊天机器人、情感分析系统和广告创意评估工具。该数据集还有助于研究中文隐喻的情感表达特点，促进跨文化情感理解。

📄 摘要（原文）

Metaphors play a pivotal role in expressing emotions, making them crucial for emotional intelligence. The advent of multimodal data and widespread communication has led to a proliferation of multimodal metaphors, amplifying the complexity of emotion classification compared to single-mode scenarios. However, the scarcity of research on constructing multimodal metaphorical fine-grained emotion datasets hampers progress in this domain. Moreover, existing studies predominantly focus on English, overlooking potential variations in emotional nuances across languages. To address these gaps, we introduce a multimodal dataset in Chinese comprising 5,000 text-image pairs of metaphorical advertisements. Each entry is meticulously annotated for metaphor occurrence, domain relations and fine-grained emotion classification encompassing joy, love, trust, fear, sadness, disgust, anger, surprise, anticipation, and neutral. Our dataset is publicly accessible (https://github.com/DUTIR-YSQ/EmoMeta), facilitating further advancements in this burgeoning field.