NYK-MS: A Well-annotated Multi-modal Metaphor and Sarcasm Understanding Benchmark on Cartoon-Caption Dataset

📄 arXiv: 2409.01037v1 📥 PDF

作者: Ke Chang, Hao Li, Junzhao Zhang, Yunfang Wu

分类: cs.CL

发布日期: 2024-09-02

备注: 13 pages, 6 figures

💡 一句话要点

NYK-MS：一个高质量卡通-文字多模态隐喻与讽刺理解基准数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 隐喻理解 讽刺理解 基准数据集 卡通-文字 自然语言处理 情感分析

📋 核心要点

  1. 现有方法在理解互联网上常见的隐喻和讽刺表达方面存在不足，尤其是在多模态场景下。
  2. 论文构建了一个高质量的多模态数据集NYK-MS，专注于卡通-文字场景下的隐喻和讽刺理解。
  3. 实验表明，现有大型语言模型和多模态模型在零样本分类任务上表现不佳，需要进一步提升。

📝 摘要（中文）

本文提出了一个新的基准数据集NYK-MS（NewYorKer for Metaphor and Sarcasm），用于隐喻理解和讽刺理解。该数据集包含1583个隐喻理解样本和1578个讽刺理解样本。每个样本都针对7个任务进行了标注，包括是否包含隐喻/讽刺、哪个词或对象包含隐喻/讽刺、讽刺的对象以及包含隐喻/讽刺的原因。所有任务均由至少3名标注者进行标注。为了提高一致性和质量，数据集经过多轮标注，并使用GUI和GPT-4V来提高效率。基于该基准，进行了大量实验。零样本实验表明，大型语言模型（LLM）和大型多模态模型（LMM）在分类任务中表现不佳，但随着模型规模的增加，在其他5个任务上的性能有所提高。在传统预训练模型上的实验表明，数据增强和对齐方法可以提高性能，证明了该基准与先前数据集的一致性，并要求模型理解两种模态。

🔬 方法详解

问题定义：论文旨在解决多模态场景下隐喻和讽刺理解的问题。现有的方法在处理卡通-文字这种特定的多模态数据时，缺乏足够高质量的训练数据，导致模型难以准确识别和理解其中的隐喻和讽刺含义。现有数据集可能存在标注质量不高、任务类型单一等问题，限制了模型能力的提升。

核心思路：论文的核心思路是构建一个高质量、多任务的基准数据集，以促进多模态隐喻和讽刺理解的研究。通过精细的标注和多样化的任务设置，数据集能够更全面地评估模型在理解隐喻和讽刺方面的能力。同时，数据集的构建过程也注重提高标注的一致性和效率。

技术框架：该研究主要集中在数据集的构建和实验验证上，并没有提出新的模型架构。数据集构建流程包括：数据收集、多轮标注、一致性检查、以及使用GUI和GPT-4V辅助标注。实验部分则主要评估现有模型在NYK-MS数据集上的表现，包括零样本学习和基于传统预训练模型的微调。

关键创新：该论文的关键创新在于构建了一个高质量的多模态隐喻和讽刺理解基准数据集NYK-MS。该数据集的特点在于：1) 专注于卡通-文字场景；2) 包含多个任务，涵盖了隐喻/讽刺识别、定位、解释等多个方面；3) 标注质量高，经过多轮标注和一致性检查。

关键设计：数据集的标注任务包括：1) 是否包含隐喻/讽刺；2) 哪个词或对象包含隐喻/讽刺；3) 讽刺的对象；4) 包含隐喻/讽刺的原因。标注过程采用多人标注，并计算标注者之间的一致性。使用GUI界面辅助标注，提高标注效率。利用GPT-4V进行辅助标注，进一步提升标注质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有大型语言模型和多模态模型在NYK-MS数据集上的零样本分类任务中表现不佳，表明该数据集具有挑战性。通过数据增强和对齐方法，传统预训练模型在NYK-MS数据集上取得了性能提升，验证了该数据集的有效性。实验结果也表明，模型需要同时理解图像和文本两种模态才能更好地完成任务。

🎯 应用场景

该研究成果可应用于智能对话系统、情感分析、舆情监控等领域。通过提高机器对隐喻和讽刺的理解能力，可以使人机交互更加自然流畅，提升情感分析的准确性，并更好地理解网络舆情，从而做出更合理的决策。未来，该数据集可以促进多模态情感计算和自然语言理解的发展。

📄 摘要（原文）

Metaphor and sarcasm are common figurative expressions in people's communication, especially on the Internet or the memes popular among teenagers. We create a new benchmark named NYK-MS (NewYorKer for Metaphor and Sarcasm), which contains 1,583 samples for metaphor understanding tasks and 1,578 samples for sarcasm understanding tasks. These tasks include whether it contains metaphor/sarcasm, which word or object contains metaphor/sarcasm, what does it satirize and why does it contains metaphor/sarcasm, all of the 7 tasks are well-annotated by at least 3 annotators. We annotate the dataset for several rounds to improve the consistency and quality, and use GUI and GPT-4V to raise our efficiency. Based on the benchmark, we conduct plenty of experiments. In the zero-shot experiments, we show that Large Language Models (LLM) and Large Multi-modal Models (LMM) can't do classification task well, and as the scale increases, the performance on other 5 tasks improves. In the experiments on traditional pre-train models, we show the enhancement with augment and alignment methods, which prove our benchmark is consistent with previous dataset and requires the model to understand both of the two modalities.