Multi-Granular Multimodal Clue Fusion for Meme Understanding

📄 arXiv: 2503.12560v1 📥 PDF

作者: Li Zheng, Hao Fei, Ting Dai, Zuquan Peng, Fei Li, Huisheng Ma, Chong Teng, Donghong Ji

分类: cs.CL

发布日期: 2025-03-16

备注: Accepted by AAAI2025

💡 一句话要点

提出多粒度多模态线索融合模型，提升Meme理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态Meme理解 跨模态融合 对象级语义挖掘 全局-局部交互 双语义引导训练

📋 核心要点

  1. 现有Meme理解方法在细粒度视觉隐喻线索提取和文本图像弱相关性建模方面存在不足。
  2. MGMCF模型通过对象级语义挖掘、全局-局部跨模态交互和双语义引导训练来解决上述问题。
  3. 实验结果表明，MGMCF模型在冒犯性检测、隐喻识别、情感分析和意图检测任务上均有显著提升。

📝 摘要（中文）

本文提出了一种多粒度多模态线索融合模型(MGMCF)，旨在提升多模态Meme理解(MMU)能力。现有方法存在细粒度隐喻视觉线索丢失以及多模态文本-图像弱相关性被忽略的问题。MGMCF模型首先设计了一个对象级语义挖掘模块，提取对象级别的图像特征线索，实现细粒度的特征线索提取，增强模型捕获隐喻细节和语义的能力。其次，提出了一个全新的全局-局部跨模态交互模型，解决文本和图像之间的弱相关性问题，通过双向跨模态注意力机制，促进全局多模态上下文线索和局部单模态特征线索之间的有效交互，从而加强它们的表示。最后，设计了一种双语义引导训练策略，以增强模型在语义空间中对多模态表示的理解和对齐。在广泛使用的MET-MEME双语数据集上进行的实验表明，该模型相对于最先进的基线模型有显著的改进。

🔬 方法详解

问题定义：多模态Meme理解(MMU)旨在通过执行隐喻识别、情感分析、意图检测和冒犯性检测等任务来探索和理解Meme的含义。现有方法的痛点在于，一方面，容易丢失细粒度的隐喻视觉线索；另一方面，忽略了多模态文本和图像之间的弱相关性，导致模型无法充分理解Meme的深层含义。

核心思路：本文的核心思路是通过多粒度的特征提取和跨模态的交互融合来解决上述问题。具体来说，首先提取对象级别的图像特征，以捕捉细粒度的视觉隐喻线索；然后，通过全局-局部跨模态交互模型，增强文本和图像之间的关联性；最后，利用双语义引导训练策略，提升模型对多模态信息的理解和对齐能力。

技术框架：MGMCF模型主要包含三个模块：对象级语义挖掘模块、全局-局部跨模态交互模型和双语义引导训练策略。对象级语义挖掘模块负责提取图像中的对象特征，并将其作为细粒度的视觉线索。全局-局部跨模态交互模型通过双向跨模态注意力机制，实现全局上下文信息和局部单模态特征之间的交互。双语义引导训练策略则利用Meme的两种语义信息（例如，文本语义和视觉语义）来指导模型的训练，从而提升模型的理解能力。

关键创新：本文最重要的技术创新点在于提出了全局-局部跨模态交互模型。该模型能够有效地融合全局上下文信息和局部单模态特征，从而更好地理解文本和图像之间的关系。与现有方法相比，该模型能够更充分地利用多模态信息，从而提升Meme理解的准确性。

关键设计：对象级语义挖掘模块使用预训练的目标检测模型（例如，Faster R-CNN）来提取图像中的对象特征。全局-局部跨模态交互模型使用双向Transformer结构来实现跨模态注意力机制。双语义引导训练策略使用对比学习损失函数来对齐文本和图像的语义表示。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MGMCF模型在MET-MEME数据集上取得了显著的性能提升。在冒犯性检测任务中，精度提高了8.14%。在隐喻识别、情感分析和意图检测任务中，准确率分别提高了3.53%、3.89%和3.52%。这些结果表明，MGMCF模型能够有效地提升Meme理解的准确性。

🎯 应用场景

该研究成果可应用于社交媒体内容审核、智能推荐、舆情分析等领域。通过更准确地理解Meme的含义，可以有效过滤不良信息，提升推荐系统的个性化程度，并及时掌握社会舆论动态。未来，该技术还可扩展到其他多模态内容理解任务中，具有广阔的应用前景。

📄 摘要（原文）

With the continuous emergence of various social media platforms frequently used in daily life, the multimodal meme understanding (MMU) task has been garnering increasing attention. MMU aims to explore and comprehend the meanings of memes from various perspectives by performing tasks such as metaphor recognition, sentiment analysis, intention detection, and offensiveness detection. Despite making progress, limitations persist due to the loss of fine-grained metaphorical visual clue and the neglect of multimodal text-image weak correlation. To overcome these limitations, we propose a multi-granular multimodal clue fusion model (MGMCF) to advance MMU. Firstly, we design an object-level semantic mining module to extract object-level image feature clues, achieving fine-grained feature clue extraction and enhancing the model's ability to capture metaphorical details and semantics. Secondly, we propose a brand-new global-local cross-modal interaction model to address the weak correlation between text and images. This model facilitates effective interaction between global multimodal contextual clues and local unimodal feature clues, strengthening their representations through a bidirectional cross-modal attention mechanism. Finally, we devise a dual-semantic guided training strategy to enhance the model's understanding and alignment of multimodal representations in the semantic space. Experiments conducted on the widely-used MET-MEME bilingual dataset demonstrate significant improvements over state-of-the-art baselines. Specifically, there is an 8.14% increase in precision for offensiveness detection task, and respective accuracy enhancements of 3.53%, 3.89%, and 3.52% for metaphor recognition, sentiment analysis, and intention detection tasks. These results, underpinned by in-depth analyses, underscore the effectiveness and potential of our approach for advancing MMU.