Beyond a Joke: Multi-Angle Reasoning for Detecting and Explaining Harmful Humor in Memes
作者: Shanhong Liu, Pai Chet Ng, De Wen Soh, Malika Meghjani, Konstantinos N. Plataniotis
分类: cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出MAR-12框架以解决有害幽默检测问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 幽默检测 有害内容识别 视觉语言模型 可解释人工智能
📋 核心要点
- 现有的多模态分类器在处理幽默和有害内容共存的迷因时，往往忽视了它们之间的相互依赖性，导致可解释性不足。
- MAR-12框架通过十二个结构化视角分析迷因，并利用角色感知的软门控注意机制来优化各视角的贡献，从而实现更准确的分类和解释。
- 在PrideMM和Memotion数据集上的实验表明，MAR-12在幽默检测和仇恨检测上分别达到了80.3%和75.9%的准确率，超越了现有的最先进方法。
📝 摘要（中文）
互联网迷因结合了视觉线索、文本内容和文化背景，使得在幽默、讽刺和有害意图共存的情况下，解读这些迷因变得尤为复杂。这些复杂性突显了需要可解释的迷因理解系统，以提供可靠且结构化的推理，支持准确分类和人类可解释性。然而，现有的多模态分类器要么忽视这些相互依赖性，要么仅提供有限的可解释性。本文提出了MAR-12，一个新颖的框架，利用视觉语言模型（VLMs）进行迷因检测和理解，特别是在幽默和仇恨元素共存的环境中。该框架首先通过十二个结构化视角解释每个迷因，然后应用角色感知的软门控注意机制来学习每个视角的贡献程度，最后通过基于原型的分类器进行最终预测。最后，使用视角特定的推理和学习到的注意权重合成解释，确保透明且基于上下文的理由。
🔬 方法详解
问题定义：本文旨在解决在幽默和有害内容共存的情况下，如何准确检测和解释互联网迷因的问题。现有方法往往无法有效处理这些复杂的相互关系，导致分类结果的不准确和可解释性不足。
核心思路：MAR-12框架通过引入十二个结构化视角，结合角色感知的软门控注意机制，来优化对每个视角的贡献，从而实现更全面的迷因理解和分类。这样的设计使得模型能够更好地捕捉幽默与仇恨之间的微妙关系。
技术框架：MAR-12的整体架构包括三个主要模块：首先是通过十二个视角对迷因进行初步解释；其次是应用软门控注意机制来动态调整各视角的贡献；最后是通过原型分类器进行最终的分类预测。
关键创新：MAR-12的主要创新在于其结构化视角的引入和角色感知的软门控注意机制，这与传统的多模态分类器相比，显著提升了模型的可解释性和准确性。
关键设计：在模型设计中，采用了基于视角的损失函数来优化分类效果，并通过学习到的注意权重来生成透明的解释。此外，模型结构中包含了多层次的特征提取模块，以增强对复杂迷因的理解能力。
🖼️ 关键图片
📊 实验亮点
MAR-12在PrideMM和Memotion数据集上分别达到了80.3%和75.9%的准确率，显著优于现有的最先进方法。此外，基于人类和GPT-4的评估结果表明，MAR-12生成的解释具有连贯性和说服力，尤其是在幽默和有害线索共存的迷因中。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容监测、在线社区的内容审核以及教育领域的幽默与文化理解。MAR-12框架能够帮助平台更好地识别和解释有害幽默，从而提升用户体验和安全性。未来，该技术可能在自动化内容审核和社交媒体分析中发挥重要作用。
📄 摘要（原文）
Internet memes intertwine visual cues, textual content, and cultural context, making them particularly challenging to interpret in scenarios where humor, sarcasm, and harmful intent coexist. These complexities highlight the need for explainable meme understanding systems that can provide reliable and structured reasoning to support both accurate classification and human interpretability. However, existing multimodal classifiers either overlook these interdependencies or provide only limited interpretability. In this paper, we introduce MAR-12, a novel framework that leverages Vision Language Models (VLMs) for meme detection and understanding in settings where humorous and hateful elements may coexist. The framework first interprets each meme through twelve structured perspectives derived from humor and hate theories. It then applies a role-aware soft-gated attention mechanism to learn how much each perspective should contribute, followed by a prototype-based classifier for the final prediction. Finally, explanations are synthesized using both perspective-specific reasoning and learned attention weights, ensuring transparent and context-grounded justifications. We evaluate MAR-12 on the PrideMM and Memotion datasets, where it achieves up to 80.3% accuracy for humor detection and 75.9% accuracy for hate detection, outperforming state-of-the-art approaches. Furthermore, both human and GPT-4-based evaluations confirm that MAR-12 produces coherent and persuasive explanations, particularly for memes in which humorous and harmful cues co-occur.