A Context-aware Attention and Graph Neural Network-based Multimodal Framework for Misogyny Detection

📄 arXiv: 2508.09175v1 📥 PDF

作者: Mohammad Zia Ur Rehman, Sufyaan Zahoor, Areeb Manzoor, Musharaf Maqbool, Nagendra Kumar

分类: cs.CV, cs.AI

发布日期: 2025-08-07

备注: Published in Information Processing & Management

DOI: 10.1016/j.ipm.2024.103895

💡 一句话要点

提出基于上下文感知注意力与图神经网络的多模态框架，用于检测仇恨女性言论。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仇恨言论检测 多模态学习 上下文感知注意力 图神经网络 社交媒体分析

📋 核心要点

  1. 现有方法在检测仇恨女性内容时存在不足，无法有效捕捉其特有的语言和视觉模式。
  2. 提出一种多模态框架，利用上下文感知注意力机制和图神经网络来增强特征表示，从而更准确地识别仇恨女性内容。
  3. 实验结果表明，该方法在MAMI和MMHS150K数据集上显著优于现有方法，宏F1值平均提升超过8%。

📝 摘要（中文）

社交媒体上存在大量针对女性的攻击性内容。由于通用攻击性内容检测方法在识别仇恨女性内容方面面临挑战，因此需要专门针对此类内容定制的解决方案。为此，我们提出了一种新颖的多模态框架，用于检测仇恨女性和性别歧视内容。该框架包含三个模块：多模态注意力模块（MANM）、基于图的特征重构模块（GFRM）和特定内容特征学习模块（CFLM）。MANM采用基于自适应门控的多模态上下文感知注意力机制，使模型能够专注于相关的视觉和文本信息，并生成上下文相关的特征。GFRM模块利用图来细化各个模态内的特征，而CFLM则专注于学习文本和图像的特定特征，例如毒性特征和标题特征。此外，我们整理了一组仇恨女性词典，以计算文本中特定于仇恨女性的词汇得分。我们在特征空间中应用测试时增强，以更好地泛化对不同输入的预测。所提出的方法在两个多模态数据集MAMI和MMHS150K上进行了评估，分别包含11,000和13,494个样本。结果表明，该方法在MAMI和MMHS150K数据集上，宏F1值相比现有方法平均提高了10.17%和8.88%。

🔬 方法详解

问题定义：论文旨在解决社交媒体上仇恨女性言论检测的问题。现有方法在处理此类问题时，难以有效融合文本和图像信息，并且缺乏对上下文信息的充分利用，导致检测精度不高。

核心思路：论文的核心思路是利用多模态信息，通过上下文感知注意力机制选择性地关注重要特征，并利用图神经网络对特征进行重构和增强，从而提高仇恨女性言论的检测精度。这样设计的目的是为了更好地捕捉文本和图像之间的关联性，并提取更具判别性的特征。

技术框架：该框架包含三个主要模块：多模态注意力模块（MANM）、基于图的特征重构模块（GFRM）和特定内容特征学习模块（CFLM）。MANM负责融合文本和图像特征，并利用注意力机制选择重要特征；GFRM利用图神经网络对各个模态的特征进行细化和增强；CFLM则专注于学习文本和图像的特定特征，例如毒性特征和标题特征。整体流程是先通过MANM进行初步融合，再通过GFRM进行特征增强，最后通过CFLM学习特定特征，最终进行分类。

关键创新：该论文的关键创新在于提出了一个结合上下文感知注意力机制和图神经网络的多模态框架。上下文感知注意力机制能够动态地调整不同模态特征的权重，从而更好地融合信息。图神经网络则能够有效地对特征进行重构和增强，从而提高特征的表达能力。与现有方法相比，该方法能够更有效地利用多模态信息，并提取更具判别性的特征。

关键设计：MANM模块采用自适应门控机制来控制不同模态信息的融合程度。GFRM模块使用图卷积网络（GCN）来对特征进行重构，图的节点表示特征，边表示特征之间的关系。CFLM模块则利用预训练的语言模型（如BERT）来提取文本特征，并使用卷积神经网络（CNN）来提取图像特征。此外，论文还使用了仇恨女性词典来计算文本的仇恨女性得分，并采用测试时增强技术来提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在MAMI和MMHS150K两个多模态数据集上均取得了显著的性能提升。在MAMI数据集上，宏F1值相比现有方法提升了10.17%；在MMHS150K数据集上，宏F1值提升了8.88%。这些结果表明，该方法能够有效地检测仇恨女性言论，并优于现有的方法。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核，自动识别和过滤仇恨女性言论，从而营造更健康的网络环境。此外，该技术还可以用于舆情分析、网络安全等领域，帮助识别和应对网络上的恶意攻击行为。未来，该研究可以扩展到其他类型的攻击性内容检测，例如种族歧视、宗教歧视等。

📄 摘要（原文）

A substantial portion of offensive content on social media is directed towards women. Since the approaches for general offensive content detection face a challenge in detecting misogynistic content, it requires solutions tailored to address offensive content against women. To this end, we propose a novel multimodal framework for the detection of misogynistic and sexist content. The framework comprises three modules: the Multimodal Attention module (MANM), the Graph-based Feature Reconstruction Module (GFRM), and the Content-specific Features Learning Module (CFLM). The MANM employs adaptive gating-based multimodal context-aware attention, enabling the model to focus on relevant visual and textual information and generating contextually relevant features. The GFRM module utilizes graphs to refine features within individual modalities, while the CFLM focuses on learning text and image-specific features such as toxicity features and caption features. Additionally, we curate a set of misogynous lexicons to compute the misogyny-specific lexicon score from the text. We apply test-time augmentation in feature space to better generalize the predictions on diverse inputs. The performance of the proposed approach has been evaluated on two multimodal datasets, MAMI and MMHS150K, with 11,000 and 13,494 samples, respectively. The proposed method demonstrates an average improvement of 10.17% and 8.88% in macro-F1 over existing methods on the MAMI and MMHS150K datasets, respectively.