HCIG: A Hierarchical Cross-Modal Incongruity Graph Network for Multimodal Sarcasm and Cyberbullying Detection

📄 arXiv: 2607.16076 📥 PDF

作者: Bhavana Verma, Priyanka Meel, Dinesh Kumar Vishwakarma

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-07-20

💡 一句话要点

提出HCIG以解决多模态讽刺与网络欺凌检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检测 讽刺识别 网络欺凌 图注意力网络 层次注意力机制 跨模态不一致 社交媒体分析

📋 核心要点

  1. 现有的多模态讽刺和网络欺凌检测方法未能有效捕捉文本与视觉信息之间的层次性不一致，导致检测性能不足。
  2. 本文提出HCIG框架，通过图注意力网络在多个层次上建模跨模态不一致，并采用层次注意力机制整合表示，提升检测效果。
  3. 实验结果显示，HCIG在MMSD数据集上取得了85.74%的准确率，GCCN在MultiBully数据集上达到了68.66%的宏F1，表明新方法的有效性。

📝 摘要（中文）

多模态讽刺和网络欺凌检测仍然面临挑战，因为意图的含义往往源于文本与视觉信息之间的不一致，而不是单一模态。现有的多模态方法主要依赖特征融合或跨模态注意力，可能无法有效捕捉不同层次表示之间的层次语义不一致。为了解决这一局限性，本文提出了HCIG（层次跨模态不一致图网络），该框架通过图注意力网络在标记、短语和全局层面建模跨模态不一致，并通过学习的层次注意力机制自适应地整合这些表示。作为补充架构，我们还引入了GCCN（基于图的跨模态矛盾网络），该网络通过矛盾感知池化进行图基推理，以实现高效的多模态交互学习。实验结果表明，HCIG在MMSD数据集上取得了85.74%的准确率和85.29%的宏F1，而GCCN在MultiBully数据集上达到了最高的宏F1（68.66%）。

🔬 方法详解

问题定义：本文旨在解决多模态讽刺和网络欺凌检测中的语义不一致问题，现有方法在捕捉文本与视觉信息的层次性不一致方面存在不足，导致检测效果不佳。

核心思路：HCIG框架通过图注意力网络在标记、短语和全局层面建模跨模态不一致，利用层次注意力机制自适应整合不同层次的表示，从而提高多模态推理的有效性。

技术框架：HCIG的整体架构包括三个主要模块：图注意力网络用于建模不一致性，层次注意力机制用于整合表示，以及GCCN作为补充架构进行图基推理。

关键创新：HCIG的创新之处在于其层次多粒度的不一致建模方法，相较于传统的特征融合策略，能够更有效地进行多模态推理。

关键设计：在模型设计中，采用了图注意力机制和矛盾感知池化，确保了模型在不同层次上对信息的有效捕捉和整合，同时优化了损失函数以提升模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HCIG在MMSD数据集上达到了85.74%的准确率和85.29%的宏F1，超越了现有基线；而GCCN在MultiBully数据集上取得了68.66%的宏F1，显示出其在多模态交互学习中的优势。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监测、在线社区管理和情感分析等。通过提高讽刺和网络欺凌的检测能力，能够有效保护用户，促进网络环境的安全与和谐。未来，该框架还可扩展至其他多模态情感识别和内容分析任务。

📄 摘要（原文）

Multimodal sarcasm and cyberbullying detection remain challenging because the intended meaning often emerges from incongruity between textual and visual information rather than from either modality alone. Existing multimodal approaches primarily rely on feature fusion or cross-modal attention, which may not effectively capture hierarchical semantic inconsistencies across different levels of representation. To address this limitation, this paper proposes HCIG (Hierarchical Cross-modal Incongruity Graph Network), a novel framework that models cross-modal incongruity at token, phrase, and global levels using graph attention networks and adaptively integrates these representations through a learned hierarchical attention mechanism. As a complementary architecture, we also introduce GCCN (Graph-based Cross-modal Contradiction Network), which performs graph-based reasoning using contradiction-aware pooling for efficient multimodal interaction learning. The proposed models are evaluated on the MMSD sarcasm benchmark and the MultiBully cyberbullying dataset, together with comprehensive ablation studies and cross-task transfer experiments. Experimental results demonstrate that HCIG achieves the best performance on MMSD with 85.74% accuracy and 85.29% macro-F1, while GCCN attains the highest macro-F1 (68.66%) on MultiBully and HCIG achieves the highest accuracy (69.62%) and bullying-class F1 (74.90%). The findings demonstrate that hierarchical multi-granularity incongruity modeling provides more effective multimodal reasoning than conventional fusion strategies, offering a robust framework for sarcasm and cyberbullying detection in social media.