Multimodal Inverse Attention Network with Intrinsic Discriminant Feature Exploitation for Fake News Detection

📄 arXiv: 2502.01699v2 📥 PDF

作者: Tianlin Zhang, En Yu, Yi Shao, Jiande Sun

分类: cs.LG, cs.CL, cs.CV, cs.IR, cs.MM

发布日期: 2025-02-03 (更新: 2025-05-29)

备注: 13 pages, 6 figures

💡 一句话要点

提出多模态逆注意力网络MIAN，用于挖掘内在判别特征以提升假新闻检测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 假新闻检测 逆注意力机制 跨模态融合 分层学习

📋 核心要点

  1. 现有假新闻检测方法未能充分利用模态特定表示和显式差异特征，限制了检测性能。
  2. MIAN通过分层学习增强单模态表示，并利用逆注意力机制显式提取模态内和模态间的不一致特征。
  3. 实验结果表明，MIAN在基准数据集上显著优于现有方法，提升了多模态假新闻检测的性能。

📝 摘要（中文）

多模态假新闻检测因其对社会安全的重要影响而备受关注。现有方法在理解跨模态一致性方面有所贡献，但通常未能充分利用模态特定表示和显式差异特征。为了解决这些局限性，我们提出了多模态逆注意力网络（MIAN），这是一个新颖的框架，旨在探索基于新闻内容的内在判别特征，从而推进假新闻检测。具体而言，MIAN引入了一个分层学习模块，通过局部到全局和局部到局部的交互来捕获多样化的模态内关系，从而生成增强的单模态表示，以提高模态内层面的假新闻识别能力。此外，跨模态交互模块采用协同注意力机制来建立和建模精炼的单模态表示之间的依赖关系，从而促进跨模态的无缝语义集成。为了显式提取不一致特征，我们提出了一种逆注意力机制，有效地突出了假新闻在模态内和模态间引入的冲突模式和语义偏差。在基准数据集上的大量实验表明，MIAN显著优于最先进的方法，突显了其通过增强多模态假新闻检测来推进社会安全的关键贡献。

🔬 方法详解

问题定义：现有方法在多模态假新闻检测中，未能充分挖掘模态内部的判别性特征，并且对跨模态的不一致性特征的提取不够有效。这导致模型难以准确识别那些通过操纵不同模态信息来传播的虚假新闻。

核心思路：MIAN的核心思路是通过分层学习增强单模态表示，并利用逆注意力机制显式地提取模态内和模态间的不一致特征。通过增强单模态表示，模型可以更好地理解每个模态的内在信息。逆注意力机制则能够有效地突出假新闻在不同模态之间引入的冲突和偏差，从而提高检测的准确性。

技术框架：MIAN主要包含两个核心模块：分层学习模块和跨模态交互模块。分层学习模块通过局部到全局和局部到局部的交互来捕获模态内的关系，生成增强的单模态表示。跨模态交互模块则利用协同注意力机制来建模不同模态之间的依赖关系，实现语义集成。此外，逆注意力机制被用于显式地提取不一致特征。

关键创新：MIAN的关键创新在于引入了逆注意力机制，用于显式地提取模态内和模态间的不一致特征。与传统的注意力机制关注重要信息不同，逆注意力机制侧重于突出那些与真实信息相悖的、具有欺骗性的特征。这种机制能够有效地捕捉假新闻中常见的语义偏差和冲突模式。

关键设计：分层学习模块采用多层感知机（MLP）和自注意力机制来捕获不同粒度的模态内关系。跨模态交互模块使用协同注意力机制来计算不同模态之间的相关性权重。逆注意力机制通过计算注意力权重的补集来突出不一致特征。损失函数包括分类损失和对比损失，用于优化模型的判别能力和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MIAN在公开的假新闻检测数据集上取得了显著的性能提升。实验结果表明，MIAN相较于现有最先进的方法，在准确率和F1值等指标上均有明显提高，证明了其在多模态假新闻检测方面的有效性。具体提升幅度未知，原文未给出具体数值。

🎯 应用场景

该研究成果可应用于社交媒体平台、新闻聚合网站等，用于自动检测和过滤虚假新闻，减少其传播，维护社会稳定和公共利益。未来，该技术可扩展到其他多模态欺骗检测任务，例如深度伪造视频检测、恶意评论识别等。

📄 摘要（原文）

Multimodal fake news detection has garnered significant attention due to its profound implications for social security. While existing approaches have contributed to understanding cross-modal consistency, they often fail to leverage modal-specific representations and explicit discrepant features. To address these limitations, we propose a Multimodal Inverse Attention Network (MIAN), a novel framework that explores intrinsic discriminative features based on news content to advance fake news detection. Specifically, MIAN introduces a hierarchical learning module that captures diverse intra-modal relationships through local-to-global and local-to-local interactions, thereby generating enhanced unimodal representations to improve the identification of fake news at the intra-modal level. Additionally, a cross-modal interaction module employs a co-attention mechanism to establish and model dependencies between the refined unimodal representations, facilitating seamless semantic integration across modalities. To explicitly extract inconsistency features, we propose an inverse attention mechanism that effectively highlights the conflicting patterns and semantic deviations introduced by fake news in both intra- and inter-modality. Extensive experiments on benchmark datasets demonstrate that MIAN significantly outperforms state-of-the-art methods, underscoring its pivotal contribution to advancing social security through enhanced multimodal fake news detection.