External Reliable Information-enhanced Multimodal Contrastive Learning for Fake News Detection

📄 arXiv: 2503.03107v1 📥 PDF

作者: Biwei Cao, Qihang Wu, Jiuxin Cao, Bo Liu, Jie Gui

分类: cs.CL, cs.AI

发布日期: 2025-03-05

备注: accepted by AAAI'25

💡 一句话要点

提出ERIC-FND框架，利用外部可靠信息增强多模态对比学习，提升假新闻检测性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 对比学习 假新闻检测 外部知识增强 实体链接

📋 核心要点

  1. 现有方法难以充分利用多模态信息，且引入的外部信息可信度低或缺乏动态更新。
  2. ERIC-FND通过实体增强外部信息、多模态语义交互和对比学习来提升新闻表示。
  3. 在Twitter和微博数据集上的实验表明，ERIC-FND优于现有先进的虚假新闻检测方法。

📝 摘要（中文）

随着互联网的快速发展，信息传播模式发生了变化，效率大大提高。与此同时，这也带来了虚假新闻的快速传播，对网络空间产生了负面影响。目前，信息呈现形式逐渐演变，新闻形式从文本转向多模态内容。因此，检测多模态虚假新闻已成为研究热点之一。然而，多模态虚假新闻检测研究领域仍然面临两个主要挑战：无法充分有效地利用多模态信息进行检测，以及引入的外部信息的可信度低或静态性，限制了动态更新。为了弥合这些差距，我们提出了ERIC-FND，一个外部可靠信息增强的多模态对比学习框架，用于虚假新闻检测。ERIC-FND通过实体丰富的外部信息增强方法来加强新闻内容的表示。它还通过多模态语义交互方法丰富了多模态新闻信息，其中采用多模态对比学习来使不同的模态表示相互学习。此外，采用自适应融合方法来整合来自不同维度的新闻表示，用于最终分类。在两种常用的不同语言的数据集X（Twitter）和微博上进行了实验。实验结果表明，我们提出的模型ERIC-FND在相同设置下优于现有的最先进的虚假新闻检测方法。

🔬 方法详解

问题定义：当前多模态假新闻检测方法面临两个主要问题：一是无法充分有效地利用多模态信息进行检测，导致信息利用不足；二是引入的外部信息可信度较低或信息是静态的，无法动态更新，从而限制了模型的泛化能力。现有方法难以同时解决这两个问题，导致检测效果不佳。

核心思路：ERIC-FND的核心思路是利用外部可靠信息来增强多模态信息的表示，并通过对比学习使不同模态的信息相互学习，从而提高模型对假新闻的识别能力。该方法旨在解决多模态信息利用不足和外部信息不可靠的问题，通过融合实体增强的外部信息和多模态对比学习，提升模型的鲁棒性和准确性。

技术框架：ERIC-FND框架主要包含三个模块：实体增强的外部信息增强模块、多模态语义交互模块和自适应融合模块。首先，实体增强的外部信息增强模块利用外部知识库丰富新闻内容的表示。然后，多模态语义交互模块通过对比学习使不同模态（例如文本和图像）的信息相互学习。最后，自适应融合模块将来自不同维度的新闻表示进行整合，用于最终的分类。

关键创新：ERIC-FND的关键创新在于以下几点：1) 提出了一种实体增强的外部信息增强方法，能够更有效地利用外部知识来丰富新闻内容的表示；2) 采用多模态对比学习，使不同模态的信息能够相互学习，从而提高模型对多模态信息的利用率；3) 提出了一种自适应融合方法，能够根据不同维度的新闻表示的重要性进行加权融合，从而提高模型的分类性能。

关键设计：在实体增强的外部信息增强模块中，使用了实体链接技术将新闻文本中的实体链接到外部知识库。在多模态对比学习模块中，使用了InfoNCE损失函数来最大化正样本之间的相似度，最小化负样本之间的相似度。在自适应融合模块中，使用了注意力机制来学习不同维度的新闻表示的权重。具体的参数设置和网络结构在论文中有详细描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ERIC-FND在X（Twitter）和微博两个数据集上均优于现有的最先进的假新闻检测方法。具体的性能提升幅度未知，但摘要中明确指出ERIC-FND在相同设置下表现更优。该结果验证了外部可靠信息增强和多模态对比学习的有效性，为多模态假新闻检测提供了新的思路。

🎯 应用场景

该研究成果可应用于社交媒体平台、新闻聚合网站等，用于自动检测和过滤虚假新闻，减少虚假信息对社会舆论的负面影响。通过提升假新闻检测的准确性和效率，有助于维护健康的网络环境，保障公众的知情权和判断力。未来，该技术可进一步扩展到其他类型的多模态内容，如视频和音频，以应对日益复杂的信息传播环境。

📄 摘要（原文）

With the rapid development of the Internet, the information dissemination paradigm has changed and the efficiency has been improved greatly. While this also brings the quick spread of fake news and leads to negative impacts on cyberspace. Currently, the information presentation formats have evolved gradually, with the news formats shifting from texts to multimodal contents. As a result, detecting multimodal fake news has become one of the research hotspots. However, multimodal fake news detection research field still faces two main challenges: the inability to fully and effectively utilize multimodal information for detection, and the low credibility or static nature of the introduced external information, which limits dynamic updates. To bridge the gaps, we propose ERIC-FND, an external reliable information-enhanced multimodal contrastive learning framework for fake news detection. ERIC-FND strengthens the representation of news contents by entity-enriched external information enhancement method. It also enriches the multimodal news information via multimodal semantic interaction method where the multimodal constrative learning is employed to make different modality representations learn from each other. Moreover, an adaptive fusion method is taken to integrate the news representations from different dimensions for the eventual classification. Experiments are done on two commonly used datasets in different languages, X (Twitter) and Weibo. Experiment results demonstrate that our proposed model ERIC-FND outperforms existing state-of-the-art fake news detection methods under the same settings.