ExDR: Explanation-driven Dynamic Retrieval Enhancement for Multimodal Fake News Detection

📄 arXiv: 2601.15820v1 📥 PDF

作者: Guoxuan Ding, Yuqing Li, Ziyan Zhou, Zheng Lin, Daren Zha, Jiangnan Li

分类: cs.CL

发布日期: 2026-01-22

备注: 11 pages, 3 figures, 7 tables

💡 一句话要点

提出ExDR框架，通过解释驱动的动态检索增强，提升多模态假新闻检测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态假新闻检测 动态检索增强 解释驱动 对比证据检索 自然语言处理 计算机视觉

📋 核心要点

  1. 现有方法在多模态假新闻检测中面临冗余检索、粗糙相似性和不相关证据等挑战。
  2. ExDR框架利用模型生成的解释，指导检索触发和证据检索，提升检索质量和检测性能。
  3. 实验结果表明，ExDR在AMG和MR2数据集上均优于现有方法，验证了其有效性和泛化能力。

📝 摘要（中文）

多模态假新闻的快速传播对社会构成严重威胁，其不断演变的特性和对及时事实细节的依赖对现有的检测方法提出了挑战。动态检索增强生成提供了一种有前景的解决方案，它通过触发基于关键词的检索并结合外部知识，从而实现高效和准确的证据选择。然而，当应用于欺骗性内容时，它仍然面临着诸如冗余检索、粗糙相似性和不相关证据等问题。在本文中，我们提出了ExDR，一个用于多模态假新闻检测的解释驱动的动态检索增强生成框架。我们的框架系统地利用模型生成的解释在检索触发和证据检索模块中。它从三个互补维度评估触发置信度，通过融合欺骗性实体构建实体感知索引，并检索基于欺骗特定特征的对比证据，以挑战初始声明并增强最终预测。在两个基准数据集AMG和MR2上的实验表明，ExDR在检索触发准确性、检索质量和整体检测性能方面始终优于以前的方法，突出了其有效性和泛化能力。

🔬 方法详解

问题定义：多模态假新闻检测旨在识别包含文本和图像的虚假信息。现有方法在动态检索增强生成方面存在不足，容易检索到冗余、不相关或相似度低的证据，无法有效对抗欺骗性内容。这些问题导致检测精度下降，模型鲁棒性不足。

核心思路：ExDR的核心思路是利用模型生成的解释来指导动态检索过程。通过分析模型对新闻内容产生的解释，提取关键信息，并以此为基础进行更精确的检索。这种解释驱动的方法能够减少冗余检索，提高检索证据的相关性和对比性，从而提升假新闻检测的准确性。

技术框架：ExDR框架包含以下主要模块：1) 检索触发模块：评估触发置信度，决定是否进行检索。2) 实体感知索引构建模块：融合欺骗性实体，构建实体感知的索引。3) 对比证据检索模块：基于欺骗特定特征检索对比证据。4) 融合预测模块：将检索到的证据与原始多模态信息融合，进行最终的假新闻检测。

关键创新：ExDR的关键创新在于其解释驱动的检索增强方法。与传统的关键词检索不同，ExDR利用模型生成的解释来指导检索过程，从而能够更准确地捕捉到欺骗性内容的关键特征。此外，ExDR还引入了对比证据检索机制，通过检索与原始声明相反的证据来增强模型的判断能力。

关键设计：ExDR在检索触发模块中，从三个维度评估触发置信度（具体维度未知）。在实体感知索引构建中，采用了融合欺骗性实体的方法（具体融合方法未知）。在对比证据检索中，使用了基于欺骗特定特征的检索策略（具体特征未知）。损失函数和网络结构等细节在论文中未明确说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ExDR在AMG和MR2两个基准数据集上进行了实验，结果表明ExDR在检索触发准确性、检索质量和整体检测性能方面均优于现有方法。具体的性能提升数据未在摘要中给出，但强调了ExDR的有效性和泛化能力。

🎯 应用场景

ExDR框架可应用于社交媒体平台、新闻聚合网站等，用于自动检测和过滤多模态假新闻，减少虚假信息传播，维护网络信息安全。该研究有助于提升公众对虚假信息的辨别能力，构建更健康的网络生态环境，具有重要的社会价值。

📄 摘要（原文）

The rapid spread of multimodal fake news poses a serious societal threat, as its evolving nature and reliance on timely factual details challenge existing detection methods. Dynamic Retrieval-Augmented Generation provides a promising solution by triggering keyword-based retrieval and incorporating external knowledge, thus enabling both efficient and accurate evidence selection. However, it still faces challenges in addressing issues such as redundant retrieval, coarse similarity, and irrelevant evidence when applied to deceptive content. In this paper, we propose ExDR, an Explanation-driven Dynamic Retrieval-Augmented Generation framework for Multimodal Fake News Detection. Our framework systematically leverages model-generated explanations in both the retrieval triggering and evidence retrieval modules. It assesses triggering confidence from three complementary dimensions, constructs entity-aware indices by fusing deceptive entities, and retrieves contrastive evidence based on deception-specific features to challenge the initial claim and enhance the final prediction. Experiments on two benchmark datasets, AMG and MR2, demonstrate that ExDR consistently outperforms previous methods in retrieval triggering accuracy, retrieval quality, and overall detection performance, highlighting its effectiveness and generalization capability.