Mitigating GenAI-powered Evidence Pollution for Out-of-Context Multimodal Misinformation Detection

📄 arXiv: 2501.14728v1 📥 PDF

作者: Zehong Yan, Peng Qi, Wynne Hsu, Mong Li Lee

分类: cs.MM, cs.CL, cs.CV, cs.CY

发布日期: 2025-01-24

备注: 12 pages, 11 figures

💡 一句话要点

提出跨模态证据重排序与推理，缓解GenAI污染证据对上下文失实多模态信息检测的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态信息检测 上下文失实 生成式AI 证据污染 跨模态推理

📋 核心要点

  1. 现有上下文失实多模态信息检测易受GenAI生成污染证据的干扰，导致性能显著下降。
  2. 提出跨模态证据重排序与跨模态声明-证据推理两种策略，增强模型对污染证据的鲁棒性。
  3. 实验结果表明，所提策略能有效提升现有检测器在污染证据下的性能，缓解性能下降。

📝 摘要（中文）

大型生成式人工智能（GenAI）模型在取得显著成功的同时，也因其可能被滥用于生成欺骗性内容而引发了对在线信息安全日益增长的担忧。上下文失实（OOC）多模态信息检测通常检索网络证据来识别图像在虚假语境中的重复使用，面临着对GenAI污染的证据进行推理以得出准确预测的问题。现有工作模拟了声明级别的GenAI污染，通过风格重写来隐藏语言线索，而忽略了此类信息检索应用的证据级别污染。本文研究了受污染的证据如何影响现有OOC检测器的性能，揭示了超过9个百分点的性能下降。我们提出了两种策略：跨模态证据重排序和跨模态声明-证据推理，以应对受污染证据带来的挑战。在两个基准数据集上的大量实验表明，这些策略可以有效地提高现有上下文失实检测器在受污染证据中的鲁棒性。

🔬 方法详解

问题定义：论文旨在解决上下文失实多模态信息检测任务中，由于GenAI模型生成的虚假或误导性证据（evidence pollution）导致检测性能下降的问题。现有方法主要关注声明（claim）层面的污染，例如通过改写声明的风格来隐藏语言线索，而忽略了证据层面的污染，即用于支持或反驳声明的证据本身可能被GenAI污染。这种污染会误导现有的检测器，导致其做出错误的判断。

核心思路：论文的核心思路是利用跨模态信息来区分真实证据和GenAI生成的污染证据，并提高模型对真实证据的关注度。具体来说，通过跨模态证据重排序，将更可靠的证据排在前面，减少污染证据的影响；通过跨模态声明-证据推理，增强模型对声明和证据之间关系的理解，从而更好地识别虚假信息。

技术框架：整体框架包含两个主要模块：跨模态证据重排序（Cross-modal Evidence Reranking）和跨模态声明-证据推理（Cross-modal Claim-Evidence Reasoning）。首先，对于给定的声明，检索相关的网络证据。然后，利用跨模态证据重排序模块对检索到的证据进行排序，将更可靠的证据排在前面。最后，利用跨模态声明-证据推理模块，结合声明和排序后的证据进行推理，判断声明是否为虚假信息。

关键创新：论文的关键创新在于提出了针对证据层面GenAI污染的解决方案，并利用跨模态信息来提高模型的鲁棒性。与现有方法仅关注声明层面污染不同，该论文关注证据层面污染，更贴近实际应用场景。此外，通过跨模态信息融合，可以更好地识别真实证据和污染证据，提高检测的准确性。

关键设计：在跨模态证据重排序模块中，可以使用预训练的跨模态模型（如CLIP）来计算声明和证据之间的相似度，并根据相似度对证据进行排序。在跨模态声明-证据推理模块中，可以使用Transformer等神经网络结构来建模声明和证据之间的关系，并使用交叉注意力机制来融合跨模态信息。损失函数可以使用二元交叉熵损失函数，用于训练模型判断声明是否为虚假信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在存在GenAI污染证据的情况下，现有上下文失实检测器的性能下降超过9个百分点。通过应用论文提出的跨模态证据重排序和跨模态声明-证据推理策略，可以有效缓解性能下降，提高检测器的鲁棒性。具体性能提升数据未知，但实验证明了所提策略的有效性。

🎯 应用场景

该研究成果可应用于在线社交媒体平台、新闻聚合网站等，用于检测和过滤虚假信息，提高信息的可信度。通过识别GenAI生成的污染证据，可以有效防止虚假信息传播，维护网络信息安全，为用户提供更可靠的信息来源。未来可扩展到其他多模态信息检索和验证场景。

📄 摘要（原文）

While large generative artificial intelligence (GenAI) models have achieved significant success, they also raise growing concerns about online information security due to their potential misuse for generating deceptive content. Out-of-context (OOC) multimodal misinformation detection, which often retrieves Web evidence to identify the repurposing of images in false contexts, faces the issue of reasoning over GenAI-polluted evidence to derive accurate predictions. Existing works simulate GenAI-powered pollution at the claim level with stylistic rewriting to conceal linguistic cues, and ignore evidence-level pollution for such information-seeking applications. In this work, we investigate how polluted evidence affects the performance of existing OOC detectors, revealing a performance degradation of more than 9 percentage points. We propose two strategies, cross-modal evidence reranking and cross-modal claim-evidence reasoning, to address the challenges posed by polluted evidence. Extensive experiments on two benchmark datasets show that these strategies can effectively enhance the robustness of existing out-of-context detectors amidst polluted evidence.