MMFakeBench: A Mixed-Source Multimodal Misinformation Detection Benchmark for LVLMs

📄 arXiv: 2406.08772v3 📥 PDF

作者: Xuannan Liu, Zekun Li, Peipei Li, Huaibo Huang, Shuhan Xia, Xing Cui, Linzhi Huang, Weihong Deng, Zhaofeng He

分类: cs.CV, cs.CL

发布日期: 2024-06-13 (更新: 2025-02-27)

备注: Accepted by ICLR 2025, Project page: https://liuxuannan.github.io/MMFakeBench.github.io/

💡 一句话要点

提出MMFakeBench：一个面向LVLM的混合源多模态虚假信息检测基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态虚假信息检测 混合源伪造 大型视觉语言模型 基准数据集 MMD-Agent

📋 核心要点

  1. 现有MMD方法难以处理现实世界中多种伪造来源混合的情况，缺乏针对混合源虚假信息的有效基准。
  2. 论文提出MMFakeBench，包含文本、视觉和跨模态三个关键来源的12种虚假信息伪造类型，构建更真实的评估场景。
  3. 实验表明现有方法在MMFakeBench上表现不佳，并提出MMD-Agent，通过集成LVLM代理能力显著提升准确性和泛化性。

📝 摘要（中文）

当前的多模态虚假信息检测(MMD)方法通常假设每个样本只有一个来源和类型的伪造，这不足以应对现实世界中多种伪造来源共存的场景。缺乏针对混合源虚假信息的基准阻碍了该领域的发展。为了解决这个问题，我们引入了MMFakeBench，这是第一个全面的混合源MMD基准。MMFakeBench包括3个关键来源：文本真实性扭曲、视觉真实性扭曲和跨模态一致性扭曲，以及12个子类别的虚假信息伪造类型。我们进一步在零样本设置下，对MMFakeBench上的6种流行的检测方法和15种大型视觉语言模型(LVLM)进行了广泛的评估。结果表明，当前的方法在这种具有挑战性和现实意义的混合源MMD设置下表现不佳。此外，我们提出了一种新的MMD-Agent方法，该方法集成了LVLM代理的推理、行动和工具使用能力，显著提高了准确性和泛化能力。我们相信这项研究将促进未来对更真实的混合源多模态虚假信息的研究，并为虚假信息检测方法提供公平的评估。

🔬 方法详解

问题定义：论文旨在解决现有多模态虚假信息检测方法在处理混合来源伪造信息时的不足。现有方法通常假设每个样本只包含单一来源的伪造，这与现实场景不符，导致模型泛化能力差。因此，需要一个更贴近现实、更具挑战性的基准来评估和提升模型在复杂场景下的检测能力。

核心思路：论文的核心思路是构建一个包含多种伪造来源的混合源多模态虚假信息检测基准，并在此基础上评估现有方法和提出新的解决方案。通过引入文本、视觉和跨模态三个关键来源的伪造，以及多种伪造类型，使得基准更具挑战性和代表性。同时，利用大型视觉语言模型(LVLM)的推理和工具使用能力，设计MMD-Agent来提升检测性能。

技术框架：MMFakeBench基准包含三个主要组成部分：文本真实性扭曲、视觉真实性扭曲和跨模态一致性扭曲。每个组成部分又包含多个子类别的伪造类型。论文还提出了MMD-Agent，其框架主要包括：1) 使用LVLM进行推理，分析输入的多模态信息；2) 根据推理结果选择合适的工具；3) 使用选定的工具进行进一步的分析和验证；4) 综合分析结果，给出最终的虚假信息检测结果。

关键创新：论文的关键创新在于：1) 提出了MMFakeBench，这是第一个针对混合源多模态虚假信息检测的综合基准；2) 设计了MMD-Agent，通过集成LVLM的推理、行动和工具使用能力，显著提升了检测性能。MMD-Agent与现有方法的本质区别在于，它能够利用LVLM的强大能力进行更深入的分析和推理，从而更好地应对复杂场景下的虚假信息检测。

关键设计：MMD-Agent的关键设计包括：1) 使用预训练的LVLM作为基础模型，例如LLaVA, MiniGPT-4等；2) 设计了合适的提示工程(prompt engineering)，引导LVLM进行推理和工具选择；3) 定义了一组可用的工具，例如搜索引擎、图像分析工具等；4) 设计了合适的损失函数，用于训练MMD-Agent。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的多模态虚假信息检测方法和大型视觉语言模型在MMFakeBench基准上表现不佳，验证了该基准的挑战性。提出的MMD-Agent方法在MMFakeBench上取得了显著的性能提升，例如，在某些任务上，准确率提升了超过10%。这表明MMD-Agent能够有效利用LVLM的推理和工具使用能力，提升混合源虚假信息检测的性能。

🎯 应用场景

该研究成果可应用于社交媒体平台、新闻媒体机构等，用于自动检测和过滤虚假信息，提高信息的可信度和真实性。通过提升多模态虚假信息检测的准确性和鲁棒性，有助于减少虚假信息对社会造成的负面影响，维护健康的舆论环境。未来可进一步扩展到其他领域，如金融欺诈检测、医疗信息验证等。

📄 摘要（原文）

Current multimodal misinformation detection (MMD) methods often assume a single source and type of forgery for each sample, which is insufficient for real-world scenarios where multiple forgery sources coexist. The lack of a benchmark for mixed-source misinformation has hindered progress in this field. To address this, we introduce MMFakeBench, the first comprehensive benchmark for mixed-source MMD. MMFakeBench includes 3 critical sources: textual veracity distortion, visual veracity distortion, and cross-modal consistency distortion, along with 12 sub-categories of misinformation forgery types. We further conduct an extensive evaluation of 6 prevalent detection methods and 15 Large Vision-Language Models (LVLMs) on MMFakeBench under a zero-shot setting. The results indicate that current methods struggle under this challenging and realistic mixed-source MMD setting. Additionally, we propose MMD-Agent, a novel approach to integrate the reasoning, action, and tool-use capabilities of LVLM agents, significantly enhancing accuracy and generalization. We believe this study will catalyze future research into more realistic mixed-source multimodal misinformation and provide a fair evaluation of misinformation detection methods.