FakeShield: Explainable Image Forgery Detection and Localization via Multi-modal Large Language Models

📄 arXiv: 2410.02761v4 📥 PDF

作者: Zhipei Xu, Xuanyu Zhang, Runyi Li, Zecheng Tang, Qing Huang, Jian Zhang

分类: cs.CV, cs.AI

发布日期: 2024-10-03 (更新: 2025-04-12)

备注: Accepted by ICLR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出FakeShield，利用多模态大语言模型实现可解释的图像伪造检测与定位。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像伪造检测 可解释性AI 多模态学习 大语言模型 图像篡改定位

📋 核心要点

  1. 现有图像伪造检测方法缺乏可解释性，且在面对多种篡改手段时泛化能力不足，难以适应快速发展的AI生成内容。
  2. FakeShield利用多模态大语言模型，结合像素级和图像级线索，提供图像真伪评估、篡改区域定位和可解释的判断依据。
  3. 通过GPT-4o增强数据集，并设计DTE-FDM和MFLM模块，FakeShield在各种篡改技术上表现出优越的检测和定位效果。

📝 摘要（中文）

生成式AI的快速发展是一把双刃剑，它在促进内容创作的同时，也使得图像篡改变得更容易且难以检测。现有的图像伪造检测与定位(IFDL)方法通常面临两个挑战：1)黑盒性质，检测原理未知；2)在不同的篡改方法(如Photoshop、DeepFake、AIGC编辑)上的泛化能力有限。为了解决这些问题，我们提出了可解释的IFDL任务，并设计了FakeShield，一个多模态框架，能够评估图像的真实性，生成篡改区域掩码，并基于像素级和图像级的篡改线索提供判断依据。此外，我们利用GPT-4o来增强现有的IFDL数据集，创建了多模态篡改描述数据集(MMTD-Set)，用于训练FakeShield的篡改分析能力。同时，我们结合了领域标签引导的可解释伪造检测模块(DTE-FDM)和多模态伪造定位模块(MFLM)，以解决各种类型的篡改检测解释，并实现由详细文本描述引导的伪造定位。大量的实验表明，与以往的IFDL方法相比，FakeShield能够有效地检测和定位各种篡改技术，提供了一种可解释且卓越的解决方案。

🔬 方法详解

问题定义：当前图像伪造检测与定位方法主要存在两个痛点：一是缺乏可解释性，用户无法了解模型判断真伪的依据；二是泛化能力不足，难以应对层出不穷的图像篡改技术，例如Photoshop、DeepFake、AIGC编辑等。这些问题限制了伪造检测技术在实际场景中的应用。

核心思路：FakeShield的核心思路是利用多模态大语言模型（MLLM）的强大能力，将图像伪造检测问题转化为一个可解释的多模态理解和推理问题。通过结合图像信息和文本描述，模型不仅可以判断图像是否被篡改，还能给出篡改区域的定位，并提供判断依据，从而提高模型的可信度和泛化能力。

技术框架：FakeShield主要包含两个核心模块：领域标签引导的可解释伪造检测模块(DTE-FDM)和多模态伪造定位模块(MFLM)。DTE-FDM负责判断图像的真伪，并提供图像级别的解释。MFLM则根据文本描述，定位图像中被篡改的区域。此外，论文还利用GPT-4o生成了多模态篡改描述数据集(MMTD-Set)，用于训练FakeShield的篡改分析能力。

关键创新：FakeShield的关键创新在于其可解释性。传统的伪造检测方法通常是黑盒模型，用户无法得知模型做出判断的原因。FakeShield通过结合多模态大语言模型，能够提供像素级和图像级的篡改线索，从而实现可解释的伪造检测。此外，利用GPT-4o生成MMTD-Set，有效提升了模型在各种篡改技术上的泛化能力。

关键设计：DTE-FDM模块利用领域标签来引导模型的学习，从而提高模型在不同篡改类型上的检测精度。MFLM模块则利用文本描述来指导伪造区域的定位，从而实现更精确的篡改定位。MMTD-Set数据集包含了大量的图像和对应的文本描述，为模型的训练提供了丰富的数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FakeShield在多种篡改技术上表现出优越的检测和定位效果，相较于以往的IFDL方法，提供了更可解释和更准确的解决方案。通过GPT-4o增强数据集，并结合DTE-FDM和MFLM模块，FakeShield在实验中取得了显著的性能提升，证明了其在图像伪造检测领域的有效性。

🎯 应用场景

FakeShield可应用于新闻媒体、社交平台、司法鉴定等领域，用于检测和定位图像篡改，维护信息的真实性和可靠性。该研究有助于打击虚假信息传播，保护公众利益，并为未来的图像安全研究提供新的思路。

📄 摘要（原文）

The rapid development of generative AI is a double-edged sword, which not only facilitates content creation but also makes image manipulation easier and more difficult to detect. Although current image forgery detection and localization (IFDL) methods are generally effective, they tend to face two challenges: \textbf{1)} black-box nature with unknown detection principle, \textbf{2)} limited generalization across diverse tampering methods (e.g., Photoshop, DeepFake, AIGC-Editing). To address these issues, we propose the explainable IFDL task and design FakeShield, a multi-modal framework capable of evaluating image authenticity, generating tampered region masks, and providing a judgment basis based on pixel-level and image-level tampering clues. Additionally, we leverage GPT-4o to enhance existing IFDL datasets, creating the Multi-Modal Tamper Description dataSet (MMTD-Set) for training FakeShield's tampering analysis capabilities. Meanwhile, we incorporate a Domain Tag-guided Explainable Forgery Detection Module (DTE-FDM) and a Multi-modal Forgery Localization Module (MFLM) to address various types of tamper detection interpretation and achieve forgery localization guided by detailed textual descriptions. Extensive experiments demonstrate that FakeShield effectively detects and localizes various tampering techniques, offering an explainable and superior solution compared to previous IFDL methods. The code is available at https://github.com/zhipeixu/FakeShield.