Rethinking VLMs for Image Forgery Detection and Localization

📄 arXiv: 2603.12930v1 📥 PDF

作者: Shaofeng Guo, Jiequan Cui, Richang Hong

分类: cs.CV, cs.LG

发布日期: 2026-03-13

备注: 8pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出IFDL-VLM，利用视觉语言模型提升图像篡改检测与定位性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 图像篡改检测 图像篡改定位 视觉语言模型 位置掩码 可解释性 深度学习 人工智能生成内容

📋 核心要点

  1. 现有图像篡改检测与定位方法难以有效利用视觉语言模型的先验知识，且VLMs可能存在语义合理性偏差。
  2. 论文提出IFDL-VLM框架，通过位置掩码编码篡改概念，作为VLMs的额外先验，优化训练并提升可解释性。
  3. 实验结果表明，IFDL-VLM在多个基准数据集上取得了新的state-of-the-art性能，提升了检测、定位和可解释性。

📝 摘要（中文）

随着人工智能生成内容（AIGC）的快速发展，图像篡改变得越来越容易，给图像篡改检测与定位（IFDL）带来了重大挑战。本文研究了如何充分利用视觉语言模型（VLMs）来辅助IFDL任务。特别地，我们观察到VLMs的先验知识几乎不能提升检测和定位性能，甚至由于其固有的对语义合理性的偏好而非真实性的偏好，会产生负面影响。此外，位置掩码显式地编码了篡改概念，可以作为VLMs的额外先验，以简化其训练优化，从而增强检测和定位结果的可解释性。基于这些发现，我们提出了一种新的IFDL流程，名为IFDL-VLM。为了证明我们方法的有效性，我们在9个流行的基准数据集上进行了实验，并在域内和跨数据集泛化设置下评估了模型性能。实验结果表明，我们在检测、定位和可解释性方面始终取得了新的state-of-the-art性能。

🔬 方法详解

问题定义：图像篡改检测与定位（IFDL）旨在识别图像中被篡改的区域。现有方法在利用视觉语言模型（VLMs）时，未能有效利用其先验知识，甚至受到VLMs固有语义合理性偏差的影响，导致性能下降。现有方法难以充分利用位置信息，并且可解释性较差。

核心思路：论文的核心思路是将位置掩码作为VLMs的额外先验知识，通过显式编码篡改概念来引导VLMs的训练。这种方式能够克服VLMs对语义合理性的偏好，并利用位置信息来提升检测和定位的准确性。同时，位置掩码的使用也有助于提高模型的可解释性。

技术框架：IFDL-VLM框架包含以下主要模块：1) 特征提取模块：用于提取图像的视觉特征。2) VLM集成模块：将视觉特征输入到预训练的视觉语言模型中，利用其先验知识。3) 位置掩码编码模块：将位置掩码编码为特征向量，作为VLMs的额外输入。4) 检测与定位模块：基于VLMs的输出和位置掩码特征，预测篡改区域的位置和置信度。

关键创新：最重要的技术创新点在于将位置掩码显式地编码为VLMs的额外先验知识。与现有方法隐式地利用VLMs的先验知识不同，IFDL-VLM通过位置掩码直接引导VLMs的训练，从而更有效地利用VLMs的知识，并克服其语义合理性偏差。

关键设计：在位置掩码编码模块中，论文可能采用了卷积神经网络或Transformer等结构来提取位置掩码的特征。损失函数可能包括交叉熵损失或Dice损失，用于优化检测和定位的准确性。具体的网络结构和参数设置在论文中会详细描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IFDL-VLM在9个流行的图像篡改检测与定位基准数据集上进行了实验，并在域内和跨数据集泛化设置下进行了评估。实验结果表明，该方法在检测、定位和可解释性方面均取得了新的state-of-the-art性能。具体的性能提升幅度未知，但论文强调了其在多个指标上的显著优势。

🎯 应用场景

该研究成果可应用于数字取证、新闻真实性验证、社交媒体内容审核等领域。通过提高图像篡改检测与定位的准确性和可解释性，有助于打击虚假信息传播，维护网络安全，并为司法鉴定提供技术支持。未来，该技术还可扩展到视频篡改检测等领域。

📄 摘要（原文）

With the rapid rise of Artificial Intelligence Generated Content (AIGC), image manipulation has become increasingly accessible, posing significant challenges for image forgery detection and localization (IFDL). In this paper, we study how to fully leverage vision-language models (VLMs) to assist the IFDL task. In particular, we observe that priors from VLMs hardly benefit the detection and localization performance and even have negative effects due to their inherent biases toward semantic plausibility rather than authenticity. Additionally, the location masks explicitly encode the forgery concepts, which can serve as extra priors for VLMs to ease their training optimization, thus enhancing the interpretability of detection and localization results. Building on these findings, we propose a new IFDL pipeline named IFDL-VLM. To demonstrate the effectiveness of our method, we conduct experiments on 9 popular benchmarks and assess the model performance under both in-domain and cross-dataset generalization settings. The experimental results show that we consistently achieve new state-of-the-art performance in detection, localization, and interpretability.Code is available at: https://github.com/sha0fengGuo/IFDL-VLM.