Language-guided Hierarchical Fine-grained Image Forgery Detection and Localization

📄 arXiv: 2410.23556v1 📥 PDF

作者: Xiao Guo, Xiaohong Liu, Iacopo Masi, Xiaoming Liu

分类: cs.CV

发布日期: 2024-10-31

备注: Accepted by IJCV2024. arXiv admin note: substantial text overlap with arXiv:2303.17111

💡 一句话要点

提出HiFi-Net++，利用语言引导的分层细粒度方法解决图像伪造检测与定位问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像伪造检测 图像伪造定位 分层学习 细粒度分类 多模态学习 语言引导 对比学习

📋 核心要点

  1. 现有图像伪造检测与定位方法难以统一处理CNN合成和图像编辑两种差异较大的伪造类型。
  2. 提出HiFi-Net++，利用多分支特征提取器学习分层伪造属性，并使用语言引导增强伪造定位。
  3. 在多个基准数据集上验证了HiFi-Net++的有效性，并在图像伪造检测与定位任务上取得了提升。

📝 摘要（中文）

针对CNN合成和图像编辑领域生成的图像伪造属性差异大，导致统一的图像伪造检测与定位(IFDL)具有挑战性的问题，本文提出了一种用于IFDL表示学习的分层细粒度方法。具体来说，首先使用不同级别的多个标签表示篡改图像的伪造属性，然后利用它们之间的层次依赖关系在这些级别上执行细粒度分类。因此，该算法被鼓励学习全面的特征以及不同伪造属性的内在层次结构。本文提出了一种语言引导的分层细粒度IFDL方法，称为HiFi-Net++。HiFi-Net++包含四个组成部分：多分支特征提取器、语言引导的伪造定位增强器以及分类和定位模块。多分支特征提取器的每个分支学习对一个级别的伪造属性进行分类，而定位和分类模块分别分割像素级伪造区域并检测图像级伪造。此外，语言引导的伪造定位增强器(LFLE)包含由对比语言-图像预训练(CLIP)学习的图像和文本编码器，用于进一步丰富IFDL表示。LFLE将专门设计的文本和给定图像作为多模态输入，然后生成视觉嵌入和操作分数图，用于进一步提高HiFi-Net++的操作定位性能。最后，构建了一个分层细粒度数据集以方便研究。通过在IFDL和伪造属性分类任务中使用不同的基准，证明了该方法的有效性。源代码和数据集已公开。

🔬 方法详解

问题定义：现有图像伪造检测与定位方法难以有效处理不同类型的伪造，特别是CNN合成和图像编辑两种方式产生的伪造图像，它们在属性上存在显著差异。这导致单一模型难以同时学习到适用于所有伪造类型的通用特征表示，从而影响检测和定位的准确性。

核心思路：论文的核心思路是利用分层细粒度的方式来表示和学习伪造图像的属性。通过将伪造属性分解为多个层次，例如伪造类型、伪造区域等，并使用多分支网络分别学习不同层次的特征。此外，引入语言引导，利用文本信息辅助定位伪造区域，从而增强模型的判别能力。

技术框架：HiFi-Net++主要包含四个模块：多分支特征提取器、语言引导的伪造定位增强器(LFLE)、分类模块和定位模块。多分支特征提取器用于学习不同层次的伪造属性特征；LFLE利用CLIP模型提取图像和文本的特征，并生成操作分数图，用于增强定位模块的性能；分类模块用于图像级别的伪造检测；定位模块用于像素级别的伪造区域分割。

关键创新：论文的关键创新在于以下几点：1) 提出了分层细粒度的伪造属性表示方法，能够更全面地描述伪造图像的特征；2) 引入了语言引导的伪造定位增强器，利用文本信息辅助定位伪造区域，提高了定位的准确性；3) 构建了一个新的分层细粒度数据集，为相关研究提供了数据支持。

关键设计：LFLE模块利用CLIP模型提取图像和文本特征，文本输入是专门设计的，用于描述图像中可能存在的伪造类型。损失函数包括分类损失和分割损失，用于优化分类和定位模块的性能。多分支特征提取器的每个分支对应一个伪造属性层级，采用不同的卷积神经网络结构。

🖼️ 关键图片

img_0

📊 实验亮点

论文在多个图像伪造检测与定位基准数据集上进行了实验，结果表明HiFi-Net++在检测和定位精度上均优于现有方法。特别是在细粒度伪造属性分类任务上，HiFi-Net++取得了显著的性能提升，验证了分层细粒度表示方法的有效性。具体提升幅度未知，需查阅原文实验数据。

🎯 应用场景

该研究成果可应用于数字取证、新闻真实性验证、社交媒体内容审核等领域。通过自动检测和定位图像伪造区域，可以帮助识别虚假信息，维护网络安全，并提高公众对图像真实性的辨别能力。未来，该技术还可扩展到视频伪造检测领域。

📄 摘要（原文）

Differences in forgery attributes of images generated in CNN-synthesized and image-editing domains are large, and such differences make a unified image forgery detection and localization (IFDL) challenging. To this end, we present a hierarchical fine-grained formulation for IFDL representation learning. Specifically, we first represent forgery attributes of a manipulated image with multiple labels at different levels. Then, we perform fine-grained classification at these levels using the hierarchical dependency between them. As a result, the algorithm is encouraged to learn both comprehensive features and the inherent hierarchical nature of different forgery attributes. In this work, we propose a Language-guided Hierarchical Fine-grained IFDL, denoted as HiFi-Net++. Specifically, HiFi-Net++ contains four components: a multi-branch feature extractor, a language-guided forgery localization enhancer, as well as classification and localization modules. Each branch of the multi-branch feature extractor learns to classify forgery attributes at one level, while localization and classification modules segment pixel-level forgery regions and detect image-level forgery, respectively. Also, the language-guided forgery localization enhancer (LFLE), containing image and text encoders learned by contrastive language-image pre-training (CLIP), is used to further enrich the IFDL representation. LFLE takes specifically designed texts and the given image as multi-modal inputs and then generates the visual embedding and manipulation score maps, which are used to further improve HiFi-Net++ manipulation localization performance. Lastly, we construct a hierarchical fine-grained dataset to facilitate our study. We demonstrate the effectiveness of our method on $8$ by using different benchmarks for both tasks of IFDL and forgery attribute classification. Our source code and dataset are available.