ForgeryTTT: Zero-Shot Image Manipulation Localization with Test-Time Training

📄 arXiv: 2410.04032v1 📥 PDF

作者: Weihuang Liu, Xi Shen, Chi-Man Pun, Xiaodong Cun

分类: cs.CV

发布日期: 2024-10-05

备注: Technical Report

💡 一句话要点

ForgeryTTT：利用测试时训练的零样本图像篡改定位方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 图像篡改检测 零样本学习 测试时训练 视觉Transformer 图像定位

📋 核心要点

  1. 现有图像篡改检测方法泛化性差，难以适应真实场景中未知的篡改类型。
  2. ForgeryTTT利用测试时训练，针对每个测试样本微调模型，提高对特定图像的适应性。
  3. 实验表明，ForgeryTTT在零样本篡改定位任务上显著优于现有方法，精度提升明显。

📝 摘要（中文）

社交媒体上逼真的伪造图像日益增多，使得内容信任度降低。以往的伪造图像检测算法在新的真实场景中常常失效，因为它们是在特定数据集上训练的。为了解决这个问题，我们提出了ForgeryTTT，这是第一个利用测试时训练（TTT）来识别图像中被篡改区域的方法。该方法为每个单独的测试样本微调模型，从而提高其性能。ForgeryTTT首先采用视觉Transformer作为共享图像编码器，在训练时使用大型合成数据集同时学习分类和定位任务。具体来说，定位头预测一个掩码来突出显示被篡改的区域。给定这样的掩码，输入token可以被分成被篡改的和真实的组，然后将它们输入到分类头中，以区分被篡改的和真实的部分。在测试时训练期间，来自定位头的预测掩码被用于分类头，以更新图像编码器，从而更好地适应。此外，在每个token组中使用经典的dropout策略可以显著提高性能和效率。我们在五个标准基准上测试了ForgeryTTT。尽管其简单性，与其他零样本方法相比，ForgeryTTT在定位精度上实现了20.1%的提升，并且比非零样本技术提高了4.3%。我们的代码和数据将在发表后发布。

🔬 方法详解

问题定义：现有图像篡改检测方法依赖于特定数据集的训练，在面对真实场景中未知的篡改类型时，泛化能力较差。这些方法难以有效识别和定位图像中被篡改的区域，导致检测精度下降。

核心思路：ForgeryTTT的核心思路是利用测试时训练（Test-Time Training, TTT），针对每个测试样本进行模型微调。通过在测试阶段使模型适应特定图像的特征，从而提高其对该图像中篡改区域的定位能力。这种方法避免了对大量标注数据的依赖，实现了零样本学习。

技术框架：ForgeryTTT的整体框架包含以下几个主要模块：1) 共享图像编码器：使用视觉Transformer (ViT) 作为图像编码器，提取图像特征。2) 定位头：预测一个掩码，用于突出显示图像中被篡改的区域。3) 分类头：区分图像中被篡改的部分和真实的部分。在测试时训练阶段，定位头预测的掩码被用于指导分类头更新图像编码器，从而实现更好的适应性。

关键创新：ForgeryTTT的关键创新在于将测试时训练应用于图像篡改定位任务。通过针对每个测试样本进行微调，模型能够更好地适应特定图像的特征，从而提高定位精度。此外，该方法还采用了dropout策略，进一步提升了模型的性能和效率。

关键设计：ForgeryTTT的关键设计包括：1) 使用视觉Transformer作为共享图像编码器，能够有效提取图像特征。2) 设计定位头和分类头，分别负责篡改区域的定位和真伪判别。3) 在测试时训练阶段，使用定位头预测的掩码指导分类头更新图像编码器。4) 在每个token组中使用dropout策略，防止过拟合，提高泛化能力。具体的损失函数和网络结构等细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ForgeryTTT在五个标准基准测试中表现出色，相较于其他零样本方法，定位精度提升了20.1%，相较于非零样本方法，精度提升了4.3%。这些结果表明，ForgeryTTT在零样本图像篡改定位任务上具有显著优势，能够有效识别和定位图像中被篡改的区域。

🎯 应用场景

ForgeryTTT可应用于社交媒体平台的内容审核，帮助识别和标记虚假图像，从而减少不实信息的传播。此外，该技术还可用于新闻媒体的图像真实性验证，以及司法鉴定等领域，具有重要的社会价值和应用前景。未来，该技术有望与其他图像处理技术相结合，构建更强大的图像安全保障体系。

📄 摘要（原文）

Social media is increasingly plagued by realistic fake images, making it hard to trust content. Previous algorithms to detect these fakes often fail in new, real-world scenarios because they are trained on specific datasets. To address the problem, we introduce ForgeryTTT, the first method leveraging test-time training (TTT) to identify manipulated regions in images. The proposed approach fine-tunes the model for each individual test sample, improving its performance. ForgeryTTT first employs vision transformers as a shared image encoder to learn both classification and localization tasks simultaneously during the training-time training using a large synthetic dataset. Precisely, the localization head predicts a mask to highlight manipulated areas. Given such a mask, the input tokens can be divided into manipulated and genuine groups, which are then fed into the classification head to distinguish between manipulated and genuine parts. During test-time training, the predicted mask from the localization head is used for the classification head to update the image encoder for better adaptation. Additionally, using the classical dropout strategy in each token group significantly improves performance and efficiency. We test ForgeryTTT on five standard benchmarks. Despite its simplicity, ForgeryTTT achieves a 20.1% improvement in localization accuracy compared to other zero-shot methods and a 4.3% improvement over non-zero-shot techniques. Our code and data will be released upon publication.