Forensic Reserve: Eliciting Latent Knowledge for Image Forgery Detection

📄 arXiv: 2610.08639v1 📥 PDF

作者: Jiahua Li, Zixu John, Tom Zhong, Fuping Wu, Tianhao Xu, Jianqing Zheng, Yuanhan Mo, Fei Shen

分类: cs.CV

发布日期: 2026-10-06

💡 一句话要点

提出Reserve-Guided Elicitation以解决图像伪造检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像伪造检测 法医知识 预训练模型 轻量适应 深度学习 计算机视觉 模型适应性

📋 核心要点

  1. 现有伪造检测方法主要依赖特定任务的监督，未能充分利用内部法医知识，导致检测效果受限。
  2. 本文提出的RGE框架通过识别预训练模型中的法医储备，利用其结构约束进行轻量适应，从而提升检测性能。
  3. RGE在仅用500个标记图像和低于0.2%的参数预算下，超越了多个基准检测器，展现出显著的性能提升。

📝 摘要（中文）

随着生成图像变得越来越逼真，可靠的伪造检测对于维护视觉信息的信任至关重要。然而，现有方法主要依赖于特定任务的监督来调整视觉基础模型的表示，未能充分利用内部法医知识来指导检测。为了解决这一局限性，本文提出了Reserve-Guided Elicitation (RGE)框架，将预训练模型中的稀疏、敏感于来源的内部组件视为法医储备，并将其定位转化为轻量适应的结构约束。通过使用法医镜头(F-lens)分解激活并筛选出真实与生成图像之间的响应差异，识别储备位置和方向，最终在固定的子空间中训练法医储备适配器(FRA)系数图，以增强现有的法医响应。RGE在仅使用500个标记训练图像和低于0.2%的可训练参数预算的情况下，在三个检测基准上实现了竞争性能。

🔬 方法详解

问题定义：本文旨在解决图像伪造检测中的有效性问题，现有方法未能充分利用预训练模型中的法医知识，导致检测性能不足。

核心思路：提出的RGE框架通过将预训练模型中的稀疏内部组件视为法医储备，利用其响应差异指导检测，增强模型的适应能力。

技术框架：RGE框架包括三个主要模块：首先使用法医镜头(F-lens)分解激活并筛选响应差异；其次，将选定方向映射回隐藏状态空间构建固定的储备子空间；最后，在识别位置插入法医储备适配器(FRA)，并训练其系数图。

关键创新：RGE的创新在于将法医知识与模型适应相结合，通过结构约束提升检测能力，与传统依赖任务特定监督的方法本质不同。

关键设计：在设计中，使用了固定的骨干参数和参考分类器，仅训练FRA系数图，确保输入依赖的残差更新被限制在相应的子空间内，从而增强法医响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RGE在三个检测基准上表现出竞争力，使用仅500个标记图像和低于0.2%的参数预算，显著提升了检测性能。此外，RGE在八个编码器上均超越了相应的冻结检测器，展现出广泛的法医能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在数字取证、社交媒体内容审核和新闻真实性验证等领域。通过提升伪造检测的准确性，RGE能够帮助维护信息的真实性和可信度，具有重要的社会价值和影响力。

📄 摘要（原文）

As generated images become increasingly realistic, reliable forgery detection is essential for maintaining trust in visual information. However, existing methods primarily rely on task-specific supervision to adapt vision foundation model representations, without fully exploiting internal forensic knowledge to guide detection. To address this limitation, we propose Reserve-Guided Elicitation (RGE), a framework that treats sparse, origin-sensitive internal components in pretrained models as a forensic reserve and translates their localization into structural constraints for lightweight adaptation. Specifically, we first use the Forensic Lens (F-lens) to decompose activations across layers and token groups into independent components and globally screen them by their response differences between real and generated images, identifying reserve sites and directions. Next, we map the selected directions back to hidden-state space to construct fixed reserve subspaces and insert Forensic Reserve Adapters (FRA) only at the identified sites. Finally, with the backbone parameters, previously fitted reference classifier, and subspace bases fixed, we train only the FRA coefficient maps to generate input-dependent residual updates constrained to the corresponding subspaces, strengthening existing forensic responses. Using only 500 labeled training images and a trainable parameter budget below 0.2% of the backbone, RGE achieves competitive performance across three detection benchmarks without target-benchmark adaptation. Furthermore, RGE consistently improves over the corresponding frozen detectors across eight encoders spanning self-supervised and vision-language pretraining, eliciting a latent forensic capacity broadly shared across pretrained vision models.