RLDF: A Region-Level Deepfake Dataset and Benchmark for Partial-Face Manipulation Detection

📄 arXiv: 2610.21438v1 📥 PDF

作者: Shukesh Reddy, Abhijit Das

分类: cs.CV

发布日期: 2026-10-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出RLDF数据集以解决局部面部篡改检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 深伪检测 局部篡改 数据集 机器学习 计算机视觉 模型评估 深度学习

📋 核心要点

  1. 现有深伪检测模型主要针对完全篡改的面部图像，无法有效处理局部面部区域的篡改问题。
  2. 本文提出RLDF数据集，通过区域感知的部分交换合成模型生成大量局部篡改图像，填补了这一研究空白。
  3. 实验显示，现有检测器在局部面部区域的检测效果显著下降，提出的掩码引导交叉注意力模型在此任务中表现优异。

📝 摘要（中文）

现有的深伪检测模型主要基于完全交换或合成的面部图像，导致在局部面部区域篡改时检测效果不佳。为填补这一空白，本文提出了RLDF（区域级深伪）数据集，首次针对区域级深伪评估进行研究。通过区域感知的部分交换合成模型，生成了超过200万张部分面部交换图像，并定义了三种评估协议，对12种最先进的检测器进行了基准测试。实验结果表明，现有检测器在局部面部区域的泛化能力不足，整体AUC下降10.5%，准确率下降10%。此外，提出的掩码引导交叉注意力模型作为基线方法，能够有效检测区域级篡改。

🔬 方法详解

问题定义：本文旨在解决现有深伪检测模型在局部面部区域篡改时的检测能力不足问题。现有方法主要基于完全篡改的面部图像，导致在局部篡改情况下检测效果不佳。

核心思路：论文提出RLDF数据集和区域感知的部分交换合成模型，生成多种局部面部篡改图像，以评估和提升检测器在局部篡改场景下的性能。

技术框架：整体架构包括数据集生成、评估协议定义和检测器基准测试三个主要模块。首先生成局部篡改图像，然后定义三种评估协议，最后对12种检测器进行性能评估。

关键创新：RLDF数据集是首个针对区域级深伪评估的数据集，提供了丰富的局部篡改样本，填补了现有研究的空白。掩码引导交叉注意力模型作为基线方法，能够有效捕捉局部特征，提高检测性能。

关键设计：在数据生成过程中，考虑了七个面部区域的组合，采用了八种面部交换方法。评估协议包括对比现有检测器在不同区域的表现，揭示其泛化能力不足的原因。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有检测器在区域级评估中整体AUC下降10.5%，准确率下降10%。相较于传统方法，提出的掩码引导交叉注意力模型在局部篡改检测中表现优异，展示了更强的泛化能力和检测准确性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、视频监控和虚假信息检测等。通过提升局部面部篡改的检测能力，可以有效防止深伪技术带来的安全隐患，保护用户隐私和信息安全。未来，该研究可能推动深伪检测技术的进一步发展，促进相关领域的研究与应用。

📄 摘要（原文）

Existing deepfake detection models are built upon manipu- lated images that are tampered with either exclusively fully swapped or fully synthesised faces, which leads us to an open question: Can off-the-shelf deepfake models detect manipulation effectively while tampering is confined to a local facial sub-region? To fill this gap, we introduce RLDF (Region-Level Deepfake), the first dataset for region-level deepfake evaluation. Employing the proposed region-aware partial swap synthesis model, we generate over 2M par- tial face-swap images by using eight face-swapping meth- ods. Altogether, we considered seven face regions, among which there are four discrete regions (eye, nose, mouth and eyebrow) and four composite facial regions (eye and nose; eye, nose and mouth; eye, nose, mouth and eye- brow; and full face). In addition, we define three evalu- ation protocols and benchmark 12 state-of-the-art detectors across the five popular standard cross-dataset evaluations, DF40, and the proposed RLDF, providing a comprehen- sive audit of where and why existing detectors underper- formed. Our evaluation reveals that existing detectors fail to generalize consistently across partial facial regions, re- sulting in an overall drop of 10.5% AUC and 10% accu- racy under region-level evaluation. Further, we propose a mask-guided cross-attention model as a baseline approach that can effectively detect region-level manipulation. The proposed dataset, code, and checkpoints are available at https://github.com/RLDF-Dataset/RLDF.