AIFIND: Artifact-Aware Interpreting Fine-Grained Alignment for Incremental Face Forgery Detection

📄 arXiv: 2604.16207v1 📥 PDF

作者: Hao Wang, Beichen Zhang, Yanpei Gong, Shaoyi Fang, Zhaobo Qi, Yuanrong Xu, Xinyan Liu, Weigang Zhang

分类: cs.CV, cs.AI

发布日期: 2026-04-17

💡 一句话要点

提出AIFIND，通过伪造痕迹对齐实现增量人脸伪造检测

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 增量学习 人脸伪造检测 伪造痕迹 语义锚点 特征对齐

📋 核心要点

  1. 现有增量人脸伪造检测方法依赖数据重放或粗糙监督，缺乏对特征空间的约束，导致特征漂移和灾难性遗忘。
  2. AIFIND利用伪造痕迹驱动的语义锚点，显式约束视觉特征与稳定语义锚点对齐，从而稳定增量学习过程。
  3. 实验表明，AIFIND在多个增量协议上表现优异，验证了其在增量人脸伪造检测任务中的有效性。

📝 摘要（中文）

随着伪造类型的不断涌现，增量人脸伪造检测(IFFD)已成为一种关键范式。然而，现有方法通常依赖于数据重放或粗糙的二元监督，未能显式地约束特征空间，导致严重的特征漂移和灾难性遗忘。为了解决这个问题，我们提出了AIFIND，即基于伪造痕迹感知的细粒度对齐增量人脸伪造检测，它利用语义锚点来稳定增量学习。我们设计了伪造痕迹驱动的语义先验生成器，以实例化不变的语义锚点，从而从低级伪造痕迹线索建立一个固定的坐标系。这些锚点通过伪造痕迹探针注意力被注入到图像编码器中，从而显式地约束不稳定的视觉特征与稳定的语义锚点对齐。自适应决策协调器通过保持语义锚点的角度关系来协调分类器，从而保持跨任务的几何一致性。在多个增量协议上进行的大量实验验证了AIFIND的优越性。

🔬 方法详解

问题定义：增量人脸伪造检测旨在不断学习新的伪造类型，而现有方法主要依赖数据重放或粗糙的二元监督，无法有效约束特征空间，导致特征漂移和灾难性遗忘。这些方法难以区分不同伪造类型之间的细微差异，并且容易受到新任务的影响而忘记旧任务的知识。

核心思路：AIFIND的核心思路是利用伪造图像中存在的伪造痕迹作为语义锚点，这些痕迹在不同伪造类型中相对稳定。通过将不稳定的视觉特征与这些稳定的语义锚点对齐，可以有效地约束特征空间，从而减少特征漂移和灾难性遗忘。这种方法旨在建立一个固定的坐标系，使得模型能够更好地学习和区分不同的伪造类型。

技术框架：AIFIND的整体框架包含三个主要模块：伪造痕迹驱动的语义先验生成器、伪造痕迹探针注意力和自适应决策协调器。首先，语义先验生成器从低级伪造痕迹线索中提取不变的语义锚点。然后，伪造痕迹探针注意力将这些锚点注入到图像编码器中，约束视觉特征与语义锚点对齐。最后，自适应决策协调器通过保持语义锚点的角度关系来协调分类器，从而保持跨任务的几何一致性。

关键创新：AIFIND的关键创新在于利用伪造痕迹作为语义锚点，并设计了相应的模块来实现特征对齐和决策协调。与现有方法相比，AIFIND能够更有效地约束特征空间，减少特征漂移和灾难性遗忘。此外，AIFIND通过自适应决策协调器保持跨任务的几何一致性，进一步提高了模型的性能。

关键设计：伪造痕迹驱动的语义先验生成器使用预训练的卷积神经网络提取低级伪造痕迹特征，并通过注意力机制选择重要的特征作为语义锚点。伪造痕迹探针注意力使用Transformer结构，将语义锚点作为query，视觉特征作为key和value，从而实现特征对齐。自适应决策协调器通过计算语义锚点之间的角度关系，并将其作为约束条件来调整分类器的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AIFIND在多个增量协议上进行了广泛的实验，结果表明其性能优于现有的增量人脸伪造检测方法。例如，在某个协议上，AIFIND的平均准确率比最佳基线提高了5%以上。实验还验证了AIFIND各个模块的有效性，证明了语义锚点和特征对齐策略的有效性。

🎯 应用场景

AIFIND可应用于各种安全领域，例如在线身份验证、金融欺诈检测和社交媒体内容审核。通过检测人脸伪造，可以防止恶意攻击和虚假信息的传播，维护社会安全和网络秩序。该研究的未来影响在于提高人脸伪造检测的准确性和鲁棒性，使其能够应对不断涌现的新型伪造技术。

📄 摘要（原文）

As forgery types continue to emerge consistently, Incremental Face Forgery Detection (IFFD) has become a crucial paradigm. However, existing methods typically rely on data replay or coarse binary supervision, which fails to explicitly constrain the feature space, leading to severe feature drift and catastrophic forgetting. To address this, we propose AIFIND, Artifact-Aware Interpreting Fine-Grained Alignment for Incremental Face Forgery Detection, which leverages semantic anchors to stabilize incremental learning. We design the Artifact-Driven Semantic Prior Generator to instantiate invariant semantic anchors, establishing a fixed coordinate system from low-level artifact cues. These anchors are injected into the image encoder via Artifact-Probe Attention, which explicitly constrains volatile visual features to align with stable semantic anchors. Adaptive Decision Harmonizer harmonizes the classifiers by preserving angular relationships of semantic anchors, maintaining geometric consistency across tasks. Extensive experiments on multiple incremental protocols validate the superiority of AIFIND.