DATA: Multi-Disentanglement based Contrastive Learning for Open-World Semi-Supervised Deepfake Attribution

📄 arXiv: 2505.04384v1 📥 PDF

作者: Ming-Hui Liu, Xiao-Qian Liu, Xin Luo, Xin-Shun Xu

分类: cs.CV

发布日期: 2025-05-07

备注: Accepted by IEEE TMM on 17-Jan-2025; Submitted to IEEE TMM on 11-Jul-2024

💡 一句话要点

提出基于多重解耦对比学习的DATA框架，用于开放世界半监督Deepfake溯源。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: Deepfake溯源 开放世界学习 半监督学习 对比学习 特征解耦 正交基

📋 核心要点

  1. 现有Deepfake溯源方法易过拟合于特定伪造方法，忽略了通用伪造特征，且在新类别识别方面存在挑战。
  2. DATA框架通过定义“正交Deepfake基”解耦方法特定特征，并设计增强记忆机制辅助新类别发现和对比学习。
  3. 实验结果表明，DATA在开放世界半监督Deepfake溯源任务上取得了显著的性能提升，准确率提升高达5.7%。

📝 摘要（中文）

Deepfake溯源(DFA)旨在对不同的面部操纵技术进行多分类，从而减轻伪造内容对社会秩序和个人声誉的有害影响。然而，以往的方法只关注特定于方法的线索，容易导致过拟合，而忽略了常见伪造特征的关键作用。此外，它们难以区分更实际的开放世界场景中不确定的新类别。为了解决这些问题，本文提出了一种创新的基于多重解耦的对比学习框架DATA，以增强开放世界半监督Deepfake溯源(OSS-DFA)任务中对新类别的泛化能力。具体来说，由于所有生成技术都可以抽象成类似的架构，DATA首次定义了“正交Deepfake基”的概念，并利用它来解耦特定于方法的特征，从而减少对伪造无关信息的过拟合。此外，设计了一种增强记忆机制，以辅助新类别的发现和对比学习，旨在通过实例级解耦获得清晰的新类别边界。此外，为了增强特征的标准化和区分度，DATA使用基对比损失和中心对比损失作为上述模块的辅助。大量的实验评估表明，DATA在OSS-DFA基准上实现了最先进的性能，例如，与现有方法相比，在不同的设置下，准确率有显著提高，分别为2.55%/5.7%。

🔬 方法详解

问题定义：论文旨在解决开放世界半监督Deepfake溯源(OSS-DFA)问题。现有方法主要依赖于特定伪造方法的信息，容易过拟合，泛化能力差，难以识别未知的Deepfake生成技术。此外，现有方法忽略了不同Deepfake方法之间存在的共性特征，导致模型学习到的特征缺乏通用性。

核心思路：论文的核心思路是通过多重解耦对比学习，将Deepfake图像的特征分解为方法相关的特征和方法无关的特征，并利用对比学习增强模型对新类别的泛化能力。通过定义“正交Deepfake基”，将不同Deepfake方法的特征映射到正交空间，从而实现特征解耦。同时，利用增强记忆机制存储和学习未知类别的特征，并通过对比学习拉近同类样本的距离，推远不同类样本的距离。

技术框架：DATA框架主要包含三个模块：特征解耦模块、增强记忆模块和对比学习模块。特征解耦模块利用“正交Deepfake基”将输入图像的特征分解为方法相关的特征和方法无关的特征。增强记忆模块维护一个记忆库，用于存储和更新未知类别的特征表示。对比学习模块利用基对比损失和中心对比损失，增强模型对已知类别和未知类别的区分能力。整体流程是：输入图像经过特征解耦模块得到解耦后的特征，然后利用增强记忆模块更新记忆库，最后利用对比学习模块训练模型。

关键创新：论文的关键创新在于提出了“正交Deepfake基”的概念，并将其应用于Deepfake特征解耦。通过将不同Deepfake方法的特征映射到正交空间，可以有效地减少方法相关的特征对模型的影响，提高模型的泛化能力。此外，论文还设计了增强记忆机制，用于存储和学习未知类别的特征，从而使模型能够识别新的Deepfake生成技术。

关键设计：在特征解耦模块中，论文使用了一组正交基来表示不同的Deepfake方法。这些正交基是通过对已知Deepfake方法的特征进行主成分分析得到的。在对比学习模块中，论文使用了基对比损失和中心对比损失。基对比损失用于拉近同类样本的距离，推远不同类样本的距离。中心对比损失用于将同类样本的特征聚集到一起，从而提高模型的鲁棒性。增强记忆模块使用动量更新策略来更新记忆库中的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DATA框架在OSS-DFA基准上取得了显著的性能提升。在不同的设置下，DATA的准确率比现有方法提高了2.55%和5.7%。这表明DATA框架能够有效地提高模型对新类别的泛化能力，并能够更好地识别未知的Deepfake生成技术。

🎯 应用场景

该研究成果可应用于在线社交平台、新闻媒体等领域，用于自动检测和溯源Deepfake内容，从而打击虚假信息传播，维护社会秩序和个人声誉。未来可扩展到其他类型的AI生成内容检测，例如语音合成、图像生成等。

📄 摘要（原文）

Deepfake attribution (DFA) aims to perform multiclassification on different facial manipulation techniques, thereby mitigating the detrimental effects of forgery content on the social order and personal reputations. However, previous methods focus only on method-specific clues, which easily lead to overfitting, while overlooking the crucial role of common forgery features. Additionally, they struggle to distinguish between uncertain novel classes in more practical open-world scenarios. To address these issues, in this paper we propose an innovative multi-DisentAnglement based conTrastive leArning framework, DATA, to enhance the generalization ability on novel classes for the open-world semi-supervised deepfake attribution (OSS-DFA) task. Specifically, since all generation techniques can be abstracted into a similar architecture, DATA defines the concept of 'Orthonormal Deepfake Basis' for the first time and utilizes it to disentangle method-specific features, thereby reducing the overfitting on forgery-irrelevant information. Furthermore, an augmented-memory mechanism is designed to assist in novel class discovery and contrastive learning, which aims to obtain clear class boundaries for the novel classes through instance-level disentanglements. Additionally, to enhance the standardization and discrimination of features, DATA uses bases contrastive loss and center contrastive loss as auxiliaries for the aforementioned modules. Extensive experimental evaluations show that DATA achieves state-of-the-art performance on the OSS-DFA benchmark, e.g., there are notable accuracy improvements in 2.55% / 5.7% under different settings, compared with the existing methods.