Are CLIP features all you need for Universal Synthetic Image Origin Attribution?

📄 arXiv: 2408.09153v1 📥 PDF

作者: Dario Cioni, Christos Tzelepis, Lorenzo Seidenari, Ioannis Patras

分类: cs.CV

发布日期: 2024-08-17

备注: Accepted at ECCV 2024 TWYN workshop

期刊: Computer Vision - ECCV 2024 Workshops 363-382

DOI: 10.1007/978-3-031-92648-8_22

🔗 代码/项目: GITHUB

💡 一句话要点

利用CLIP特征进行通用合成图像溯源，解决开放集场景下的模型归属问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成图像溯源 开放集学习 CLIP特征 深度伪造检测 生成模型 视觉取证

📋 核心要点

  1. 现有合成图像溯源方法在开放集场景和对扩散模型生成的图像溯源方面存在局限性，依赖脆弱的频率特征。
  2. 该论文提出利用大型预训练模型（如CLIP）提取的特征，构建一个通用的、适用于开放集场景的合成图像溯源框架。
  3. 实验结果表明，该方法在低数据情况下也能取得优异的溯源性能，优于现有方法，并具有更好的泛化能力。

📝 摘要（中文）

扩散模型在视觉合成领域的快速发展带来了许多新的应用，但也引发了对其潜在滥用的担忧，这构成了严重的社会威胁。为了解决这个问题，需要检测伪造图像并将其归因于其源模型。考虑到新生成器的频繁发布，实际应用需要考虑开放集场景，即某些模型在训练时未见过。现有的取证技术要么局限于闭集设置，要么局限于GAN生成的图像，依赖于脆弱的基于频率的“指纹”特征。相比之下，我们提出了一个简单而有效的框架，该框架结合了大型预训练基础模型的特征，以执行各种生成模型（包括扩散模型）生成的合成图像的开放集溯源。我们表明，即使在低数据情况下，我们的方法也能带来卓越的溯源性能，超过现有方法的性能，并且在从各种架构获得的图像上具有更好的泛化性。代码已公开。

🔬 方法详解

问题定义：论文旨在解决合成图像的来源归属问题，尤其是在开放集场景下，即模型在训练阶段未见过某些生成器。现有方法，如基于频率特征的“指纹”方法，在面对新型生成模型（特别是扩散模型）时表现不佳，且泛化能力有限。这些方法通常依赖于特定生成器的固有缺陷，容易被对抗性攻击绕过。

核心思路：论文的核心思路是利用大型预训练视觉语言模型（如CLIP）提取的图像特征，这些特征具有强大的泛化能力和语义表达能力，能够捕捉到不同生成模型之间的细微差异，即使这些模型在训练阶段未曾见过。通过将图像映射到CLIP特征空间，可以实现对生成模型的有效区分。

技术框架：该框架主要包含以下几个阶段：1) 使用不同的生成模型生成合成图像数据集；2) 使用预训练的CLIP模型提取图像的视觉特征；3) 使用提取的CLIP特征训练分类器（例如，线性分类器或支持向量机）来区分不同的生成模型；4) 在测试阶段，对于给定的合成图像，提取其CLIP特征，并使用训练好的分类器预测其来源模型。

关键创新：该论文的关键创新在于将大型预训练视觉语言模型（CLIP）的特征应用于合成图像的溯源任务，并证明了其在开放集场景下的有效性。与传统方法相比，该方法不依赖于特定生成器的“指纹”特征，而是利用了CLIP模型强大的泛化能力，从而能够更好地适应新型生成模型。

关键设计：论文中，CLIP模型被用作特征提取器，没有进行微调。分类器部分，可以使用简单的线性分类器或支持向量机。实验中，作者探索了不同的CLIP模型变体（例如，ViT-B/32, ViT-L/14）以及不同的分类器，并评估了它们在溯源任务中的性能。此外，作者还研究了在低数据情况下的性能表现，证明了该方法在数据量有限的情况下依然有效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在开放集溯源任务中取得了显著的性能提升，超过了现有的基于频率特征的方法。即使在低数据情况下，该方法也能保持较高的溯源准确率。例如，在对多种扩散模型生成的图像进行溯源时，该方法能够准确地识别出图像的来源模型，即使该模型在训练阶段未曾见过。

🎯 应用场景

该研究成果可应用于检测和溯源深度伪造图像，识别恶意内容生成器，维护网络安全和信息安全。例如，可以用于识别社交媒体上由AI生成的虚假新闻，或者追踪恶意软件生成的图像来源。未来，该技术可以集成到内容审核平台和数字取证工具中，提高对合成图像的检测和溯源能力。

📄 摘要（原文）

The steady improvement of Diffusion Models for visual synthesis has given rise to many new and interesting use cases of synthetic images but also has raised concerns about their potential abuse, which poses significant societal threats. To address this, fake images need to be detected and attributed to their source model, and given the frequent release of new generators, realistic applications need to consider an Open-Set scenario where some models are unseen at training time. Existing forensic techniques are either limited to Closed-Set settings or to GAN-generated images, relying on fragile frequency-based "fingerprint" features. By contrast, we propose a simple yet effective framework that incorporates features from large pre-trained foundation models to perform Open-Set origin attribution of synthetic images produced by various generative models, including Diffusion Models. We show that our method leads to remarkable attribution performance, even in the low-data regime, exceeding the performance of existing methods and generalizes better on images obtained from a diverse set of architectures. We make the code publicly available at: https://github.com/ciodar/UniversalAttribution.