Pixel Is Not a Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models

📄 arXiv: 2408.11810v3 📥 PDF

作者: Chun-Yen Shih, Li-Xuan Peng, Jia-Wei Liao, Ernie Chu, Cheng-Fu Chou, Jun-Cheng Chen

分类: cs.CV

发布日期: 2024-08-21 (更新: 2025-02-15)

💡 一句话要点

提出AtkPDM：一种针对像素域扩散模型的高效逃逸攻击方法

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 对抗攻击 扩散模型 像素域扩散模型 图像编辑 深度学习

📋 核心要点

  1. 现有防御扩散模型编辑的方法主要针对潜在扩散模型，对像素域扩散模型（PDM）的攻击研究不足。
  2. 论文提出AtkPDM框架，通过特征表示攻击损失和潜在优化策略，提升对抗样本的自然性和攻击成功率。
  3. 实验表明，AtkPDM能有效攻击基于PDM的编辑方法，并在LDM上达到与现有方法相当的性能。

📝 摘要（中文）

扩散模型已成为高质量图像合成的强大生成模型，并催生了许多基于此的图像编辑技术。然而，基于文本的图像编辑的便捷性带来了重大风险，例如用于诈骗或侵犯知识产权的恶意编辑。先前的工作试图通过添加难以察觉的扰动来保护图像免受基于扩散的编辑，但这些方法成本高昂，并且专门针对流行的潜在扩散模型（LDM），而像素域扩散模型（PDM）在很大程度上未被探索，并且对这些攻击具有鲁棒性。我们的工作通过提出一种新的攻击框架AtkPDM来解决这一差距。AtkPDM主要由利用去噪UNet中漏洞的特征表示攻击损失和增强对抗图像自然性的潜在优化策略组成。大量实验表明，我们的方法在攻击主要的基于PDM的编辑方法（例如，SDEdit）的同时，保持了合理的保真度，并且对常见的防御方法具有鲁棒性。此外，我们的框架可以扩展到LDM，从而实现与现有方法相当的性能。

🔬 方法详解

问题定义：论文旨在解决像素域扩散模型（PDM）缺乏有效对抗攻击方法的问题。现有的对抗攻击方法主要集中在潜在扩散模型（LDM）上，并且成本较高，而PDM由于其独特的结构，对现有攻击方法具有一定的鲁棒性。因此，如何设计一种高效的对抗攻击方法，以评估和提升PDM的安全性，是本研究的核心问题。

核心思路：AtkPDM的核心思路是利用去噪UNet的脆弱性，通过特征表示攻击损失来引导对抗样本的生成，同时采用潜在优化策略来增强对抗样本的自然性。这种方法旨在在保证对抗样本攻击性的同时，尽可能减小其对原始图像的视觉影响，从而提高攻击的隐蔽性和有效性。

技术框架：AtkPDM框架主要包含两个核心模块：特征表示攻击损失模块和潜在优化模块。首先，特征表示攻击损失模块通过分析去噪UNet在不同层级的特征表示，找到对图像编辑结果影响最大的特征，并设计相应的损失函数来引导对抗扰动的生成。其次，潜在优化模块通过在潜在空间中对对抗样本进行优化，以提高其自然性和视觉质量，从而降低对抗样本被检测到的风险。整个流程包括对抗扰动的生成、潜在空间的优化以及最终对抗样本的生成。

关键创新：AtkPDM的关键创新在于其针对PDM的特性，设计了特征表示攻击损失和潜在优化策略。与传统的对抗攻击方法不同，AtkPDM并非直接在像素空间添加扰动，而是通过分析去噪UNet的内部特征表示，找到攻击的关键点，并有针对性地生成对抗扰动。此外，潜在优化策略能够有效提高对抗样本的自然性，使其更难以被察觉。

关键设计：特征表示攻击损失的设计需要仔细选择UNet的层级和特征，以确保攻击的有效性。潜在优化策略需要选择合适的潜在空间和优化算法，以保证对抗样本的自然性和视觉质量。具体的损失函数可能包括Lp范数损失、感知损失等，用于约束对抗扰动的大小和视觉影响。潜在优化算法可能包括梯度下降、Adam等，用于在潜在空间中搜索最优的对抗样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AtkPDM能够有效攻击主流的基于PDM的图像编辑方法，例如SDEdit，同时保持了合理的图像保真度。此外，AtkPDM在攻击LDM时，也取得了与现有方法相当的性能。该研究还验证了AtkPDM对常见防御方法的鲁棒性，表明其具有较高的实用价值。

🎯 应用场景

该研究成果可应用于评估和提升像素域扩散模型的安全性，防止恶意图像编辑和篡改。通过对抗攻击，可以发现PDM的潜在漏洞，并为开发更鲁棒的防御机制提供指导。此外，该方法还可用于评估图像编辑工具的安全性，防止其被用于非法活动，例如传播虚假信息或侵犯知识产权。

📄 摘要（原文）

Diffusion Models have emerged as powerful generative models for high-quality image synthesis, with many subsequent image editing techniques based on them. However, the ease of text-based image editing introduces significant risks, such as malicious editing for scams or intellectual property infringement. Previous works have attempted to safeguard images from diffusion-based editing by adding imperceptible perturbations. These methods are costly and specifically target prevalent Latent Diffusion Models (LDMs), while Pixel-domain Diffusion Models (PDMs) remain largely unexplored and robust against such attacks. Our work addresses this gap by proposing a novel attack framework, AtkPDM. AtkPDM is mainly composed of a feature representation attacking loss that exploits vulnerabilities in denoising UNets and a latent optimization strategy to enhance the naturalness of adversarial images. Extensive experiments demonstrate the effectiveness of our approach in attacking dominant PDM-based editing methods (e.g., SDEdit) while maintaining reasonable fidelity and robustness against common defense methods. Additionally, our framework is extensible to LDMs, achieving comparable performance to existing approaches.