Diffusion-based Adversarial Identity Manipulation for Facial Privacy Protection
作者: Liqin Wang, Qianyue Hu, Wei Lu, Xiangyang Luo
分类: cs.CV
发布日期: 2025-04-30 (更新: 2025-07-30)
备注: Accepted by ACM MM 2025
💡 一句话要点
提出基于扩散模型的对抗身份操纵方法DiffAIM，用于人脸隐私保护。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 人脸隐私保护 对抗攻击 扩散模型 身份操纵 黑盒攻击 人脸识别 生成对抗网络
📋 核心要点
- 现有的人脸隐私保护方法难以生成既自然又能有效对抗人脸识别系统的图像。
- DiffAIM在扩散模型的潜在空间中，通过对抗身份引导和结构保持正则化，操纵人脸身份。
- 实验表明，DiffAIM在黑盒攻击迁移性和视觉质量上优于现有方法，并对商业API有效。
📝 摘要（中文）
人脸识别（FR）系统的成功应用引发了严重的隐私问题，因为未经授权的监控和社交网络上的用户追踪成为可能。现有的隐私增强方法难以生成既能保护面部隐私又具有自然感的人脸图像。本文提出了一种基于扩散模型的对抗身份操纵方法（DiffAIM），旨在生成对抗性人脸，以对抗恶意FR系统。具体而言，我们在扩散模型的低维潜在空间中操纵面部身份。这涉及在逆扩散过程中迭代地注入基于梯度的对抗身份引导，逐步引导生成期望的对抗性人脸。该引导针对身份向目标收敛进行优化，同时促进与源的语义发散，从而在保持视觉自然性的同时实现有效的模仿。我们进一步结合了结构保持正则化，以在操纵过程中保持面部结构的一致性。在人脸验证和识别任务上的大量实验表明，与最先进的方法相比，DiffAIM实现了更强的黑盒攻击迁移性，同时保持了卓越的视觉质量。我们还证明了所提出的方法对于商业FR API（包括Face++和阿里云）的有效性。
🔬 方法详解
问题定义：人脸识别技术的广泛应用带来了严重的隐私泄露风险。现有的隐私保护方法，如添加噪声或进行模糊处理，虽然可以降低识别率，但往往会损害图像的视觉质量，或者无法有效对抗不断升级的人脸识别系统。因此，如何在保证图像自然度的前提下，有效地保护人脸隐私是一个亟待解决的问题。
核心思路：DiffAIM的核心思路是在扩散模型的低维潜在空间中，通过对抗性的方式操纵人脸的身份信息。具体来说，该方法利用扩散模型强大的生成能力，在生成人脸图像的过程中，逐步注入对抗性的梯度信息，引导生成的人脸在视觉上与原始人脸相似，但在身份信息上与目标身份更接近，从而欺骗人脸识别系统。
技术框架：DiffAIM的整体框架基于扩散模型，主要包含以下几个阶段：1）正向扩散过程：将原始人脸图像逐步加入高斯噪声，直至完全变为噪声；2）逆向扩散过程：从噪声图像出发，逐步去除噪声，最终生成人脸图像。在逆向扩散过程中，DiffAIM的关键在于引入了对抗身份引导，通过计算人脸识别模型对生成图像的梯度，并将其注入到逆向扩散过程中，从而引导生成图像的身份信息向目标身份靠近。同时，为了保持生成图像的视觉质量，DiffAIM还引入了结构保持正则化。
关键创新：DiffAIM最重要的创新点在于将对抗攻击的思想与扩散模型相结合，实现了在潜在空间中对人脸身份信息的精确操纵。与传统的对抗攻击方法相比，DiffAIM能够生成更加自然、逼真的对抗样本，从而更好地保护人脸隐私。此外，DiffAIM还引入了结构保持正则化，进一步提升了生成图像的视觉质量。
关键设计：DiffAIM的关键设计包括：1）对抗身份引导：通过计算人脸识别模型对生成图像的梯度，并将其注入到逆向扩散过程中，引导生成图像的身份信息向目标身份靠近。梯度的计算需要选择合适的人脸识别模型和损失函数。2）结构保持正则化：通过约束生成图像与原始图像在结构上的相似性，保持生成图像的视觉质量。可以使用L1或L2损失函数来衡量结构相似性。3）扩散模型的选择：可以选择不同的扩散模型架构，如DDPM或DDIM，并根据具体任务进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DiffAIM在人脸验证和识别任务上均取得了显著的性能提升。与现有最先进的方法相比，DiffAIM在黑盒攻击迁移性上表现更优，能够有效地欺骗商业人脸识别API，如Face++和阿里云。同时，DiffAIM生成的对抗样本具有更高的视觉质量，更接近真实人脸图像。例如，在特定数据集上，DiffAIM的攻击成功率比现有方法提高了10%-20%，同时保持了较高的图像质量评分。
🎯 应用场景
DiffAIM技术可应用于社交媒体平台、视频监控系统等场景，用于保护用户的人脸隐私。用户可以使用该技术生成对抗样本，上传到社交媒体平台，从而防止未经授权的人脸识别系统对其进行追踪和识别。此外，该技术还可以用于生成对抗性人脸图像，用于测试和评估人脸识别系统的安全性，从而提高系统的鲁棒性。未来，该技术有望与差分隐私等技术相结合，进一步提升人脸隐私保护的效果。
📄 摘要（原文）
The success of face recognition (FR) systems has led to serious privacy concerns due to potential unauthorized surveillance and user tracking on social networks. Existing methods for enhancing privacy fail to generate natural face images that can protect facial privacy. In this paper, we propose diffusion-based adversarial identity manipulation (DiffAIM) to generate natural and highly transferable adversarial faces against malicious FR systems. To be specific, we manipulate facial identity within the low-dimensional latent space of a diffusion model. This involves iteratively injecting gradient-based adversarial identity guidance during the reverse diffusion process, progressively steering the generation toward the desired adversarial faces. The guidance is optimized for identity convergence towards a target while promoting semantic divergence from the source, facilitating effective impersonation while maintaining visual naturalness. We further incorporate structure-preserving regularization to preserve facial structure consistency during manipulation. Extensive experiments on both face verification and identification tasks demonstrate that compared with the state-of-the-art, DiffAIM achieves stronger black-box attack transferability while maintaining superior visual quality. We also demonstrate the effectiveness of the proposed approach for commercial FR APIs, including Face++ and Aliyun.