SPIN: Image Immunization Against Diffusion Editing via Single-Step Projection in Stochastic Neighborhoods
作者: Fengming Gu, Jie Zhang, Zhongqi Wang, Qiankun Li, Shiguang Shan, Xilin Chen
分类: cs.CV
发布日期: 2026-10-05
💡 一句话要点
提出SPIN框架以解决图像免疫对抗扩散编辑问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 图像免疫 扩散模型 图像编辑 深度学习 随机轨迹 去噪 鲁棒性
📋 核心要点
- 现有的图像免疫方法存在高昂的计算成本或效果不稳定的问题，难以有效应对未知的编辑请求。
- SPIN框架通过在局部随机轨迹邻域内进行一步投影，生成多个邻近状态并优化扰动，以打乱多种可能的编辑结果。
- 实验结果显示，SPIN在六个指标上均优于对比方法，尤其在未见指令的情况下，保护性能显著提升。
📝 摘要（中文）
扩散模型在指导图像编辑方面取得了显著进展，但也引发了对未经授权的图像操控的担忧。图像免疫通过向输入图像添加不可察觉的扰动来应对这一风险，旨在打乱后续编辑。然而，现有免疫方法要么需要昂贵的全轨迹反向传播，要么使用的中间目标可能会被后续去噪削弱。为了解决这些挑战，本文提出了SPIN框架，通过在局部随机轨迹邻域内进行一步投影来实现图像免疫。实验表明，SPIN在保护性能上显著优于现有方法，尤其是在未见指令的情况下表现更佳。
🔬 方法详解
问题定义：本文旨在解决扩散模型引发的未经授权图像编辑问题。现有免疫方法往往需要复杂的全轨迹反向传播，或依赖于可能被削弱的中间目标，导致保护效果不理想。
核心思路：SPIN框架的核心思路是通过一步投影生成局部随机轨迹邻域的多个状态，并优化输入扰动，以最大化这些状态与干净编辑参考之间的偏差，从而有效打乱多种编辑结果。
技术框架：SPIN的整体架构包括从早期去噪状态出发，生成随机邻近状态，并通过一步投影预测其干净潜在表示。随后，优化扰动以增强对多种编辑结果的干扰。
关键创新：SPIN的关键创新在于其通过局部随机轨迹邻域进行一步投影，而非依赖于全轨迹反向传播，这使得其在计算效率和效果稳定性上优于现有方法。
关键设计：在设计中，SPIN使用了特定的损失函数以最大化扰动的有效性，并通过优化算法确保扰动在视觉上不可察觉，同时保持对多种编辑请求的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SPIN在六个性能指标上均优于对比方法，尤其在未见指令的设置下，保护性能提升幅度显著，展示了其在图像免疫领域的强大能力。
🎯 应用场景
该研究的潜在应用领域包括图像处理、数字内容创作和社交媒体平台等，能够有效防止未经授权的图像编辑，保护用户的创作权益。未来，SPIN框架可能在更广泛的图像安全和隐私保护领域发挥重要作用。
📄 摘要（原文）
Diffusion models have greatly advanced instruction-guided image editing, while also raising concerns about unauthorized image manipulation. Image immunization addresses this risk by adding imperceptible perturbations to an input image to disrupt subsequent edits. Since editing requests are unknown at image release, protection should remain effective beyond the instruction used to construct the perturbation. Existing immunization methods either require costly full-trajectory backpropagation or use intermediate objectives whose effects may be weakened by subsequent denoising. Meanwhile, a single inference path provides limited feedback about alternative denoising continuations. To address these challenges, we propose \textsc{SPIN}, a framework for image immunization via one-step projection over local stochastic trajectory neighborhoods. Starting from an early denoising state, \textsc{SPIN} generates stochastic neighboring states under the same instruction and predicts their clean latents through one-step projection without full unrolling. We then optimize a bounded input perturbation to maximize the average deviation of these predictions from a clean-edit reference, encouraging the perturbation to disrupt multiple possible editing outcomes. Experiments on two image editors demonstrate substantial gains in protection performance, with \textsc{SPIN} outperforming compared methods across all six metrics under seen instructions and in the more challenging unseen instruction setting.