IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks

📄 arXiv: 2310.11890v3 📥 PDF

作者: Yue Cao, Tianlin Li, Xiaofeng Cao, Ivor Tsang, Yang Liu, Qing Guo

分类: cs.CV

发布日期: 2023-10-18 (更新: 2024-04-13)

💡 一句话要点

提出隐式表示驱动的图像重采样以应对对抗攻击

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 对抗攻击 图像重采样 隐式表示 深度学习 鲁棒性

📋 核心要点

  1. 现有的图像重采样方法在对抗攻击下效果有限，干净图像的准确率显著下降。
  2. 提出隐式表示驱动的图像重采样（IRAD），通过构建隐式连续表示和SampleNet实现自适应重采样。
  3. 实验结果表明，IRAD显著增强了多种深度模型的对抗鲁棒性，同时保持了高准确率。

📝 摘要（中文）

我们提出了一种新颖的方法来应对对抗攻击，即图像重采样。图像重采样通过几何变换将离散图像转化为新图像，模拟场景重新捕捉或重新渲染的过程。我们的核心理念是，图像重采样能够减轻对抗扰动的影响，同时保留重要的语义信息，从而在防御对抗攻击中具有内在优势。我们开发了基本的重采样方法，采用插值策略和坐标偏移幅度，发现这些方法能够部分缓解对抗攻击，但存在明显的局限性。为此，我们提出了隐式表示驱动的图像重采样（IRAD），通过构建隐式连续表示和引入SampleNet，显著提升了对抗鲁棒性，同时保持了对干净图像的高准确率。

🔬 方法详解

问题定义：本论文旨在解决现有图像重采样方法在对抗攻击下的有效性不足问题。现有方法在减轻对抗扰动的同时，往往导致干净图像的准确率显著下降。

核心思路：我们提出隐式表示驱动的图像重采样（IRAD），通过构建隐式连续表示来表示输入图像，并引入SampleNet自动生成像素级偏移，从而实现更有效的重采样。

技术框架：IRAD的整体架构包括两个主要模块：隐式连续表示模块和SampleNet模块。隐式表示模块将输入图像映射到连续坐标空间，而SampleNet则根据不同输入生成相应的像素偏移。

关键创新：IRAD的核心创新在于引入隐式表示和SampleNet，使得重采样过程能够自适应地应对不同的对抗攻击，显著提升了对抗鲁棒性。与传统方法相比，IRAD在保持干净图像准确率的同时，增强了对抗样本的防御能力。

关键设计：在技术细节上，IRAD采用了特定的插值策略和坐标偏移幅度，并设计了适应性损失函数，以优化重采样过程的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IRAD在多种深度模型上显著提高了对抗鲁棒性，相较于基线方法，干净图像的准确率保持在高水平，同时对抗样本的准确率提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、医疗影像等对抗攻击风险较高的场景。通过增强模型的对抗鲁棒性，IRAD能够在实际应用中提高系统的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce a novel approach to counter adversarial attacks, namely, image resampling. Image resampling transforms a discrete image into a new one, simulating the process of scene recapturing or rerendering as specified by a geometrical transformation. The underlying rationale behind our idea is that image resampling can alleviate the influence of adversarial perturbations while preserving essential semantic information, thereby conferring an inherent advantage in defending against adversarial attacks. To validate this concept, we present a comprehensive study on leveraging image resampling to defend against adversarial attacks. We have developed basic resampling methods that employ interpolation strategies and coordinate shifting magnitudes. Our analysis reveals that these basic methods can partially mitigate adversarial attacks. However, they come with apparent limitations: the accuracy of clean images noticeably decreases, while the improvement in accuracy on adversarial examples is not substantial. We propose implicit representation-driven image resampling (IRAD) to overcome these limitations. First, we construct an implicit continuous representation that enables us to represent any input image within a continuous coordinate space. Second, we introduce SampleNet, which automatically generates pixel-wise shifts for resampling in response to different inputs. Furthermore, we can extend our approach to the state-of-the-art diffusion-based method, accelerating it with fewer time steps while preserving its defense capability. Extensive experiments demonstrate that our method significantly enhances the adversarial robustness of diverse deep models against various attacks while maintaining high accuracy on clean images.