Reinforcement Learning Inspired Black-box Adversarial Attacks for Computer Vision

📄 arXiv: 2609.24249v1 📥 PDF

作者: Florian Krone, Elena Hoemann, Sven Hallerbach

分类: cs.LG, cs.CR, cs.CV

发布日期: 2026-09-21

💡 一句话要点

提出基于强化学习的黑箱对抗攻击以解决计算机视觉模型脆弱性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗攻击 黑箱模型 强化学习 计算机视觉 深度学习 安全性 模型脆弱性

📋 核心要点

  1. 现有的对抗攻击方法大多依赖于白箱模型，需要对目标模型有完全的访问权限，限制了其实际应用。
  2. 本文提出了一种基于强化学习的黑箱对抗攻击方法，通过优化扰动以适应非可微分的目标模型，提升了攻击效率。
  3. 实验结果表明，RIBA在生成对抗扰动时显著减少了查询次数，并能与白箱攻击的性能相匹配，展示了其有效性。

📝 摘要（中文）

神经网络（包括卷积和变换器模型）在现代计算机视觉系统中至关重要，但它们对微小扰动极为脆弱，这些扰动几乎无法被人类察觉，却能显著改变模型的预测。现有的对抗攻击大多基于白箱模型，需完全访问目标模型，实际应用中不够现实。本文提出了一种新颖的方法，基于强化学习的黑箱威胁模型，优化非可微分目标模型的扰动。通过在Cifar10和ImageNet数据集上与最先进的攻击方法进行比较，证明了该方法在生成对抗扰动时仅需少量查询。RIBA在Cifar10上对ResNet-18模型生成攻击图像时，查询中位数减少了25.4%；在ImageNet上对Vit-B/16模型的攻击中，查询中位数减少了22.5%。此外，RIBA在对抗训练模型上能够匹配白箱攻击的性能。

🔬 方法详解

问题定义：本文旨在解决现有对抗攻击方法在实际应用中由于依赖白箱模型而导致的局限性，尤其是在安全关键应用中的脆弱性问题。

核心思路：提出了一种基于强化学习的黑箱对抗攻击方法，通过优化扰动以适应非可微分的目标模型，利用强化学习算法的查询效率优势，设计出更为实用的攻击策略。

技术框架：整体架构包括三个主要模块：1) 强化学习代理负责生成扰动；2) 查询目标模型以评估扰动效果；3) 更新策略以优化扰动生成过程。

关键创新：最重要的技术创新在于将强化学习应用于黑箱对抗攻击，突破了传统方法对模型可访问性的依赖，使得攻击在实际场景中更具可行性。

关键设计：在设计中，采用了高效的查询策略和损失函数，以确保在最少的查询次数内获得最佳的攻击效果，同时调整了强化学习算法的参数以适应不同模型的特性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，RIBA在Cifar10数据集上对ResNet-18模型的攻击中，查询中位数减少了25.4%；在ImageNet数据集上对Vit-B/16模型的攻击中，查询中位数减少了22.5%。此外，RIBA在对抗训练模型上能够与白箱攻击的性能相匹配，展现了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括安全关键的计算机视觉系统，如自动驾驶、医疗影像分析等。通过提高对抗攻击的实用性，能够帮助研究人员和工程师更好地理解和防御模型的脆弱性，从而提升系统的安全性和可靠性。未来，该方法可能推动对抗攻击技术在实际应用中的广泛采用。

📄 摘要（原文）

Neural networks, both convolution or transformer based, are essential for modern computer vision systems. However, they are vulnerable to small perturbations, almost imperceptible to humans, which significantly alter the model's prediction. These adversarial attacks are often considered to be a significant threat to the implementation of neural networks in safety-critical applications. Most attacks utilize the white-box threat model and therefore require full access to the target model, making them unrealistic to use in practice. We propose a novel approach under the more realistic black-box threat model that utilizes concepts from reinforcement learning to optimize perturbations with a non-differentiable target model. Reinforcement learning algorithms have already been optimized to be query efficient, making them an ideal starting point when designing black-box adversarial attacks. We show the success of our reinforcement learning inspired black-box adversarial attack (RIBA) in generating adversarial perturbations using only a small number of queries to the target model, by comparing it to state of the art attacks on different models on the Cifar10 and ImageNet data sets. RIBA takes $25.4\%$ fewer median queries to generate attacked images against a ResNet-18 on Cifar10 and $22.5\%$ fewer median queries to fool a Vit-B/16 model on ImageNet. Additionally, we demonstrate that RIBA can match the performance of white-box attacks on an adversarially trained model.