BadPart: Unified Black-box Adversarial Patch Attacks against Pixel-wise Regression Tasks

📄 arXiv: 2404.00924v3 📥 PDF

作者: Zhiyuan Cheng, Zhaoyi Liu, Tengda Guo, Shiwei Feng, Dongfang Liu, Mingjie Tang, Xiangyu Zhang

分类: cs.CV

发布日期: 2024-04-01 (更新: 2024-05-25)

备注: Paper accepted at ICML 2024

💡 一句话要点

提出BadPart框架以解决像素级回归任务的黑箱对抗攻击问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 对抗攻击 像素级回归 深度学习 黑箱攻击 安全性 鲁棒性 优化框架

📋 核心要点

  1. 现有像素级回归任务模型在黑箱攻击场景下的对抗鲁棒性研究不足，存在安全隐患。
  2. 本文提出了BadPart框架，通过正方形补丁优化和概率采样技术，提升了黑箱攻击的有效性和效率。
  3. BadPart在7个模型上进行评估，超越3个基线方法，并在Google在线服务上实现了43.5%的相对距离误差。

📝 摘要（中文）

像素级回归任务（如单目深度估计和光流估计）在自动驾驶、增强现实和视频合成等日常应用中广泛使用。尽管某些应用具有安全关键性或社会重要性，但这些模型在黑箱场景下的对抗鲁棒性研究仍显不足。本文首次提出统一的黑箱对抗补丁攻击框架，旨在识别这些模型在基于查询的黑箱攻击下的脆弱性。我们提出了一种新颖的基于正方形的对抗补丁优化框架，采用概率正方形采样和基于分数的梯度估计技术，有效克服了以往黑箱补丁攻击的可扩展性问题。我们的攻击原型BadPart在单目深度估计和光流估计任务上进行了评估，超越了三种基线方法的攻击性能和效率。

🔬 方法详解

问题定义：本文解决的是像素级回归任务在黑箱攻击下的脆弱性问题。现有方法在攻击效率和可扩展性方面存在不足，难以有效应对复杂的黑箱环境。

核心思路：论文的核心思路是通过引入统一的黑箱对抗补丁攻击框架，结合正方形补丁优化和概率采样技术，以提高攻击的有效性和效率。这样的设计使得攻击能够在不同模型上具有更好的适应性。

技术框架：整体架构包括补丁生成模块、攻击执行模块和评估模块。补丁生成模块采用概率正方形采样和基于分数的梯度估计，确保生成的补丁在攻击时具有较高的成功率。

关键创新：最重要的技术创新点在于提出了一种新颖的正方形补丁优化框架，克服了以往黑箱补丁攻击的可扩展性问题，使得攻击在多个模型上均能有效实施。

关键设计：在参数设置上，采用了适应性学习率和动态调整的补丁大小，损失函数设计为结合了攻击成功率和补丁可见度的复合损失，确保生成的补丁既有效又不易被检测。网络结构方面，利用了深度学习模型的特征提取能力，增强了补丁的攻击效果。

📊 实验亮点

实验结果表明，BadPart在单目深度估计和光流估计任务上超越了3个基线方法，表现出更高的攻击性能和效率。在Google在线服务上，BadPart实现了43.5%的相对距离误差，显示出其在实际应用中的有效性。现有的最先进防御措施对该攻击的防御效果不佳。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、增强现实和视频处理等安全关键场景。通过识别和利用模型的脆弱性，BadPart能够帮助开发更为鲁棒的算法，从而提升这些技术在实际应用中的安全性和可靠性。未来，随着对抗攻击技术的不断发展，相关防御机制的研究也将变得愈发重要。

📄 摘要（原文）

Pixel-wise regression tasks (e.g., monocular depth estimation (MDE) and optical flow estimation (OFE)) have been widely involved in our daily life in applications like autonomous driving, augmented reality and video composition. Although certain applications are security-critical or bear societal significance, the adversarial robustness of such models are not sufficiently studied, especially in the black-box scenario. In this work, we introduce the first unified black-box adversarial patch attack framework against pixel-wise regression tasks, aiming to identify the vulnerabilities of these models under query-based black-box attacks. We propose a novel square-based adversarial patch optimization framework and employ probabilistic square sampling and score-based gradient estimation techniques to generate the patch effectively and efficiently, overcoming the scalability problem of previous black-box patch attacks. Our attack prototype, named BadPart, is evaluated on both MDE and OFE tasks, utilizing a total of 7 models. BadPart surpasses 3 baseline methods in terms of both attack performance and efficiency. We also apply BadPart on the Google online service for portrait depth estimation, causing 43.5% relative distance error with 50K queries. State-of-the-art (SOTA) countermeasures cannot defend our attack effectively.