Physical Adversarial Attack on Monocular Depth Estimation via Shape-Varying Patches
作者: Chenxing Zhao, Yang Li, Shihao Wu, Wenyi Tan, Shuangju Zhou, Quan Pan
分类: cs.CV
发布日期: 2024-07-24
💡 一句话要点
提出基于形状可变补丁的物理对抗攻击，提升单目深度估计的攻击有效性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 对抗攻击 单目深度估计 物理攻击 形状可变补丁 自动驾驶
📋 核心要点
- 现有单目深度估计对抗攻击方法，特别是基于补丁的攻击，影响范围有限，难以有效攻击目标。
- 论文提出一种基于形状可变补丁的物理对抗攻击框架ASP，通过优化补丁内容、形状和位置来提升攻击效果。
- 实验结果表明，该方法仅使用1/9面积的补丁，即可在目标车辆上产生18米的平均深度误差，影响超过98%的目标区域。
📝 摘要（中文）
针对单目深度估计（MDE）系统的对抗攻击提出了严峻的挑战，尤其是在自动驾驶等安全关键应用中。现有的基于补丁的MDE对抗攻击局限于补丁附近区域，难以影响整个目标。为了解决这一局限性，我们提出了一种基于物理的单目深度估计对抗攻击，采用名为“基于形状可变补丁的攻击（ASP）”的框架，旨在优化补丁内容、形状和位置，以最大化攻击效果。我们引入了包括四边形、矩形和圆形掩码在内的各种掩码形状，以增强攻击的灵活性和效率。此外，我们提出了一种新的损失函数，以将补丁的影响范围扩展到重叠区域之外。实验结果表明，我们的攻击方法在目标车辆上产生平均18米的深度误差，补丁面积仅为1/9，但影响了超过98%的目标区域。
🔬 方法详解
问题定义：现有的针对单目深度估计的对抗攻击，尤其是基于补丁的攻击方法，其攻击效果往往局限于补丁的局部区域，难以对整个目标产生显著影响。这意味着即使在目标上添加了对抗补丁，深度估计系统仍然可以相对准确地估计目标的大部分区域，从而降低了攻击的有效性。这种局部性限制了对抗攻击在自动驾驶等安全关键领域的实际应用价值。
核心思路：论文的核心思路是通过优化对抗补丁的形状、内容和位置，使其能够对单目深度估计系统产生更大范围的影响。具体来说，通过引入形状可变的补丁，并设计新的损失函数，使得补丁的影响能够扩散到整个目标区域，从而实现更有效的对抗攻击。这种方法旨在克服现有方法中补丁攻击范围受限的问题，提高攻击的成功率和实用性。
技术框架：该对抗攻击框架主要包含以下几个关键模块：1) 补丁生成模块：负责生成对抗补丁的内容，通过优化算法寻找能够最大化攻击效果的像素值。2) 形状优化模块：允许补丁采用不同的形状（如矩形、圆形、四边形等），并优化这些形状的参数，以适应目标的几何结构和场景特点。3) 位置优化模块：确定补丁在图像中的最佳位置，以最大化其对深度估计的影响。4) 损失函数模块：定义了用于衡量攻击效果的损失函数，该损失函数不仅考虑了补丁区域的深度误差，还考虑了补丁对目标整体深度估计的影响。整个框架通过迭代优化上述模块的参数，最终生成能够有效欺骗单目深度估计系统的对抗补丁。
关键创新：该论文的关键创新在于以下几个方面：1) 形状可变的对抗补丁：与传统的固定形状补丁相比，形状可变的补丁能够更好地适应目标的几何结构和场景特点，从而提高攻击的有效性。2) 全局影响的损失函数：该损失函数不仅考虑了补丁区域的深度误差，还考虑了补丁对目标整体深度估计的影响，从而实现了更广泛的攻击范围。3) 基于物理的对抗攻击：该方法考虑了物理世界的约束，使得生成的对抗补丁可以在真实场景中有效实施。
关键设计：在关键设计方面，论文采用了以下技术细节：1) 多种掩码形状：支持四边形、矩形和圆形等多种掩码形状，以增强攻击的灵活性。2) 新的损失函数：设计了一种新的损失函数，该函数包含两部分：一部分用于衡量补丁区域的深度误差，另一部分用于衡量补丁对目标整体深度估计的影响。具体形式未知，但推测可能包含深度梯度或结构相似性等度量。3) 优化算法：使用梯度下降等优化算法来优化补丁的内容、形状和位置，以最大化损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在KITTI数据集上取得了显著的攻击效果。仅使用目标车辆1/9面积的对抗补丁，即可导致平均18米的深度误差，并且影响了超过98%的目标区域。这表明该方法能够有效地欺骗单目深度估计系统，并对自动驾驶等应用构成潜在威胁。与现有方法相比，该方法在攻击范围和攻击效果方面均有显著提升，证明了形状可变补丁和全局影响损失函数的有效性。
🎯 应用场景
该研究成果可应用于评估和提升自动驾驶系统的安全性。通过模拟物理对抗攻击，可以发现单目深度估计系统在真实场景中的潜在漏洞，并有针对性地进行防御。此外，该技术还可以用于开发更鲁棒的深度估计算法，提高其在复杂环境下的可靠性。未来，该研究可能扩展到其他计算机视觉任务，如目标检测和语义分割，从而全面提升视觉系统的安全性。
📄 摘要（原文）
Adversarial attacks against monocular depth estimation (MDE) systems pose significant challenges, particularly in safety-critical applications such as autonomous driving. Existing patch-based adversarial attacks for MDE are confined to the vicinity of the patch, making it difficult to affect the entire target. To address this limitation, we propose a physics-based adversarial attack on monocular depth estimation, employing a framework called Attack with Shape-Varying Patches (ASP), aiming to optimize patch content, shape, and position to maximize effectiveness. We introduce various mask shapes, including quadrilateral, rectangular, and circular masks, to enhance the flexibility and efficiency of the attack. Furthermore, we propose a new loss function to extend the influence of the patch beyond the overlapping regions. Experimental results demonstrate that our attack method generates an average depth error of 18 meters on the target car with a patch area of 1/9, affecting over 98\% of the target area.