Adversarial Manhole: Challenging Monocular Depth Estimation and Semantic Segmentation Models with Patch Attack

📄 arXiv: 2408.14879v1 📥 PDF

作者: Naufal Suryanto, Andro Aprila Adiputra, Ahmada Yusril Kadiptya, Yongsu Kim, Howon Kim

分类: cs.CV

发布日期: 2024-08-27

备注: Accepted for WISA 2024. Code and dataset: https://github.com/naufalso/adversarial-manhole

💡 一句话要点

提出基于井盖贴片的对抗攻击，用于欺骗单目深度估计和语义分割模型

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 对抗攻击 单目深度估计 语义分割 自动驾驶 物理贴片

📋 核心要点

  1. 单目深度估计和语义分割在自动驾驶中至关重要，但易受对抗攻击，导致环境误判。
  2. 论文提出一种基于井盖贴片的对抗攻击，通过深度平面映射精确定位，欺骗模型。
  3. 实验表明，该攻击在深度估计中产生43%的相对误差，语义分割攻击成功率达96%。

📝 摘要（中文）

单目深度估计(MDE)和语义分割(SS)对于许多自动驾驶系统的导航和环境理解至关重要。然而，它们在实际中容易受到对抗攻击，这是一个值得关注的问题。本文提出了一种新颖的对抗攻击方法，使用模仿井盖的实际贴片来欺骗MDE和SS模型。目标是使这些系统错误地解释场景，导致错误地检测到附近的障碍物或不可通行的物体。我们使用深度平面映射来精确定位这些贴片在路面上的位置，从而提高攻击的有效性。实验表明，这些对抗性贴片导致MDE中43%的相对误差，并在SS中达到96%的攻击成功率。这些贴片在MDE中产生的受影响误差区域是其自身大小的两倍以上，在SS中大约等于其自身大小。我们的研究还证实了该贴片在物理模拟中的有效性，贴片在不同目标模型中的适应性，以及我们提出的模块的有效性，突出了它们的实际意义。

🔬 方法详解

问题定义：论文旨在解决单目深度估计（MDE）和语义分割（SS）模型在自动驾驶场景中易受对抗攻击的问题。现有方法难以在实际场景中有效攻击这些模型，尤其是在物理世界中，对抗样本的生成和部署面临挑战。现有方法通常依赖于数字扰动，难以在物理世界中实现，或者需要复杂的优化过程。

核心思路：论文的核心思路是利用物理世界中常见的井盖作为对抗贴片，通过在图像中引入这些贴片，使MDE和SS模型产生错误的预测。这种方法的优势在于贴片易于部署，且能够有效地欺骗模型，从而模拟实际场景中的攻击。

技术框架：该对抗攻击框架主要包含以下几个阶段：1) 选择井盖作为对抗贴片；2) 使用深度平面映射（Depth Planar Mapping）技术，将贴片精确定位到路面上的特定位置；3) 将带有贴片的图像输入到MDE和SS模型中；4) 评估攻击效果，包括MDE的相对误差和SS的攻击成功率。

关键创新：该论文的关键创新在于：1) 提出了一种基于物理贴片的对抗攻击方法，更贴近实际应用场景；2) 利用深度平面映射技术，实现了贴片的精确定位，提高了攻击的有效性；3) 验证了攻击在物理模拟中的有效性和跨模型的适应性。

关键设计：深度平面映射模块用于将2D贴片投影到3D场景中，并将其放置在路面上。攻击效果的评估指标包括MDE的相对误差（衡量深度估计的准确性）和SS的攻击成功率（衡量贴片是否导致模型错误分类）。论文没有详细说明损失函数或网络结构，而是侧重于攻击方法本身。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该对抗贴片攻击在单目深度估计中造成了43%的相对误差，在语义分割中达到了96%的攻击成功率。此外，该贴片在深度估计中产生的受影响误差区域是其自身大小的两倍以上，在语义分割中大约等于其自身大小。物理模拟实验也验证了该攻击的有效性。

🎯 应用场景

该研究成果可应用于评估和提升自动驾驶系统的鲁棒性，尤其是在对抗攻击方面的防御能力。通过模拟实际场景中的攻击，可以帮助开发者发现模型中的漏洞，并开发更有效的防御机制。此外，该研究也为其他计算机视觉任务的安全性评估提供了借鉴。

📄 摘要（原文）

Monocular depth estimation (MDE) and semantic segmentation (SS) are crucial for the navigation and environmental interpretation of many autonomous driving systems. However, their vulnerability to practical adversarial attacks is a significant concern. This paper presents a novel adversarial attack using practical patches that mimic manhole covers to deceive MDE and SS models. The goal is to cause these systems to misinterpret scenes, leading to false detections of near obstacles or non-passable objects. We use Depth Planar Mapping to precisely position these patches on road surfaces, enhancing the attack's effectiveness. Our experiments show that these adversarial patches cause a 43% relative error in MDE and achieve a 96% attack success rate in SS. These patches create affected error regions over twice their size in MDE and approximately equal to their size in SS. Our studies also confirm the patch's effectiveness in physical simulations, the adaptability of the patches across different target models, and the effectiveness of our proposed modules, highlighting their practical implications.