Projection-based Adversarial Attack using Physics-in-the-Loop Optimization for Monocular Depth Estimation

📄 arXiv: 2512.24792v1 📥 PDF

作者: Takeru Kusakabe, Yudai Hirose, Mashiho Mukaida, Satoshi Ono

分类: cs.CV, cs.LG, cs.NE

发布日期: 2025-12-31

DOI: 10.1587/transinf.2025MUL0002

💡 一句话要点

提出基于物理环路优化的投影对抗攻击，用于单目深度估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 对抗攻击 单目深度估计 物理环路优化 深度学习 鲁棒性

📋 核心要点

  1. 单目深度估计模型易受对抗攻击影响，实际应用中鲁棒性至关重要。
  2. 提出基于投影的对抗攻击方法，通过物理环路优化生成扰动光。
  3. 实验表明该方法能有效生成对抗样本，导致深度估计错误，使目标对象部分消失。

📝 摘要（中文）

深度神经网络（DNN）容易受到对抗攻击的影响，即通过向输入图像添加特定的扰动会导致错误分类。这种脆弱性也威胁着基于DNN的单目深度估计（MDE）模型的可靠性，使得鲁棒性增强在实际应用中至关重要。为了验证基于DNN的MDE模型的脆弱性，本研究提出了一种基于投影的对抗攻击方法，该方法将扰动光投影到目标对象上。该方法采用物理环路（PITL）优化——在实际环境中评估候选解决方案，以考虑设备规格和干扰——并利用分布式协方差矩阵自适应进化策略。实验证实，该方法成功创建了对抗样本，导致深度估计错误，从而使目标场景中的部分对象消失。

🔬 方法详解

问题定义：论文旨在解决单目深度估计（MDE）模型在对抗攻击下的脆弱性问题。现有的深度学习模型容易受到对抗样本的攻击，即使是很小的扰动也可能导致模型产生错误的深度估计，这对于依赖深度信息的应用来说是不可接受的。

核心思路：论文的核心思路是通过物理环路优化（PITL）来生成对抗样本。与传统的数字对抗攻击不同，该方法考虑了真实物理环境中的因素，例如设备规格和各种干扰。通过在实际环境中评估候选解决方案，可以生成更具鲁棒性和欺骗性的对抗样本。

技术框架：该方法主要包含以下几个阶段：1) 定义目标对象和扰动光投影方式；2) 使用分布式协方差矩阵自适应进化策略（CMA-ES）生成候选扰动；3) 在实际环境中将扰动光投影到目标对象上，并使用单目深度估计模型进行深度估计；4) 计算损失函数，该损失函数衡量了深度估计的误差；5) 使用PITL优化算法迭代更新扰动，直到达到预定的攻击目标。

关键创新：该方法的关键创新在于将物理环路优化引入到单目深度估计的对抗攻击中。传统的对抗攻击主要在数字空间进行，忽略了真实物理环境的影响。通过PITL优化，可以生成更符合实际情况的对抗样本，从而更有效地攻击单目深度估计模型。

关键设计：该方法使用分布式CMA-ES作为优化算法，能够高效地搜索高维扰动空间。损失函数的设计至关重要，需要能够准确地衡量深度估计的误差。此外，扰动光的投影方式也需要仔细设计，以确保扰动能够有效地影响深度估计结果。具体的参数设置（例如CMA-ES的参数、损失函数的权重等）需要根据实际情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够成功生成对抗样本，导致单目深度估计模型产生显著的深度误差，使得目标场景中的部分对象在深度图中消失。该方法相较于传统的数字对抗攻击，更具欺骗性和鲁棒性，能够有效地评估单目深度估计模型在真实物理环境中的脆弱性。具体的性能数据（例如攻击成功率、深度误差等）未在摘要中给出，属于未知信息。

🎯 应用场景

该研究成果可应用于评估和提高单目深度估计模型在自动驾驶、机器人导航、增强现实等领域的鲁棒性。通过了解模型在物理对抗攻击下的表现，可以开发更可靠的深度估计系统，从而提升相关应用的安全性和可靠性。未来的研究可以探索更有效的防御方法，以抵抗此类攻击。

📄 摘要（原文）

Deep neural networks (DNNs) remain vulnerable to adversarial attacks that cause misclassification when specific perturbations are added to input images. This vulnerability also threatens the reliability of DNN-based monocular depth estimation (MDE) models, making robustness enhancement a critical need in practical applications. To validate the vulnerability of DNN-based MDE models, this study proposes a projection-based adversarial attack method that projects perturbation light onto a target object. The proposed method employs physics-in-the-loop (PITL) optimization -- evaluating candidate solutions in actual environments to account for device specifications and disturbances -- and utilizes a distributed covariance matrix adaptation evolution strategy. Experiments confirmed that the proposed method successfully created adversarial examples that lead to depth misestimations, resulting in parts of objects disappearing from the target scene.