Guided Diffusion-based Generation of Adversarial Objects for Real-World Monocular Depth Estimation Attacks
作者: Yongtao Chen, Yanbo Wang, Wentao Zhao, Guole Shen, Tianchen Deng, Jingchuan Wang
分类: cs.CV, cs.RO
发布日期: 2025-12-30
💡 一句话要点
提出基于扩散模型的对抗目标生成方法，提升单目深度估计攻击的真实性和有效性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 对抗攻击 单目深度估计 扩散模型 生成对抗网络 自动驾驶 物理攻击 雅可比矩阵
📋 核心要点
- 现有基于纹理补丁的物理攻击在单目深度估计中存在放置约束严格、真实感有限的问题。
- 提出一种基于扩散模型的生成对抗攻击框架，生成自然场景一致的对抗目标，提升攻击的隐蔽性和有效性。
- 实验表明，该方法在数字和物理环境中均优于现有攻击，对自动驾驶安全评估具有重要意义。
📝 摘要（中文）
单目深度估计(MDE)是自动驾驶系统的核心感知模块，但极易受到对抗攻击。深度估计的误差会传递到下游决策，影响交通安全。现有的物理攻击主要依赖于基于纹理的补丁，这些补丁具有严格的放置约束，并且真实感有限，从而降低了它们在复杂驾驶环境中的有效性。为了克服这些限制，本文提出了一种无需训练的生成对抗攻击框架，该框架通过基于扩散的条件生成过程生成自然、场景一致的对抗目标。该框架包含一个显著区域选择模块，用于识别对MDE影响最大的区域，以及一个雅可比向量积引导机制，用于将对抗梯度引导到预训练扩散模型支持的更新方向。这种公式能够生成物理上合理的对抗目标，从而导致显著的对抗深度偏移。大量的数字和物理实验表明，我们的方法在有效性、隐蔽性和物理可部署性方面显著优于现有的攻击，突显了其对自动驾驶安全评估的强大实际意义。
🔬 方法详解
问题定义：论文旨在解决单目深度估计（MDE）系统在真实场景中容易受到对抗攻击的问题。现有方法，特别是基于纹理补丁的物理攻击，存在以下痛点：一是需要精确放置对抗补丁，二是补丁的真实感不足，容易被检测和忽略，三是在复杂驾驶环境中效果不佳。
核心思路：论文的核心思路是利用扩散模型强大的生成能力，生成与场景自然融合的对抗目标，从而在不引起注意的情况下，显著影响单目深度估计的结果。通过条件生成过程，控制对抗目标的形状和纹理，使其更具真实感和隐蔽性。
技术框架：该框架主要包含以下几个模块：1) 显著区域选择模块：用于确定图像中对深度估计影响最大的区域，以便将对抗扰动集中在这些区域。2) 基于扩散模型的对抗目标生成模块：利用预训练的扩散模型，根据选定的显著区域和对抗目标的要求，生成逼真的对抗目标。3) 雅可比向量积引导机制：通过计算雅可比矩阵，将对抗梯度引导到扩散模型能够有效更新的方向，从而保证生成对抗目标的有效性。
关键创新：该方法最重要的创新点在于将扩散模型引入到对抗攻击领域，实现了无需训练的、生成式的对抗目标生成。与传统的基于优化的对抗攻击方法相比，该方法能够生成更自然、更逼真的对抗目标，从而提高了攻击的隐蔽性和有效性。此外，雅可比向量积引导机制保证了对抗梯度能够有效地作用于扩散模型，提高了生成对抗目标的效率。
关键设计：在显著区域选择模块中，可以使用梯度信息或其他显著性检测方法来确定重要区域。在扩散模型中，可以使用预训练的图像生成模型，并通过条件控制来生成对抗目标。雅可比向量积引导机制需要计算雅可比矩阵，可以使用自动微分工具来实现。对抗目标的损失函数需要根据具体的攻击目标来设计，例如，可以最大化深度估计的误差。
🖼️ 关键图片
📊 实验亮点
该方法在数字和物理实验中均表现出显著的性能提升。与现有方法相比，该方法生成的对抗目标能够导致更大的深度估计误差，并且具有更高的隐蔽性。实验结果表明，该方法在攻击成功率和视觉真实性方面均优于现有技术，证明了其在实际应用中的潜力。
🎯 应用场景
该研究成果可应用于自动驾驶系统的安全性评估和防御机制的开发。通过生成逼真的对抗样本，可以评估单目深度估计系统在各种复杂场景下的鲁棒性。此外，该方法还可以用于训练更鲁棒的深度估计模型，提高自动驾驶系统的安全性。该技术还可能扩展到其他计算机视觉任务，如目标检测和语义分割，以评估和提高这些系统的安全性。
📄 摘要（原文）
Monocular Depth Estimation (MDE) serves as a core perception module in autonomous driving systems, but it remains highly susceptible to adversarial attacks. Errors in depth estimation may propagate through downstream decision making and influence overall traffic safety. Existing physical attacks primarily rely on texture-based patches, which impose strict placement constraints and exhibit limited realism, thereby reducing their effectiveness in complex driving environments. To overcome these limitations, this work introduces a training-free generative adversarial attack framework that generates naturalistic, scene-consistent adversarial objects via a diffusion-based conditional generation process. The framework incorporates a Salient Region Selection module that identifies regions most influential to MDE and a Jacobian Vector Product Guidance mechanism that steers adversarial gradients toward update directions supported by the pre-trained diffusion model. This formulation enables the generation of physically plausible adversarial objects capable of inducing substantial adversarial depth shifts. Extensive digital and physical experiments demonstrate that our method significantly outperforms existing attacks in effectiveness, stealthiness, and physical deployability, underscoring its strong practical implications for autonomous driving safety assessment.