Systematic Discovery of Semantic Attacks in Online Map Construction through Conditional Diffusion

📄 arXiv: 2605.14396v1 📥 PDF

作者: Chenyi Wang, Ruoyu Song, Raymond Muller, Jean-Philippe Monteuuis, Jonathan Petit, Z. Berkay Celik, Ryan Gerdes, Ming F. Li

分类: cs.CV, cs.CR, cs.LG, cs.RO

发布日期: 2026-05-14

💡 一句话要点

MIRAGE：利用条件扩散模型在在线地图构建中发现语义攻击，绕过防御并注入虚假边界。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 对抗攻击 在线地图构建 扩散模型 语义攻击 自动驾驶 条件生成 对抗防御

📋 核心要点

  1. 现有像素扰动攻击易受对抗防御影响，无法有效攻击在线地图构建系统。
  2. MIRAGE利用扩散模型学习的潜在空间，寻找语义上合理的、能误导地图构建的环境变异。
  3. 实验表明MIRAGE能有效移除或注入道路边界，绕过防御，且生成的攻击样本更具真实感。

📝 摘要（中文）

自动驾驶车辆依赖在线高清地图构建来感知车道边界、分隔线和人行横道等安全关键道路元素，这些元素直接影响运动规划。虽然现有的像素扰动攻击会扰乱地图构建，但可以通过标准的对抗防御来抵御。本文提出了MIRAGE，一个用于系统发现语义攻击的框架，该框架通过寻找合理的环境变化（例如阴影、潮湿路面）来绕过对抗防御并降低地图预测的准确性。MIRAGE利用扩散模型学习到的真实世界数据的潜在流形，并搜索与具有相同道路拓扑结构的真实场景相邻的、经过语义变异的场景，从而误导地图预测。在nuScenes上的评估表明，MIRAGE可以实现两种攻击：（1）边界移除，抑制57.7%的检测，并破坏96%的规划轨迹；（2）边界注入，这是唯一成功注入虚假边界的方法，而像素PGD和AdvPatch完全失败。这两种攻击在各种对抗防御下仍然有效。使用两个独立的VLM评估真实性，MIRAGE的真实性通过率为80-84%（而干净的nuScenes为97-99%），而AdvPatch仅为0-9%。研究结果揭示了当前对抗防御中的一个类别差距：表现为合法环境变化的语义级扰动比像素级扰动更难缓解。

🔬 方法详解

问题定义：论文旨在解决自动驾驶在线地图构建系统面临的对抗攻击问题。现有的像素级扰动攻击容易被对抗防御机制检测和缓解，无法有效威胁系统的安全性。更高级别的语义攻击，例如通过改变环境光照、路面状况等方式，可能更难被防御，但如何系统地生成这类攻击仍然是一个挑战。

核心思路：论文的核心思路是利用扩散模型强大的生成能力，在真实数据流形上搜索与原始场景在语义上相似，但能导致地图构建系统产生错误预测的对抗样本。通过在扩散模型的潜在空间中进行条件采样，可以生成具有合理环境变化（如阴影、湿滑路面）的对抗样本，从而绕过现有的对抗防御机制。

技术框架：MIRAGE框架主要包含以下几个阶段：1) 使用扩散模型学习真实道路场景的潜在空间；2) 定义攻击目标，例如移除或注入道路边界；3) 在潜在空间中搜索能够实现攻击目标的对抗样本，同时约束生成的样本与原始场景在语义上相似；4) 将对抗样本输入到地图构建系统中，评估攻击效果。框架利用梯度信息引导潜在空间搜索，以最大化攻击成功率。

关键创新：MIRAGE的关键创新在于它是一种基于扩散模型的语义攻击方法，能够生成具有真实感的对抗样本，从而绕过现有的对抗防御机制。与传统的像素级扰动攻击相比，MIRAGE生成的攻击样本更难以被察觉，也更难以通过简单的图像处理技术进行防御。此外，MIRAGE能够实现更高级别的攻击目标，例如注入虚假的道路边界，这对于传统的攻击方法来说是难以实现的。

关键设计：MIRAGE使用预训练的扩散模型作为生成器，并利用条件扩散技术来控制生成样本的语义内容。攻击目标通过损失函数进行量化，例如，可以使用交叉熵损失来衡量地图构建系统对道路边界的预测误差。在潜在空间搜索过程中，可以使用梯度下降等优化算法来寻找能够最小化损失函数的对抗样本。此外，论文还使用了视觉语言模型（VLM）来评估生成样本的真实感，并将其作为正则化项添加到损失函数中，以确保生成的攻击样本在视觉上是合理的。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MIRAGE在nuScenes数据集上取得了显著的攻击效果。边界移除攻击成功抑制了57.7%的道路边界检测，并导致96%的规划轨迹被破坏。边界注入攻击是唯一成功注入虚假边界的方法，而传统的像素PGD和AdvPatch攻击完全失败。此外，MIRAGE生成的攻击样本的真实感评分达到80-84%，远高于AdvPatch攻击（0-9%），表明其生成的攻击样本更难以被察觉。

🎯 应用场景

该研究成果可应用于评估和提升自动驾驶系统的安全性。通过MIRAGE框架，可以系统地发现地图构建系统中的潜在漏洞，并开发更有效的对抗防御机制。此外，该方法还可以用于生成更逼真的交通场景模拟数据，用于训练和验证自动驾驶算法。研究结果对于提高自动驾驶系统的鲁棒性和可靠性具有重要意义。

📄 摘要（原文）

Autonomous vehicles depend on online HD map construction to perceive lane boundaries, dividers, and pedestrian crossings -- safety-critical road elements that directly govern motion planning. While existing pixel perturbation attacks can disrupt the mapping, they can be neutralized by standard adversarial defenses. We present MIRAGE, a framework for systematic discovery of semantic attacks that bypass adversarial defenses and degrade mapping predictions by finding plausible environmental variation (e.g. shadows, wet roads). MIRAGE exploits the latent manifold of real-world data learned by diffusion models, and searches for semantically mutated scenes neighboring the ground truth with the same road topology yet mislead the mapping predictions. We evaluate MIRAGE on nuScenes and demonstrate two attacks: (1) boundary removal, suppressing 57.7% of detections and corrupting 96% of planned trajectories; and (2) boundary injection, the only method that successfully injects fictitious boundaries, while pixel PGD and AdvPatch fail entirely. Both attacks remain potent under various adversarial defenses. We use two independent VLM judges to quantify realism, where MIRAGE passes as realistic 80--84% of the time (vs. 97--99% for clean nuScenes), while AdvPatch only 0--9%. Our findings expose a categorical gap in current adversarial defenses: semantic-level perturbations that manifest as legitimate environmental variation are substantially harder to mitigate than pixel-level perturbations.