VCAT: Vulnerability-aware and Curiosity-driven Adversarial Training for Enhancing Autonomous Vehicle Robustness

📄 arXiv: 2409.12997v1 📥 PDF

作者: Xuan Cai, Zhiyong Cui, Xuesong Bai, Ruimin Ke, Zhenshu Ma, Haiyang Yu, Yilong Ren

分类: cs.LG, cs.AI

发布日期: 2024-09-19

备注: 7 pages, 5 figures, conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出VCAT，增强自动驾驶车辆在对抗攻击下的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 对抗训练 鲁棒性 强化学习 漏洞感知 好奇心驱动 随机网络蒸馏

📋 核心要点

  1. 现有对抗训练方法易陷入对已知漏洞的过度利用，导致自动驾驶车辆鲁棒性提升有限。
  2. VCAT框架利用代理网络学习受害者价值函数，并结合随机网络蒸馏引导攻击者探索新场景。
  3. 实验表明，VCAT显著提升了自动驾驶车辆的鲁棒控制能力，降低了碰撞率，优于其他方法。

📝 摘要（中文）

自动驾驶车辆(AVs)在复杂的交通环境中面临着安全运行的重大威胁。对抗训练已成为一种有效的方法，使AVs能够先发制人地增强其对抗恶意攻击的鲁棒性。通过对抗策略训练攻击者，使AV能够通过与该攻击者的交互来学习鲁棒的驾驶。然而，现有方法中的对抗策略通常陷入过度利用既定漏洞的循环，导致AV的改进效果不佳。为了克服这些限制，我们引入了一个名为“漏洞感知和好奇心驱动的对抗训练”(VCAT)的开创性框架。具体来说，在交通车辆攻击者训练阶段，采用代理网络来拟合AV受害者的价值函数，从而提供关于受害者固有漏洞的密集信息。随后，使用随机网络蒸馏来表征环境的新颖性，构建内在奖励以指导攻击者探索未开发的领域。在受害者防御训练阶段，AV在关键场景中进行训练，在这些场景中，预训练的攻击者位于受害者周围以产生攻击行为。实验结果表明，VCAT提供的训练方法显著提高了基于学习的AV的鲁棒控制能力，优于传统的训练模式和替代强化学习方法，并显著降低了碰撞率。代码可在https://github.com/caixxuan/VCAT获取。

🔬 方法详解

问题定义：论文旨在解决自动驾驶车辆在对抗攻击下的鲁棒性问题。现有的对抗训练方法存在痛点，即攻击者容易陷入对已知漏洞的过度利用，导致防御者（自动驾驶车辆）的鲁棒性提升有限，难以应对未知的攻击模式。

核心思路：论文的核心思路是设计一种漏洞感知和好奇心驱动的对抗训练框架（VCAT）。通过让攻击者不仅关注已知的漏洞，还鼓励其探索新的攻击策略，从而更全面地提升自动驾驶车辆的防御能力。这种方法旨在打破传统对抗训练的局部最优解，使防御者能够适应更广泛的攻击场景。

技术框架：VCAT框架包含两个主要阶段：攻击者训练阶段和受害者防御训练阶段。在攻击者训练阶段，首先使用一个代理网络来拟合受害者（自动驾驶车辆）的价值函数，从而使攻击者能够感知受害者的漏洞。然后，利用随机网络蒸馏来评估环境的新颖性，并将其作为内在奖励，引导攻击者探索未知的攻击策略。在受害者防御训练阶段，将预训练的攻击者放置在受害者周围，生成攻击行为，从而训练受害者在关键场景下的鲁棒性。

关键创新：VCAT的关键创新在于引入了漏洞感知和好奇心驱动的机制。漏洞感知通过代理网络使攻击者能够了解受害者的弱点，而好奇心驱动则通过随机网络蒸馏鼓励攻击者探索新的攻击策略。这种结合使得攻击者能够更有效地发现和利用受害者的漏洞，从而更全面地提升受害者的防御能力。与现有方法相比，VCAT能够避免攻击者陷入对已知漏洞的过度利用，从而实现更好的鲁棒性。

关键设计：在攻击者训练阶段，代理网络的结构和训练方式会影响漏洞感知的效果。随机网络蒸馏中，基准网络的选择和蒸馏损失函数的设置会影响好奇心驱动的效果。在受害者防御训练阶段，攻击者的位置和攻击策略的选择会影响训练的效率和效果。此外，奖励函数的设计也至关重要，需要平衡漏洞感知和好奇心驱动之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VCAT方法显著提高了自动驾驶车辆的鲁棒控制能力，优于传统的训练方法和替代强化学习方法。具体而言，VCAT能够显著降低碰撞率，表明其在对抗攻击下具有更强的防御能力。论文在多个场景下进行了实验，验证了VCAT的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于提升自动驾驶系统的安全性和可靠性，尤其是在复杂和对抗性环境中。通过增强自动驾驶车辆的鲁棒性，可以降低事故风险，提高交通效率，并为自动驾驶技术的广泛应用奠定基础。此外，该方法也可推广到其他安全攸关的智能系统中，例如机器人、无人机等。

📄 摘要（原文）

Autonomous vehicles (AVs) face significant threats to their safe operation in complex traffic environments. Adversarial training has emerged as an effective method of enabling AVs to preemptively fortify their robustness against malicious attacks. Train an attacker using an adversarial policy, allowing the AV to learn robust driving through interaction with this attacker. However, adversarial policies in existing methodologies often get stuck in a loop of overexploiting established vulnerabilities, resulting in poor improvement for AVs. To overcome the limitations, we introduce a pioneering framework termed Vulnerability-aware and Curiosity-driven Adversarial Training (VCAT). Specifically, during the traffic vehicle attacker training phase, a surrogate network is employed to fit the value function of the AV victim, providing dense information about the victim's inherent vulnerabilities. Subsequently, random network distillation is used to characterize the novelty of the environment, constructing an intrinsic reward to guide the attacker in exploring unexplored territories. In the victim defense training phase, the AV is trained in critical scenarios in which the pretrained attacker is positioned around the victim to generate attack behaviors. Experimental results revealed that the training methodology provided by VCAT significantly improved the robust control capabilities of learning-based AVs, outperforming both conventional training modalities and alternative reinforcement learning counterparts, with a marked reduction in crash rates. The code is available at https://github.com/caixxuan/VCAT.