CAT: Closed-loop Adversarial Training for Safe End-to-End Driving
作者: Linrui Zhang, Zhenghao Peng, Quanyi Li, Bolei Zhou
分类: cs.LG
发布日期: 2023-10-19
备注: 7th Conference on Robot Learning (CoRL 2023)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出闭环对抗训练框架以提升自动驾驶安全性
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 闭环对抗训练 自动驾驶 安全关键场景 环境增强 动态生成
📋 核心要点
- 现有方法在处理事故多发场景时，往往依赖静态的场景设计，缺乏动态适应性。
- 本文提出的闭环对抗训练框架通过动态生成安全关键场景，持续提升驾驶代理的安全性。
- 实验结果显示，CAT在真实世界数据集的数百个驾驶场景中，显著提高了代理在安全关键场景下的驾驶安全性。
📝 摘要（中文）
驾驶安全是自动驾驶车辆的首要任务。与以往通过算法设计在策略层面处理事故多发交通事件的研究不同，本文提出了一种闭环对抗训练（CAT）框架，通过环境增强的视角来实现安全的端到端驾驶。CAT旨在通过动态生成的安全关键场景，持续提升驾驶代理的安全性。本文开发了一种新颖的重采样技术，通过概率因子分解将真实世界驾驶场景转化为安全关键场景，从而使对抗性交通生成能够更高效地进行。实验结果表明，CAT能够有效生成针对正在训练的代理的对抗场景，并在保留的测试集上实现更优的驾驶安全性。
🔬 方法详解
问题定义：本文旨在解决自动驾驶代理在复杂交通环境中安全性不足的问题。现有方法通常依赖静态场景，无法适应动态变化的交通情况，导致训练效果有限。
核心思路：论文的核心思路是通过闭环对抗训练框架，动态生成安全关键场景，从而持续提升代理的安全性。这种方法使得代理能够在不断变化的环境中进行有效学习。
技术框架：整体架构包括环境增强模块和对抗场景生成模块。环境增强模块负责动态生成安全关键场景，而对抗场景生成模块则通过重采样技术将真实场景转化为对抗场景。
关键创新：最重要的技术创新在于提出了一种新颖的重采样技术，通过概率因子分解将真实世界的驾驶场景转化为安全关键场景。这一方法相比现有的场景生成方法，能够更高效地进行物理攻击。
关键设计：在技术细节上，论文设计了特定的损失函数以优化代理在对抗场景中的表现，同时采用了标准运动预测子问题的乘法模型来实现对抗交通生成。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CAT在数百个驾驶场景中有效生成对抗场景，训练后的代理在保留的测试集上在安全关键交通场景中表现出显著的安全性提升，具体性能数据未详述，但提升幅度明显。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶系统的安全性提升、智能交通管理以及模拟器开发等。通过提高自动驾驶代理在复杂交通环境中的安全性，能够有效减少交通事故的发生，提升公众对自动驾驶技术的信任与接受度。
📄 摘要（原文）
Driving safety is a top priority for autonomous vehicles. Orthogonal to prior work handling accident-prone traffic events by algorithm designs at the policy level, we investigate a Closed-loop Adversarial Training (CAT) framework for safe end-to-end driving in this paper through the lens of environment augmentation. CAT aims to continuously improve the safety of driving agents by training the agent on safety-critical scenarios that are dynamically generated over time. A novel resampling technique is developed to turn log-replay real-world driving scenarios into safety-critical ones via probabilistic factorization, where the adversarial traffic generation is modeled as the multiplication of standard motion prediction sub-problems. Consequently, CAT can launch more efficient physical attacks compared to existing safety-critical scenario generation methods and yields a significantly less computational cost in the iterative learning pipeline. We incorporate CAT into the MetaDrive simulator and validate our approach on hundreds of driving scenarios imported from real-world driving datasets. Experimental results demonstrate that CAT can effectively generate adversarial scenarios countering the agent being trained. After training, the agent can achieve superior driving safety in both log-replay and safety-critical traffic scenarios on the held-out test set. Code and data are available at https://metadriverse.github.io/cat.