SafeAug: Safety-Critical Driving Data Augmentation from Naturalistic Datasets

📄 arXiv: 2501.02143v1 📥 PDF

作者: Zhaobin Mo, Yunlong Li, Xuan Di

分类: cs.CV, cs.LG

发布日期: 2025-01-03

💡 一句话要点

SafeAug：从自然数据集增强安全关键的自动驾驶数据

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自动驾驶 数据增强 安全关键 自然数据集 深度估计 3D变换 YOLOv5

📋 核心要点

  1. 现有自动驾驶算法训练依赖的安全关键数据在自然数据集中非常稀缺，而模拟数据与真实数据存在差距。
  2. SafeAug框架利用YOLOv5进行车辆检测，结合深度估计和3D变换，模拟危险驾驶场景，增强真实数据的安全关键性。
  3. 实验表明，使用SafeAug增强的数据训练的自动驾驶算法，在KITTI数据集上优于SMOGN和重要性采样等基线方法。

📝 摘要（中文）

安全关键的驾驶数据对于开发安全可靠的自动驾驶算法至关重要。由于自然数据集中安全关键数据的稀缺性，目前的方法主要利用模拟或人工生成的图像。然而，这些生成图像与自然图像之间仍然存在真实性差距。为了解决这个问题，我们提出了一种新的框架，从自然数据集中增强安全关键的驾驶数据。在这个框架中，我们首先使用YOLOv5检测车辆，然后进行深度估计和3D变换，以更好地模拟车辆接近和关键驾驶场景。这允许对车辆动力学数据进行有针对性的修改，以反映潜在的危险情况。与模拟或人工生成的数据相比，我们的增强方法可以生成图像真实性损失最小的安全关键驾驶数据。使用KITTI数据集的实验表明，与包括SMOGN和重要性采样在内的基线相比，在此增强数据集上训练的下游自动驾驶算法表现更优异。

🔬 方法详解

问题定义：论文旨在解决自动驾驶算法训练中安全关键数据不足的问题。现有方法依赖模拟或人工生成数据，但这些数据与真实场景存在差距，影响算法的泛化能力和安全性。因此，如何在自然数据集中生成足够多的、高质量的安全关键数据成为一个挑战。

核心思路：论文的核心思路是从自然驾驶数据集中，通过模拟车辆接近等危险场景，生成安全关键数据。通过对车辆进行检测、深度估计和3D变换，可以逼真地模拟潜在的危险驾驶情况，从而增强数据集的安全关键性，同时保持图像的真实性。

技术框架：SafeAug框架主要包含以下几个阶段：1) 车辆检测：使用YOLOv5检测图像中的车辆。2) 深度估计：估计场景中车辆的深度信息。3) 3D变换：利用深度信息和相机参数，将车辆进行3D变换，模拟车辆靠近等危险场景。4) 数据增强：将变换后的车辆图像与原始图像进行融合，生成新的安全关键数据。

关键创新：该方法的主要创新在于利用自然数据集，通过3D变换模拟危险场景，生成安全关键数据，从而在保证数据真实性的前提下，有效增强了数据集的安全关键性。与完全依赖模拟数据的方法相比，该方法生成的数据更接近真实场景，有助于提高自动驾驶算法的泛化能力。

关键设计：YOLOv5用于车辆检测，选择合适的深度估计方法（具体方法未知）至关重要。3D变换的具体实现方式，例如如何控制车辆的接近速度和角度，以及如何将变换后的车辆图像与原始图像进行无缝融合，都是关键的设计细节。此外，如何选择合适的增强比例，避免过度增强导致数据失真，也是需要考虑的问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用SafeAug增强的数据训练的自动驾驶算法，在KITTI数据集上表现优于基线方法，包括SMOGN和重要性采样。这表明SafeAug能够有效增强数据集的安全关键性，提高自动驾驶算法的性能。具体的性能提升数据未知，但结论表明该方法具有实际应用价值。

🎯 应用场景

该研究成果可应用于自动驾驶算法的训练和验证，提高自动驾驶系统的安全性和可靠性。通过增强安全关键数据，可以提升自动驾驶系统在危险场景下的感知、决策和控制能力。此外，该方法还可以用于自动驾驶仿真平台的开发，生成更逼真的危险场景，用于算法的测试和评估。

📄 摘要（原文）

Safety-critical driving data is crucial for developing safe and trustworthy self-driving algorithms. Due to the scarcity of safety-critical data in naturalistic datasets, current approaches primarily utilize simulated or artificially generated images. However, there remains a gap in authenticity between these generated images and naturalistic ones. We propose a novel framework to augment the safety-critical driving data from the naturalistic dataset to address this issue. In this framework, we first detect vehicles using YOLOv5, followed by depth estimation and 3D transformation to simulate vehicle proximity and critical driving scenarios better. This allows for targeted modification of vehicle dynamics data to reflect potentially hazardous situations. Compared to the simulated or artificially generated data, our augmentation methods can generate safety-critical driving data with minimal compromise on image authenticity. Experiments using KITTI datasets demonstrate that a downstream self-driving algorithm trained on this augmented dataset performs superiorly compared to the baselines, which include SMOGN and importance sampling.