SynSHRP2: A Synthetic Multimodal Benchmark for Driving Safety-critical Events Derived from Real-world Driving Data

📄 arXiv: 2505.06276v1 📥 PDF

作者: Liang Shi, Boyu Jiang, Zhenyuan Yuan, Miguel A. Perez, Feng Guo

分类: cs.RO

发布日期: 2025-05-06

备注: Accepted as a poster in CVPR 2025

💡 一句话要点

SynSHRP2：基于真实驾驶数据合成多模态数据集，用于驾驶安全事件研究。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据 驾驶安全 自动驾驶 多模态数据 事件检测

📋 核心要点

  1. 驾驶安全事件数据稀缺且包含隐私信息，限制了自动驾驶安全评估研究。
  2. SynSHRP2利用Stable Diffusion和ControlNet生成合成数据，解决数据稀缺和隐私问题。
  3. 该数据集包含丰富的标注信息，并提供事件属性分类和场景理解的基准测试。

📝 摘要（中文）

本文提出了SynSHRP2，一个公开可用的合成多模态驾驶数据集，包含超过1874个碰撞和6924个近碰撞事件，这些事件来源于SHRP 2 NDS。该数据集利用Stable Diffusion和ControlNet生成去身份化的关键帧，在保护隐私的同时保留了关键的安全相关信息。SynSHRP2还包括关于事件类型、环境和交通状况的详细标注，以及事件前后5秒的时间序列运动学数据。同步的关键帧和叙述性描述进一步增强了其可用性。本文还提出了事件属性分类和场景理解的两个基准测试，展示了SynSHRP2在推进安全研究和自动驾驶系统开发方面的潜力。

🔬 方法详解

问题定义：现有驾驶安全事件（SCEs）数据集存在两个主要问题：一是SCEs事件本身发生频率低，导致数据稀缺；二是真实驾驶数据包含敏感的个人隐私信息，数据使用受到严格限制，难以公开获取，阻碍了自动驾驶安全研究的进展。

核心思路：本文的核心思路是利用生成模型，从真实的驾驶数据中学习SCEs事件的特征，然后生成合成的、去身份化的数据。这样既可以解决数据稀缺的问题，又可以避免隐私泄露的风险，从而为自动驾驶安全研究提供一个公开可用的数据集。

技术框架：SynSHRP2的生成流程主要包括以下几个步骤：1) 从SHRP 2 NDS中提取SCEs事件的数据；2) 使用Stable Diffusion和ControlNet等生成模型，基于提取的数据生成关键帧图像，并进行去身份化处理；3) 对生成的图像进行标注，包括事件类型、环境和交通状况等；4) 提供事件前后5秒的时间序列运动学数据，以及同步的关键帧和叙述性描述。

关键创新：SynSHRP2的关键创新在于利用生成模型合成驾驶场景数据，并保证数据的真实性和安全性。通过Stable Diffusion和ControlNet，能够生成高质量的、与真实数据分布相似的合成图像，同时去除个人身份信息，解决了数据可用性和隐私保护之间的矛盾。

关键设计：在生成模型的使用上，作者选择了Stable Diffusion和ControlNet，这两种模型在图像生成方面表现出色，能够生成逼真的驾驶场景图像。同时，作者还设计了特定的prompt和control map，以控制生成图像的内容和风格，确保生成的图像能够反映真实的SCEs事件。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SynSHRP2数据集包含超过1874个碰撞和6924个近碰撞事件，数据规模远大于其他公开的驾驶数据集。论文提供了事件属性分类和场景理解的基准测试，为研究人员提供了一个评估算法性能的平台。实验结果表明，SynSHRP2数据集具有良好的可用性和有效性。

🎯 应用场景

SynSHRP2可用于自动驾驶系统的安全评估、驾驶行为分析、事故预测和风险评估等领域。该数据集的公开可用性将促进自动驾驶安全研究的进展，并加速自动驾驶技术的开发和应用。此外，该数据集还可以用于训练和评估驾驶员辅助系统，提高驾驶安全性。

📄 摘要（原文）

Driving-related safety-critical events (SCEs), including crashes and near-crashes, provide essential insights for the development and safety evaluation of automated driving systems. However, two major challenges limit their accessibility: the rarity of SCEs and the presence of sensitive privacy information in the data. The Second Strategic Highway Research Program (SHRP 2) Naturalistic Driving Study (NDS), the largest NDS to date, collected millions of hours of multimodal, high-resolution, high-frequency driving data from thousands of participants, capturing thousands of SCEs. While this dataset is invaluable for safety research, privacy concerns and data use restrictions significantly limit public access to the raw data. To address these challenges, we introduce SynSHRP2, a publicly available, synthetic, multimodal driving dataset containing over 1874 crashes and 6924 near-crashes derived from the SHRP 2 NDS. The dataset features de-identified keyframes generated using Stable Diffusion and ControlNet, ensuring the preservation of critical safety-related information while eliminating personally identifiable data. Additionally, SynSHRP2 includes detailed annotations on SCE type, environmental and traffic conditions, and time-series kinematic data spanning 5 seconds before and during each event. Synchronized keyframes and narrative descriptions further enhance its usability. This paper presents two benchmarks for event attribute classification and scene understanding, demonstrating the potential applications of SynSHRP2 in advancing safety research and automated driving system development.