SemanticSpray++: A Multimodal Dataset for Autonomous Driving in Wet Surface Conditions
作者: Aldi Piroli, Vinzenz Dallabetta, Johannes Kopp, Marc Walessa, Daniel Meissner, Klaus Dietmayer
分类: cs.CV
发布日期: 2024-06-14
备注: Accepted at IEEE Intelligent Vehicles Symposium (IV 2024)
💡 一句话要点
SemanticSpray++：提出用于湿滑路面自动驾驶的多模态数据集
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 多模态数据集 湿滑路面 雷达感知 激光雷达 摄像头 语义标注
📋 核心要点
- 现有自动驾驶感知系统在恶劣天气下表现不佳，缺乏公开的多模态标注数据集是主要瓶颈。
- SemanticSpray++数据集提供摄像头、激光雷达和雷达的多模态标注，专注于湿滑路面等复杂场景。
- 论文提供全面的标签统计，并评估了多种基线方法，为后续研究提供参考和性能对比。
📝 摘要（中文）
自动驾驶车辆依赖摄像头、激光雷达和雷达传感器来感知环境。雨雪雾等恶劣天气条件对摄像头和激光雷达的感知系统构成挑战。目前，由于缺乏包含多模态标注数据的公开数据集，评估这些方法的性能十分困难。为了解决这一局限性，我们提出了SemanticSpray++数据集，该数据集提供了高速公路场景下湿滑路面条件下的摄像头、激光雷达和雷达数据的标注。具体来说，我们为摄像头图像提供2D bounding box，为激光雷达点云提供3D bounding box，并为雷达目标提供语义标签。通过标注所有三种传感器模态，SemanticSpray++数据集为分析车辆在湿滑路面行驶时不同感知方法的性能提供了一个全面的测试平台。除了全面的标签统计数据外，我们还评估了不同任务的多个基线方法，并分析了它们的性能。该数据集将在https://semantic-spray-dataset.github.io 上公开。
🔬 方法详解
问题定义：论文旨在解决自动驾驶在湿滑路面等恶劣天气条件下的感知问题。现有的公开数据集通常缺乏多模态标注，特别是雷达数据的语义标注，使得研究人员难以充分评估和改进算法在复杂环境下的性能。此外，湿滑路面会显著影响传感器性能，加剧感知难度。
核心思路：论文的核心思路是构建一个高质量的多模态数据集，包含摄像头图像、激光雷达点云和雷达数据，并对这些数据进行精确的标注。通过提供全面的标注信息，研究人员可以利用该数据集来训练、验证和评估各种感知算法，从而提高自动驾驶系统在湿滑路面等复杂环境下的鲁棒性和可靠性。
技术框架：SemanticSpray++数据集的构建流程主要包括数据采集、数据同步、数据标注和数据发布四个阶段。首先，使用配备摄像头、激光雷达和雷达传感器的车辆在高速公路等场景下采集数据。然后，对采集到的多模态数据进行时间同步和空间校准，确保数据的一致性。接着，对同步后的数据进行人工标注，包括摄像头图像的2D bounding box、激光雷达点云的3D bounding box和雷达目标的语义标签。最后，将标注好的数据集进行整理和发布，供研究人员使用。
关键创新：SemanticSpray++数据集的关键创新在于其多模态性和专注于湿滑路面场景。与现有数据集相比，SemanticSpray++同时提供了摄像头、激光雷达和雷达数据的标注，这使得研究人员可以探索多模态融合感知算法。此外，该数据集专门针对湿滑路面等复杂环境进行采集和标注，更贴近实际应用场景。
关键设计：数据集包含多种类型的标注，包括2D和3D bounding box，以及雷达目标的语义标签。标注过程采用严格的质量控制措施，确保标注的准确性和一致性。此外，数据集还提供了详细的标签统计信息，方便研究人员了解数据的分布情况。具体参数设置和网络结构的选择取决于使用该数据集进行研究的具体任务。
🖼️ 关键图片
📊 实验亮点
论文提供了详细的标签统计信息，并评估了多个基线方法在不同任务上的性能。例如，论文分析了基于图像、激光雷达和雷达的物体检测算法在湿滑路面上的表现，并指出了各种方法的优缺点。这些实验结果为后续研究提供了重要的参考。
🎯 应用场景
SemanticSpray++数据集可广泛应用于自动驾驶感知算法的开发和评估，特别是在恶劣天气条件下的场景。该数据集有助于提高自动驾驶系统在湿滑路面等复杂环境下的安全性和可靠性，推动自动驾驶技术的实际应用。未来，可以基于该数据集进一步研究多模态融合感知、域适应和鲁棒性学习等问题。
📄 摘要（原文）
Autonomous vehicles rely on camera, LiDAR, and radar sensors to navigate the environment. Adverse weather conditions like snow, rain, and fog are known to be problematic for both camera and LiDAR-based perception systems. Currently, it is difficult to evaluate the performance of these methods due to the lack of publicly available datasets containing multimodal labeled data. To address this limitation, we propose the SemanticSpray++ dataset, which provides labels for camera, LiDAR, and radar data of highway-like scenarios in wet surface conditions. In particular, we provide 2D bounding boxes for the camera image, 3D bounding boxes for the LiDAR point cloud, and semantic labels for the radar targets. By labeling all three sensor modalities, the SemanticSpray++ dataset offers a comprehensive test bed for analyzing the performance of different perception methods when vehicles travel on wet surface conditions. Together with comprehensive label statistics, we also evaluate multiple baseline methods across different tasks and analyze their performances. The dataset will be available at https://semantic-spray-dataset.github.io .