HSI-Drive v2.0: More Data for New Challenges in Scene Understanding for Autonomous Driving
作者: Jon Gutiérrez-Zaballa, Koldo Basterretxea, Javier Echanobe, M. Victoria Martínez, Unai Martínez-Corral
分类: cs.CV, cs.AI, cs.LG, eess.IV
发布日期: 2024-11-26
期刊: 2023 IEEE Symposium Series on Computational Intelligence (SSCI)
DOI: 10.1109/SSCI52147.2023.10371793
💡 一句话要点
HSI-Drive v2.0：扩展高光谱图像数据集，提升自动驾驶场景理解能力
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 高光谱图像 自动驾驶 场景理解 语义分割 数据集 道路安全 目标检测
📋 核心要点
- 现有自动驾驶场景理解方法在高光谱图像数据量和季节覆盖度上存在不足，限制了模型的泛化能力。
- 通过扩展HSI-Drive数据集，覆盖四季场景，并增加道路安全相关物体的标注类别，提升模型对复杂环境的适应性。
- 实验表明，基于新数据集训练的图像分割模型在场景理解方面取得了显著进展，尤其是在识别道路安全对象方面。
📝 摘要（中文）
本文介绍了HSI-Drive数据集的更新版本v2.0，旨在利用高光谱成像（HSI）技术开发自动驾驶系统（ADS）。v2.0版本新增了冬季和秋季真实驾驶场景中记录的带标注图像。与之前v1.1版本中包含的春季和夏季图像相结合，新数据集包含752张覆盖四季的图像。本文展示了基于新v2.0数据集训练的模型相比之前在v1.1数据集上获得的结果的改进。通过试验更强大的图像分割模型，展示了在全面场景理解方面取得的进展。这些模型包括新的分割类别，旨在识别重要的道路安全对象，例如车辆和道路标志的存在，以及行人和骑自行车者等高度脆弱的群体。此外，我们还提供了模型在分割各种环境和条件下捕获的HSI视频序列时的性能和鲁棒性的证据。最后，为了正确评估这项工作中描述的结果，必须考虑到可以在车辆中合理部署的ADS处理平台所施加的约束。因此，尽管实现细节不在本文的范围内，但我们的研究重点是开发计算效率高、轻量级的ML模型，这些模型最终可以以高吞吐率运行。
🔬 方法详解
问题定义：论文旨在解决自动驾驶系统中，利用高光谱图像进行场景理解时，由于数据集规模和多样性不足导致的模型泛化能力差的问题。现有方法在高光谱图像数据量、季节覆盖度以及道路安全相关物体标注类别上存在局限性，难以满足实际应用需求。
核心思路：论文的核心思路是构建一个更大、更全面的高光谱图像数据集，即HSI-Drive v2.0，以提升模型的训练效果和泛化能力。通过增加冬季和秋季的图像数据，覆盖四季场景，并增加车辆、道路标志、行人、骑自行车者等道路安全相关物体的标注，使模型能够更好地理解和识别复杂的驾驶环境。
技术框架：论文主要关注数据集的构建和模型的训练评估，没有明确的技术框架。其流程可以概括为：1) 数据采集：在不同季节和环境下采集高光谱图像数据；2) 数据标注：对图像数据进行像素级别的语义分割标注，增加道路安全相关物体的标注类别；3) 模型训练：使用新数据集训练图像分割模型；4) 性能评估：在测试集上评估模型的性能，并与之前版本的数据集进行对比。
关键创新：论文的关键创新在于构建了更大、更全面的高光谱图像数据集HSI-Drive v2.0。该数据集不仅增加了图像数量，还覆盖了四季场景，并增加了道路安全相关物体的标注类别，从而提升了模型的训练效果和泛化能力。
关键设计：论文没有详细描述具体的模型结构和训练细节，但强调了模型需要具有计算效率高、轻量级的特点，以便能够在车辆中部署并以高吞吐率运行。数据集的标注采用了像素级别的语义分割，并针对道路安全相关的物体进行了精细标注。
🖼️ 关键图片
📊 实验亮点
论文展示了基于HSI-Drive v2.0数据集训练的模型相比之前在v1.1数据集上获得的结果的改进，表明新数据集能够有效提升模型的性能。通过增加道路安全相关物体的标注，模型在识别车辆、道路标志、行人、骑自行车者等方面的能力得到了显著提升。此外，论文还验证了模型在分割各种环境和条件下捕获的HSI视频序列时的性能和鲁棒性。
🎯 应用场景
该研究成果可应用于自动驾驶系统、高级驾驶辅助系统（ADAS）等领域，提升车辆对复杂驾驶环境的感知能力，提高道路安全性。通过高光谱图像分析，可以更准确地识别道路上的各种物体和潜在危险，为自动驾驶决策提供更可靠的依据。未来，该技术有望在智能交通、智慧城市等领域发挥重要作用。
📄 摘要（原文）
We present the updated version of the HSI-Drive dataset aimed at developing automated driving systems (ADS) using hyperspectral imaging (HSI). The v2.0 version includes new annotated images from videos recorded during winter and fall in real driving scenarios. Added to the spring and summer images included in the previous v1.1 version, the new dataset contains 752 images covering the four seasons. In this paper, we show the improvements achieved over previously published results obtained on the v1.1 dataset, showcasing the enhanced performance of models trained on the new v2.0 dataset. We also show the progress made in comprehensive scene understanding by experimenting with more capable image segmentation models. These models include new segmentation categories aimed at the identification of essential road safety objects such as the presence of vehicles and road signs, as well as highly vulnerable groups like pedestrians and cyclists. In addition, we provide evidence of the performance and robustness of the models when applied to segmenting HSI video sequences captured in various environments and conditions. Finally, for a correct assessment of the results described in this work, the constraints imposed by the processing platforms that can sensibly be deployed in vehicles for ADS must be taken into account. Thus, and although implementation details are out of the scope of this paper, we focus our research on the development of computationally efficient, lightweight ML models that can eventually operate at high throughput rates. The dataset and some examples of segmented videos are available in https://ipaccess.ehu.eus/HSI-Drive/.