On-chip Hyperspectral Image Segmentation with Fully Convolutional Networks for Scene Understanding in Autonomous Driving

📄 arXiv: 2411.19274v1 📥 PDF

作者: Jon Gutiérrez-Zaballa, Koldo Basterretxea, Javier Echanobe, M. Victoria Martínez, Unai Martínez-Corral, Óscar Mata Carballeira, Inés del Campo

分类: cs.CV, cs.AI, cs.LG, eess.IV

发布日期: 2024-11-28

期刊: 2023 Journal of Systems Architecture (JSA)

DOI: 10.1016/j.sysarc.2023.102878

💡 一句话要点

利用片上全卷积网络的高光谱图像分割实现自动驾驶场景理解

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像分割 全卷积网络 自动驾驶 场景理解 ADAS

📋 核心要点

  1. 现有ADAS在复杂环境和恶劣天气下可靠性不足，难以准确分割场景中的物体。
  2. 利用高光谱成像技术，提取物体在近红外光谱的反射率信息，辅助场景分割。
  3. 研究表明，小型全卷积网络模型提取的空间特征能有效提升高光谱图像分割性能。

📝 摘要（中文）

当前基于计算机视觉的先进驾驶辅助系统(ADAS)在常规条件下能够成功地进行物体检测和跟踪。然而，在恶劣天气、光照条件变化以及存在大量重叠物体的复杂情况下，这些系统的可靠性并不完全令人满意。驾驶场景中不同物体在可见光谱之外的反射光谱可以提供额外的信息，从而提高这些系统的可靠性，尤其是在具有挑战性的驾驶条件下。此外，这些信息可能非常重要，足以开发出能够更好地理解和解释整个驾驶场景的视觉系统。本文探讨了在ADAS中使用快照式、视频速率的高光谱成像(HSI)相机，假设不同材料的近红外(NIR)光谱反射率可以帮助更好地分割真实驾驶场景中的物体。为此，我们使用了HSI-Drive 1.1数据集对光谱分类算法进行了各种实验。然而，在自然户外场景中检索高光谱记录具有挑战性，主要是因为当前快照HSI技术存在颜色恒常性缺陷和其他固有的缺点，这给纯光谱分类器的开发带来了一些限制。因此，本文分析了标准的小型全卷积网络(FCN)模型编码的空间特征在多大程度上可以提高ADAS应用的高光谱图像分割系统的性能。

🔬 方法详解

问题定义：论文旨在解决在复杂驾驶场景下，传统ADAS系统由于恶劣天气、光照变化和物体遮挡等因素导致的物体分割精度不足的问题。现有方法主要依赖可见光图像，在这些挑战性条件下表现不佳，缺乏鲁棒性。

核心思路：论文的核心思路是利用高光谱成像技术获取场景中物体的近红外光谱反射率信息，并结合全卷积网络(FCN)提取的空间特征，从而提高物体分割的准确性和鲁棒性。高光谱信息能够提供额外的判别特征，弥补可见光信息的不足。

技术框架：论文采用端到端的全卷积网络结构进行高光谱图像分割。整体流程包括：1) 使用高光谱相机获取驾驶场景的图像数据；2) 将高光谱图像输入到小型FCN模型中；3) FCN模型提取图像的空间特征和光谱特征，并进行像素级别的分类；4) 输出分割结果，即每个像素所属的类别。

关键创新：论文的关键创新在于将小型FCN模型应用于高光谱图像分割，并探索了空间特征和光谱特征的融合方式。与传统的纯光谱分类方法相比，该方法能够更好地利用图像的空间上下文信息，提高分割精度。此外，使用小型FCN模型有助于降低计算复杂度，使其更适合于车载嵌入式系统。

关键设计：论文使用了标准的全卷积网络结构，并针对高光谱图像的特点进行了调整。具体的网络结构细节（如卷积层数、滤波器大小等）未知，但强调了模型的小型化设计。损失函数和优化算法的选择也未在摘要中提及，但推测可能使用了交叉熵损失函数和Adam优化器等常用方法。数据集使用了HSI-Drive 1.1。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

摘要中没有提供具体的实验数据和性能指标。但论文强调，通过结合小型全卷积网络提取的空间特征，可以有效提高高光谱图像分割系统的性能。与纯光谱分类器相比，该方法在具有挑战性的驾驶条件下具有更好的鲁棒性。具体的性能提升幅度未知。

🎯 应用场景

该研究成果可应用于自动驾驶和高级驾驶辅助系统(ADAS)中，提高车辆在复杂环境下的感知能力。通过更准确地分割道路、车辆、行人等目标，可以提升自动驾驶系统的安全性和可靠性。此外，该技术还可应用于其他领域，如遥感图像分析、农业监测和环境监测等。

📄 摘要（原文）

Most of current computer vision-based advanced driver assistance systems (ADAS) perform detection and tracking of objects quite successfully under regular conditions. However, under adverse weather and changing lighting conditions, and in complex situations with many overlapping objects, these systems are not completely reliable. The spectral reflectance of the different objects in a driving scene beyond the visible spectrum can offer additional information to increase the reliability of these systems, especially under challenging driving conditions. Furthermore, this information may be significant enough to develop vision systems that allow for a better understanding and interpretation of the whole driving scene. In this work we explore the use of snapshot, video-rate hyperspectral imaging (HSI) cameras in ADAS on the assumption that the near infrared (NIR) spectral reflectance of different materials can help to better segment the objects in real driving scenarios. To do this, we have used the HSI-Drive 1.1 dataset to perform various experiments on spectral classification algorithms. However, the information retrieval of hyperspectral recordings in natural outdoor scenarios is challenging, mainly because of deficient colour constancy and other inherent shortcomings of current snapshot HSI technology, which poses some limitations to the development of pure spectral classifiers. In consequence, in this work we analyze to what extent the spatial features codified by standard, tiny fully convolutional network (FCN) models can improve the performance of HSI segmentation systems for ADAS applications. The abstract above is truncated due to submission limits. For the full abstract, please refer to the published article.