Analyzing the impact of semantic LoD3 building models on image-based vehicle localization

📄 arXiv: 2407.21432v1 📥 PDF

作者: Antonia Bieringer, Olaf Wysocki, Sebastian Tuttas, Ludwig Hoegner, Christoph Holst

分类: cs.CV, cs.RO

发布日期: 2024-07-31

备注: Accepted to the 3D GeoInfo 2024

DOI: 10.5194/isprs-annals-X-4-W5-2024-55-2024

💡 一句话要点

利用语义LoD3建筑模型增强图像车辆定位精度，解决城市峡谷GNSS信号弱问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 车辆定位 三维重建 语义建模 城市环境 GNSS拒止

📋 核心要点

  1. 城市环境中GNSS信号弱，导致车辆定位精度下降，尤其对自动驾驶构成挑战。
  2. 提出利用图像特征与高精度语义3D建筑模型匹配的方法，将几何和语义知识融入定位计算。
  3. 实验表明，LoD3模型比LoD2模型能检测到多达69%的特征，有效提升定位精度。

📝 摘要（中文）

本研究提出了一种新的车辆定位方法，该方法利用图像特征与高精度语义3D建筑模型进行匹配，以提高定位精度。尤其是在全球导航卫星系统（GNSS）在城市区域精度受限的情况下，该方法通过将几何和语义先验知识融入计算中，增强了定位的准确性。论文评估了使用细节层次2（LoD2）和细节层次3（LoD3）模型的效果，分析了富含立面信息的模型是否能产生更高的精度。通过包括传统特征匹配和深度学习在内的多种方法进行了全面的分析和讨论。实验结果表明，与使用LoD2模型相比，LoD3模型能够检测到多达69%的特征。这项研究有助于提高在GNSS受限的城市峡谷中的定位精度，并展示了未被充分探索的LoD3建筑模型在基于地图的车辆定位中的实际应用。

🔬 方法详解

问题定义：论文旨在解决城市峡谷等GNSS信号受限区域车辆定位精度低的问题。现有方法依赖GNSS，但在城市环境中易受遮挡和多径效应影响，导致定位误差增大。因此，需要一种不依赖或弱依赖GNSS的定位方法，以提高城市环境下的车辆定位精度。

核心思路：论文的核心思路是利用城市环境中丰富的建筑立面信息，将车辆摄像头拍摄的图像与高精度的3D建筑模型进行匹配，从而实现车辆的精确定位。通过提取图像中的特征点，并将其与3D模型中的对应特征进行匹配，可以计算出车辆的位置和姿态。更详细的建筑模型（LoD3）包含更多可用于匹配的特征，因此可以提高定位精度。

技术框架：该方法主要包含以下几个阶段：1) 数据采集：使用车载摄像头采集车辆周围环境的图像数据，并获取GNSS数据作为参考。2) 3D建筑模型准备：准备城市区域的LoD2和LoD3建筑模型，这些模型包含建筑物的几何信息和语义信息。3) 特征提取与匹配：从图像和3D模型中提取特征点（例如SIFT、SURF等），并使用特征匹配算法（例如RANSAC）将图像特征与3D模型特征进行匹配。4) 位姿估计：根据匹配的特征点，使用位姿估计算法（例如PnP）计算车辆的位置和姿态。5) 精度评估：将估计的车辆位置与GNSS数据进行比较，评估定位精度。

关键创新：该论文的关键创新在于探索了LoD3建筑模型在车辆定位中的应用。与传统的LoD2模型相比，LoD3模型包含更详细的建筑立面信息，例如窗户、阳台、装饰等，这些信息可以提供更多的可用于匹配的特征点，从而提高定位精度。此外，论文还比较了不同的特征提取和匹配算法，以及不同的位姿估计算法，为实际应用提供了参考。

关键设计：论文的关键设计包括：1) 使用SIFT和SURF等传统特征提取算法，以及基于深度学习的特征提取算法，以提取图像和3D模型中的特征点。2) 使用RANSAC算法进行特征匹配，以消除错误匹配的影响。3) 使用PnP算法进行位姿估计，以计算车辆的位置和姿态。4) 实验中对比了LoD2和LoD3模型，以及不同的特征提取和匹配算法的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LoD3建筑模型能够检测到比LoD2模型多达69%的特征点，显著提高了特征匹配的数量和质量。这直接转化为定位精度的提升，尤其是在GNSS信号受限的区域。论文还对比了不同的特征提取和匹配算法，为实际应用提供了选择依据。这些实验结果验证了LoD3模型在车辆定位中的有效性，并为未来的研究方向提供了指导。

🎯 应用场景

该研究成果可应用于自动驾驶、高精度地图、城市导航等领域。在GNSS信号弱或缺失的区域，该方法可以提供可靠的定位信息，提高自动驾驶车辆的安全性和可靠性。此外，该方法还可以用于构建高精度地图，为城市规划和管理提供支持。未来，可以将该方法与激光雷达、毫米波雷达等其他传感器融合，进一步提高定位精度和鲁棒性。

📄 摘要（原文）

Numerous navigation applications rely on data from global navigation satellite systems (GNSS), even though their accuracy is compromised in urban areas, posing a significant challenge, particularly for precise autonomous car localization. Extensive research has focused on enhancing localization accuracy by integrating various sensor types to address this issue. This paper introduces a novel approach for car localization, leveraging image features that correspond with highly detailed semantic 3D building models. The core concept involves augmenting positioning accuracy by incorporating prior geometric and semantic knowledge into calculations. The work assesses outcomes using Level of Detail 2 (LoD2) and Level of Detail 3 (LoD3) models, analyzing whether facade-enriched models yield superior accuracy. This comprehensive analysis encompasses diverse methods, including off-the-shelf feature matching and deep learning, facilitating thorough discussion. Our experiments corroborate that LoD3 enables detecting up to 69\% more features than using LoD2 models. We believe that this study will contribute to the research of enhancing positioning accuracy in GNSS-denied urban canyons. It also shows a practical application of under-explored LoD3 building models on map-based car positioning.