Accuracy potential of visual localization exploiting high-end street-level imagery

📄 arXiv: 2607.24409v1 📥 PDF

作者: Jonas Meyer, Stephan Nebiker, Pascal Theiler, Norbert Haala

分类: cs.CV, cs.RO

发布日期: 2026-07-27

备注: 26 pages, 6 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出高精度视觉定位方法以解决GNSS局限性问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉定位 高分辨率图像 运动重建 PnP位姿估计 数据集 自动驾驶 增强现实

📋 核心要点

  1. 现有的GNSS定位方法在某些环境下准确性和适用性受到限制，亟需探索新的定位方式。
  2. 本文提出了一种基于高分辨率街景图像的视觉定位管道，结合了运动重建和PnP位姿估计技术。
  3. 实验结果表明，视觉定位在翻译和旋转方面的中位精度分别为1-5厘米和0.05-0.1°，在理想条件下可达到更高精度。

📝 摘要（中文）

随着自主导航、测绘、机器人以及增强现实等应用对准确可靠的位姿信息的需求日益增加，视觉定位作为GNSS的补充定位方式，其准确性潜力尚未系统性研究。本文提出了一种可扩展的视觉定位管道，利用高分辨率街景图像作为场景表示，并结合先验引导的参考候选选择、实时的运动重建和PnP位姿估计。我们还介绍了FHNW Muttenz数据集，该数据集涵盖了一个连续的10公里街道网络，提供了高分辨率参考图像和查询序列，所有图像均精确配准，提供了亚厘米级的真实位姿。实验结果显示，在有利条件下，位姿精度可达1厘米和0.03°，表明视觉定位可以有效补充测量级GNSS定位。

🔬 方法详解

问题定义：本文旨在解决视觉定位在亚厘米级精度需求下的有效性问题，现有方法缺乏大规模的户外数据集以进行系统性评估。

核心思路：提出一种可扩展的视觉定位管道，利用高分辨率街景图像作为场景表示，结合运动重建和PnP位姿估计，以提高定位精度。

技术框架：整体架构包括高分辨率图像的获取、参考候选选择、实时运动重建和PnP位姿估计四个主要模块，形成闭环的定位流程。

关键创新：引入了FHNW Muttenz数据集，提供了精确配准的高分辨率图像和真实位姿，填补了现有数据集的空白，推动了视觉定位的研究。

关键设计：在参数设置上，采用了高分辨率图像和多相机系统，损失函数设计上注重位姿的精确估计，确保了定位的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，视觉定位在翻译精度上达到了1-5厘米，旋转精度为0.05-0.1°，在理想条件下可分别达到1厘米和0.03°。这些结果表明，视觉定位能够有效补充传统的GNSS定位，具有显著的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人机导航、机器人定位以及增强现实等。通过提高视觉定位的准确性，可以实现更为精确的三维地理空间数据采集，推动相关技术的进步与应用。未来，基于该方法的全自动地理参考技术将有望在多个行业中得到广泛应用。

📄 摘要（原文）

Accurate and reliable pose information with respect to a reference frame is increasingly demanded across applications such as autonomous navigation, surveying, robotics, and augmented and mixed reality. Visual localization can serve as a complementary positioning modality to GNSS, whose applicability and accuracy are often limited. Yet, the accuracy potential of visual localization has not been systematically investigated against survey-grade demands. This is mainly due to the lack of publicly available, large-scale outdoor datasets with ground-truth poses in the sub-centimeter range. In this work, we address both gaps. We introduce a scalable visual localization pipeline that employs precisely georeferenced, high-resolution street-level imagery directly as the scene representation. It combines prior-guided reference candidate selection with on-the-fly local Structure-from-Motion reconstruction and PnP-based pose estimation. We further present the FHNW Muttenz dataset, a real-world dataset covering a contiguous 10 km street network mapped in two mobile mapping campaigns approximately 1.5 years apart. It consists of high-resolution reference imagery and query sequences acquired by four different cameras across five representative scenes. All images are precisely co-registered, yielding 6-DoF ground-truth poses in the sub-centimeter range. Using this dataset, we evaluate the accuracy potential of visual localization. Our experiments demonstrate median pose accuracies in the range of 1-5 cm for translation and 0.05-0.1° for rotation, reaching as low as 1 cm and 0.03° under favorable conditions. These results show that visual localization can complement survey-grade GNSS positioning, paving the way for 3D geospatial data acquisition using consumer devices and fully automated georeferencing approaches. The dataset is publicly available at: https://fhnw-muttenz-vl-dataset.github.io/.