SplatLoc: 3D Gaussian Splatting-based Visual Localization for Augmented Reality

📄 arXiv: 2409.14067v1 📥 PDF

作者: Hongjia Zhai, Xiyu Zhang, Boming Zhao, Hai Li, Yijia He, Zhaopeng Cui, Hujun Bao, Guofeng Zhang

分类: cs.CV

发布日期: 2024-09-21

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

SplatLoc：基于3D高斯溅射的增强现实视觉定位方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉定位 增强现实 3D高斯溅射 场景表示 特征描述符

📋 核心要点

  1. 现有视觉定位方法无法进行新视角渲染，且地图存储需求大，限制了AR应用。
  2. SplatLoc利用3D高斯基元进行场景表示，并设计场景特定描述符解码器和显著地标选择算法。
  3. 实验表明，SplatLoc在渲染和定位性能上优于或可媲美最先进的隐式方法。

📝 摘要（中文）

视觉定位在增强现实（AR）应用中至关重要，它使AR设备能够在预先构建的地图中获得其6自由度姿态，从而在真实场景中渲染虚拟内容。然而，现有方法大多无法进行新视角渲染，并且需要大量的地图存储容量。为了克服这些限制，我们提出了一种高效的视觉定位方法，该方法能够以更少的参数实现高质量的渲染。具体来说，我们的方法利用3D高斯基元作为场景表示。为了确保姿态估计的精确2D-3D对应关系，我们开发了一种无偏的3D场景特定描述符解码器，用于高斯基元，该解码器从构建的特征体中提取。此外，我们还引入了一种显著的3D地标选择算法，该算法基于显著性得分选择合适的基元子集进行定位。我们进一步正则化关键高斯基元以防止各向异性效应，这也提高了定位性能。在两个广泛使用的数据集上的大量实验表明，我们的方法实现了优于或可与最先进的基于隐式方法的视觉定位方法相媲美的渲染和定位性能。

🔬 方法详解

问题定义：现有视觉定位方法在增强现实应用中面临两个主要痛点：一是无法进行高质量的新视角渲染，导致AR体验受限；二是地图存储容量需求大，限制了其在资源受限设备上的部署。因此，需要一种既能实现高质量渲染，又能减少存储需求的视觉定位方法。

核心思路：SplatLoc的核心思路是利用3D高斯溅射（3D Gaussian Splatting）作为场景表示。3D高斯基元具有可微性，能够实现高质量的渲染，同时其参数化表示方式相比于传统的点云或体素化方法，可以显著减少存储空间。此外，通过设计专门的描述符和地标选择算法，可以提高定位的精度和效率。

技术框架：SplatLoc的整体框架包含以下几个主要模块：1) 3D高斯场景表示：使用3D高斯基元表示场景，每个高斯基元包含位置、协方差、颜色和不透明度等参数。2) 特征体构建：构建场景的特征体，用于提取高斯基元的描述符。3) 场景特定描述符解码器：设计一个无偏的解码器，从特征体中提取每个高斯基元的场景特定描述符。4) 显著地标选择：基于显著性得分选择用于定位的关键高斯基元子集。5) 位姿估计：利用2D-3D对应关系，通过RANSAC等方法估计相机位姿。

关键创新：SplatLoc的关键创新在于：1) 将3D高斯溅射引入视觉定位领域，实现了高质量渲染和低存储需求的平衡。2) 提出了场景特定的描述符解码器，能够为每个高斯基元生成具有区分性的描述符，提高了定位精度。3) 设计了显著地标选择算法，减少了参与位姿估计的基元数量，提高了定位效率。与现有方法相比，SplatLoc无需训练额外的神经网络进行场景表示，而是直接利用3D高斯基元进行定位。

关键设计：在描述符解码器方面，采用了无偏的设计，避免了特征提取过程中的偏差。在显著地标选择方面，使用了基于信息熵的显著性得分，选择信息量最大的高斯基元。此外，还对关键高斯基元进行了正则化，防止各向异性效应，进一步提高了定位性能。损失函数主要包括渲染损失和定位损失，通过联合优化这些损失函数，可以提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SplatLoc在两个广泛使用的数据集上进行了实验，结果表明，SplatLoc在渲染质量和定位精度方面均优于或可与最先进的基于隐式方法的视觉定位方法相媲美。具体而言，SplatLoc在定位精度上取得了显著提升，同时显著减少了地图存储容量。实验结果验证了SplatLoc的有效性和优越性。

🎯 应用场景

SplatLoc具有广泛的应用前景，尤其是在增强现实领域。它可以应用于移动AR设备，实现精确的室内定位和场景渲染，为用户提供沉浸式的AR体验。此外，SplatLoc还可以应用于机器人导航、三维重建等领域，为这些应用提供高效、准确的定位服务。未来，SplatLoc有望成为AR/VR等领域的重要基础设施。

📄 摘要（原文）

Visual localization plays an important role in the applications of Augmented Reality (AR), which enable AR devices to obtain their 6-DoF pose in the pre-build map in order to render virtual content in real scenes. However, most existing approaches can not perform novel view rendering and require large storage capacities for maps. To overcome these limitations, we propose an efficient visual localization method capable of high-quality rendering with fewer parameters. Specifically, our approach leverages 3D Gaussian primitives as the scene representation. To ensure precise 2D-3D correspondences for pose estimation, we develop an unbiased 3D scene-specific descriptor decoder for Gaussian primitives, distilled from a constructed feature volume. Additionally, we introduce a salient 3D landmark selection algorithm that selects a suitable primitive subset based on the saliency score for localization. We further regularize key Gaussian primitives to prevent anisotropic effects, which also improves localization performance. Extensive experiments on two widely used datasets demonstrate that our method achieves superior or comparable rendering and localization performance to state-of-the-art implicit-based visual localization approaches. Project page: \href{https://zju3dv.github.io/splatloc}{https://zju3dv.github.io/splatloc}.