GS-LIVM: Real-Time Photo-Realistic LiDAR-Inertial-Visual Mapping with Gaussian Splatting

📄 arXiv: 2410.17084v1 📥 PDF

作者: Yusen Xie, Zhenmin Huang, Jin Wu, Jun Ma

分类: cs.RO, eess.IV

发布日期: 2024-10-18

备注: 15 pages, 13 figures

💡 一句话要点

GS-LIVM：基于高斯溅射的实时照片级真实感激光雷达-惯性-视觉建图

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 激光雷达 惯性导航 视觉建图 实时渲染 三维重建 户外场景

📋 核心要点

  1. 现有NeRF和3DGS方法难以在大型户外场景中实现实时且高质量的图像渲染。
  2. GS-LIVM利用高斯过程回归缓解激光雷达数据稀疏问题，并采用体素化3D高斯表示加速渲染。
  3. 实验结果表明，GS-LIVM在户外数据集上实现了最先进的建图效率和渲染质量。

📝 摘要（中文）

本文提出了一种名为GS-LIVM的实时照片级真实感激光雷达-惯性-视觉建图框架，专为户外场景设计。与现有的基于神经辐射场（NeRF）和3D高斯溅射（3DGS）的方法相比，我们的方法能够在大型无界户外环境中实现实时照片级真实感建图，同时保证高质量的图像渲染。本文采用高斯过程回归（GPR）来缓解由稀疏和不均匀分布的激光雷达观测引起的问题。基于体素的3D高斯图表示通过自定义CUDA内核加速，促进了大型户外环境中的实时密集建图。此外，整个框架以协方差为中心设计，其中估计的协方差用于初始化3D高斯的尺度和旋转，以及更新GPR的参数。我们在多个户外数据集上评估了我们的算法，结果表明我们的方法在建图效率和渲染质量方面都达到了最先进的性能。源代码已在GitHub上提供。

🔬 方法详解

问题定义：现有基于NeRF和3DGS的方法在大型户外场景中进行实时、高质量的建图时面临挑战。激光雷达数据通常是稀疏且不均匀分布的，这会导致建图质量下降和渲染伪影。此外，大规模场景的计算复杂度使得实时渲染变得困难。

核心思路：GS-LIVM的核心思路是利用3D高斯溅射进行场景表示，并结合激光雷达、惯性和视觉信息进行优化。通过高斯过程回归（GPR）来插补稀疏的激光雷达数据，并利用体素化结构加速渲染过程。以协方差为中心的设计，将协方差信息用于初始化和更新高斯参数，提升了建图的鲁棒性和精度。

技术框架：GS-LIVM框架主要包含以下几个阶段：1) 数据预处理：对激光雷达、惯性和视觉数据进行同步和校准。2) 初始高斯生成：利用激光雷达点云初始化3D高斯分布。3) 高斯过程回归：使用GPR插补稀疏激光雷达数据，优化高斯分布的位置和形状。4) 体素化加速：将3D高斯分布存储在体素结构中，加速渲染过程。5) 渲染和优化：使用渲染图像和激光雷达数据优化高斯参数。

关键创新：GS-LIVM的关键创新在于：1) 结合激光雷达、惯性和视觉信息，实现更鲁棒和精确的建图。2) 利用高斯过程回归缓解激光雷达数据稀疏问题。3) 采用体素化结构加速渲染过程，实现实时性能。4) 以协方差为中心的设计，提升了建图的鲁棒性和精度。

关键设计：GPR的核函数选择、体素的大小、渲染时的采样策略、以及损失函数的权重等都是关键的设计细节。例如，损失函数通常包含渲染损失（例如，光度损失）和几何损失（例如，点云距离损失）。GPR的参数也需要仔细调整，以平衡插补的准确性和计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GS-LIVM在多个户外数据集上进行了评估，实验结果表明，该方法在建图效率和渲染质量方面都达到了最先进的水平。具体而言，GS-LIVM能够以实时帧率生成照片级真实感的3D地图，并且在渲染质量方面优于现有的NeRF和3DGS方法。源代码已在GitHub上开源。

🎯 应用场景

GS-LIVM具有广泛的应用前景，包括自动驾驶、机器人导航、城市建模、虚拟现实和增强现实等领域。该方法能够实时生成高质量的3D地图，为这些应用提供可靠的环境感知能力。未来，可以进一步研究如何将GS-LIVM应用于动态场景，并提高其在恶劣天气条件下的鲁棒性。

📄 摘要（原文）

In this paper, we introduce GS-LIVM, a real-time photo-realistic LiDAR-Inertial-Visual mapping framework with Gaussian Splatting tailored for outdoor scenes. Compared to existing methods based on Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), our approach enables real-time photo-realistic mapping while ensuring high-quality image rendering in large-scale unbounded outdoor environments. In this work, Gaussian Process Regression (GPR) is employed to mitigate the issues resulting from sparse and unevenly distributed LiDAR observations. The voxel-based 3D Gaussians map representation facilitates real-time dense mapping in large outdoor environments with acceleration governed by custom CUDA kernels. Moreover, the overall framework is designed in a covariance-centered manner, where the estimated covariance is used to initialize the scale and rotation of 3D Gaussians, as well as update the parameters of the GPR. We evaluate our algorithm on several outdoor datasets, and the results demonstrate that our method achieves state-of-the-art performance in terms of mapping efficiency and rendering quality. The source code is available on GitHub.