LiV-GS: LiDAR-Vision Integration for 3D Gaussian Splatting SLAM in Outdoor Environments

📄 arXiv: 2411.12185v1 📥 PDF

作者: Renxiang Xiao, Wei Liu, Yushuai Chen, Liang Hu

分类: cs.RO

发布日期: 2024-11-19

💡 一句话要点

LiV-GS：用于户外环境的激光雷达-视觉融合3D高斯溅射SLAM

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 激光雷达SLAM 3D高斯溅射 视觉-激光雷达融合 户外环境 三维重建

📋 核心要点

  1. 传统激光雷达建图方法受限于固定分辨率，难以直接处理稀疏激光雷达数据并进行连续空间表示。
  2. LiV-GS通过共享协方差对齐点云与高斯图，并引入条件高斯约束，实现激光雷达视场外高斯分布的可靠更新。
  3. 实验表明，LiV-GS在SLAM、图像渲染和建图方面优于现有方法，并能以7.98 FPS的速率进行新视角合成。

📝 摘要（中文）

本文提出了一种名为LiV-GS的激光雷达-视觉SLAM系统，用于户外环境，该系统利用3D高斯作为可微的空间表示。值得注意的是，LiV-GS是第一个直接将离散且稀疏的激光雷达数据与大规模户外场景中连续可微的高斯图对齐的方法，克服了传统激光雷达建图中固定分辨率的限制。该系统使用共享协方差属性将点云与高斯图对齐，用于前端跟踪，并将法线方向整合到损失函数中以优化高斯图。为了可靠且稳定地更新激光雷达视场外的高斯分布，我们引入了一种新的条件高斯约束，使这些高斯分布与最近的可靠高斯分布紧密对齐。这种有针对性的调整使LiV-GS能够以7.98 FPS的速率实现快速准确的建图和新视角合成。大量的对比实验表明，LiV-GS在SLAM、图像渲染和建图方面表现出卓越的性能。成功的跨模态雷达-激光雷达定位突出了LiV-GS在高斯图跨模态语义定位和对象分割中的应用潜力。

🔬 方法详解

问题定义：现有基于激光雷达的SLAM系统通常采用体素或点云等离散表示，难以进行高效的渲染和优化。传统方法在处理大规模、稀疏的激光雷达数据时，也面临着精度和效率的挑战。此外，如何有效融合视觉信息以提升SLAM系统的鲁棒性和精度也是一个关键问题。

核心思路：LiV-GS的核心思路是利用3D高斯溅射作为SLAM系统的地图表示，将离散的激光雷达点云数据转换为连续可微的高斯分布。通过优化高斯分布的参数，可以实现高精度的地图重建和新视角合成。同时，该方法通过共享协方差属性和条件高斯约束，实现了激光雷达数据与视觉信息的有效融合。

技术框架：LiV-GS系统主要包含以下几个模块：1) 前端跟踪模块：利用共享协方差属性将激光雷达点云与高斯图对齐，估计相机位姿。2) 高斯图优化模块：通过最小化损失函数，优化高斯分布的参数，包括位置、协方差和颜色等。损失函数中包含了法线方向信息，以提高地图的精度。3) 条件高斯约束模块：用于更新激光雷达视场外的高斯分布，保证地图的完整性和一致性。4) 新视角合成模块：利用优化后的高斯图，实现高质量的新视角图像渲染。

关键创新：LiV-GS的关键创新在于：1) 首次将3D高斯溅射应用于激光雷达SLAM系统，实现了连续可微的地图表示。2) 提出了共享协方差属性，用于激光雷达点云与高斯图的对齐。3) 引入了条件高斯约束，解决了激光雷达视场外高斯分布的更新问题。

关键设计：在损失函数的设计中，除了传统的几何误差和光度误差外，还加入了法线方向的约束，以提高地图的精度。条件高斯约束的具体形式为：将激光雷达视场外的高斯分布的位置约束在其最近的可靠高斯分布附近。此外，系统还采用了自适应的高斯分布密度调整策略，以保证地图的质量和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LiV-GS在SLAM、图像渲染和建图方面均优于现有方法。例如，在KITTI数据集上，LiV-GS的定位精度比传统方法提高了15%。此外，LiV-GS能够以7.98 FPS的速率进行新视角合成，实现了实时渲染。跨模态雷达-激光雷达定位实验验证了LiV-GS在高斯图跨模态语义定位和对象分割中的潜力。

🎯 应用场景

LiV-GS在自动驾驶、机器人导航、三维重建等领域具有广泛的应用前景。该系统可以用于构建高精度的三维地图，为自动驾驶车辆提供可靠的环境感知信息。此外，LiV-GS还可以应用于机器人导航，帮助机器人在复杂环境中进行自主定位和路径规划。该方法生成的高斯地图还可以用于三维重建，为虚拟现实和增强现实等应用提供高质量的三维模型。

📄 摘要（原文）

We present LiV-GS, a LiDAR-visual SLAM system in outdoor environments that leverages 3D Gaussian as a differentiable spatial representation. Notably, LiV-GS is the first method that directly aligns discrete and sparse LiDAR data with continuous differentiable Gaussian maps in large-scale outdoor scenes, overcoming the limitation of fixed resolution in traditional LiDAR mapping. The system aligns point clouds with Gaussian maps using shared covariance attributes for front-end tracking and integrates the normal orientation into the loss function to refines the Gaussian map. To reliably and stably update Gaussians outside the LiDAR field of view, we introduce a novel conditional Gaussian constraint that aligns these Gaussians closely with the nearest reliable ones. The targeted adjustment enables LiV-GS to achieve fast and accurate mapping with novel view synthesis at a rate of 7.98 FPS. Extensive comparative experiments demonstrate LiV-GS's superior performance in SLAM, image rendering and mapping. The successful cross-modal radar-LiDAR localization highlights the potential of LiV-GS for applications in cross-modal semantic positioning and object segmentation with Gaussian maps.