Gaussian-LIC2: LiDAR-Inertial-Camera Gaussian Splatting SLAM

📄 arXiv: 2507.04004v2 📥 PDF

作者: Xiaolei Lang, Jiajun Lv, Kai Tang, Laijian Li, Jianxin Huang, Lina Liu, Yong Liu, Xingxing Zuo

分类: cs.RO

发布日期: 2025-07-05 (更新: 2025-07-09)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Gaussian-LIC2，首个实现高质量、高精度、实时的激光-惯性-相机高斯溅射SLAM系统。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SLAM 高斯溅射 激光雷达 惯性导航 相机 深度补全 实时渲染

📋 核心要点

  1. 现有SLAM方法难以同时兼顾视觉质量、几何精度和实时性，尤其是在激光雷达数据稀疏或退化的情况下。
  2. Gaussian-LIC2系统结合激光雷达、惯性测量单元和相机数据，利用高斯溅射进行地图重建和渲染，实现高质量的实时SLAM。
  3. 通过零样本深度补全和光度约束，显著提升了在激光雷达盲区和退化场景下的鲁棒性和精度，并开源数据集和代码。

📝 摘要（中文）

本文提出首个照片级真实感的激光-惯性-相机高斯溅射SLAM系统，该系统同时兼顾了视觉质量、几何精度和实时性能。该方法在连续时间轨迹优化框架内执行鲁棒且精确的位姿估计，同时使用相机和激光雷达数据增量式地重建3D高斯地图，所有这些都实时进行。生成的高斯地图能够高质量地实时渲染RGB图像和深度图的新视角。为了有效解决激光雷达未覆盖区域的欠重建问题，我们采用了一种轻量级的零样本深度模型，该模型协同结合RGB外观线索与稀疏激光雷达测量结果，以生成稠密的深度图。深度补全使得能够在激光雷达盲区进行可靠的高斯初始化，显著提高了系统对稀疏激光雷达传感器的适用性。为了提高几何精度，我们使用稀疏但精确的激光雷达深度来监督高斯地图优化，并通过精心设计的CUDA加速策略来加速优化过程。此外，我们还探索了增量重建的高斯地图如何提高里程计的鲁棒性。通过将来自高斯地图的光度约束紧密结合到连续时间因子图优化中，我们展示了在激光雷达退化场景下改进的位姿估计。我们还通过扩展我们精心设计的系统展示了下游应用，包括视频帧插值和快速3D网格提取。为了支持严格的评估，我们构建了一个专用的激光-惯性-相机数据集，该数据集具有地面实况位姿、深度图和外推轨迹，用于评估乱序新视角合成。数据集和代码将在项目页面https://xingxingzuo.github.io/gaussian_lic2上公开。

🔬 方法详解

问题定义：论文旨在解决现有SLAM系统在视觉质量、几何精度和实时性上的不足，尤其是在激光雷达数据稀疏或退化的情况下。现有方法通常难以在保证实时性的前提下，重建出高质量、高精度的三维地图，并且在激光雷达盲区或数据质量下降时，性能会显著降低。

核心思路：论文的核心思路是利用高斯溅射（Gaussian Splatting）技术，结合激光雷达、惯性测量单元（IMU）和相机数据，构建一个能够实时重建和渲染高质量三维场景的SLAM系统。通过零样本深度补全来解决激光雷达盲区的问题，并利用高斯地图的光度约束来提高位姿估计的鲁棒性。

技术框架：Gaussian-LIC2系统的整体框架包含以下几个主要模块：1) 连续时间轨迹优化：使用因子图优化框架，融合IMU预积分、激光雷达和相机数据，进行鲁棒的位姿估计。2) 3D高斯地图增量式重建：利用相机和激光雷达数据，增量式地构建和更新3D高斯地图。3) 零样本深度补全：在激光雷达盲区，利用RGB图像和稀疏激光雷达数据，生成稠密的深度图，用于高斯初始化。4) 高斯地图优化：利用激光雷达深度信息监督高斯地图的优化，提高几何精度。5) 光度约束融合：将高斯地图的光度信息融入到因子图优化中，提高位姿估计的鲁棒性。

关键创新：该论文的关键创新点在于：1) 首次将高斯溅射技术应用于激光-惯性-相机SLAM系统，实现了高质量的实时渲染。2) 提出了基于零样本深度补全的高斯初始化方法，有效解决了激光雷达盲区的问题。3) 将高斯地图的光度约束融入到位姿估计中，提高了在激光雷达退化场景下的鲁棒性。

关键设计：1) 零样本深度补全模型的设计：采用轻量级的网络结构，结合RGB图像和稀疏激光雷达数据，预测稠密的深度图。2) 高斯地图优化的损失函数设计：结合激光雷达深度信息和光度误差，优化高斯参数，提高几何精度和渲染质量。3) CUDA加速策略：针对高斯地图的重建和渲染过程，设计了高效的CUDA加速策略，保证了系统的实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了专用的激光-惯性-相机数据集，并进行了详细的实验评估。实验结果表明，Gaussian-LIC2系统在视觉质量、几何精度和实时性方面均优于现有方法。特别是在激光雷达退化场景下，通过融合高斯地图的光度约束，位姿估计的精度得到了显著提升。此外，该系统还展示了在视频帧插值和快速3D网格提取等下游应用中的潜力。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、虚拟现实/增强现实等领域。高质量的三维地图重建和实时渲染能力，能够为自动驾驶车辆提供更精确的环境感知，为机器人导航提供更可靠的定位和地图信息，为VR/AR应用提供更逼真的场景体验。此外，该系统在激光雷达退化场景下的鲁棒性，使其在恶劣天气或光照条件下也能保持良好的性能。

📄 摘要（原文）

This paper presents the first photo-realistic LiDAR-Inertial-Camera Gaussian Splatting SLAM system that simultaneously addresses visual quality, geometric accuracy, and real-time performance. The proposed method performs robust and accurate pose estimation within a continuous-time trajectory optimization framework, while incrementally reconstructing a 3D Gaussian map using camera and LiDAR data, all in real time. The resulting map enables high-quality, real-time novel view rendering of both RGB images and depth maps. To effectively address under-reconstruction in regions not covered by the LiDAR, we employ a lightweight zero-shot depth model that synergistically combines RGB appearance cues with sparse LiDAR measurements to generate dense depth maps. The depth completion enables reliable Gaussian initialization in LiDAR-blind areas, significantly improving system applicability for sparse LiDAR sensors. To enhance geometric accuracy, we use sparse but precise LiDAR depths to supervise Gaussian map optimization and accelerate it with carefully designed CUDA-accelerated strategies. Furthermore, we explore how the incrementally reconstructed Gaussian map can improve the robustness of odometry. By tightly incorporating photometric constraints from the Gaussian map into the continuous-time factor graph optimization, we demonstrate improved pose estimation under LiDAR degradation scenarios. We also showcase downstream applications via extending our elaborate system, including video frame interpolation and fast 3D mesh extraction. To support rigorous evaluation, we construct a dedicated LiDAR-Inertial-Camera dataset featuring ground-truth poses, depth maps, and extrapolated trajectories for assessing out-of-sequence novel view synthesis. Both the dataset and code will be made publicly available on project page https://xingxingzuo.github.io/gaussian_lic2.