Dual Covariance Gaussian Splatting SLAM: Decoupling Rendering and Registration for Robust Real-Time Tracking

📄 arXiv: 2609.25746v1 📥 PDF

作者: Edward Beng Wai Tan, Siew-Kei Lam

分类: cs.RO, cs.CV

发布日期: 2026-09-22

💡 一句话要点

提出双协方差高斯点云SLAM以解决实时跟踪中的渲染与配准冲突问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯点云 SLAM 实时跟踪 协方差参数化 深度学习 机器人导航 增强现实

📋 核心要点

  1. 现有的3D高斯点云SLAM方法在渲染和配准中对协方差的需求存在冲突，导致跟踪性能不稳定。
  2. 提出双协方差参数化，每个高斯保持一个均值和两个协方差，分别用于渲染和跟踪，从而优化性能。
  3. 在多个数据集上进行评估，结果显示该方法在跟踪性能和里程计漂移方面均有显著提升，达到约60 FPS的实时跟踪速度。

📝 摘要（中文）

本文提出了一种基于双协方差参数化的3D高斯点云SLAM方法，旨在解决现有方法中渲染与配准对协方差的冲突需求。通过为每个高斯保持一个均值和两个协方差，分别用于渲染优化和跟踪，显著提高了实时跟踪的鲁棒性。实验结果表明，该方法在多个数据集上实现了约60 FPS的跟踪性能，并减少了里程计漂移。

🔬 方法详解

问题定义：现有的基于ICP的3D高斯点云SLAM方法在渲染和配准中对协方差的需求存在冲突。渲染优化通常会导致协方差被压扁，而鲁棒的配准则需要考虑测量的不确定性，这使得跟踪性能受到影响。

核心思路：本文提出了一种双协方差参数化的方案，每个高斯保持一个均值和两个协方差。渲染协方差由映射器优化，而跟踪协方差则基于RGB-D传感器的噪声模型。这种设计旨在解耦渲染与配准的需求，从而提高跟踪的鲁棒性。

技术框架：整体架构包括高斯点云的生成、渲染协方差的优化和跟踪协方差的计算。通过将跟踪协方差作为图像角点的高斯锚点，提供在深度几何弱的方向上的约束。

关键创新：最重要的创新在于双协方差参数化的引入，使得每个高斯能够同时满足渲染和跟踪的需求。这与现有方法的单一协方差设计形成了本质区别，显著提升了鲁棒性。

关键设计：在参数设置上，渲染协方差通过最小化光度误差进行优化，而跟踪协方差则基于传感器噪声模型进行计算。此外，采用RGB-D传感器的噪声模型来增强跟踪的准确性。实验中使用了多个数据集进行验证，确保方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在TUM RGB-D、ScanNet、Replica等多个数据集上实现了约60 FPS的跟踪性能，并显著减少了里程计漂移，相比于传统方法具有更高的鲁棒性和准确性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景。通过提高实时跟踪的鲁棒性，该方法能够在复杂环境中提供更可靠的定位与地图构建能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

ICP-based 3D Gaussian Splatting (3DGS) SLAM tracks in real time by registering incoming frames against map Gaussians, using each primitive's covariance for both rendering and registration. These two uses place conflicting demands on one covariance. The mapper shapes it to minimize photometric error, often flattening it against surfaces, while robust registration typically benefits from measurement uncertainty. We propose a dual-covariance parameterization. Each Gaussian keeps a single mean but holds two covariances: a rendering covariance optimized by the mapper, and a tracking covariance derived from an RGB-D sensor noise model. We further use the tracking covariances as Gaussian anchors for image corners, providing constraints in directions where depth geometry is weak. We evaluate on TUM RGB-D, ScanNet, Replica, and two outdoor sequences recorded with a RealSense D435i on wheeled and handheld platforms. We achieve robust tracking performance across multiple scenes and reduced odometry drift, while tracking at $\sim$ 60 FPS.