MG-SLAM: Structure Gaussian Splatting SLAM with Manhattan World Hypothesis

📄 arXiv: 2405.20031v4 📥 PDF

作者: Shuhong Liu, Tianchen Deng, Heng Zhou, Liuzhuozheng Li, Hongyu Wang, Danwei Wang, Mingrui Li

分类: cs.RO, cs.CV

发布日期: 2024-05-30 (更新: 2026-01-11)

备注: IEEE Transactions on Automation Science and Engineering

期刊: IEEE Transactions on Automation Science and Engineering 22 (2025) 17034-17049

DOI: 10.1109/TASE.2025.3575772

💡 一句话要点

提出MG-SLAM，利用曼哈顿世界假设增强高斯溅射SLAM在室内环境中的重建完整性。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 SLAM 曼哈顿世界假设 三维重建 RGB-D 室内场景 几何补全

📋 核心要点

  1. 现有高斯溅射SLAM在复杂室内场景中重建时，由于遮挡和视角限制，容易出现几何信息缺失和重建不完整的问题。
  2. MG-SLAM利用曼哈顿世界假设，融合场景中的线段信息，在缺失几何信息的区域策略性地插入新的高斯分布，以补全场景。
  3. 实验表明，MG-SLAM在合成和真实场景中均取得了state-of-the-art的性能，显著提升了高斯SLAM系统的重建能力。

📝 摘要（中文）

高斯溅射SLAM在提高实时重建的效率和保真度方面取得了显著进展。然而，这些系统在复杂的室内环境中经常遇到不完整的重建，由于障碍物或有限的视角导致未观察到的几何体而产生大量孔洞。为了解决这个挑战，我们提出了曼哈顿高斯SLAM，这是一个RGB-D系统，它利用曼哈顿世界假设来提高几何精度和完整性。通过无缝集成从结构化场景中提取的融合线段，我们的方法确保了在无纹理室内区域的鲁棒跟踪。此外，提取的线条和平面表面假设允许在新高斯区域进行战略性插值，从而实现高效的场景补全。在合成和真实场景中进行的大量实验表明，这些进步使我们的方法能够实现最先进的性能，标志着高斯SLAM系统能力的显著提高。

🔬 方法详解

问题定义：现有高斯溅射SLAM在复杂室内环境中，由于遮挡、视角限制以及缺乏纹理等问题，容易导致重建结果出现大量孔洞，几何信息不完整。这限制了SLAM系统在实际场景中的应用。

核心思路：利用室内环境通常满足的曼哈顿世界假设，即场景中的主要结构（如墙壁、天花板、地面）都与三个相互垂直的轴对齐。通过提取和融合场景中的线段信息，可以推断出缺失的几何结构，从而补全重建结果。

技术框架：MG-SLAM是一个RGB-D SLAM系统，其整体框架包括以下几个主要模块：1) RGB-D图像输入；2) 特征提取与跟踪；3) 基于曼哈顿世界假设的线段提取与融合；4) 高斯溅射场景表示与优化；5) 基于线段信息的几何补全。系统首先利用RGB-D图像进行特征提取和跟踪，然后提取场景中的线段，并利用曼哈顿世界假设对线段进行融合和对齐。最后，系统使用高斯溅射表示场景，并根据融合的线段信息在缺失几何信息的区域插入新的高斯分布，从而补全场景。

关键创新：MG-SLAM的关键创新在于将曼哈顿世界假设与高斯溅射SLAM相结合，利用场景中的线段信息来指导几何补全。这种方法能够有效地解决现有高斯溅射SLAM在复杂室内环境中重建不完整的问题。

关键设计：MG-SLAM的关键设计包括：1) 线段提取算法的选择与优化，以保证线段提取的准确性和鲁棒性；2) 基于曼哈顿世界假设的线段融合策略，以保证线段的对齐和一致性；3) 高斯分布的插入策略，以保证几何补全的效率和质量。具体的参数设置和损失函数等技术细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MG-SLAM在合成和真实场景中均取得了state-of-the-art的性能。与现有高斯溅射SLAM系统相比，MG-SLAM能够显著减少重建结果中的孔洞，提高几何精度和完整性。具体的性能数据和对比基线在论文中进行了详细展示。

🎯 应用场景

MG-SLAM在室内机器人导航、三维重建、虚拟现实/增强现实等领域具有广泛的应用前景。它可以用于构建高精度、完整的室内环境地图，为机器人提供可靠的定位和导航信息。此外，MG-SLAM还可以用于创建逼真的虚拟室内环境，为用户提供沉浸式的体验。未来，MG-SLAM可以进一步扩展到更大的场景和更复杂的环境，为更多应用提供支持。

📄 摘要（原文）

Gaussian Splatting SLAMs have made significant advancements in improving the efficiency and fidelity of real-time reconstructions. However, these systems often encounter incomplete reconstructions in complex indoor environments, characterized by substantial holes due to unobserved geometry caused by obstacles or limited view angles. To address this challenge, we present Manhattan Gaussian SLAM, an RGB-D system that leverages the Manhattan World hypothesis to enhance geometric accuracy and completeness. By seamlessly integrating fused line segments derived from structured scenes, our method ensures robust tracking in textureless indoor areas. Moreover, The extracted lines and planar surface assumption allow strategic interpolation of new Gaussians in regions of missing geometry, enabling efficient scene completion. Extensive experiments conducted on both synthetic and real-world scenes demonstrate that these advancements enable our method to achieve state-of-the-art performance, marking a substantial improvement in the capabilities of Gaussian SLAM systems.