Hier-SLAM: Scaling-up Semantics in SLAM with a Hierarchically Categorical Gaussian Splatting

📄 arXiv: 2409.12518v4 📥 PDF

作者: Boying Li, Zhixi Cai, Yuan-Fang Li, Ian Reid, Hamid Rezatofighi

分类: cs.RO, cs.AI

发布日期: 2024-09-19 (更新: 2025-03-10)

备注: Accepted for publication at ICRA 2025. Code is available at https://github.com/LeeBY68/Hier-SLAM

🔗 代码/项目: GITHUB

💡 一句话要点

Hier-SLAM：利用分层类别高斯溅射实现可扩展的语义SLAM

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义SLAM 高斯溅射 分层表示 大型语言模型 三维重建

📋 核心要点

  1. 现有语义SLAM方法在复杂环境中参数量激增，导致场景理解的成本高昂且具有挑战性。
  2. Hier-SLAM利用分层类别表示，结合大型语言模型，将语义信息紧凑地编码到3D高斯溅射中。
  3. 实验表明，Hier-SLAM在精度和速度上优于现有方法，并能处理具有大量语义类别的复杂场景。

📝 摘要（中文）

本文提出Hier-SLAM，一种语义3D高斯溅射SLAM方法，它采用了一种新颖的分层类别表示，从而实现了精确的全局3D语义地图构建、可扩展性以及3D世界中显式的语义标签预测。随着环境复杂性的增加，语义SLAM系统中的参数使用量显著增加，这使得场景理解特别具有挑战性和成本高昂。为了解决这个问题，我们引入了一种新颖的分层表示，该表示利用大型语言模型（LLM）的能力，以紧凑的形式将语义信息编码到3D高斯溅射中。我们进一步引入了一种新颖的语义损失，旨在通过层间和跨层优化来优化分层语义信息。此外，我们增强了整个SLAM系统，从而提高了跟踪和地图构建性能。我们的方法在地图构建和跟踪精度方面均优于现有的密集SLAM方法，同时实现了2倍的运算速度提升。此外，与现有方法相比，它在实现相当的语义渲染性能的同时，显著降低了存储和训练时间要求。在包含语义信息的情况下，渲染FPS令人印象深刻地达到了2,000，在不包含语义信息的情况下达到了3,000。最值得注意的是，它展示了处理具有500多个语义类别的复杂真实世界场景的能力，突出了其宝贵的可扩展性。

🔬 方法详解

问题定义：现有的语义SLAM方法在处理大规模、复杂场景时，面临着参数量爆炸的问题。随着场景中语义类别的增加，模型需要学习和存储大量的语义信息，导致计算成本和存储需求显著增加，限制了其在实际应用中的可扩展性。此外，如何有效地利用语义信息来提升SLAM系统的跟踪和建图精度也是一个挑战。

核心思路：Hier-SLAM的核心思路是利用分层类别表示来压缩语义信息，并结合3D高斯溅射实现高效的场景表示和渲染。通过引入层次化的语义结构，可以将相似的语义类别进行聚合，从而减少需要学习和存储的参数量。同时，利用大型语言模型（LLM）的知识，可以更好地理解和表示语义信息。

技术框架：Hier-SLAM的整体框架包括以下几个主要模块：1) 3D高斯溅射表示：使用3D高斯溅射来表示场景的几何结构和外观信息。2) 分层类别表示：构建一个层次化的语义类别树，将语义信息组织成多层结构。3) 语义编码：利用LLM将语义类别映射到高维语义向量空间。4) 语义损失：设计一种新的语义损失函数，用于优化分层语义信息，包括层间和跨层优化。5) SLAM系统集成：将上述模块集成到SLAM系统中，实现实时的跟踪、建图和语义分割。

关键创新：Hier-SLAM的关键创新在于其分层类别表示和语义损失函数。分层类别表示能够有效地压缩语义信息，降低计算和存储成本。语义损失函数能够优化分层语义信息，提高语义分割的准确性。此外，该方法还能够处理具有大量语义类别的复杂场景，展示了其良好的可扩展性。

关键设计：在分层类别表示中，每一层都包含一组语义类别，并且每一层都与上一层和下一层之间存在关联关系。语义损失函数包括两部分：层间损失和跨层损失。层间损失用于约束同一层内的语义类别之间的关系，跨层损失用于约束不同层之间的语义类别之间的关系。具体参数设置和网络结构细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Hier-SLAM在地图构建和跟踪精度方面优于现有的密集SLAM方法，同时实现了2倍的运算速度提升。与现有方法相比，它在实现相当的语义渲染性能的同时，显著降低了存储和训练时间要求。在包含语义信息的情况下，渲染FPS达到了2,000，在不包含语义信息的情况下达到了3,000。该方法能够处理具有500多个语义类别的复杂真实世界场景，展示了其良好的可扩展性。

🎯 应用场景

Hier-SLAM具有广泛的应用前景，例如机器人导航、增强现实、虚拟现实、自动驾驶等领域。它可以帮助机器人在复杂环境中进行自主导航和场景理解，为用户提供更加沉浸式的增强现实和虚拟现实体验。此外，该方法还可以应用于自动驾驶领域，提高车辆对周围环境的感知能力，从而提高驾驶安全性。

📄 摘要（原文）

We propose Hier-SLAM, a semantic 3D Gaussian Splatting SLAM method featuring a novel hierarchical categorical representation, which enables accurate global 3D semantic mapping, scaling-up capability, and explicit semantic label prediction in the 3D world. The parameter usage in semantic SLAM systems increases significantly with the growing complexity of the environment, making it particularly challenging and costly for scene understanding. To address this problem, we introduce a novel hierarchical representation that encodes semantic information in a compact form into 3D Gaussian Splatting, leveraging the capabilities of large language models (LLMs). We further introduce a novel semantic loss designed to optimize hierarchical semantic information through both inter-level and cross-level optimization. Furthermore, we enhance the whole SLAM system, resulting in improved tracking and mapping performance. Our \MethodName{} outperforms existing dense SLAM methods in both mapping and tracking accuracy, while achieving a 2x operation speed-up. Additionally, it achieves on-par semantic rendering performance compared to existing methods while significantly reducing storage and training time requirements. Rendering FPS impressively reaches 2,000 with semantic information and 3,000 without it. Most notably, it showcases the capability of handling the complex real-world scene with more than 500 semantic classes, highlighting its valuable scaling-up capability. The open-source code is available at https://github.com/LeeBY68/Hier-SLAM