HS-SLAM: Hybrid Representation with Structural Supervision for Improved Dense SLAM

📄 arXiv: 2503.21778v1 📥 PDF

作者: Ziren Gong, Fabio Tosi, Youmin Zhang, Stefano Mattoccia, Matteo Poggi

分类: cs.CV

发布日期: 2025-03-27

备注: ICRA 2025. Project Page: https://zorangong.github.io/HS-SLAM/

💡 一句话要点

HS-SLAM：结合结构化监督的混合表示，提升稠密SLAM性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SLAM NeRF 稠密重建 混合表示 结构化监督

📋 核心要点

  1. 现有基于NeRF的SLAM方法在场景表示能力、结构信息捕获和全局一致性维护方面存在不足。
  2. HS-SLAM通过混合编码网络增强场景表示，利用结构化监督捕获场景结构，并采用主动全局BA保证全局一致性。
  3. 实验结果表明，HS-SLAM在跟踪和重建精度上优于现有方法，并保持了较高的效率。

📝 摘要（中文）

本文提出HS-SLAM，旨在解决基于NeRF的SLAM在场景表示、结构信息捕获和全局一致性维护方面面临的挑战。为了增强场景表示能力，我们设计了一种混合编码网络，结合了哈希网格、三平面和单Blob的互补优势，从而提高了重建的完整性和平滑度。此外，我们引入了结构化监督，通过采样非局部像素块而非单个光线，以更好地捕获场景结构。为了确保全局一致性，我们实施了主动全局Bundle Adjustment (BA) 来消除相机漂移并减轻累积误差。实验结果表明，HS-SLAM在跟踪和重建精度方面优于基线方法，同时保持了机器人应用所需的效率。

🔬 方法详解

问题定义：现有基于NeRF的SLAM方法在稠密场景重建中面临三个主要问题：一是场景表示能力不足，难以完整且平滑地重建复杂场景；二是难以有效捕获场景的结构信息，导致重建结果缺乏结构一致性；三是在相机运动剧烈或长时间运行时，容易出现相机漂移和累积误差，影响全局一致性。这些问题限制了NeRF-SLAM在实际机器人应用中的性能。

核心思路：HS-SLAM的核心思路是结合多种表示方法的优势，并引入结构化监督，从而提升场景表示能力和结构信息捕获能力，同时通过主动全局BA来保证全局一致性。具体来说，通过混合编码网络融合哈希网格、三平面和单Blob的优点，增强场景的表达能力；通过采样非局部像素块进行结构化监督，更好地学习场景的几何结构；通过主动选择关键帧进行全局BA，优化相机位姿和场景结构。

技术框架：HS-SLAM的整体框架包含以下几个主要模块：1) 混合编码网络：用于将场景表示为一种混合的隐式表示，融合了哈希网格、三平面和单Blob的优点。2) 渲染模块：基于混合编码网络，使用体渲染技术生成图像。3) 结构化监督模块：通过采样非局部像素块，计算结构一致性损失，从而约束场景的几何结构。4) 位姿优化模块：使用光度误差和结构一致性误差优化相机位姿。5) 全局BA模块：主动选择关键帧，进行全局Bundle Adjustment，优化相机位姿和场景结构。

关键创新：HS-SLAM的关键创新在于以下几个方面：1) 提出了混合编码网络，结合了哈希网格、三平面和单Blob的优点，增强了场景表示能力。2) 引入了结构化监督，通过采样非局部像素块，更好地捕获场景的结构信息。3) 实现了主动全局BA，能够有效地消除相机漂移和减轻累积误差。与现有方法相比，HS-SLAM在场景表示、结构信息捕获和全局一致性维护方面都有显著提升。

关键设计：混合编码网络中，哈希网格的分辨率、三平面的数量和单Blob的大小是关键参数，需要根据场景的复杂度和计算资源进行调整。结构化监督模块中，非局部像素块的大小和采样策略会影响结构一致性损失的计算效果。主动全局BA模块中，关键帧的选择策略和BA的频率需要仔细设计，以平衡计算效率和优化效果。损失函数包括光度误差、结构一致性误差和正则化项，需要合理设置权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HS-SLAM在多个数据集上都取得了优于基线方法的性能。在跟踪精度方面，HS-SLAM的RMSE降低了X%。在重建精度方面，HS-SLAM的L1误差降低了Y%。此外，HS-SLAM在保持较高效率的同时，能够有效地消除相机漂移和减轻累积误差，从而实现更鲁棒的SLAM系统。

🎯 应用场景

HS-SLAM具有广泛的应用前景，可应用于机器人导航、增强现实、虚拟现实、三维重建等领域。例如，在机器人导航中，HS-SLAM可以帮助机器人构建精确的环境地图，从而实现自主导航和避障。在增强现实和虚拟现实中，HS-SLAM可以提供更逼真的场景渲染效果，提升用户体验。此外，HS-SLAM还可以用于文物保护、城市建模等领域。

📄 摘要（原文）

NeRF-based SLAM has recently achieved promising results in tracking and reconstruction. However, existing methods face challenges in providing sufficient scene representation, capturing structural information, and maintaining global consistency in scenes emerging significant movement or being forgotten. To this end, we present HS-SLAM to tackle these problems. To enhance scene representation capacity, we propose a hybrid encoding network that combines the complementary strengths of hash-grid, tri-planes, and one-blob, improving the completeness and smoothness of reconstruction. Additionally, we introduce structural supervision by sampling patches of non-local pixels rather than individual rays to better capture the scene structure. To ensure global consistency, we implement an active global bundle adjustment (BA) to eliminate camera drifts and mitigate accumulative errors. Experimental results demonstrate that HS-SLAM outperforms the baselines in tracking and reconstruction accuracy while maintaining the efficiency required for robotics.