Pow3R-SLAM: Real-Time RGB-D SLAM with 3D Reconstruction Priors
作者: Christopher Kolios, Ishaan Mehta, Sasa Janjic, Yeganeh Bahoo, Sajad Saeedi
分类: cs.RO, cs.CV
发布日期: 2026-09-29
备注: 9 pages, 4 figures, 4 tables. Project page: https://chriskolios.github.io/Pow3R-SLAM/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Pow3R-SLAM以解决RGB-D SLAM中的深度稀疏问题
🎯 匹配领域: 支柱三:空间感知与语义 (Perception & Semantics)
关键词: RGB-D SLAM 实时定位 深度推断 三维重建 机器人导航 增强现实 虚拟现实
📋 核心要点
- 现有的RGB-D SLAM系统在深度图像稀疏性方面存在挑战,导致定位和映射精度下降。
- Pow3R-SLAM通过将深度作为先验信息,改善了点图的条件性,并推断空白区域的深度,提升了SLAM性能。
- 实验结果显示,Pow3R-SLAM在速度和精度上均优于MASt3R-SLAM和ORB-SLAM3,尤其在TUM和7-Scenes数据集上表现突出。
📝 摘要(中文)
我们提出了Pow3R-SLAM,这是一种实时RGB-D同时定位与地图构建(SLAM)系统,利用Pow3R进行跟踪和映射。受MASt3R-SLAM的启发,我们扩展了该方法,将深度作为网络预测的先验,而非几何融合。Pow3R通过利用可用的深度信息,改善了点图的条件性,同时从双视图的光度、深度和内在数据中推断空白区域的深度。与MASt3R-SLAM在TUM、7-Scenes和Replica的24个序列上进行评估,Pow3R-SLAM在墙面时间上快1.6倍,平均轨迹误差低15%,无标度误差低3.1倍,并生成更密集的地图,Chamfer距离降低30%。我们还介绍了一种混合变体,其速度比MASt3R-SLAM快2.1倍,保持了更好的跟踪和映射精度。
🔬 方法详解
问题定义:论文旨在解决现有RGB-D SLAM系统在深度图像稀疏性导致的定位和映射精度不足的问题。传统方法在处理稀疏深度信息时表现不佳,影响了整体性能。
核心思路:Pow3R-SLAM的核心思路是将深度信息作为网络预测的先验,而不是简单地将其作为几何信息进行融合。这种设计使得系统能够更好地利用可用的深度数据,推断出空白区域的深度,从而提高了点图的质量。
技术框架:Pow3R-SLAM的整体架构包括深度信息的获取、双视图光度和深度数据的融合、以及点图的生成与优化。系统通过实时处理RGB-D数据,实现高效的定位与地图构建。
关键创新:最重要的技术创新在于将深度作为先验信息引入SLAM系统,这与传统方法的处理方式有本质区别。通过这种方式,Pow3R-SLAM能够在稀疏深度图像条件下仍然保持高精度的定位和映射能力。
关键设计:在关键设计方面,Pow3R-SLAM采用了特定的损失函数来优化深度推断,并设计了适应性强的网络结构,以处理不同场景下的深度信息。此外,系统的参数设置经过精心调整,以确保在实时处理中的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
Pow3R-SLAM在实验中表现出色,相较于MASt3R-SLAM,其运行速度提高了1.6倍,平均轨迹误差降低了15%,无标度误差降低了3.1倍,同时生成的地图更为密集,Chamfer距离降低了30%。在与ORB-SLAM3的对比中,Pow3R-SLAM在多个数据集上展现了更高的准确性,尤其在TUM和7-Scenes数据集上表现优异。
🎯 应用场景
Pow3R-SLAM的潜在应用领域包括机器人导航、增强现实(AR)、虚拟现实(VR)以及自动驾驶等。其高效的实时定位与地图构建能力使其在动态环境中具有重要的实际价值,能够支持复杂场景下的智能决策与交互。未来,该技术可能推动更多智能设备的自主导航与环境理解能力。
📄 摘要(原文)
We present Pow3R-SLAM, a real-time RGB-D simultaneous localization and mapping (SLAM) system that uses Pow3R for tracking and mapping. Inspired by MASt3R-SLAM, a recent work on monocular SLAM using two-view 3D reconstruction priors, we extend the work to incorporate depth as a prior on the network's prediction, rather than as geometry to fuse. Where traditional RGB-D SLAM systems struggle with sparsity in the depth images, Pow3R utilizes the available depth to give a better-conditioned pointmap, while inferring the depths in empty regions from the two-view photometric, depth, and intrinsic data. Evaluated against MASt3R-SLAM following its protocol on 24 sequences from TUM, 7-Scenes, and Replica, Pow3R-SLAM runs 1.6x faster in wall time, has 15% lower mean trajectory error, a 3.1x lower unscaled error, and produces denser maps, with a 30% lower Chamfer distance. We also introduce a hybrid variant that runs 2.1x faster than MASt3R-SLAM at 25.3 frames per second (FPS), while maintaining improved tracking and mapping accuracy. Against ORB-SLAM3 in RGB-D mode, Pow3R-SLAM is more accurate on TUM, 7-Scenes, and ETH3D-SLAM, and completes every TUM sequence. While Pow3R-SLAM can struggle on a small set of self-similar scenes, its overall performance shows that adding depth as a prior for two-view 3D reconstruction SLAM can be beneficial. A project webpage is available at: https://ChrisKolios.github.io/Pow3R-SLAM , and code will be made open-source upon acceptance.