DGS-SLAM: Gaussian Splatting SLAM in Dynamic Environment
作者: Mangyu Kong, Jaewon Lee, Seongwon Lee, Euntai Kim
分类: cs.RO
发布日期: 2024-11-16
备注: Preprint, Under review
💡 一句话要点
DGS-SLAM：首个基于高斯溅射的动态环境SLAM框架
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 动态SLAM 高斯溅射 动态环境 相机跟踪 新视角合成
📋 核心要点
- 现有基于高斯溅射的SLAM方法大多假设静态环境，无法有效处理动态物体带来的光度和几何不一致性。
- DGS-SLAM通过集成鲁棒的滤波过程，在包括高斯插入和关键帧选择的整个流程中处理动态物体。
- DGS-SLAM在动态SLAM基准测试中实现了最先进的相机跟踪和新视角合成性能，验证了其有效性。
📝 摘要（中文）
本文提出动态高斯溅射SLAM (DGS-SLAM)，这是首个建立在高斯溅射基础上的动态SLAM框架。虽然最近密集SLAM的进展利用高斯溅射来增强场景表示，但大多数方法都假设环境是静态的，这使得它们容易受到动态物体引起的光度和几何不一致性的影响。为了应对这些挑战，我们将高斯溅射SLAM与强大的滤波过程相结合，以处理整个流程中的动态物体，包括高斯插入和关键帧选择。在这个框架内，为了进一步提高动态物体移除的准确性，我们引入了一种鲁棒的掩码生成方法，该方法强制关键帧之间的光度一致性，从而减少来自不准确分割和阴影等伪影的噪声。此外，我们提出了循环感知窗口选择机制，该机制利用3D高斯的唯一关键帧ID来检测当前帧和过去帧之间的循环，从而促进当前相机姿势和高斯地图的联合优化。DGS-SLAM在各种动态SLAM基准测试中实现了最先进的相机跟踪和新视角合成性能，证明了其在处理真实动态场景中的有效性。
🔬 方法详解
问题定义：现有基于高斯溅射的SLAM方法在动态环境中表现不佳，因为它们假设场景是静态的。动态物体会导致光度和几何上的不一致性，从而降低跟踪和重建的准确性。因此，需要一种能够有效处理动态物体的SLAM系统。
核心思路：DGS-SLAM的核心思路是将高斯溅射SLAM与鲁棒的滤波过程相结合，以识别和移除动态物体。通过在整个流程中（包括高斯插入和关键帧选择）处理动态物体，DGS-SLAM能够更准确地跟踪相机姿势并重建场景。此外，该方法还利用光度一致性来生成更准确的动态物体掩码，并使用循环感知窗口选择机制来优化地图。
技术框架：DGS-SLAM的整体框架包括以下几个主要模块：1) 高斯溅射SLAM：使用高斯溅射来表示场景。2) 动态物体滤波：使用鲁棒的滤波过程来识别和移除动态物体。3) 掩码生成：生成动态物体的掩码，以提高滤波的准确性。4) 循环感知窗口选择：使用循环信息来优化地图。这些模块协同工作，以实现准确的相机跟踪和场景重建。
关键创新：DGS-SLAM的关键创新点在于其动态物体处理方法。该方法不仅使用滤波来移除动态物体，还利用光度一致性来生成更准确的掩码，并使用循环感知窗口选择机制来优化地图。这些创新使得DGS-SLAM能够在动态环境中实现比现有方法更高的准确性。与现有方法的本质区别在于，DGS-SLAM能够主动地识别和移除动态物体，而不是简单地忽略它们。
关键设计：DGS-SLAM的关键设计包括：1) 鲁棒的滤波过程：使用RANSAC等方法来过滤掉动态物体。2) 光度一致性掩码生成：使用光度一致性来生成更准确的动态物体掩码。具体来说，通过比较不同关键帧之间的像素颜色差异，可以识别出动态物体。3) 循环感知窗口选择：使用关键帧ID来检测循环，并使用循环信息来优化地图。损失函数可能包含光度误差、几何误差和正则化项，以确保地图的平滑性和准确性。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
DGS-SLAM在多个动态SLAM基准测试中取得了state-of-the-art的性能，在相机跟踪和新视角合成方面均优于现有方法。具体的性能提升数据未知，但论文强调了其在处理真实动态场景中的有效性。实验结果表明，DGS-SLAM能够有效地处理动态物体，并实现准确的相机跟踪和场景重建。
🎯 应用场景
DGS-SLAM可应用于自动驾驶、机器人导航、增强现实等领域。在自动驾驶中，它可以帮助车辆更好地理解周围环境，并避免与动态物体发生碰撞。在机器人导航中，它可以帮助机器人在动态环境中安全地移动。在增强现实中，它可以将虚拟物体与真实场景无缝地融合。
📄 摘要（原文）
We introduce Dynamic Gaussian Splatting SLAM (DGS-SLAM), the first dynamic SLAM framework built on the foundation of Gaussian Splatting. While recent advancements in dense SLAM have leveraged Gaussian Splatting to enhance scene representation, most approaches assume a static environment, making them vulnerable to photometric and geometric inconsistencies caused by dynamic objects. To address these challenges, we integrate Gaussian Splatting SLAM with a robust filtering process to handle dynamic objects throughout the entire pipeline, including Gaussian insertion and keyframe selection. Within this framework, to further improve the accuracy of dynamic object removal, we introduce a robust mask generation method that enforces photometric consistency across keyframes, reducing noise from inaccurate segmentation and artifacts such as shadows. Additionally, we propose the loop-aware window selection mechanism, which utilizes unique keyframe IDs of 3D Gaussians to detect loops between the current and past frames, facilitating joint optimization of the current camera poses and the Gaussian map. DGS-SLAM achieves state-of-the-art performance in both camera tracking and novel view synthesis on various dynamic SLAM benchmarks, proving its effectiveness in handling real-world dynamic scenes.