TivNe-SLAM: Dynamic Mapping and Tracking via Time-Varying Neural Radiance Fields
作者: Chengyao Duan, Zhiliu Yang
分类: cs.CV
发布日期: 2023-10-29 (更新: 2025-02-10)
DOI: 10.1109/IROS58592.2024.10802146
💡 一句话要点
提出TivNe-SLAM以解决动态场景映射与跟踪问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 动态SLAM 神经辐射场 时变表示 自监督学习 运动掩码 关键帧选择 三维重建
📋 核心要点
- 现有方法通常假设场景是静态的，或依赖于真实的相机位姿，限制了其在动态场景中的应用。
- 本文提出了一种时变表示方法，通过自监督学习和运动掩码来实现动态场景的跟踪与重建。
- 在多个合成数据集和一个真实数据集上的实验验证了该方法在跟踪和映射方面的竞争力。
📝 摘要（中文）
以往将神经辐射场（NeRF）整合到同时定位与地图构建（SLAM）框架中的尝试，通常依赖于静态场景假设或需要真实的相机位姿，这限制了其在实际场景中的应用。本文提出了一种时变表示方法，以跟踪和重建动态场景。首先，框架中同时维护跟踪过程和映射过程。在跟踪过程中，均匀采样所有输入图像并在自监督范式下逐步训练；在映射过程中，利用运动掩码区分动态物体与静态背景，并从动态区域采样更多像素。其次，两个过程的参数优化分为两个阶段：第一阶段将时间与3D位置关联，以将变形场转换为规范场；第二阶段将时间与规范场的嵌入关联，以获得颜色和带符号距离函数（SDF）。最后，提出了一种基于重叠率的新型关键帧选择策略。实验结果表明，该方法在跟踪和映射方面与现有最先进的NeRF动态SLAM系统相比，取得了竞争力的结果。
🔬 方法详解
问题定义：本文旨在解决动态场景下的同时定位与地图构建（SLAM）问题，现有方法的主要痛点在于对静态场景的依赖和对真实相机位姿的需求，限制了其在实际应用中的有效性。
核心思路：论文提出了一种时变表示方法，通过同时进行跟踪和映射过程，利用自监督学习和运动掩码来区分动态物体与静态背景，从而实现动态场景的重建。
技术框架：整体架构包括两个主要过程：跟踪过程和映射过程。在跟踪过程中，均匀采样输入图像并逐步训练；在映射过程中，利用运动掩码进行动态区域的像素采样。参数优化分为两个阶段，分别关联时间与3D位置和规范场的嵌入。
关键创新：最重要的技术创新在于提出了时变表示和运动掩码的结合，允许在动态场景中有效区分动态物体与静态背景，从而提升了SLAM的性能。
关键设计：在参数优化中，第一阶段将时间与3D位置关联以转换变形场，第二阶段将时间与规范场的嵌入关联以获得颜色和SDF。此外，提出了一种基于重叠率的关键帧选择策略，以优化关键帧的选择。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TivNe-SLAM在跟踪和映射方面的性能优于现有的NeRF动态SLAM系统。在合成数据集和真实数据集上的评估中，方法在跟踪精度和映射质量上均表现出显著提升，具体性能数据未详述，待进一步验证。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等动态环境中的实时定位与地图构建。通过提高动态场景的处理能力，TivNe-SLAM能够在复杂环境中提供更准确的定位和地图信息，具有重要的实际价值和未来影响。
📄 摘要（原文）
Previous attempts to integrate Neural Radiance Fields (NeRF) into the Simultaneous Localization and Mapping (SLAM) framework either rely on the assumption of static scenes or require the ground truth camera poses, which impedes their application in real-world scenarios. This paper proposes a time-varying representation to track and reconstruct the dynamic scenes. Firstly, two processes, a tracking process and a mapping process, are maintained simultaneously in our framework. In the tracking process, all input images are uniformly sampled and then progressively trained in a self-supervised paradigm. In the mapping process, we leverage motion masks to distinguish dynamic objects from the static background, and sample more pixels from dynamic areas. Secondly, the parameter optimization for both processes is comprised of two stages: the first stage associates time with 3D positions to convert the deformation field to the canonical field. The second stage associates time with the embeddings of the canonical field to obtain colors and a Signed Distance Function (SDF). Lastly, we propose a novel keyframe selection strategy based on the overlapping rate. Our approach is evaluated on two synthetic datasets and one real-world dataset, and the experiments validate that our method achieves competitive results in both tracking and mapping when compared to existing state-of-the-art NeRF-based dynamic SLAM systems.