ToF-Splatting: Dense SLAM using Sparse Time-of-Flight Depth and Multi-Frame Integration

📄 arXiv: 2504.16545v1 📥 PDF

作者: Andrea Conti, Matteo Poggi, Valerio Cambareri, Martin R. Oswald, Stefano Mattoccia

分类: cs.CV

发布日期: 2025-04-23

💡 一句话要点

ToF-Splatting：利用稀疏ToF深度和多帧融合的稠密SLAM

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: ToF传感器 稀疏深度 SLAM 多帧融合 高斯溅射 三维重建 移动机器人

📋 核心要点

  1. 移动和AR/VR设备日益严格的功耗限制导致ToF传感器提供的深度信息非常稀疏，这给SLAM应用带来了挑战。
  2. ToF-Splatting通过多帧融合策略，结合稀疏ToF深度、单目彩色图像和多视图几何信息，生成稠密深度图，从而提升SLAM性能。
  3. 在合成和真实数据集上的实验表明，ToF-Splatting在跟踪和建图方面达到了最先进的性能，验证了其有效性。

📝 摘要（中文）

本文提出ToF-Splatting，这是一种基于3D高斯溅射（Gaussian Splatting）的SLAM流水线，专门用于有效利用极稀疏的飞行时间（ToF）输入数据。该方法通过引入多帧融合模块改进了现有技术，该模块通过融合来自极稀疏ToF深度、单目彩色和多视图几何的线索来生成稠密深度图。在合成和真实稀疏ToF数据集上的大量实验表明了该方法的可行性，因为它在参考数据集上实现了最先进的跟踪和建图性能。

🔬 方法详解

问题定义：现有的SLAM方法难以直接利用极稀疏的ToF深度数据，因为这些数据不足以提供可靠的几何信息。直接使用会导致跟踪失败或建图质量差。因此，如何有效地利用这些稀疏数据成为了一个关键问题。

核心思路：ToF-Splatting的核心思路是通过多帧融合来弥补稀疏ToF数据的不足。它利用单目彩色图像提供的纹理信息和多视图几何约束，将来自不同帧的稀疏ToF深度信息融合在一起，从而生成更稠密的深度图。这种方法能够有效地利用各种传感器数据，提高SLAM的鲁棒性和精度。

技术框架：ToF-Splatting的整体框架包括以下几个主要模块：1) 稀疏ToF深度获取；2) 单目彩色图像获取；3) 多帧融合模块，该模块将稀疏ToF深度、单目彩色图像和多视图几何信息融合，生成稠密深度图；4) 基于3D高斯溅射的SLAM模块，利用稠密深度图进行跟踪和建图。

关键创新：ToF-Splatting的关键创新在于其多帧融合模块，该模块能够有效地将来自不同帧的稀疏ToF深度信息融合在一起，生成更稠密的深度图。此外，它也是首个基于3D高斯溅射的SLAM流水线，专门为使用极稀疏ToF输入数据而设计。与传统的基于点云或体素的SLAM方法相比，高斯溅射能够更有效地表示场景几何，并支持高效的渲染和优化。

关键设计：多帧融合模块可能包含以下关键设计：1) 基于光度一致性的单应矩阵估计，用于对齐不同帧的图像；2) 基于深度滤波器或概率模型的深度融合策略，用于将来自不同帧的深度信息融合在一起；3) 基于高斯溅射的场景表示，用于存储和更新场景几何信息。损失函数可能包括光度损失、深度损失和几何一致性损失，用于优化场景表示和相机位姿。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ToF-Splatting在合成和真实稀疏ToF数据集上都取得了最先进的跟踪和建图性能。具体来说，该方法在参考数据集上的跟踪精度和建图质量均优于现有的SLAM方法，验证了其有效性和鲁棒性。具体的性能提升幅度未知，需要在论文中查找详细数据。

🎯 应用场景

ToF-Splatting具有广泛的应用前景，尤其是在移动机器人、增强现实（AR）和虚拟现实（VR）等领域。它可以帮助这些设备在功耗受限的情况下实现高精度的定位和建图，从而提升用户体验。此外，该方法还可以应用于三维重建、场景理解和目标识别等任务。

📄 摘要（原文）

Time-of-Flight (ToF) sensors provide efficient active depth sensing at relatively low power budgets; among such designs, only very sparse measurements from low-resolution sensors are considered to meet the increasingly limited power constraints of mobile and AR/VR devices. However, such extreme sparsity levels limit the seamless usage of ToF depth in SLAM. In this work, we propose ToF-Splatting, the first 3D Gaussian Splatting-based SLAM pipeline tailored for using effectively very sparse ToF input data. Our approach improves upon the state of the art by introducing a multi-frame integration module, which produces dense depth maps by merging cues from extremely sparse ToF depth, monocular color, and multi-view geometry. Extensive experiments on both synthetic and real sparse ToF datasets demonstrate the viability of our approach, as it achieves state-of-the-art tracking and mapping performances on reference datasets.