SiLVR: Scalable Lidar-Visual Radiance Field Reconstruction with Uncertainty Quantification
作者: Yifu Tao, Maurice Fallon
分类: cs.RO, cs.CV
发布日期: 2025-02-04 (更新: 2025-10-08)
备注: Accepted by T-RO. Webpage: https://dynamic.robots.ox.ac.uk/projects/silvr/
💡 一句话要点
SiLVR：基于激光雷达-视觉融合与不确定性量化的大规模辐射场重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 激光雷达 视觉融合 三维重建 不确定性量化
📋 核心要点
- 现有NeRF方法在纹理单一区域重建效果差，依赖视觉信息易出错，几何约束不足。
- 提出SiLVR系统，融合激光雷达和视觉数据，利用激光雷达提供几何约束，提升重建质量。
- 引入不确定性量化方法，评估传感器贡献，去除不确定区域，提升重建精度和鲁棒性。
📝 摘要（中文）
本文提出了一种基于神经辐射场（NeRF）的大规模重建系统，该系统融合了激光雷达和视觉数据，以生成高质量的重建结果，这些结果在几何上是精确的，并且捕获了逼真的纹理。我们的系统采用最先进的NeRF表示来结合激光雷达数据。添加激光雷达数据为深度和表面法线增加了强大的几何约束，这在建模包含模糊视觉重建线索的均匀纹理表面时特别有用。这项工作的一个关键贡献是一种新颖的方法，通过估计辐射场中每个点位置的空间方差（给定来自相机和激光雷达的传感器观测），来量化激光雷达-视觉NeRF重建的认知不确定性。这提供了一种原则性的方法来评估每种传感器模态对最终重建的贡献。通过这种方式，可以识别和移除不确定的重建（例如，由于均匀的视觉纹理、有限的观察视点或很少的激光雷达覆盖）。我们的系统与实时激光雷达SLAM系统集成，该系统用于引导运动结构（SfM）重建过程。它还有助于正确约束整体度量比例，这对于激光雷达深度损失至关重要。然后可以使用谱聚类将细化的SLAM轨迹划分为子图，以将共视图像集合分组在一起。这种子映射方法比基于距离的划分更适合视觉重建。当子图的边界由于有限的观察而经常包含伪影时，我们的不确定性估计特别有效。我们使用多相机激光雷达传感器套件在涉及机器人安装和手持扫描的实验中演示了重建系统。我们的测试数据集覆盖总面积超过20,000平方米。
🔬 方法详解
问题定义：现有NeRF方法在处理大规模场景和纹理单一区域时存在挑战。单纯依赖视觉信息的重建方法容易受到光照变化、遮挡和缺乏几何约束的影响，导致重建结果不准确或不完整。尤其是在大规模场景中，计算资源消耗巨大，难以实现高效重建。
核心思路：SiLVR的核心思路是融合激光雷达和视觉数据，利用激光雷达提供精确的几何信息，弥补视觉信息的不足。通过量化重建过程中的不确定性，可以识别并去除质量较差的区域，从而提高整体重建质量。此外，采用子图划分策略，降低计算复杂度，实现大规模场景的高效重建。
技术框架：SiLVR系统主要包含以下几个模块：1) 实时激光雷达SLAM：用于估计传感器轨迹，并提供初始的几何信息。2) 运动结构（SfM）：利用视觉信息进行初始重建。3) 激光雷达-视觉NeRF融合：将激光雷达和视觉数据融合到NeRF框架中，进行联合优化。4) 不确定性量化：估计重建结果的不确定性，并用于指导重建过程。5) 子图划分：将场景划分为多个子图，并行进行重建，降低计算复杂度。
关键创新：SiLVR的关键创新在于：1) 提出了一种新颖的不确定性量化方法，可以评估激光雷达和视觉数据对重建结果的贡献，并识别不确定区域。2) 将激光雷达数据直接融入NeRF框架中，利用激光雷达提供精确的几何约束，提升重建质量。3) 采用子图划分策略，实现了大规模场景的高效重建。
关键设计：在不确定性量化方面，论文估计辐射场中每个点位置的空间方差，作为不确定性的度量。在损失函数设计方面，除了传统的NeRF损失函数外，还引入了激光雷达深度损失，以约束重建结果的几何精度。在网络结构方面，采用了标准的NeRF网络结构，并针对激光雷达数据的特点进行了优化。
🖼️ 关键图片
📊 实验亮点
该系统在超过20,000平方米的测试数据集上进行了验证，实验结果表明，SiLVR能够生成高质量、几何精确的重建结果。通过不确定性量化，可以有效识别并去除不确定区域，提升重建精度。子图划分策略显著降低了计算复杂度，实现了大规模场景的高效重建。与传统的NeRF方法相比，SiLVR在纹理单一区域的重建效果有显著提升。
🎯 应用场景
SiLVR系统可应用于机器人导航、自动驾驶、城市建模、虚拟现实等领域。通过高精度、高质量的三维重建，可以为机器人提供更准确的环境感知，提高导航和避障能力。在城市建模中，可以快速生成城市的三维模型，用于城市规划和管理。在虚拟现实中，可以创建更逼真的虚拟环境，提升用户体验。
📄 摘要（原文）
We present a neural radiance field (NeRF) based large-scale reconstruction system that fuses lidar and vision data to generate high-quality reconstructions that are geometrically accurate and capture photorealistic texture. Our system adopts the state-of-the-art NeRF representation to incorporate lidar. Adding lidar data adds strong geometric constraints on the depth and surface normals, which is particularly useful when modelling uniform texture surfaces which contain ambiguous visual reconstruction cues. A key contribution of this work is a novel method to quantify the epistemic uncertainty of the lidar-visual NeRF reconstruction by estimating the spatial variance of each point location in the radiance field given the sensor observations from the cameras and lidar. This provides a principled approach to evaluate the contribution of each sensor modality to the final reconstruction. In this way, reconstructions that are uncertain (due to e.g. uniform visual texture, limited observation viewpoints, or little lidar coverage) can be identified and removed. Our system is integrated with a real-time lidar SLAM system which is used to bootstrap a Structure-from-Motion (SfM) reconstruction procedure. It also helps to properly constrain the overall metric scale which is essential for the lidar depth loss. The refined SLAM trajectory can then be divided into submaps using Spectral Clustering to group sets of co-visible images together. This submapping approach is more suitable for visual reconstruction than distance-based partitioning. Our uncertainty estimation is particularly effective when merging submaps as their boundaries often contain artefacts due to limited observations. We demonstrate the reconstruction system using a multi-camera, lidar sensor suite in experiments involving both robot-mounted and handheld scanning. Our test datasets cover a total area of more than 20,000 square metres.