R3GS: Gaussian Splatting for Robust Reconstruction and Relocalization in Unconstrained Image Collections

📄 arXiv: 2505.15294v1 📥 PDF

作者: Xu yan, Zhaohui Wang, Rong Wei, Jingbo Yu, Dong Li, Xiangde Liu

分类: cs.CV, cs.GR, cs.LG, cs.RO

发布日期: 2025-05-21

备注: 7 pages, 4 figures

期刊: IEEE International Conference on Robotics and Automation (ICRA),2025

💡 一句话要点

R3GS：针对非约束图像集，实现鲁棒的重建与重定位的高斯溅射方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 高斯溅射 重定位 瞬态物体抑制 天空区域优化

📋 核心要点

  1. 现有方法在非约束数据集上进行三维重建时，易受瞬态物体和天空区域的影响，导致重建质量下降。
  2. R3GS采用混合特征表示、微调的人体检测网络和基于深度先验的天空处理技术，以提高重建的鲁棒性。
  3. 实验结果表明，R3GS在渲染逼真度、训练和渲染效率以及存储需求方面均优于现有方法，达到SOTA性能。

📝 摘要（中文）

本文提出R3GS，一个为非约束数据集定制的鲁棒重建与重定位框架。我们的方法在训练期间使用混合表示。每个锚点结合了来自卷积神经网络(CNN)的全局特征和由多分辨率哈希网格编码的局部特征。随后，几个浅层多层感知器(MLP)预测每个高斯体的属性，包括颜色、不透明度和协方差。为了减轻瞬态对象对重建过程的不利影响，我们微调了一个轻量级的人体检测网络。微调后，该网络生成一个可见性图，可以有效地推广到其他瞬态对象(如海报、横幅和汽车)，而无需进一步的调整。此外，为了解决室外场景中天空区域带来的挑战，我们提出了一种有效的处理天空技术，该技术结合了深度先验作为约束。这允许将无限远的天空表示在一个大半径天空球的表面上，显著减少了天空重建错误造成的漂浮物。此外，我们还提出了一种新的重定位方法，该方法在估计给定图像在重建的3DGS场景中的相机姿态时，对光照条件的变化保持鲁棒性。因此，R3GS显著提高了渲染逼真度，提高了训练和渲染效率，并降低了存储需求。我们的方法在野外数据集上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决在非约束图像集合中进行三维重建和重定位时，由于瞬态物体（如行人、车辆）和天空区域的存在，导致重建质量下降和重定位精度降低的问题。现有方法难以有效处理这些干扰因素，导致重建结果中出现伪影和漂浮物，影响后续的重定位性能。

核心思路：论文的核心思路是利用混合特征表示增强场景理解，通过微调的人体检测网络抑制瞬态物体的影响，并引入深度先验约束来优化天空区域的重建。通过这些策略，提高重建的鲁棒性和准确性，从而提升重定位的性能。

技术框架：R3GS框架包含以下主要模块：1) 混合特征表示：使用CNN提取全局特征，并结合多分辨率哈希网格编码局部特征，作为每个高斯体的锚点。2) 高斯体属性预测：使用浅层MLP预测每个高斯体的颜色、不透明度和协方差。3) 瞬态物体抑制：微调轻量级人体检测网络，生成可见性图，抑制瞬态物体的影响。4) 天空区域优化：引入深度先验约束，将天空表示为大半径天空球，减少天空重建误差。5) 鲁棒重定位：提出一种对光照变化鲁棒的重定位方法，估计相机姿态。

关键创新：论文的关键创新在于：1) 混合特征表示，结合全局和局部特征，增强场景理解。2) 基于微调人体检测网络的瞬态物体抑制方法，可以泛化到其他瞬态物体。3) 基于深度先验的天空区域优化方法，有效减少天空重建误差。4) 鲁棒的重定位方法，对光照变化具有较强的适应性。

关键设计：1) 混合特征表示中，CNN和哈希网格的具体网络结构和参数设置未知。2) 微调的人体检测网络的具体结构和训练细节未知，但强调了其轻量级特性。3) 深度先验的具体形式和约束方式未知。4) 损失函数的设计细节未知，但推测会包含重建损失、正则化项等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在野外数据集上进行了实验，结果表明R3GS在渲染逼真度、训练和渲染效率以及存储需求方面均优于现有方法，达到了最先进的性能。具体的性能数据和对比基线在摘要中未明确给出，但强调了R3GS在多个指标上的显著提升。

🎯 应用场景

R3GS可应用于增强现实、虚拟现实、机器人导航、自动驾驶等领域。通过对真实场景进行鲁棒的三维重建，可以为这些应用提供更准确的环境感知和定位能力。该方法在处理非约束图像集合方面的优势，使其在实际应用中具有更广泛的适用性。

📄 摘要（原文）

We propose R3GS, a robust reconstruction and relocalization framework tailored for unconstrained datasets. Our method uses a hybrid representation during training. Each anchor combines a global feature from a convolutional neural network (CNN) with a local feature encoded by the multiresolution hash grids [2]. Subsequently, several shallow multi-layer perceptrons (MLPs) predict the attributes of each Gaussians, including color, opacity, and covariance. To mitigate the adverse effects of transient objects on the reconstruction process, we ffne-tune a lightweight human detection network. Once ffne-tuned, this network generates a visibility map that efffciently generalizes to other transient objects (such as posters, banners, and cars) with minimal need for further adaptation. Additionally, to address the challenges posed by sky regions in outdoor scenes, we propose an effective sky-handling technique that incorporates a depth prior as a constraint. This allows the inffnitely distant sky to be represented on the surface of a large-radius sky sphere, signiffcantly reducing ffoaters caused by errors in sky reconstruction. Furthermore, we introduce a novel relocalization method that remains robust to changes in lighting conditions while estimating the camera pose of a given image within the reconstructed 3DGS scene. As a result, R3GS significantly enhances rendering ffdelity, improves both training and rendering efffciency, and reduces storage requirements. Our method achieves state-of-the-art performance compared to baseline methods on in-the-wild datasets. The code will be made open-source following the acceptance of the paper.