MS-GS: Multi-Appearance Sparse-View 3D Gaussian Splatting in the Wild

📄 arXiv: 2509.15548v4 📥 PDF

作者: Deming Li, Kaiwen Jiang, Yutao Tang, Ravi Ramamoorthi, Rama Chellappa, Cheng Peng

分类: cs.CV

发布日期: 2025-09-19 (更新: 2025-10-24)

💡 一句话要点

提出MS-GS，利用多外观3D高斯溅射解决野外稀疏视图场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 稀疏视图重建 多外观建模 单目深度估计 几何先验 虚拟视图监督

📋 核心要点

  1. 现有NeRF和3DGS方法在稀疏视图和多外观场景下易过平滑和过拟合，重建效果不佳。
  2. MS-GS利用单目深度估计的几何先验，提取局部语义区域，并通过SfM点锚定算法实现可靠对齐。
  3. 通过几何引导的虚拟视图监督，在像素和特征级别上增强3D一致性，有效减少过拟合现象。

📝 摘要（中文）

本文提出了一种名为MS-GS的新框架，旨在利用3D高斯溅射技术，解决野外照片集中图像数量有限且具有多种外观（例如，在一天中的不同时间或不同季节拍摄）时，场景重建和新视角合成所面临的重大挑战。为了解决稀疏初始化带来的支持不足问题，我们的方法建立在单目深度估计中提取的几何先验之上。关键在于提取和利用局部语义区域，并采用基于运动结构（SfM）点锚定的算法，以实现可靠的对齐和几何线索。为了引入多视图约束，我们提出了一系列在像素和特征级别上对虚拟视图进行几何引导监督的步骤，以鼓励3D一致性并减少过拟合。我们还引入了一个数据集和一个野外实验设置，以建立更真实的基准。实验结果表明，MS-GS在各种具有挑战性的稀疏视图和多外观条件下实现了逼真的渲染效果，并且在不同的数据集上明显优于现有方法。

🔬 方法详解

问题定义：论文旨在解决在野外场景中，由于图像稀疏和多外观变化（如光照、季节等）导致的三维重建和新视角合成问题。现有方法，如NeRF和3DGS，在这种情况下容易出现过平滑和过拟合，难以生成高质量的重建结果。

核心思路：论文的核心思路是利用单目深度估计提供的几何先验信息，指导3D高斯溅射的优化过程。通过提取局部语义区域并使用基于SfM点锚定的算法进行对齐，可以更准确地估计场景的几何结构。此外，引入多视图约束，在虚拟视角上进行监督，进一步提高重建质量。

技术框架：MS-GS框架主要包含以下几个阶段：1) 单目深度估计：使用单目深度估计网络预测输入图像的深度图，提供初始的几何先验。2) 局部语义区域提取与对齐：提取图像中的局部语义区域，并使用基于SfM点锚定的算法将这些区域对齐到三维空间中。3) 3D高斯溅射优化：利用对齐后的局部语义区域初始化3D高斯溅射，并进行优化。4) 几何引导的虚拟视图监督：在虚拟视角上进行像素级别和特征级别的监督，增强3D一致性。

关键创新：该论文的关键创新在于：1) 将单目深度估计的几何先验引入到3D高斯溅射中，解决了稀疏视图下的初始化问题。2) 提出了基于SfM点锚定的局部语义区域对齐算法，提高了对齐的准确性。3) 引入了几何引导的虚拟视图监督，增强了3D一致性，减少了过拟合。

关键设计：论文中一些关键的设计包括：1) 使用预训练的单目深度估计网络，例如DPT，来获取初始深度图。2) 基于SfM点锚定的对齐算法，具体实现细节未知。3) 几何引导的虚拟视图监督，可能使用了L1损失或感知损失来约束像素级别的一致性，并使用特征匹配损失来约束特征级别的一致性。具体损失函数的权重设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MS-GS在多个数据集上进行了实验，结果表明其在稀疏视图和多外观条件下显著优于现有方法。具体性能数据未知，但论文强调了在不同数据集上的一致性提升，表明了该方法的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。在自动驾驶中，可以利用该方法重建城市环境的三维模型，提高车辆的感知能力。在机器人导航中，可以帮助机器人在未知环境中进行定位和路径规划。在增强现实中，可以实现更逼真的虚拟场景与真实世界的融合。

📄 摘要（原文）

In-the-wild photo collections often contain limited volumes of imagery and exhibit multiple appearances, e.g., taken at different times of day or seasons, posing significant challenges to scene reconstruction and novel view synthesis. Although recent adaptations of Neural Radiance Field (NeRF) and 3D Gaussian Splatting (3DGS) have improved in these areas, they tend to oversmooth and are prone to overfitting. In this paper, we present MS-GS, a novel framework designed with Multi-appearance capabilities in Sparse-view scenarios using 3DGS. To address the lack of support due to sparse initializations, our approach is built on the geometric priors elicited from monocular depth estimations. The key lies in extracting and utilizing local semantic regions with a Structure-from-Motion (SfM) points anchored algorithm for reliable alignment and geometry cues. Then, to introduce multi-view constraints, we propose a series of geometry-guided supervision steps at virtual views in pixel and feature levels to encourage 3D consistency and reduce overfitting. We also introduce a dataset and an in-the-wild experiment setting to set up more realistic benchmarks. We demonstrate that MS-GS achieves photorealistic renderings under various challenging sparse-view and multi-appearance conditions, and outperforms existing approaches significantly across different datasets.