FSFSplatter: Build Surface and Novel Views with Sparse-Views within 2min

📄 arXiv: 2510.02691v2 📥 PDF

作者: Yibin Zhao, Yihan Pan, Jun Nan, Liwei Chen, Jianjun Yi

分类: cs.CV, cs.GR

发布日期: 2025-10-03 (更新: 2025-10-12)

💡 一句话要点

FSFSplatter：提出快速表面重建方法，仅用稀疏视图在2分钟内构建场景。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 三维重建 稀疏视图 Transformer网络 新视角合成

📋 核心要点

  1. 现有高斯溅射方法依赖于密集的、校准过的图像，而从稀疏图像重建时，由于视角重叠不足和过拟合，重建质量会显著下降。
  2. FSFSplatter通过端到端的密集高斯初始化、相机参数估计和几何增强的场景优化，实现了从稀疏图像快速且高质量的表面重建。
  3. 实验表明，FSFSplatter在DTU、Replica和BlendedMVS等数据集上，性能超越了当前最先进的方法，证明了其有效性。

📝 摘要（中文）

高斯溅射（Gaussian Splatting）已成为领先的重建技术，以其高质量的新视角合成和精细的重建而闻名。然而，大多数现有方法需要密集的、经过校准的视图。从自由的稀疏图像重建通常会导致较差的表面，这是由于有限的重叠和过拟合造成的。我们介绍了一种新的方法FSFSplatter，用于从自由的稀疏图像中快速进行表面重建。我们的方法集成了端到端的密集高斯初始化、相机参数估计和几何增强的场景优化。具体来说，FSFSplatter采用大型Transformer来编码多视图图像，并通过自拆分高斯头生成密集且几何一致的高斯场景初始化。它通过基于贡献的剪枝消除局部漂浮物，并通过在快速优化期间利用深度和多视图特征监督以及可微相机参数来减轻对有限视图的过拟合。FSFSplatter在广泛使用的DTU、Replica和BlendedMVS数据集上优于当前最先进的方法。

🔬 方法详解

问题定义：现有基于高斯溅射的三维重建方法通常需要密集的、经过精确校准的图像作为输入。当输入为稀疏的、未经校准的图像时，由于视角重叠不足以及容易过拟合，重建出的表面质量会显著下降，出现伪影和漂浮物等问题。因此，如何在稀疏视图下快速且高质量地重建三维场景是一个重要的挑战。

核心思路：FSFSplatter的核心思路是利用一个大型Transformer网络，从多视图图像中学习到几何一致的密集高斯初始化。通过这种方式，可以克服稀疏视图带来的信息不足问题，并为后续的优化提供一个良好的初始状态。同时，该方法还引入了基于贡献的剪枝策略和几何约束，以进一步提高重建质量。

技术框架：FSFSplatter的整体框架包含三个主要阶段：1) 密集高斯初始化：使用一个大型Transformer网络编码多视图图像，并生成一个密集的、几何一致的高斯场景初始化。2) 基于贡献的剪枝：通过评估每个高斯对渲染结果的贡献，去除冗余和漂浮的高斯粒子。3) 几何增强的场景优化：利用深度和多视图特征监督，结合可微的相机参数优化，进一步提高重建质量。

关键创新：FSFSplatter的关键创新在于其端到端的密集高斯初始化方法。与传统的初始化方法相比，该方法能够直接从多视图图像中学习到几何信息，从而生成一个更准确、更鲁棒的初始场景表示。此外，基于贡献的剪枝策略和几何约束也有效地提高了重建质量。

关键设计：FSFSplatter使用一个大型Transformer网络作为其核心组件，该网络能够有效地编码多视图图像之间的关系。损失函数包括渲染损失、深度损失和多视图特征损失，用于约束重建结果的几何一致性和视觉质量。相机参数的优化采用可微渲染技术，使得相机参数可以与场景表示一起进行端到端优化。

📊 实验亮点

FSFSplatter在DTU、Replica和BlendedMVS等数据集上取得了显著的性能提升。例如，在DTU数据集上，FSFSplatter的重建质量优于当前最先进的方法，并且重建时间仅为2分钟，大大提高了重建效率。实验结果表明，FSFSplatter能够有效地处理稀疏视图下的三维重建问题，并生成高质量的重建结果。

🎯 应用场景

FSFSplatter在机器人导航、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。该方法能够利用少量图像快速构建三维场景，为这些应用提供高质量的几何信息，从而提高系统的性能和鲁棒性。例如，在机器人导航中，可以利用FSFSplatter快速构建环境地图，帮助机器人进行路径规划和避障。

📄 摘要（原文）

Gaussian Splatting has become a leading reconstruction technique, known for its high-quality novel view synthesis and detailed reconstruction. However, most existing methods require dense, calibrated views. Reconstructing from free sparse images often leads to poor surface due to limited overlap and overfitting. We introduce FSFSplatter, a new approach for fast surface reconstruction from free sparse images. Our method integrates end-to-end dense Gaussian initialization, camera parameter estimation, and geometry-enhanced scene optimization. Specifically, FSFSplatter employs a large Transformer to encode multi-view images and generates a dense and geometrically consistent Gaussian scene initialization via a self-splitting Gaussian head. It eliminates local floaters through contribution-based pruning and mitigates overfitting to limited views by leveraging depth and multi-view feature supervision with differentiable camera parameters during rapid optimization. FSFSplatter outperforms current state-of-the-art methods on widely used DTU, Replica, and BlendedMVS datasets.