Sparse2DGS: Sparse-View Surface Reconstruction using 2D Gaussian Splatting with Dense Point Cloud
作者: Natsuki Takama, Shintaro Ito, Koichi Ito, Hwann-Tzong Chen, Takafumi Aoki
分类: cs.CV
发布日期: 2025-05-26 (更新: 2025-05-29)
备注: Accepted to ICIP 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Sparse2DGS：利用稠密点云增强的2D高斯溅射实现稀疏视角下的表面重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯溅射 三维重建 稀疏视角 立体匹配 稠密点云
📋 核心要点
- 传统高斯溅射方法在稀疏视角下重建精度显著下降，主要原因是SfM产生的稀疏点云不足以良好初始化高斯基元。
- Sparse2DGS利用DUSt3R和COLMAP MVS生成稠密且精确的3D点云，以此作为2D高斯溅射的初始化，提升重建效果。
- 实验表明，Sparse2DGS仅使用三个图像即可在DTU数据集上实现对物体3D形状的精确重建。
📝 摘要（中文）
高斯溅射(GS)作为一种快速有效的新视角合成方法备受关注。它也被应用于使用多视角图像的3D重建，并能实现快速而精确的3D重建。然而，GS假设输入包含大量的多视角图像，因此，当只有有限数量的输入图像可用时，重建精度会显著降低。主要原因之一是运动结构恢复(SfM)获得的稀疏点云中3D点数量不足，导致高斯基元的优化初始化不良。我们提出了一种新的3D重建方法，称为Sparse2DGS，以增强2DGS在仅使用三个图像重建对象时的性能。Sparse2DGS采用DUSt3R（一种立体图像的基础模型）以及COLMAP MVS来生成高度精确和稠密的3D点云，然后将其用于初始化2D高斯。通过在DTU数据集上的实验，我们表明Sparse2DGS可以使用仅三个图像精确地重建对象的3D形状。
🔬 方法详解
问题定义：论文旨在解决在极少视角（例如三个视角）下，利用高斯溅射进行高质量3D表面重建的问题。现有方法，特别是标准的高斯溅射，依赖于大量的多视角图像来获得足够密集的点云，从而进行有效的初始化和优化。当输入图像数量非常有限时，通过SfM得到的点云会非常稀疏，导致高斯基元的初始化不良，最终影响重建质量。
核心思路：Sparse2DGS的核心思路是利用先进的立体匹配技术，从有限的几个视角中生成一个高质量、稠密的点云，以此来克服传统高斯溅射方法在稀疏视角下的不足。通过更精确的初始化，可以更好地优化高斯基元，从而实现更准确的3D表面重建。
技术框架：Sparse2DGS的整体流程如下：1) 输入少量（例如三个）视角图像；2) 使用DUSt3R进行立体匹配，生成初始的稠密点云；3) 使用COLMAP MVS对DUSt3R的结果进行优化，得到更精确的稠密点云；4) 使用该稠密点云初始化2D高斯溅射；5) 通过优化2D高斯参数，最终得到重建的3D表面模型。
关键创新：Sparse2DGS的关键创新在于将先进的立体匹配技术（DUSt3R和COLMAP MVS）与2D高斯溅射相结合，从而克服了高斯溅射在稀疏视角下重建性能下降的问题。与直接使用SfM生成的稀疏点云初始化高斯基元的方法相比，Sparse2DGS利用稠密点云提供了更好的初始化，使得后续的优化过程更加有效。
关键设计：论文的关键设计包括：1) 选择DUSt3R作为初始的立体匹配模型，因为它能够生成相对准确的初始深度图；2) 使用COLMAP MVS对DUSt3R的结果进行精细化，以进一步提高点云的质量；3) 将生成的稠密点云直接用于初始化2D高斯溅射的参数，例如位置、协方差矩阵等。具体的损失函数和优化策略与标准的高斯溅射方法类似，但由于初始化更好，因此收敛速度更快，重建质量更高。
🖼️ 关键图片
📊 实验亮点
Sparse2DGS在DTU数据集上进行了实验，结果表明，仅使用三个图像，该方法就能够准确地重建对象的3D形状。相较于直接使用稀疏点云初始化的传统高斯溅射方法，Sparse2DGS在重建精度上取得了显著提升。具体的性能指标（例如PSNR、SSIM等）未知，但从论文描述来看，重建质量得到了明显改善。
🎯 应用场景
Sparse2DGS在资源受限或难以获取大量图像的场景下具有广泛的应用潜力，例如：快速原型设计、室内场景快速建模、机器人导航与定位、文化遗产数字化保护等。该方法能够仅通过少量图像即可重建出高质量的3D模型，降低了数据采集的成本和难度，为相关领域的研究和应用提供了新的可能性。
📄 摘要（原文）
Gaussian Splatting (GS) has gained attention as a fast and effective method for novel view synthesis. It has also been applied to 3D reconstruction using multi-view images and can achieve fast and accurate 3D reconstruction. However, GS assumes that the input contains a large number of multi-view images, and therefore, the reconstruction accuracy significantly decreases when only a limited number of input images are available. One of the main reasons is the insufficient number of 3D points in the sparse point cloud obtained through Structure from Motion (SfM), which results in a poor initialization for optimizing the Gaussian primitives. We propose a new 3D reconstruction method, called Sparse2DGS, to enhance 2DGS in reconstructing objects using only three images. Sparse2DGS employs DUSt3R, a fundamental model for stereo images, along with COLMAP MVS to generate highly accurate and dense 3D point clouds, which are then used to initialize 2D Gaussians. Through experiments on the DTU dataset, we show that Sparse2DGS can accurately reconstruct the 3D shapes of objects using just three images. The project page is available at https://gsisaoki.github.io/SPARSE2DGS/