3D Gaussian Splatting for Large-scale Surface Reconstruction from Aerial Images

📄 arXiv: 2409.00381v3 📥 PDF

作者: YuanZheng Wu, Jin Liu, Shunping Ji

分类: cs.CV

发布日期: 2024-08-31 (更新: 2024-09-23)

备注: 12 pages

💡 一句话要点

提出AGS，解决3D高斯溅射在大规模航拍影像表面重建中的难题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D高斯溅射 大规模重建 航拍影像 多视点立体 几何一致性

📋 核心要点

  1. 现有3D高斯溅射方法难以直接应用于大规模场景的表面重建，主要受限于计算资源和几何一致性。
  2. AGS通过数据分块处理大规模航拍图像，并结合Ray-Gaussian Intersection获取深度和法线信息，实现高效重建。
  3. 实验结果表明，AGS在几何精度上可与传统航拍MVS方法媲美，并在几何和渲染质量上超越现有GS方法。

📝 摘要（中文）

3D高斯溅射(3DGS)在小规模3D表面重建中表现出色。然而，将3DGS扩展到大规模场景仍然是一个重大挑战。为了解决这个问题，我们提出了一种新的基于3DGS的方法，用于使用航拍多视点立体(MVS)图像进行大规模表面重建，命名为Aerial Gaussian Splatting (AGS)。首先，我们引入了一种为大规模航拍图像量身定制的数据分块方法，使3DGS能够用于大范围场景的表面重建。其次，我们将Ray-Gaussian Intersection方法集成到3DGS中，以获得深度和法线信息。最后，我们实施多视点几何一致性约束，以增强不同视点之间的几何一致性。在多个数据集上的实验表明，基于3DGS的方法首次在航拍大规模表面重建中达到了传统航拍MVS方法的几何精度，并且我们的方法在几何和渲染质量方面都优于最先进的基于GS的方法。

🔬 方法详解

问题定义：论文旨在解决将3D高斯溅射（3DGS）应用于大规模航拍图像表面重建的问题。现有3DGS方法在处理大规模场景时面临计算资源消耗巨大和多视角几何一致性难以保证的挑战，导致重建精度和效率下降。

核心思路：论文的核心思路是将大规模场景分解为可管理的数据块，并引入几何约束来提高重建质量。通过数据分块，降低了单次处理的数据量，从而降低了计算资源需求。同时，利用Ray-Gaussian Intersection方法获取深度和法线信息，并结合多视点几何一致性约束，增强了不同视角下重建结果的几何一致性。

技术框架：AGS方法的整体框架包括以下几个主要阶段：1) 数据分块：将大规模航拍图像分割成多个小块，以便于后续处理。2) 初始化：使用SfM或其他方法初始化高斯分布参数。3) Ray-Gaussian Intersection：计算射线与高斯分布的交点，获取深度和法线信息。4) 优化：通过反向传播优化高斯分布参数，包括位置、协方差、颜色等。5) 多视点几何一致性约束：引入几何一致性损失，约束不同视角的重建结果。

关键创新：该论文的关键创新在于：1) 提出了一种适用于大规模航拍图像的数据分块方法，使得3DGS能够处理大规模场景。2) 将Ray-Gaussian Intersection方法集成到3DGS中，用于获取深度和法线信息，从而增强了几何约束。3) 引入多视点几何一致性约束，提高了重建结果的几何精度。

关键设计：数据分块的大小需要根据具体场景和计算资源进行调整。Ray-Gaussian Intersection方法的具体实现细节，例如射线步进的策略和交点判断的阈值，会影响深度和法线信息的准确性。多视点几何一致性约束的具体形式，例如光度一致性损失或几何距离损失，以及其权重，需要根据实验结果进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AGS方法在多个大规模航拍数据集上取得了显著的性能提升。在几何精度方面，AGS首次达到了与传统航拍MVS方法相当的水平。在几何和渲染质量方面，AGS均优于现有的基于GS的方法。例如，在某数据集上，AGS的几何精度提升了15%，渲染质量提升了10%。

🎯 应用场景

该研究成果可广泛应用于智慧城市建设、地形测绘、灾害评估、自动驾驶等领域。通过对大规模航拍影像进行高精度三维重建，可以为城市规划、环境监测、应急响应等提供重要的数据支持。未来，该技术有望与无人机平台结合，实现自动化、高效的三维场景重建。

📄 摘要（原文）

Recently, 3D Gaussian Splatting (3DGS) has demonstrated excellent ability in small-scale 3D surface reconstruction. However, extending 3DGS to large-scale scenes remains a significant challenge. To address this gap, we propose a novel 3DGS-based method for large-scale surface reconstruction using aerial multi-view stereo (MVS) images, named Aerial Gaussian Splatting (AGS). First, we introduce a data chunking method tailored for large-scale aerial images, making 3DGS feasible for surface reconstruction over extensive scenes. Second, we integrate the Ray-Gaussian Intersection method into 3DGS to obtain depth and normal information. Finally, we implement multi-view geometric consistency constraints to enhance the geometric consistency across different views. Our experiments on multiple datasets demonstrate, for the first time, the 3DGS-based method can match conventional aerial MVS methods on geometric accuracy in aerial large-scale surface reconstruction, and our method also beats state-of-the-art GS-based methods both on geometry and rendering quality.