RSGaussian:3D Gaussian Splatting with LiDAR for Aerial Remote Sensing Novel View Synthesis

📄 arXiv: 2412.18380v1 📥 PDF

作者: Yiling Yao, Wenjuan Zhang, Bing Zhang, Bocheng Li, Yaning Wang, Bowen Wang

分类: cs.CV, cs.GR

发布日期: 2024-12-24

💡 一句话要点

RSGaussian：融合LiDAR约束的3D高斯溅射用于航空遥感新视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 LiDAR点云 新视角合成 航空遥感 几何约束

📋 核心要点

  1. 现有3D高斯溅射方法在航空遥感场景中存在高斯体过度增长和漂浮物问题，导致几何精度下降。
  2. RSGaussian将LiDAR点云作为几何约束，引导高斯体沿几何基准增长和分裂，提升几何精度。
  3. 通过引入坐标变换和深度/平面一致性损失，RSGaussian在航空遥感数据集上实现了高质量的新视角合成。

📝 摘要（中文）

本研究提出了一种创新的航空遥感场景新视角合成(NVS)方法RSGaussian，该方法将LiDAR点云作为约束融入到3D高斯溅射方法中，确保高斯体沿几何基准增长和分裂，从而解决了过度增长和漂浮物问题。此外，该方法引入了带有畸变参数的坐标变换，用于相机模型，以实现LiDAR点云和2D图像之间的像素级对齐，从而促进异构数据融合，并实现航空遥感所需的高精度地理对齐。深度和平面一致性损失被纳入损失函数中，以引导高斯体朝着真实的深度和平面表示，从而显著提高深度估计的准确性。实验结果表明，我们的方法实现了在航空遥感数据集下平衡照片级真实视觉质量和高精度几何估计的新视角合成。最后，我们还建立并开源了一个密集的LiDAR点云数据集及其相应的航空多视图图像，AIR-LONGYAN。

🔬 方法详解

问题定义：航空遥感场景下的新视角合成任务，现有3D高斯溅射方法直接应用时，由于缺乏几何约束，容易出现高斯体的过度增长和漂浮物问题，导致合成图像的几何精度不高，难以满足遥感应用的需求。现有方法难以有效融合异构的LiDAR点云和多视角的图像数据，实现像素级别的精确对齐。

核心思路：利用LiDAR点云提供的精确几何信息作为约束，指导3D高斯体的生长和分裂过程，从而避免高斯体的过度膨胀和漂浮。通过引入可学习的坐标变换参数，实现LiDAR点云和图像之间的精确对齐，从而更好地融合异构数据。同时，引入深度和平面一致性损失，进一步约束高斯体的形状，使其更符合真实的场景几何结构。

技术框架：RSGaussian的整体框架包括以下几个主要步骤：1) 数据预处理：对LiDAR点云和多视角图像进行配准，并进行坐标变换，实现初步的对齐。2) 3D高斯体初始化：根据LiDAR点云初始化3D高斯体，并赋予初始的颜色、位置、尺度和旋转等参数。3) 优化过程：通过优化损失函数，不断调整高斯体的参数，使其更好地拟合场景的几何和外观信息。损失函数包括图像重建损失、深度一致性损失和平面一致性损失。4) 新视角合成：利用优化后的高斯体，渲染出任意视角下的图像。

关键创新：1) 融合LiDAR点云作为几何约束，指导高斯体的生长和分裂，解决了高斯体过度增长和漂浮物问题。2) 引入带有畸变参数的坐标变换，实现了LiDAR点云和图像之间的像素级对齐，促进了异构数据融合。3) 提出了深度和平面一致性损失，引导高斯体朝着真实的深度和平面表示，提高了深度估计的准确性。

关键设计：1) 坐标变换：使用包含畸变参数的相机模型，对LiDAR点云进行坐标变换，以实现与图像的像素级对齐。畸变参数通过优化过程进行学习。2) 深度一致性损失：鼓励高斯体的深度值与LiDAR点云的深度值保持一致。3) 平面一致性损失：鼓励高斯体所在的局部区域符合平面结构，从而提高几何精度。4) 损失函数权重：通过实验调整各项损失函数的权重，以平衡图像重建质量和几何精度。

📊 实验亮点

实验结果表明，RSGaussian在AIR-LONGYAN数据集上实现了高质量的新视角合成，在视觉质量和几何精度方面都优于现有方法。具体而言，RSGaussian在PSNR、SSIM等指标上取得了显著提升，并且深度估计的误差也明显降低。该方法能够有效地抑制高斯体的过度增长和漂浮物，从而提高合成图像的几何一致性。

🎯 应用场景

该研究成果可应用于航空遥感领域，例如三维城市建模、地形重建、灾害监测、环境评估等。通过高精度的新视角合成，可以为这些应用提供更准确、更可靠的数据支持，提升相关任务的性能和效率。该方法在自动驾驶、虚拟现实等领域也具有潜在的应用价值。

📄 摘要（原文）

This study presents RSGaussian, an innovative novel view synthesis (NVS) method for aerial remote sensing scenes that incorporate LiDAR point cloud as constraints into the 3D Gaussian Splatting method, which ensures that Gaussians grow and split along geometric benchmarks, addressing the overgrowth and floaters issues occurs. Additionally, the approach introduces coordinate transformations with distortion parameters for camera models to achieve pixel-level alignment between LiDAR point clouds and 2D images, facilitating heterogeneous data fusion and achieving the high-precision geo-alignment required in aerial remote sensing. Depth and plane consistency losses are incorporated into the loss function to guide Gaussians towards real depth and plane representations, significantly improving depth estimation accuracy. Experimental results indicate that our approach has achieved novel view synthesis that balances photo-realistic visual quality and high-precision geometric estimation under aerial remote sensing datasets. Finally, we have also established and open-sourced a dense LiDAR point cloud dataset along with its corresponding aerial multi-view images, AIR-LONGYAN.