Remote Sensing Sparse-View 3D Gaussian Splatting via Depth Image-Based Rendering

📄 arXiv: 2609.35612v1 📥 PDF

作者: Jiaming Kang, Zhengxia Zou, Zhenwei Shi

分类: cs.CV

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出DIBR-GS以解决稀疏观测下的遥感新视角合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 遥感 新视角合成 深度图像渲染 神经高斯点云 稀疏观测 三维重建 跨视图一致性 几何约束

📋 核心要点

  1. 现有的NeRF和3DGS方法在稀疏观测下容易过拟合，且面临深度模糊和缺失跨视图信息等挑战。
  2. 本文提出DIBR-GS框架，利用深度图像渲染生成伪视图，增强跨视图一致性监督，改善稀疏观测下的重建效果。
  3. 实验结果显示，DIBR-GS在仅使用3个输入视图的情况下，PSNR提升6.83 dB，SSIM和LPIPS分别提升14%和60%。

📝 摘要（中文）

在稀疏观测下，遥感新视角合成面临几何约束不足和跨视图监督有限的挑战。现有的神经辐射场（NeRF）和3D高斯点云（3DGS）方法容易过拟合，并在深度模糊、缺失跨视图信息及观察不足区域的约束不足等方面存在问题。为此，本文提出了一种基于深度图像渲染（DIBR）的神经高斯点云框架DIBR-GS，通过生成伪视图来增强跨视图一致性监督。实验结果表明，该方法在仅使用3个输入视图的情况下，性能显著优于现有方法，PSNR提升6.83 dB，SSIM和LPIPS分别提升14%和60%。

🔬 方法详解

问题定义：本文旨在解决在稀疏观测条件下进行遥感新视角合成时，现有方法面临的几何约束不足和跨视图监督有限的问题。现有的NeRF和3DGS方法容易过拟合，并且在深度模糊和观察不足区域的重建效果不佳。

核心思路：提出DIBR-GS框架，通过深度图像渲染（DIBR）生成伪视图，以增强跨视图一致性监督。该方法通过将单目深度先验与稀疏的结构光重建对齐，构建可靠的几何初始化，并将跨视图外观先验融入神经高斯表示中，以改善稀疏观测下的外观建模。

技术框架：DIBR-GS的整体架构包括几个主要模块：首先，通过深度图像渲染生成伪视图；其次，利用单目深度先验进行几何初始化；最后，采用渐进式伪视图监督策略提供额外的几何和外观约束。

关键创新：本文的关键创新在于引入深度图像渲染生成伪视图的策略，结合几何初始化和跨视图外观先验，从而有效解决了现有方法在稀疏观测下的重建问题。

关键设计：在设计中，采用了高度约束的锚点增长策略，以抑制不合理的高斯扩展，并在损失函数中引入了几何和外观约束，以增强模型的稳定性和重建效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DIBR-GS在仅使用3个输入视图的情况下，PSNR提升6.83 dB，相较于之前最佳方法，SSIM提升14%，LPIPS提升60%。这些结果展示了该方法在稀疏观测条件下的显著性能提升，同时保持了竞争力的计算效率。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在遥感图像处理、虚拟现实和增强现实等领域。通过提高稀疏观测条件下的重建质量，DIBR-GS可以为环境监测、城市规划和灾害评估等实际应用提供更准确的三维重建结果，推动相关技术的发展。

📄 摘要（原文）

Remote sensing novel view synthesis under sparse observations remains challenging due to insufficient geometric constraints and limited cross-view supervision. Existing Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) methods are prone to overfitting and face challenges of depth ambiguities, missing cross-view information, and insufficient constraints in under-observed regions. To address these challenges, we propose DIBR-GS, a neural Gaussian Splatting framework that exploits Depth Image-Based Rendering (DIBR) to generate pseudo views for cross-view consistency supervision. Specifically, reliable geometric initialization is constructed by aligning monocular depth priors with sparse SfM reconstruction, and cross-view appearance priors are incorporated into neural Gaussian representations to enhance appearance modeling under sparse observations. Furthermore, we introduce a progressive DIBR-based pseudo-view supervision strategy to provide additional geometric and appearance constraints, enabling more complete reconstruction of weakly observed regions. In addition, a height-constrained anchor growth strategy is designed to suppress unreasonable Gaussian expansion. Experiments demonstrate that the proposed method achieves superior performance over existing approaches when training with only 3 input views. Compared with the previous best-performing method, it improves PSNR by 6.83 dB, with relative gains of 14\% in SSIM and 60\% in LPIPS, while maintaining competitive computational efficiency. Our code is available at https://github.com/kanehub/DIBR-GS