psPRF:Pansharpening Planar Neural Radiance Field for Generalized 3D Reconstruction Satellite Imagery

📄 arXiv: 2406.15707v1 📥 PDF

作者: Tongtong Zhang, Yuanxiang Li

分类: cs.CV

发布日期: 2024-06-22

💡 一句话要点

提出psPRF，用于卫星影像的通用三维重建和超分辨率融合。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经辐射场 卫星影像 三维重建 超分辨率融合 多模态学习 几何自监督 遥感影像处理

📋 核心要点

  1. 现有的卫星NeRF方法通常针对特定场景设计，难以泛化到新的几何结构，且需要独立的超分辨率融合预处理步骤。
  2. psPRF通过显式光谱到空间卷积（SSConv）增强多模态表示能力，并采用投影损失实现几何自监督，从而提升泛化性。
  3. 在WorldView-3数据集上的实验表明，psPRF在卫星影像三维重建和超分辨率融合任务中取得了优于现有技术水平的性能。

📝 摘要（中文）

本文提出了一种用于卫星影像的三维重建的平面神经辐射场psPRF。该方法专门设计用于处理来自卫星传感器的低分辨率RGB（LR-RGB）图像和高分辨率全色（HR-PAN）图像对，并利用有理多项式相机模型（RPC）。为了捕捉LR-RGB和HR-PAN图像之间的跨模态先验信息，psPRF采用Unet形架构，并使用显式光谱到空间卷积（SSConv）增强编码器的多模态表示能力。为了增强psPRF在不同场景中的泛化能力，引入了投影损失以确保强大的几何自监督。在多场景WorldView-3 LR-RGB和HR-PAN图像对上的评估结果表明，该方法达到了最先进的性能。

🔬 方法详解

问题定义：现有的基于NeRF的卫星影像三维重建方法通常针对特定场景进行优化，缺乏跨场景的泛化能力。此外，这些方法通常需要一个独立的预处理步骤，即全色锐化（pansharpening），将低分辨率RGB图像与高分辨率全色图像融合，增加了计算复杂性。因此，如何设计一个能够直接处理低分辨率RGB和高分辨率全色图像对，并具有良好泛化能力的三维重建模型是一个关键问题。

核心思路：psPRF的核心思路是利用平面神经辐射场（Planar Neural Radiance Field）同时进行三维重建和超分辨率融合。通过显式地建模低分辨率RGB和高分辨率全色图像之间的关系，并引入几何自监督，psPRF能够学习到更鲁棒的场景表示，从而提高泛化能力。该方法避免了传统方法中独立的超分辨率融合步骤，简化了流程。

技术框架：psPRF的整体框架基于Unet架构，包含一个编码器和一个解码器。编码器负责提取低分辨率RGB和高分辨率全色图像的特征，解码器负责重建三维场景。为了增强编码器的多模态表示能力，psPRF引入了显式光谱到空间卷积（SSConv）模块。此外，psPRF还引入了投影损失，用于约束重建的三维场景与原始图像之间的几何一致性。

关键创新：psPRF的关键创新在于以下几个方面：1) 提出了一个能够同时进行三维重建和超分辨率融合的平面神经辐射场；2) 引入了显式光谱到空间卷积（SSConv）模块，增强了编码器的多模态表示能力；3) 采用了投影损失，实现了几何自监督，提高了模型的泛化能力。与现有方法相比，psPRF能够直接处理低分辨率RGB和高分辨率全色图像对，避免了独立的超分辨率融合步骤，并具有更好的泛化能力。

关键设计：psPRF的关键设计包括：1) 显式光谱到空间卷积（SSConv）模块的具体实现方式，包括卷积核的大小、通道数等参数；2) 投影损失的具体形式，例如使用L1损失或L2损失；3) 网络结构的详细设计，包括每一层的通道数、激活函数等参数；4) 训练过程中的优化器选择、学习率设置等超参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在WorldView-3数据集上进行了实验，结果表明psPRF在三维重建和超分辨率融合任务中取得了state-of-the-art的性能。具体而言，psPRF在多个指标上均优于现有的NeRF方法，例如PSNR、SSIM等。实验结果验证了psPRF的有效性和泛化能力，表明其在卫星影像三维重建领域具有重要的应用价值。

🎯 应用场景

psPRF在遥感影像处理领域具有广泛的应用前景，例如城市三维建模、地形测绘、灾害监测、资源调查等。该方法能够直接利用卫星传感器获取的低分辨率RGB和高分辨率全色图像进行三维重建，无需额外的超分辨率融合预处理，降低了计算成本，提高了效率。未来，psPRF有望应用于更大规模、更复杂场景的三维重建任务中，为遥感影像的应用提供更强大的技术支持。

📄 摘要（原文）

Most current NeRF variants for satellites are designed for one specific scene and fall short of generalization to new geometry. Additionally, the RGB images require pan-sharpening as an independent preprocessing step. This paper introduces psPRF, a Planar Neural Radiance Field designed for paired low-resolution RGB (LR-RGB) and high-resolution panchromatic (HR-PAN) images from satellite sensors with Rational Polynomial Cameras (RPC). To capture the cross-modal prior from both of the LR-RGB and HR-PAN images, for the Unet-shaped architecture, we adapt the encoder with explicit spectral-to-spatial convolution (SSConv) to enhance the multimodal representation ability. To support the generalization ability of psRPF across scenes, we adopt projection loss to ensure strong geometry self-supervision. The proposed method is evaluated with the multi-scene WorldView-3 LR-RGB and HR-PAN pairs, and achieves state-of-the-art performance.