rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera

📄 arXiv: 2310.07179v1 📥 PDF

作者: Tongtong Zhang, Yuanxiang Li

分类: cs.CV, cs.AI

发布日期: 2023-10-11

💡 一句话要点

提出rpcPRF以解决卫星图像新视角合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 卫星图像 新视角合成 神经辐射场 多平面图像 深度学习 几何重建 图像处理

📋 核心要点

  1. 现有的神经辐射场方法主要针对针孔相机，卫星相机模型通常需要足够的输入视图，限制了其应用。
  2. rpcPRF模型通过使用多平面图像（MPI）和重投影监督，能够在单视图或少量输入下实现新视角合成。
  3. 在多个数据集上，rpcPRF在图像保真度和重建精度方面显著优于现有的nerf方法，展示了其有效性。

📝 摘要（中文）

卫星图像的新视角合成具有广泛的实际应用。然而，现有的神经辐射场方法主要针对针孔相机，且卫星相机模型通常需要足够的输入视图。本文提出rpcPRF，一种基于多平面图像（MPI）的平面神经辐射场，适用于有理多项式相机（RPC）。与需要充足视图的坐标基础神经辐射场不同，我们的模型能够在单视图或少量输入下表现良好，并且能够处理未见场景的图像。为了实现跨场景的泛化，我们提出使用重投影监督来引导预测的MPI学习3D坐标与图像之间的正确几何关系。此外，我们通过引入辐射场的渲染技术，消除了对深度监督的严格要求。rpcPRF结合了隐式表示的优势和RPC模型的优点，能够捕捉连续的高度空间并学习3D结构。在提供多个视图作为输入时，rpcPRF利用额外视图提供的额外监督。在ZY-3的TLC数据集和WV-3的城市场景SatMVS3D数据集上，rpcPRF在图像保真度、重建精度和效率方面显著超越了最先进的基于nerf的方法。

🔬 方法详解

问题定义：本文旨在解决卫星图像的新视角合成问题，现有方法在处理卫星相机时通常需要大量输入视图，限制了其适用性。

核心思路：rpcPRF模型通过引入多平面图像（MPI）和重投影监督，能够在单视图或少量输入下进行有效的图像合成，从而实现跨场景的泛化能力。

技术框架：rpcPRF的整体架构包括输入RGB图像及其对应的RPC，通过深度学习模型进行训练，生成新的视角图像和场景的高度重建。模型的训练过程结合了重投影损失和渲染技术，以优化3D结构的学习。

关键创新：rpcPRF的主要创新在于去除了对密集深度监督的严格要求，利用重投影监督和渲染技术，使得模型能够在少量视图下有效学习3D几何结构。

关键设计：模型设计中使用了特定的损失函数来优化重投影误差，并采用了适应RPC模型的网络结构，确保能够捕捉到场景的连续高度信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ZY-3的TLC数据集和WV-3的城市场景SatMVS3D数据集上，rpcPRF在图像保真度、重建精度和效率方面显著超越了最先进的nerf方法，具体性能提升幅度达到XX%，展示了其在单视图和多视图任务中的优越性。

🎯 应用场景

rpcPRF模型在卫星图像处理领域具有广泛的应用潜力，能够用于城市规划、环境监测和灾害评估等多个实际场景。其高效的新视角合成能力将推动卫星图像分析技术的发展，提升相关领域的决策支持能力。

📄 摘要（原文）

Novel view synthesis of satellite images holds a wide range of practical applications. While recent advances in the Neural Radiance Field have predominantly targeted pin-hole cameras, and models for satellite cameras often demand sufficient input views. This paper presents rpcPRF, a Multiplane Images (MPI) based Planar neural Radiance Field for Rational Polynomial Camera (RPC). Unlike coordinate-based neural radiance fields in need of sufficient views of one scene, our model is applicable to single or few inputs and performs well on images from unseen scenes. To enable generalization across scenes, we propose to use reprojection supervision to induce the predicted MPI to learn the correct geometry between the 3D coordinates and the images. Moreover, we remove the stringent requirement of dense depth supervision from deep multiview-stereo-based methods by introducing rendering techniques of radiance fields. rpcPRF combines the superiority of implicit representations and the advantages of the RPC model, to capture the continuous altitude space while learning the 3D structure. Given an RGB image and its corresponding RPC, the end-to-end model learns to synthesize the novel view with a new RPC and reconstruct the altitude of the scene. When multiple views are provided as inputs, rpcPRF exerts extra supervision provided by the extra views. On the TLC dataset from ZY-3, and the SatMVS3D dataset with urban scenes from WV-3, rpcPRF outperforms state-of-the-art nerf-based methods by a significant margin in terms of image fidelity, reconstruction accuracy, and efficiency, for both single-view and multiview task.