BRDF-NeRF: Neural Radiance Fields with Optical Satellite Images and BRDF Modelling

📄 arXiv: 2409.12014v3 📥 PDF

作者: Lulin Zhang, Ewelina Rupnik, Tri Dung Nguyen, Stéphane Jacquemoud, Yann Klinger

分类: cs.CV

发布日期: 2024-09-18 (更新: 2024-09-25)

💡 一句话要点

提出BRDF-NeRF以解决卫星图像中BRDF建模问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 BRDF建模 卫星图像 深度学习 遥感技术

📋 核心要点

  1. 现有的NeRF方法主要依赖于近距离图像，且多采用简化的BRDF模型，难以准确表示复杂的地球表面。
  2. 本文提出BRDF-NeRF，通过引入RPV BRDF模型和引导体积采样，减少了对大量图像的依赖，提升了建模精度。
  3. 在仅使用三到四幅卫星图像的情况下，BRDF-NeRF成功合成了新视角图像，并生成了高质量的数字表面模型。

📝 摘要（中文）

神经辐射场（NeRF）作为一种机器学习技术，已在3D场景表示和从多幅图像估计双向反射分布函数（BRDF）方面获得了广泛关注。然而，现有研究主要集中在近距离图像上，通常使用简化的微面BRDF模型，这对于复杂的地球表面来说往往不足。此外，NeRF方法通常需要大量同时捕获的图像以实现高质量的表面深度重建，这在卫星成像中很少满足。为了解决这些挑战，本文提出了BRDF-NeRF，结合了基于物理的半经验Rahman-Pinty-Verstraete（RPV）BRDF模型，能够更好地捕捉自然表面的反射特性。同时，我们提出了引导体积采样和深度监督，以便在最少的视角下进行辐射场建模。我们的算法在两个卫星数据集上进行了评估，成功合成了新视角的图像，并生成了高质量的数字表面模型（DSM）。

🔬 方法详解

问题定义：论文旨在解决现有NeRF方法在卫星图像中对复杂地表反射特性的建模不足，尤其是在图像数量有限的情况下。

核心思路：提出BRDF-NeRF，通过结合RPV BRDF模型和引导体积采样，能够在较少的视角下有效建模自然表面的反射特性。

技术框架：整体架构包括数据预处理、BRDF模型集成、引导体积采样和深度监督等模块，确保在有限视角下实现高质量的辐射场建模。

关键创新：引入RPV BRDF模型是主要创新点，使得模型能够更准确地捕捉自然表面的反射特性，与传统的微面模型相比，具有更好的适应性和准确性。

关键设计：在网络结构中，采用了适应性损失函数以优化BRDF参数，同时通过引导体积采样技术，减少了对图像数量的依赖，提高了模型的训练效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BRDF-NeRF在仅使用三到四幅卫星图像的情况下，成功合成了来自未见角度的新视角图像，并生成了高质量的数字表面模型，相较于传统方法，模型的表现显著提升，展示了其在实际应用中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在遥感、环境监测和城市建模等领域。通过高效的表面反射建模，能够为地表特征提取、变化检测和资源管理提供更准确的数据支持，推动相关领域的发展。

📄 摘要（原文）

Neural radiance fields (NeRF) have gained prominence as a machine learning technique for representing 3D scenes and estimating the bidirectional reflectance distribution function (BRDF) from multiple images. However, most existing research has focused on close-range imagery, typically modeling scene surfaces with simplified Microfacet BRDF models, which are often inadequate for representing complex Earth surfaces. Furthermore, NeRF approaches generally require large sets of simultaneously captured images for high-quality surface depth reconstruction - a condition rarely met in satellite imaging. To overcome these challenges, we introduce BRDF-NeRF, which incorporates the physically-based semi-empirical Rahman-Pinty-Verstraete (RPV) BRDF model, known to better capture the reflectance properties of natural surfaces. Additionally, we propose guided volumetric sampling and depth supervision to enable radiance field modeling with a minimal number of views. Our method is evaluated on two satellite datasets: (1) Djibouti, captured at varying viewing angles within a single epoch with a fixed Sun position, and (2) Lanzhou, captured across multiple epochs with different Sun positions and viewing angles. Using only three to four satellite images for training, BRDF-NeRF successfully synthesizes novel views from unseen angles and generates high-quality digital surface models (DSMs).