Camera Relocalization in Shadow-free Neural Radiance Fields

📄 arXiv: 2405.14824v1 📥 PDF

作者: Shiyao Xu, Caiyun Liu, Yuantao Chen, Zhenxin Zhu, Zike Yan, Yongliang Shi, Hao Zhao, Guyue Zhou

分类: cs.CV, cs.RO

发布日期: 2024-05-23

备注: Accepted by ICRA 2024. 8 pages, 5 figures, 3 tables. Codes and dataset: https://github.com/hnrna/ShadowfreeNeRF-CameraReloc

💡 一句话要点

提出阴影无关的神经辐射场相机重定位方法，提升光照变化下的定位精度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 相机重定位 神经辐射场 光照不变性 哈希编码 梯度平滑

📋 核心要点

  1. 现有NeRF相机重定位方法在光照变化和阴影影响下性能下降，未能充分解决实际场景中的光照问题。
  2. 提出两阶段流程，首先对图像进行光照和阴影归一化，然后利用哈希编码NeRF进行高效的位姿优化。
  3. 引入截断动态低通滤波器（TDLF）和数值梯度平均技术，以平滑NeRF训练过程中的噪声梯度，提升优化稳定性。

📝 摘要（中文）

相机重定位是计算机视觉和机器人领域中的一个关键问题。神经辐射场（NeRFs）在合成逼真图像方面展现了潜力。一些工作利用NeRFs来优化相机位姿，但它们没有考虑光照变化对场景外观和阴影区域的影响，导致位姿优化过程退化。本文提出了一种两阶段流程，该流程对具有不同光照和阴影条件的图像进行归一化，以改善相机重定位。我们基于哈希编码的NeRF实现了场景表示，这显著加速了位姿优化过程。为了解决基于网格的NeRF中噪声图像梯度计算问题，我们进一步提出了一种重新设计的截断动态低通滤波器（TDLF）和一种数值梯度平均技术来平滑该过程。在具有不同光照条件的多个数据集上的实验结果表明，我们的方法在变化的光照条件下实现了最先进的相机重定位结果。代码和数据将公开提供。

🔬 方法详解

问题定义：相机重定位旨在确定相机在已知场景中的位姿。现有的基于NeRF的方法在光照条件恒定的情况下表现良好，但在真实场景中，光照变化和阴影会导致渲染图像与真实图像之间出现差异，从而影响位姿优化的准确性和鲁棒性。现有方法未能有效处理这些光照变化带来的挑战。

核心思路：论文的核心思路是通过一个两阶段的流程来解耦场景几何和光照。首先，对输入图像进行光照和阴影归一化，从而减少光照变化对位姿估计的影响。然后，利用归一化后的图像进行基于NeRF的位姿优化。这种解耦的方式使得位姿优化过程更加关注场景的几何结构，而不是光照变化。

技术框架：该方法包含两个主要阶段：1) 图像归一化阶段：使用某种图像处理技术（具体技术未知，论文中未明确说明）来减少光照和阴影的影响，生成光照归一化的图像。2) 位姿优化阶段：使用哈希编码的NeRF作为场景表示，并利用光照归一化的图像进行位姿优化。为了解决基于网格的NeRF中梯度计算的噪声问题，还引入了截断动态低通滤波器（TDLF）和数值梯度平均技术。

关键创新：该方法的主要创新在于：1) 提出了一种两阶段的光照无关的相机重定位框架，通过图像归一化来减少光照变化的影响。2) 引入了哈希编码的NeRF，提高了位姿优化的效率。3) 提出了截断动态低通滤波器（TDLF）和数值梯度平均技术，以平滑NeRF训练过程中的噪声梯度。与现有方法相比，该方法更关注于解决光照变化对相机重定位的影响。

关键设计：关于图像归一化阶段的具体技术细节未知。哈希编码NeRF的具体实现细节也未在摘要中详细说明，但可以推测使用了类似Instant-NGP的技术。截断动态低通滤波器（TDLF）和数值梯度平均技术的具体参数设置和实现细节未知，需要在论文正文中查找。

📊 实验亮点

论文在多个具有不同光照条件的数据集上进行了实验，结果表明该方法在相机重定位任务中取得了最先进的性能。具体的性能数据和对比基线需要在论文正文中查找。该方法通过图像归一化和梯度平滑技术，有效地提高了在光照变化环境下的相机重定位精度。

🎯 应用场景

该研究成果可应用于增强现实、机器人导航、自动驾驶等领域。在这些应用中，相机重定位是至关重要的组成部分。该方法能够提高在光照变化环境下的相机重定位精度和鲁棒性，从而提升相关系统的性能和可靠性。未来，该技术有望进一步扩展到动态场景和更大规模的场景。

📄 摘要（原文）

Camera relocalization is a crucial problem in computer vision and robotics. Recent advancements in neural radiance fields (NeRFs) have shown promise in synthesizing photo-realistic images. Several works have utilized NeRFs for refining camera poses, but they do not account for lighting changes that can affect scene appearance and shadow regions, causing a degraded pose optimization process. In this paper, we propose a two-staged pipeline that normalizes images with varying lighting and shadow conditions to improve camera relocalization. We implement our scene representation upon a hash-encoded NeRF which significantly boosts up the pose optimization process. To account for the noisy image gradient computing problem in grid-based NeRFs, we further propose a re-devised truncated dynamic low-pass filter (TDLF) and a numerical gradient averaging technique to smoothen the process. Experimental results on several datasets with varying lighting conditions demonstrate that our method achieves state-of-the-art results in camera relocalization under varying lighting conditions. Code and data will be made publicly available.