Leveraging Neural Radiance Fields for Pose Estimation of an Unknown Space Object during Proximity Operations

📄 arXiv: 2405.12728v3 📥 PDF

作者: Antoine Legrand, Renaud Detry, Christophe De Vleeschouwer

分类: cs.CV, eess.IV

发布日期: 2024-05-21 (更新: 2024-06-11)

备注: Accepted at IEEE International Conference on Space Robotics 2024 (ISpaRo 2024), Workshop on Advances in Orbital Robotics: In Orbit Manipulation, Servicing, and Assembly

💡 一句话要点

提出一种基于NeRF的航天器位姿估计方法，用于未知空间目标的近距离操作。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 位姿估计 空间目标 近距离操作 主动碎片清除

📋 核心要点

  1. 现有航天器位姿估计方法依赖于已知CAD模型，对未知目标失效，限制了其在空间碎片清除等任务中的应用。
  2. 利用NeRF从少量图像中学习目标外观，生成大量不同视角和光照条件下的合成数据，用于训练位姿估计网络。
  3. 实验表明，该方法能有效训练位姿估计网络，性能与使用CAD模型训练的网络相当，验证了其有效性。

📝 摘要（中文）

本文提出了一种新方法，用于估计未知目标航天器相对于单目相机的6D位姿，这是未来主动清除空间碎片任务所需的自主交会对接和近距离操作的关键步骤。该方法利用一种“开箱即用”的航天器位姿估计器，使其能够应用于未知目标。该方法依赖于一种野外NeRF，即神经辐射场，它采用可学习的外观嵌入来表示自然场景中发现的各种光照条件。我们使用稀疏的目标图像集合来训练NeRF模型，进而生成一个在视角和光照方面都具有多样性的大型数据集。然后，该数据集用于训练位姿估计网络。我们在SPEED+的硬件在环图像上验证了我们的方法，该图像模拟了接近轨道上遇到的光照条件。我们证明了我们的方法成功地支持了从稀疏图像集中训练“开箱即用”的航天器位姿估计网络。此外，我们表明，使用我们的方法训练的网络性能与使用目标CAD模型生成的合成图像训练的模型相似。

🔬 方法详解

问题定义：论文旨在解决在近距离操作中，如何利用单目相机估计未知空间目标的6D位姿。现有方法通常依赖于目标的CAD模型，这在目标未知或CAD模型不准确的情况下会失效。因此，需要一种方法能够在没有CAD模型的情况下进行位姿估计。

核心思路：论文的核心思路是利用神经辐射场（NeRF）从少量真实图像中学习目标的3D表示和外观，并生成大量合成图像，用于训练位姿估计网络。这样，即使没有目标的CAD模型，也能训练出一个有效的位姿估计器。

技术框架：整体框架包括以下几个主要步骤：1) 使用少量真实图像训练一个NeRF模型，该模型能够渲染出不同视角和光照条件下的目标图像。2) 使用训练好的NeRF模型生成大量合成图像，这些图像具有不同的视角和光照条件，从而构成一个大型数据集。3) 使用生成的数据集训练一个现成的（off-the-shelf）位姿估计网络。4) 在真实的硬件在环图像上评估训练好的位姿估计网络的性能。

关键创新：该方法最重要的创新点在于利用NeRF来表示未知目标，并生成用于训练位姿估计网络的合成数据。与传统的基于CAD模型的方法相比，该方法不需要目标的CAD模型，从而能够应用于未知目标。此外，该方法利用可学习的外观嵌入来表示不同的光照条件，从而提高了合成数据的真实感。

关键设计：NeRF模型使用MLP网络来表示场景的辐射场和密度。外观嵌入被添加到NeRF模型中，以处理不同的光照条件。位姿估计网络可以使用现成的网络结构，例如DenseFusion。损失函数通常包括图像重建损失和位姿损失。实验中，使用SPEED+的硬件在环图像来模拟轨道上的光照条件。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用该方法训练的位姿估计网络性能与使用CAD模型生成的合成图像训练的网络相当。这表明该方法能够有效地利用少量真实图像来学习目标的3D表示和外观，并生成高质量的合成数据。此外，该方法在SPEED+的硬件在环图像上进行了验证，证明了其在实际应用中的可行性。

🎯 应用场景

该研究成果可应用于空间碎片清除、在轨服务、行星探测等领域。通过估计未知空间目标的位姿，可以实现自主交会对接、机械臂操作等任务，从而降低任务成本、提高任务效率。未来，该方法有望扩展到更复杂的场景，例如存在遮挡、光照变化剧烈的环境。

📄 摘要（原文）

We address the estimation of the 6D pose of an unknown target spacecraft relative to a monocular camera, a key step towards the autonomous rendezvous and proximity operations required by future Active Debris Removal missions. We present a novel method that enables an "off-the-shelf" spacecraft pose estimator, which is supposed to known the target CAD model, to be applied on an unknown target. Our method relies on an in-the wild NeRF, i.e., a Neural Radiance Field that employs learnable appearance embeddings to represent varying illumination conditions found in natural scenes. We train the NeRF model using a sparse collection of images that depict the target, and in turn generate a large dataset that is diverse both in terms of viewpoint and illumination. This dataset is then used to train the pose estimation network. We validate our method on the Hardware-In-the-Loop images of SPEED+ that emulate lighting conditions close to those encountered on orbit. We demonstrate that our method successfully enables the training of an off-the-shelf spacecraft pose estimation network from a sparse set of images. Furthermore, we show that a network trained using our method performs similarly to a model trained on synthetic images generated using the CAD model of the target.