NeRF-based Visualization of 3D Cues Supporting Data-Driven Spacecraft Pose Estimation

📄 arXiv: 2509.14890v2 📥 PDF

作者: Antoine Legrand, Renaud Detry, Christophe De Vleeschouwer

分类: cs.CV

发布日期: 2025-09-18 (更新: 2025-10-20)

备注: Accepted at IEEE ISpaRo 2025 (International Conference on Space Robotics) (8 pages, 2 figures)

💡 一句话要点

提出基于NeRF的3D视觉线索可视化方法，用于理解数据驱动的航天器姿态估计。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 航天器姿态估计 神经辐射场 NeRF 3D视觉线索 可视化 可解释性 数据驱动 梯度反向传播

📋 核心要点

  1. 数据驱动的航天器姿态估计方法缺乏透明度，难以理解其决策依据，限制了实际应用。
  2. 利用NeRF生成器，通过姿态估计网络的梯度反向传播，迫使其渲染网络关注的3D特征。
  3. 实验验证了该方法能够有效恢复关键3D视觉线索，并揭示了网络监督与隐式表示之间的联系。

📝 摘要（中文）

在轨操作需要估计追踪航天器和目标航天器之间的相对6D姿态，即位置和方向。虽然已经开发了数据驱动的航天器姿态估计方法，但由于缺乏对其决策过程的理解，它们在实际任务中的应用受到阻碍。本文提出了一种可视化给定姿态估计器所依赖的3D视觉线索的方法。为此，我们使用通过姿态估计网络反向传播的梯度来训练基于NeRF的图像生成器。这迫使生成器渲染航天器姿态估计网络利用的主要3D特征。实验表明，我们的方法能够恢复相关的3D线索。此外，它们还提供了关于姿态估计网络监督及其目标航天器隐式表示之间关系的额外见解。

🔬 方法详解

问题定义：现有数据驱动的航天器姿态估计方法，虽然精度较高，但缺乏可解释性。用户难以理解网络做出姿态估计决策所依赖的关键3D视觉线索，这阻碍了这些方法在实际任务中的部署和信任。因此，需要一种方法来可视化这些关键的3D特征，从而提高模型的可解释性。

核心思路：本文的核心思路是利用神经辐射场（NeRF）作为图像生成器，并通过姿态估计网络的梯度来引导NeRF的训练。通过反向传播梯度，迫使NeRF生成器渲染那些对姿态估计任务至关重要的3D特征。这样，通过观察NeRF生成的图像，就可以了解姿态估计网络所关注的3D视觉线索。

技术框架：该方法包含两个主要模块：姿态估计网络和NeRF图像生成器。首先，训练一个姿态估计网络，用于估计航天器的6D姿态。然后，使用该网络的梯度来训练NeRF生成器。具体来说，对于给定的输入图像，姿态估计网络预测一个姿态。然后，计算预测姿态与真实姿态之间的损失。这个损失的梯度被反向传播到NeRF生成器，用于更新NeRF的参数。通过这种方式，NeRF生成器逐渐学会渲染那些对姿态估计任务重要的3D特征。

关键创新：该方法的主要创新在于利用姿态估计网络的梯度来引导NeRF的训练，从而实现3D视觉线索的可视化。与传统的基于特征匹配的方法不同，该方法不需要手动设计特征，而是通过数据驱动的方式自动学习关键的3D特征。此外，该方法还可以揭示姿态估计网络的监督方式与其隐式表示之间的关系。

关键设计：NeRF生成器的网络结构采用标准的NeRF架构，包括一个MLP网络，用于将3D坐标和视角方向映射到颜色和密度。姿态估计网络可以采用各种现有的网络结构，例如ResNet或PoseNet。损失函数包括姿态估计损失（例如，均方误差）和NeRF渲染损失（例如，L1损失）。关键的参数设置包括学习率、batch size和训练迭代次数。

📊 实验亮点

实验结果表明，该方法能够有效地恢复航天器的关键3D视觉线索，例如太阳能帆板、天线和对接环等。通过观察NeRF生成的图像，可以清晰地了解姿态估计网络所关注的特征。此外，实验还揭示了姿态估计网络的监督方式与其隐式表示之间的关系，例如，使用不同的损失函数会导致网络关注不同的3D特征。

🎯 应用场景

该研究成果可应用于航天器在轨服务、空间碎片清除、行星探测等领域。通过可视化姿态估计网络所依赖的3D视觉线索，可以提高任务的可靠性和安全性，并为任务规划和故障诊断提供支持。此外，该方法还可以用于评估不同姿态估计网络的性能，并指导网络的设计和优化。

📄 摘要（原文）

On-orbit operations require the estimation of the relative 6D pose, i.e., position and orientation, between a chaser spacecraft and its target. While data-driven spacecraft pose estimation methods have been developed, their adoption in real missions is hampered by the lack of understanding of their decision process. This paper presents a method to visualize the 3D visual cues on which a given pose estimator relies. For this purpose, we train a NeRF-based image generator using the gradients back-propagated through the pose estimation network. This enforces the generator to render the main 3D features exploited by the spacecraft pose estimation network. Experiments demonstrate that our method recovers the relevant 3D cues. Furthermore, they offer additional insights on the relationship between the pose estimation network supervision and its implicit representation of the target spacecraft.