Vision Foundation Models with Synthetic-Only Training for Monocular Spacecraft Pose Estimation

📄 arXiv: 2609.26561v1 📥 PDF

作者: John Church, Vazghen Nikolian

分类: cs.CV, cs.RO

发布日期: 2026-09-22

备注: 6 pages, 3 figures, 4 tables. A shorter version was accepted to the IROS 2026 Space Robotics Workshop (non-archival)

💡 一句话要点

提出基于合成数据的视觉基础模型以解决单目航天器姿态估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 航天器姿态估计 视觉基础模型 自监督学习 深度学习 合成数据

📋 核心要点

  1. 现有航天器姿态估计方法在准确性和参数效率上存在不足，尤其是在非合作航天器的情况下。
  2. 本文提出了一种基于热图的姿态估计架构，结合大型自监督ViT模型DINOv3，显著提升了姿态估计的准确性。
  3. 实验结果表明，840M模型在光箱和日光灯测试集上分别达到了1.17°和1.56°的平均旋转误差，优于之前的最佳结果。

📝 摘要（中文）

本文提出了一种改进的航天器姿态估计架构，在已知的非合作航天器的SPEED+光箱和日光灯测试集上实现了最低的平均旋转误差。通过使用基于热图的姿态估计架构，并将大型自监督ViT基础模型DINOv3替换为之前工作中的小型卷积和ViT编码器，姿态估计的准确性从3亿参数提升至8.4亿参数，且未观察到饱和现象。我们在Jetson Orin NX 16GB上评估了840M模型，测得每个裁剪的单次网络推理时间为133.8毫秒，功耗为32.0瓦。这些测量结果展示了在具有轨道飞行遗产的处理器系列上进行嵌入式推理的可行性。我们的模型在光箱和日光灯领域的表现优于之前的模型，且仅使用合成数据进行训练。

🔬 方法详解

问题定义：本文旨在解决航天器姿态估计中的准确性不足问题，尤其是在处理非合作航天器时，现有方法的表现未能满足实际需求。

核心思路：通过采用基于热图的姿态估计架构，并引入大型自监督ViT基础模型DINOv3，来提升模型的参数效率和准确性。此设计旨在利用更强大的特征提取能力来改善姿态估计的性能。

技术框架：整体架构包括热图生成模块、DINOv3编码器和姿态解码模块。首先，输入图像经过DINOv3编码器提取特征，然后生成热图，最后通过解码模块输出姿态估计结果。

关键创新：最重要的创新在于将DINOv3模型替换为传统的卷积和ViT编码器，显著提升了模型的参数量和性能，同时保持了推理速度和功耗的可接受范围。

关键设计：在模型设计中，840M参数的DINOv3编码器采用LoRA进行适配，使用了64的排名和三种种子进行集成，并在测试时进行了四次旋转数据增强，以进一步提高模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，840M模型在光箱和日光灯测试集上分别达到了1.17°和1.56°的平均旋转误差，显著优于之前的最佳结果（2.66°和1.75°）。该模型在Jetson Orin NX上实现了133.8毫秒的推理时间，功耗为32.0瓦，展示了其在嵌入式系统中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括航天器自主导航、空间任务中的姿态控制以及其他需要高精度姿态估计的场景。其实际价值在于能够在合成数据训练的基础上，提供高效且准确的姿态估计解决方案，推动航天技术的发展。未来，该方法可能会扩展到其他领域，如无人机和机器人导航等。

📄 摘要（原文）

We present an improvement on previous spacecraft pose estimation architectures that results in the lowest published mean rotation errors we know of on the SPEED+ lightbox and sunlamp test sets for a known, non-cooperative spacecraft. By using a previously established heatmap-based pose estimation architecture and adapting a large self-supervised ViT foundation model (DINOv3) in place of the smaller convolutional and ViT encoders of previous work, we show that pose estimation accuracy improves from 300M to 840M parameters with no saturation yet observed. We also evaluate our 840M model on a Jetson Orin NX 16GB, measuring single-pass network inference at 133.8 ms per crop with a board draw of 32.0 W. These measurements demonstrate embedded inference feasibility on a processor family with orbital flight heritage. Our resulting model outperforms previous models across lightbox and sunlamp domains while training only on synthetic data. Our best model, using DINOv3 840M adapted with LoRA as the encoder (rank 64, three-seed ensemble with four-rotation test-time augmentation), results in $1.56^\circ$ mean rotation error on sunlamp and $1.17^\circ$ on lightbox, compared to the previous best mean rotation errors we know of on these test sets, $2.66^\circ$ and $1.75^\circ$ by EagerNet.