A New Dataset and Performance Benchmark for Real-time Spacecraft Segmentation in Onboard Flight Computers

📄 arXiv: 2507.10775v1 📥 PDF

作者: Jeffrey Joan Sam, Janhavi Sathe, Nikhil Chigali, Naman Gupta, Radhey Ruparel, Yicheng Jiang, Janmajay Singh, James W. Berck, Arko Barman

分类: cs.CV, cs.AI, eess.IV

发布日期: 2025-07-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出用于航天器实时分割的新数据集SWiM与YOLO性能基准

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 航天器分割 图像数据集 YOLO 实时分割 在轨应用

📋 核心要点

  1. 现有航天器图像分割数据集稀缺，阻碍了自主检测系统的发展，尤其是在轨维修等高成本场景。
  2. 论文构建了大规模航天器分割数据集SWiM，并模拟真实成像条件，为算法训练提供数据基础。
  3. 通过在SWiM数据集上微调YOLOv8/v11，论文建立了性能基准，为在轨实时分割任务提供参考。

📝 摘要（中文）

本文介绍了一个新的航天器图像分割数据集，包含近64k张带注释的图像。这些图像使用真实的航天器模型叠加在真实和合成背景上，背景由NASA的TTALOS流程生成。为了模拟真实图像采集中的相机失真和噪声，图像还添加了不同类型的噪声和失真。此外，本文还对YOLOv8和YOLOv11分割模型进行了微调，以生成数据集的性能基准，模拟NASA检查航天器在太空中的实时机载应用所面临的图像分割挑战，并限定了硬件和推理时间。在这些约束条件下测试时，得到的模型实现了0.92的Dice分数，0.69的Hausdorff距离，以及约0.5秒的推理时间。该数据集和性能基准模型可在https://github.com/RiceD2KLab/SWiM 获取。

🔬 方法详解

问题定义：论文旨在解决航天器在轨实时图像分割问题。现有公开的带标注航天器图像分割数据集非常稀少，难以训练出满足实际应用需求的模型。此外，真实航天器图像采集过程会受到各种噪声和失真的影响，进一步增加了分割的难度。

核心思路：论文的核心思路是构建一个大规模、高质量的航天器图像分割数据集，并在此基础上建立性能基准。通过使用真实的航天器模型和混合的真实/合成背景，并模拟真实图像采集中的噪声和失真，使数据集更接近真实场景。然后，利用先进的YOLO系列分割模型，在数据集上进行微调和评估，为后续研究提供参考。

技术框架：论文的技术框架主要包括以下几个部分：1) 数据集构建：使用真实的航天器模型，叠加在真实和合成背景上，生成大量图像，并进行精确的像素级标注。2) 噪声和失真模拟：为了模拟真实图像采集中的相机失真和噪声，对图像添加不同类型的噪声和失真。3) 模型微调和评估：选择YOLOv8和YOLOv11分割模型，在构建的数据集上进行微调，并在特定的硬件和推理时间约束下进行性能评估。

关键创新：论文的关键创新在于构建了一个大规模、高质量的航天器图像分割数据集SWiM，该数据集考虑了真实场景中的各种噪声和失真，更具实用价值。此外，论文还针对在轨实时应用场景，对YOLO系列模型进行了性能评估，为后续研究提供了有价值的参考。

关键设计：论文的关键设计包括：1) 数据集的规模和多样性：数据集包含近64k张图像，覆盖了不同的航天器模型、背景和光照条件。2) 噪声和失真模拟的类型和强度：论文考虑了多种类型的噪声和失真，并根据实际情况设置了合适的强度。3) 模型微调的策略：论文采用了合适的学习率、优化器和正则化方法，以避免过拟合，并提高模型的泛化能力。4) 性能评估的指标：论文采用了Dice分数和Hausdorff距离等常用的分割指标，以及推理时间等实时性指标，全面评估了模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在SWiM数据集上微调的YOLOv8和YOLOv11模型在满足实时性约束（约0.5秒推理时间）的前提下，能够取得较高的分割精度，Dice分数达到0.92，Hausdorff距离为0.69。这些结果为在轨实时航天器图像分割任务提供了有力的性能基准。

🎯 应用场景

该研究成果可应用于航天器自主检测系统，例如在轨损伤评估、部件识别和状态监测。通过实时图像分割，可以实现对航天器的自动化巡检，降低人工维护成本，提高航天任务的安全性与可靠性。未来，该技术还可扩展到其他空间应用，如卫星遥感图像分析、行星探测等。

📄 摘要（原文）

Spacecraft deployed in outer space are routinely subjected to various forms of damage due to exposure to hazardous environments. In addition, there are significant risks to the subsequent process of in-space repairs through human extravehicular activity or robotic manipulation, incurring substantial operational costs. Recent developments in image segmentation could enable the development of reliable and cost-effective autonomous inspection systems. While these models often require large amounts of training data to achieve satisfactory results, publicly available annotated spacecraft segmentation data are very scarce. Here, we present a new dataset of nearly 64k annotated spacecraft images that was created using real spacecraft models, superimposed on a mixture of real and synthetic backgrounds generated using NASA's TTALOS pipeline. To mimic camera distortions and noise in real-world image acquisition, we also added different types of noise and distortion to the images. Finally, we finetuned YOLOv8 and YOLOv11 segmentation models to generate performance benchmarks for the dataset under well-defined hardware and inference time constraints to mimic real-world image segmentation challenges for real-time onboard applications in space on NASA's inspector spacecraft. The resulting models, when tested under these constraints, achieved a Dice score of 0.92, Hausdorff distance of 0.69, and an inference time of about 0.5 second. The dataset and models for performance benchmark are available at https://github.com/RiceD2KLab/SWiM.