STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery

📄 arXiv: 2310.01667v1 📥 PDF

作者: Advaith Venkatramanan Sethuraman, Katherine A. Skinner

分类: cs.CV

发布日期: 2023-10-02

💡 一句话要点

提出STARS以解决零样本船舶残骸分割问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 船舶残骸分割 零样本学习 仿真到真实转移 声纳图像 深度学习

📋 核心要点

  1. 核心问题：现有方法在缺乏真实样本的情况下，难以实现有效的物体分割，尤其是在船舶残骸的分割任务中。
  2. 方法要点：STARS网络通过融合变形场和异常体积，增强了对真实声纳图像的适应性，实现了零样本的仿真到真实转移。
  3. 实验或效果：在真实的船舶残骸数据集上，STARS实现了20%的性能提升，且无需对真实数据进行微调。

📝 摘要（中文）

本文针对在训练过程中无法获取目标对象真实样本的情况下，进行物体分割的零样本仿真到真实转移问题进行了研究。我们专注于侧扫声纳图像中的船舶残骸分割。我们提出的创新分割网络STARS通过融合预测的变形场和异常体积，增强了对真实声纳图像的泛化能力，从而实现更有效的零样本仿真到真实转移。我们在真实的专家标注的船舶残骸侧扫声纳数据集上评估了该方法的转移能力，STARS完全在仿真中训练，并在真实数据上无需额外微调即可进行零样本船舶残骸分割。与最佳基线相比，我们的方法在目标船舶类别的分割性能上显著提高了20%。

🔬 方法详解

问题定义：本文旨在解决在缺乏真实样本的情况下，如何有效进行船舶残骸的分割问题。现有方法通常依赖于真实数据进行训练，导致在实际应用中效果不佳。

核心思路：STARS网络的核心思想是通过融合预测的变形场和异常体积，增强模型对真实声纳图像的泛化能力。这种设计使得模型能够在没有真实样本的情况下，仍然有效地进行分割。

技术框架：STARS的整体架构包括两个主要模块：变形场预测模块和异常体积生成模块。变形场用于捕捉目标对象的形变，而异常体积则用于识别与目标对象不同的区域。通过这两个模块的结合，模型能够更好地适应真实场景。

关键创新：STARS的主要创新在于其零样本仿真到真实转移能力，特别是在船舶残骸分割任务中，显著提高了分割性能。这与传统方法依赖真实数据的方式形成了鲜明对比。

关键设计：在网络结构上，STARS采用了特定的损失函数来平衡变形场和异常体积的贡献，同时在训练过程中使用了数据增强技术，以提高模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STARS在真实的船舶残骸数据集上实现了20%的性能提升，相较于最佳基线，展现了显著的优势。此外，该方法在训练过程中完全依赖仿真数据，未进行任何真实数据的微调，展示了其强大的零样本学习能力。

🎯 应用场景

该研究在海洋探测、考古学和环境监测等领域具有广泛的应用潜力。通过提高船舶残骸的分割精度，能够更好地支持相关的科学研究和资源管理，尤其是在无人水下航行器（AUV）执行任务时，能够有效降低对真实数据的依赖。

📄 摘要（原文）

In this paper, we address the problem of sim-to-real transfer for object segmentation when there is no access to real examples of an object of interest during training, i.e. zero-shot sim-to-real transfer for segmentation. We focus on the application of shipwreck segmentation in side scan sonar imagery. Our novel segmentation network, STARS, addresses this challenge by fusing a predicted deformation field and anomaly volume, allowing it to generalize better to real sonar images and achieve more effective zero-shot sim-to-real transfer for image segmentation. We evaluate the sim-to-real transfer capabilities of our method on a real, expert-labeled side scan sonar dataset of shipwrecks collected from field work surveys with an autonomous underwater vehicle (AUV). STARS is trained entirely in simulation and performs zero-shot shipwreck segmentation with no additional fine-tuning on real data. Our method provides a significant 20% increase in segmentation performance for the targeted shipwreck class compared to the best baseline.