Excavating in the Wild: The GOOSE-Ex Dataset for Semantic Segmentation
作者: Raphael Hagmanns, Peter Mortimer, Miguel Granero, Thorsten Luettel, Janko Petereit
分类: cs.RO, cs.CV
发布日期: 2024-09-27 (更新: 2025-09-26)
备注: Accepted for publication at 2025 IEEE International Conference on Robotics and Automation (ICRA)
DOI: 10.1109/ICRA55743.2025.11127604
💡 一句话要点
提出GOOSE-Ex数据集，用于提升非结构化环境下的语义分割性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语义分割 机器人数据集 非结构化环境 多模态数据 越野导航
📋 核心要点
- 现有非结构化户外环境下的机器人数据集稀缺，限制了深度学习在自主系统中的应用。
- GOOSE-Ex数据集包含来自挖掘机和四足机器人的多模态数据，旨在提升模型的泛化能力。
- 论文分析了不同平台和传感器模态的语义分割性能，并展示了数据集在下游任务中的潜力。
📝 摘要（中文）
深度学习技术在自主系统中的成功部署高度依赖于部署环境中的数据可用性。特别是在非结构化户外环境中，针对特定机器人平台和场景的数据集非常有限。本文发布GOOSE-Ex数据集，其中包含来自不同环境的5000个带标签的多模态帧，这些数据由机器人挖掘机和四足机器人平台记录。我们对不同平台和传感器模态在未见环境中的语义分割性能进行了全面分析。此外，我们展示了如何将组合数据集用于不同的下游应用或竞赛，例如越野导航、物体操作或场景补全。该数据集、平台文档和用于越野感知的预训练模型将在https://goose-dataset.de/上提供。
🔬 方法详解
问题定义：论文旨在解决非结构化户外环境中，机器人感知系统缺乏足够训练数据的问题。现有数据集往往针对特定平台和场景，导致模型泛化能力不足，难以适应复杂多变的环境。
核心思路：论文的核心思路是构建一个包含多样化环境和平台的多模态数据集，从而提升模型在未见环境中的泛化能力。通过引入来自挖掘机和四足机器人的数据，增加了数据集的多样性，使其更具代表性。
技术框架：GOOSE-Ex数据集是GOOSE框架的扩展，包含了5000个带标签的多模态帧。数据来自不同的环境，由机器人挖掘机和四足机器人平台记录。论文对不同平台和传感器模态的语义分割性能进行了分析，并展示了数据集在越野导航、物体操作和场景补全等下游任务中的应用。
关键创新：GOOSE-Ex数据集的关键创新在于其多样性和多模态性。与现有数据集相比，GOOSE-Ex包含了来自不同平台和环境的数据，并且提供了多种传感器模态的信息，例如RGB图像、深度图像和激光雷达数据。这种多样性和多模态性使得模型能够学习到更鲁棒的特征，从而提升泛化能力。
关键设计：数据集的标注采用了语义分割的方式，将图像中的每个像素都标记为不同的类别。论文没有详细说明具体的标注类别，但提到数据集可以用于越野导航、物体操作和场景补全等任务，因此标注类别可能包括地面、植被、障碍物等。此外，论文还提供了预训练的语义分割模型，方便用户使用该数据集。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了GOOSE-Ex数据集的有效性，展示了其在不同平台和传感器模态上的语义分割性能。虽然没有给出具体的性能指标，但论文强调了数据集在提升模型泛化能力方面的作用。此外，论文还展示了数据集在越野导航、物体操作和场景补全等下游任务中的潜力，表明其具有广泛的应用价值。
🎯 应用场景
该研究成果可广泛应用于自主机器人领域，例如越野导航、农业机器人、建筑机器人等。通过使用GOOSE-Ex数据集进行训练，可以提升机器人在复杂非结构化环境中的感知能力，使其能够更好地完成各种任务，例如自主挖掘、地形勘测、环境监测等。该数据集的发布将促进相关领域的研究和发展。
📄 摘要（原文）
The successful deployment of deep learning-based techniques for autonomous systems is highly dependent on the data availability for the respective system in its deployment environment. Especially for unstructured outdoor environments, very few datasets exist for even fewer robotic platforms and scenarios. In an earlier work, we presented the German Outdoor and Offroad Dataset (GOOSE) framework along with 10000 multimodal frames from an offroad vehicle to enhance the perception capabilities in unstructured environments. In this work, we address the generalizability of the GOOSE framework. To accomplish this, we open-source the GOOSE-Ex dataset, which contains additional 5000 labeled multimodal frames from various completely different environments, recorded on a robotic excavator and a quadruped platform. We perform a comprehensive analysis of the semantic segmentation performance on different platforms and sensor modalities in unseen environments. In addition, we demonstrate how the combined datasets can be utilized for different downstream applications or competitions such as offroad navigation, object manipulation or scene completion. The dataset, its platform documentation and pre-trained state-of-the-art models for offroad perception will be made available on https://goose-dataset.de/. \