GA3T: A Ground-Aerial Terrain Traversability Dataset for Heterogeneous Robot Teams in Unstructured Environments

📄 arXiv: 2605.06478v1 📥 PDF

作者: Siwei Cai, Knut Peterson, Quan Tran, Christian Ricks, Dhanush Parthasarathy, Amir Kaidarov, Neil Deshpande, Sukaina Najm, David Han, Lifeng Zhou

分类: cs.RO

发布日期: 2026-05-07

备注: For DARS 2026

💡 一句话要点

提出GA3T数据集以解决异构机器人团队在非结构化环境中的感知问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 异构机器人 多模态感知 数据集 协作感知 地形估计 真实世界应用 无人驾驶

📋 核心要点

  1. 现有多机器人协作感知研究缺乏真实世界数据集，限制了算法的有效性和应用。
  2. GA3T数据集通过地面和空中机器人协作收集多模态数据，增强了对复杂环境的感知能力。
  3. 数据集包含超过13,000帧数据，支持零-shot分割和手动标注，具有丰富的应用潜力。

📝 摘要（中文）

异构空地机器人团队结合了互补的传感方式、移动特性和空间视角，能够显著增强复杂户外环境中的感知能力。然而，现有多机器人协作感知的进展受到缺乏真实世界数据集的限制。本文提出GA3T（地面-空中团队地形可 traversability 数据集），该数据集在多种非结构化环境中收集，包括森林小径、岩石路径、泥泞地形、雪堆和草地。数据集包含超过13,000帧同步数据，支持跨视角感知和协作场景理解，具有重要的研究价值。

🔬 方法详解

问题定义：本研究旨在解决异构机器人团队在非结构化环境中缺乏真实世界数据集的问题，现有方法多集中于SLAM或模拟驾驶，无法满足多模态协作感知的需求。

核心思路：通过结合地面平台的3D LiDAR、立体相机和空中平台的RGB图像及热成像数据，GA3T数据集提供了丰富的跨模态感知能力，支持更复杂的环境理解。

技术框架：数据集的收集过程包括地面和空中机器人在不同环境中同步采集数据，主要模块包括数据采集、同步处理和标注。数据集涵盖了多种环境特征，确保了数据的多样性和实用性。

关键创新：GA3T数据集的创新之处在于其真实世界的多机器人协作感知能力，尤其是在树冠稀疏的早春季节，允许空中机器人部分观察地面机器人和地形，增强了遮挡感知能力。

关键设计：数据集中使用了SAM~3进行零-shot分割，并包含超过8,000张手动标注的图像，确保了数据的准确性和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GA3T数据集包含超过13,000帧同步数据，支持零-shot分割和手动标注，提供了丰富的多模态数据。与现有数据集相比，GA3T在遮挡感知和环境理解方面表现出显著的提升，具有重要的研究价值。

🎯 应用场景

GA3T数据集在多机器人协作感知、跨视角融合和地形可 traversability 估计等领域具有广泛的应用潜力。它可以为无人驾驶、搜索与救援、环境监测等任务提供重要的数据支持，推动相关技术的发展与应用。

📄 摘要（原文）

Heterogeneous air-ground robot teams combine complementary sensing modalities, mobility characteristics, and spatial viewpoints that can significantly enhance perception in complex outdoor environments. However, progress in multi-robot collaborative perception has been constrained by the lack of real-world datasets featuring overlapping multi-modal observations from platforms operating in unstructured terrain. We present GA3T (Ground-Aerial Team for Terrain Traversal), a real-world multi-robot collaborative perception dataset collected using a Clearpath Husky UGV and an Autel EVO~II UAV across diverse unstructured environments, including forest trails, rocky paths, muddy terrain, snow piles, and grass-covered fields. The ground platform provides 3D LiDAR, stereo camera, IMU, and GPS data, while the aerial platform contributes RGB imagery, thermal/infrared observations, and GPS from a complementary overhead viewpoint, allowing for rich cross-modal and cross-view perception. The dataset is collected in 4 unique environments, with over 13,000 synchronized frames across approximately 29 minutes of operation, and includes both SAM~3-based zero-shot segmentation and over 8,000 manually labeled images. A unique aspect of the dataset is its early-spring collection period, during which sparse tree canopies allow the aerial robot to partially observe the ground robot and terrain through the trees, allowing for occlusion-aware collaborative perception. Unlike prior multi-robot datasets that focus on SLAM or simulated cooperative driving, GA3T is specifically designed to support research on cross-view perception, air-ground viewpoint fusion, traversability estimation, and collaborative scene understanding in real off-road environments.