MultiFly: A Real-World Multimodal Aerial Dataset with Annotation-Efficient Label Transfer and Cross-Modal Semantic Consistency

📄 arXiv: 2610.10359v1 📥 PDF

作者: Markus Gross, Andreas Greiner, Taehyoung Kim, Sivasubiramaniam Subbiah, Tomaž Cotič, Sai Bharadwaj Matha, Conrad Christoph, Oussema Dhaouadi, Simon Zieher, Surya Vijaya Kumar, Gordon Elger, Henri Meeß, Olaf Wysocki, Paul Spannaus, Daniel Cremers

分类: cs.RO, cs.CV

发布日期: 2026-10-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出MultiFly数据集以解决多模态语义感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态感知 无人机数据集 语义分割 标签传播 几何表示

📋 核心要点

  1. 现有方法在多模态数据集的注释上成本高且不一致，限制了其在实际应用中的有效性。
  2. 论文提出通过共享几何表示，从少量手动注释的RGB图像中传播标签，降低注释成本并提高一致性。
  3. 实验结果显示，转移的注释与手动注释之间的平均一致性达到89.93%，并在六对模态间实现90.94%的语义一致性。

📝 摘要（中文）

我们介绍了MultiFly，这是一个真实世界的低空无人机数据集，涵盖RGB、热成像、LiDAR和雷达四种模态的语义感知。MultiFly提供了来自四个郊区场景的17,272个同步样本，包含15个语义类别的逐帧注释，以及校准和GNSS-RTK/IMU测量数据。为了避免高成本和不一致的模态特定注释，我们通过共享几何表示将115张手动注释的RGB图像的标签传播到所有四种模态，从而为17,157张额外的RGB图像、17,272张热成像图像、840M LiDAR点和3.4M雷达点生成语义标签。转移的注释与保留的手动注释之间的平均一致性达到89.93%，在所有六对模态间的平均语义一致性为90.94%。我们进一步为所有四种模态建立了语义分割基准，揭示了密集LiDAR和稀疏雷达数据的不同架构行为。综上所述，MultiFly为多模态空中感知提供了可扩展的基础，并且是我们所知的第一个结合RGB、热成像、LiDAR和雷达的公共真实世界低空空中基准数据集。

🔬 方法详解

问题定义：本论文旨在解决多模态数据集在注释过程中的高成本和不一致性问题。现有方法通常依赖于每种模态的独立注释，导致资源浪费和数据不一致。

核心思路：论文的核心思路是通过共享几何表示，将少量手动注释的RGB图像的标签传播到其他模态，从而实现高效的标签转移。这种方法不仅降低了注释成本，还提高了不同模态间的语义一致性。

技术框架：整体架构包括数据采集、标签传播和语义分割三个主要模块。首先，收集来自不同模态的同步数据；然后，通过几何表示实现标签的跨模态传播；最后，建立语义分割基准以评估不同模态的表现。

关键创新：最重要的技术创新在于提出了一种高效的标签传播机制，使得仅需少量手动注释即可为大量数据生成一致的语义标签。这与传统方法依赖于每种模态独立注释的方式有本质区别。

关键设计：在关键设计上，论文详细描述了标签传播的算法流程，包括几何表示的构建、标签转移的策略以及用于评估的损失函数设置。这些设计确保了不同模态间的语义一致性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，转移的注释与手动注释之间的平均一致性达到89.93%，在六对模态间的平均语义一致性为90.94%。此外，论文还建立了针对四种模态的语义分割基准，揭示了不同模态在架构上的表现差异。

🎯 应用场景

该研究的潜在应用领域包括无人机监控、环境监测和智能交通系统等。通过提供一致的多模态数据集，MultiFly可以帮助研究人员和开发者在多种应用中实现更高效的语义感知，推动相关技术的发展与应用。

📄 摘要（原文）

We introduce MultiFly, a real-world, low-altitude UAV dataset for semantic perception across RGB, thermal, LiDAR, and radar modalities. MultiFly provides 17,272 synchronized samples from four suburban scenes with frame-wise annotations for 15 semantic classes, together with calibration and GNSS-RTK/IMU measurements. To avoid costly and inconsistent modality-specific annotation, we propagate labels from only 115 manually annotated RGB images through shared geometric representations to all four modalities. This approach generates semantic labels for 17,157 additional RGB images, 17,272 thermal images, 840M LiDAR points, and 3.4M radar points. Transferred annotations achieve 89.93% average agreement with held-out manual annotations, and 90.94% average semantic consistency across all six modality pairs. We further establish semantic segmentation benchmarks for all four modalities, revealing distinct architectural behavior for dense LiDAR and sparse radar data. Taken together, MultiFly provides a scalable foundation for multimodal aerial perception and, to the best of our knowledge, the first public real-world low-altitude aerial benchmark that combines consistent frame-wise semantic annotations for RGB, thermal, LiDAR, and radar. Data at https://github.com/markus-42/multifly.