OpenFly: A Comprehensive Platform for Aerial Vision-Language Navigation
作者: Yunpeng Gao, Chenhui Li, Zhongrui You, Junli Liu, Zhen Li, Pengan Chen, Qizhi Chen, Zhonghan Tang, Liansheng Wang, Penghui Yang, Yiwen Tang, Yuhang Tang, Shuai Liang, Songyi Zhu, Ziqin Xiong, Yifei Su, Xinyi Ye, Jianan Li, Yan Ding, Dong Wang, Zhigang Wang, Bin Zhao, Xuelong Li
分类: cs.CV, cs.RO
发布日期: 2025-02-25 (更新: 2025-07-31)
备注: 20 pages, 11 figures
💡 一句话要点
OpenFly：用于空中视觉-语言导航的综合平台与大规模基准数据集
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 空中场景 无人机 数据集 基准测试
📋 核心要点
- 现有VLN研究主要集中在室内环境，缺乏针对室外空中场景的大规模数据集和基准，阻碍了相关算法的发展。
- OpenFly平台通过集成多种渲染引擎和开发自动化工具链，实现了大规模、高质量的空中VLN数据集的构建。
- 提出的OpenFly-Agent模型关注飞行过程中的关键帧信息，并在OpenFly基准上取得了优于现有VLN方法的结果。
📝 摘要（中文）
视觉-语言导航（VLN）旨在利用语言指令和视觉线索引导智能体，在具身智能中发挥着关键作用。室内VLN已得到广泛研究，而室外空中VLN仍未被充分探索。潜在原因是室外空中视野覆盖范围广阔，数据收集更具挑战性，导致缺乏基准。为了解决这个问题，我们提出了OpenFly，一个包含各种渲染引擎、通用工具链和大规模空中VLN基准的平台。首先，我们集成了多种渲染引擎和先进的环境模拟技术，包括Unreal Engine、GTA V、Google Earth和3D高斯溅射（3D GS）。特别是，3D GS支持真实到模拟的渲染，进一步增强了环境的真实感。其次，我们开发了一个高度自动化的空中VLN数据收集工具链，简化了点云获取、场景语义分割、飞行轨迹创建和指令生成。第三，基于该工具链，我们构建了一个包含10万条轨迹的大规模空中VLN数据集，涵盖18个场景中不同的高度和长度。此外，我们提出了OpenFly-Agent，一个关键帧感知的VLN模型，强调飞行过程中的关键观察。为了进行基准测试，我们进行了广泛的实验和分析，评估了几种最新的VLN方法，并展示了我们的OpenFly平台和智能体的优越性。工具链、数据集和代码将开源。
🔬 方法详解
问题定义：论文旨在解决室外空中视觉-语言导航（VLN）任务缺乏大规模数据集和有效基准的问题。现有VLN方法主要针对室内环境，难以直接应用于复杂的室外空中场景，并且缺乏专门针对空中视角设计的模型。
核心思路：论文的核心思路是构建一个综合性的平台OpenFly，该平台包含多种渲染引擎、自动化工具链以及大规模基准数据集，从而促进室外空中VLN的研究。同时，设计一个关键帧感知的VLN模型OpenFly-Agent，以更好地利用飞行过程中的关键视觉信息。
技术框架：OpenFly平台主要包含三个部分：1) 多种渲染引擎集成，包括Unreal Engine、GTA V、Google Earth和3D Gaussian Splatting (3D GS)，用于生成不同风格和真实度的空中环境；2) 自动化工具链，用于自动生成点云、进行场景语义分割、创建飞行轨迹和生成语言指令；3) 大规模空中VLN数据集，包含10万条轨迹，覆盖18个场景。OpenFly-Agent模型则是一个关键帧感知的VLN模型，用于在OpenFly数据集上进行训练和评估。
关键创新：论文的关键创新在于：1) 提出了OpenFly平台，首次为室外空中VLN提供了一个综合性的研究平台；2) 开发了高度自动化的工具链，显著降低了空中VLN数据收集的成本；3) 构建了大规模的空中VLN数据集，为相关算法的研究提供了数据基础；4) 提出了关键帧感知的OpenFly-Agent模型，更有效地利用了飞行过程中的关键视觉信息。
关键设计：OpenFly平台的关键设计包括：1) 使用3D GS进行真实到模拟的渲染，以提高环境的真实感；2) 自动化工具链中的轨迹生成算法，可以生成多样化的飞行轨迹；3) OpenFly-Agent模型中的关键帧选择机制，用于选择对导航任务至关重要的视觉帧。具体的损失函数和网络结构细节在论文中进行了详细描述，但摘要中未明确提及具体参数设置。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OpenFly平台构建的数据集具有很高的质量和多样性，能够有效训练VLN模型。提出的OpenFly-Agent模型在OpenFly基准上取得了显著的性能提升，超越了现有的VLN方法。具体的性能数据和提升幅度需要在论文中查找，摘要中未给出具体数值。
🎯 应用场景
该研究成果可应用于无人机自主导航、空中巡检、灾害救援、城市规划等领域。通过结合视觉信息和自然语言指令，无人机可以更智能、更高效地完成各种任务，例如根据指令进行特定区域的巡逻、搜索特定目标或执行复杂的空中操作。未来，该平台可以进一步扩展到更多类型的空中场景和任务，为无人机应用提供更强大的技术支持。
📄 摘要（原文）
Vision-Language Navigation (VLN) aims to guide agents by leveraging language instructions and visual cues, playing a pivotal role in embodied AI. Indoor VLN has been extensively studied, whereas outdoor aerial VLN remains underexplored. The potential reason is that outdoor aerial view encompasses vast areas, making data collection more challenging, which results in a lack of benchmarks. To address this problem, we propose OpenFly, a platform comprising various rendering engines, a versatile toolchain, and a large-scale benchmark for aerial VLN. Firstly, we integrate diverse rendering engines and advanced techniques for environment simulation, including Unreal Engine, GTA V, Google Earth, and 3D Gaussian Splatting (3D GS). Particularly, 3D GS supports real-to-sim rendering, further enhancing the realism of our environments. Secondly, we develop a highly automated toolchain for aerial VLN data collection, streamlining point cloud acquisition, scene semantic segmentation, flight trajectory creation, and instruction generation. Thirdly, based on the toolchain, we construct a large-scale aerial VLN dataset with 100k trajectories, covering diverse heights and lengths across 18 scenes. Moreover, we propose OpenFly-Agent, a keyframe-aware VLN model emphasizing key observations during flight. For benchmarking, extensive experiments and analyses are conducted, evaluating several recent VLN methods and showcasing the superiority of our OpenFly platform and agent. The toolchain, dataset, and codes will be open-sourced.