AIR-VLA: Vision-Language-Action Systems for Aerial Manipulation

📄 arXiv: 2601.21602v1 📥 PDF

作者: Jianli Sun, Bin Tian, Qiyao Zhang, Chengxiang Li, Zihan Song, Zhiyong Cui, Yisheng Lv, Yonglin Tian

分类: cs.RO

发布日期: 2026-01-29

💡 一句话要点

提出AIR-VLA：面向空中操作的视觉-语言-动作系统基准

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空中操作 视觉-语言-动作 具身智能 机器人 仿真环境 多模态数据集 基准测试

📋 核心要点

  1. 现有VLA模型难以直接应用于空中操作，因为空中操作具有浮动基座、强耦合和长时程任务等复杂特性。
  2. AIR-VLA通过构建物理仿真环境和提供高质量多模态数据集，为空中操作VLA研究提供基准。
  3. 实验评估了主流VLA和VLM模型在空中操作任务中的性能，揭示了现有模型的能力边界。

📝 摘要（中文）

视觉-语言-动作(VLA)模型在地面具身智能领域取得了显著成功，但其在空中操作系统(AMS)中的应用仍是一个很大程度上未被探索的领域。AMS固有的特性，包括浮动基座动力学、无人机与机械臂之间的强耦合，以及操作任务的多步骤、长时程特性，对为静态或2D移动基座设计的现有VLA范式提出了严峻挑战。为了弥合这一差距，我们提出了AIR-VLA，这是第一个专门为空中操作量身定制的VLA基准。我们构建了一个基于物理的仿真环境，并发布了一个高质量的多模态数据集，包含3000个手动遥操作演示，涵盖基础操作、对象和空间理解、语义推理和长时程规划。利用这个平台，我们系统地评估了主流VLA模型和最先进的VLM模型。我们的实验不仅验证了将VLA范式转移到空中系统的可行性，而且通过针对空中任务量身定制的多维度指标，揭示了当前模型在无人机移动性、机械臂控制和高层规划方面的能力和界限。AIR-VLA为通用空中机器人技术的未来研究建立了一个标准化的测试平台和数据基础。

🔬 方法详解

问题定义：现有VLA模型主要针对地面机器人设计，无法直接应用于空中操作机器人。空中操作机器人具有浮动基座、无人机与机械臂的强耦合性以及任务的长时程性，这些特性使得现有VLA模型难以有效控制空中操作机器人完成复杂任务。现有方法缺乏针对空中操作的基准测试和数据集，阻碍了该领域的发展。

核心思路：AIR-VLA的核心思路是构建一个专门为空中操作设计的VLA基准，包括一个基于物理的仿真环境和一个高质量的多模态数据集。通过这个基准，可以系统地评估现有VLA模型在空中操作任务中的性能，并为未来的研究提供数据和测试平台。

技术框架：AIR-VLA包含以下主要组成部分：1) 基于物理的仿真环境，用于模拟空中操作机器人的动力学和环境交互；2) 高质量的多模态数据集，包含3000个手动遥操作演示，涵盖基础操作、对象和空间理解、语义推理和长时程规划；3) 多维度评估指标，用于评估VLA模型在无人机移动性、机械臂控制和高层规划方面的性能。

关键创新：AIR-VLA最重要的技术创新点是构建了第一个专门为空中操作设计的VLA基准。与现有VLA基准相比，AIR-VLA更加关注空中操作的特殊性，例如浮动基座动力学和无人机与机械臂的强耦合。此外，AIR-VLA还提供了一个高质量的多模态数据集，可以用于训练和评估VLA模型。

关键设计：AIR-VLA的仿真环境基于物理引擎构建，可以模拟真实的空中操作场景。数据集包含多种模态的信息，例如图像、文本和动作。评估指标包括无人机的位置和姿态误差、机械臂的末端执行器误差以及任务完成率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AIR-VLA通过实验验证了VLA范式在空中操作中的可行性。实验结果表明，现有的VLA模型在空中操作任务中表现出一定的能力，但仍存在局限性。例如，在长时程规划任务中，模型的性能明显下降。AIR-VLA提供的多维度评估指标可以帮助研究人员更好地了解模型的性能瓶颈，并为未来的研究提供指导。

🎯 应用场景

AIR-VLA的研究成果可应用于多种领域，例如桥梁检测、高空作业、灾难救援等。通过使用VLA模型控制空中操作机器人，可以实现自动化的高空作业，提高效率和安全性。此外，AIR-VLA还可以促进通用空中机器人技术的发展，为未来的空中机器人应用奠定基础。

📄 摘要（原文）

While Vision-Language-Action (VLA) models have achieved remarkable success in ground-based embodied intelligence, their application to Aerial Manipulation Systems (AMS) remains a largely unexplored frontier. The inherent characteristics of AMS, including floating-base dynamics, strong coupling between the UAV and the manipulator, and the multi-step, long-horizon nature of operational tasks, pose severe challenges to existing VLA paradigms designed for static or 2D mobile bases. To bridge this gap, we propose AIR-VLA, the first VLA benchmark specifically tailored for aerial manipulation. We construct a physics-based simulation environment and release a high-quality multimodal dataset comprising 3000 manually teleoperated demonstrations, covering base manipulation, object & spatial understanding, semantic reasoning, and long-horizon planning. Leveraging this platform, we systematically evaluate mainstream VLA models and state-of-the-art VLM models. Our experiments not only validate the feasibility of transferring VLA paradigms to aerial systems but also, through multi-dimensional metrics tailored to aerial tasks, reveal the capabilities and boundaries of current models regarding UAV mobility, manipulator control, and high-level planning. AIR-VLA establishes a standardized testbed and data foundation for future research in general-purpose aerial robotics. The resource of AIR-VLA will be available at https://anonymous.4open.science/r/AIR-VLA-dataset-B5CC/.