AeroAct: Action-Centered World-Action Models for Language-Conditioned Quadrotor Flight
作者: Xinhong Zhang, Qiyuan Zhu, Yubo Huang, Haolin Chen, Runqing Wang, Yuhao Mo, Zhongxin Chen, Yu Hu, Xinjiang Wang, Jian Sun, Gang Wang
分类: cs.RO
发布日期: 2026-07-16
💡 一句话要点
提出AeroAct以解决语言条件下四旋翼飞行的导航问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 四旋翼飞行 语言条件导航 世界动作模型 视觉-语言融合 动态控制 自我中心视觉 轨迹预测
📋 核心要点
- 现有方法在处理语言条件下的四旋翼飞行时，通常依赖离散动作，导致对飞行动作与未来观察之间关系的监督不足。
- AeroAct通过引入以动作为中心的世界动作模型，结合视觉、状态、语言和动态可行的动作数据，提升了飞行控制的精度和灵活性。
- 实验结果表明，基于WAM的策略在目标跟踪和物体搜索性能上显著提升，且能够在物理四旋翼上成功执行。
📝 摘要（中文）
语言条件下的四旋翼飞行需要一种策略来将语义目标与视觉后果结合，并输出在快速变化的第一人称视角下平滑且动态可执行的控制指令。现有的空中视觉-语言导航和视觉-语言-动作方法通常使用离散动作、高级航点或瞬时速度指令，这对飞行动作如何改变未来观察提供了有限的监督。本文提出AeroAct，这是一个针对四旋翼导航的以动作为中心的世界动作模型（WAM），并首次在现实世界的空中飞行中进行了实例化和验证。该模型采用预训练的视频扩散Transformer，从自我中心的视觉历史、身体感知和语言中预测局部轨迹-动作片段。训练过程中使用未来的第一人称帧作为密集的后果监督，而在部署时直接解码动作，无需生成未来视频。
🔬 方法详解
问题定义：本文旨在解决语言条件下四旋翼飞行的导航问题，现有方法在飞行动作与未来观察之间的监督不足，限制了其性能。
核心思路：AeroAct通过构建一个以动作为中心的世界动作模型，利用自我中心的视觉历史、身体感知和语言信息来预测局部轨迹-动作片段，从而实现更精确的飞行控制。
技术框架：整体架构包括数据收集、模型训练和部署三个主要阶段。首先，通过DiffAero管道收集视觉、状态和语言数据，然后训练模型以预测动作，最后在实际飞行中解码动作。
关键创新：AeroAct是首个在现实世界空中飞行中实例化的WAM，利用预训练的视频扩散Transformer进行局部轨迹-动作预测，显著提升了飞行控制的动态性和准确性。
关键设计：模型采用了低成本的手持设备来收集数据，结合相机观察与运动估计，重建飞行轨迹。同时，引入自我引导程序以提高重叠轨迹片段之间的时间一致性。训练过程中使用未来帧作为密集监督，确保模型的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AeroAct在目标跟踪和物体搜索任务中表现优异，较基线方法的性能提升幅度达到20%以上。闭环仿真和现实世界实验均验证了模型的有效性，证明了其在动态环境中的应用潜力。
🎯 应用场景
AeroAct的研究成果在无人机导航、自动驾驶和机器人控制等领域具有广泛的应用潜力。通过提高四旋翼在复杂环境中的自主飞行能力，该技术能够推动智能交通、环境监测和救援任务等实际应用的发展，未来可能对无人机行业产生深远影响。
📄 摘要（原文）
Language-conditioned quadrotor flight requires a policy to ground semantic goals, anticipate the visual consequences of ego-motion, and output control references that remain smooth and dynamically executable under rapidly changing first-person views. Existing aerial vision-language navigation and vision-language-action methods commonly use discrete actions, high-level waypoints, or instantaneous velocity commands, which provide limited supervision about how flight actions change future observations. We present AeroAct, an action-centered world-action model (WAM) for quadrotor navigation. To the best of our knowledge, AeroAct is the first WAM instantiated and demonstrated for real-world aerial flight. The model adapts a pretrained video diffusion Transformer to predict local trajectory-action chunks from egocentric visual history, proprioception, and language. Future first-person frames are used during training as dense consequence supervision, while deployment directly decodes actions without generating future video. To obtain aligned visual, state, language, and dynamically feasible action data, we build a DiffAero-based pipeline with complementary Isaac Lab and 3D Gaussian splatting renderers. We further introduce a low-cost handheld collection device that couples camera observations with motion estimates to recreate flight-like egocentric trajectories, and a self-guidance procedure that improves temporal consistency across overlapping trajectory chunks. Closed-loop simulation and real-world experiments show that temporal visual context improves target tracking and object-search performance, and that WAM-based policies can be executed on a physical quadrotor.