"Hi AirStar, Guide Me to the Badminton Court."
作者: Ziqin Wang, Jinyu Chen, Xiangyi Zheng, Qinan Liao, Linjiang Huang, Si Liu
分类: cs.RO
发布日期: 2025-07-06
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
AirStar：基于大语言模型的智能无人机助手，实现自然交互和视觉语言导航
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无人机 大语言模型 视觉语言导航 自然语言交互 自主任务规划
📋 核心要点
- 现有无人机交互方式依赖遥控器，用户群体受限，且缺乏高级认知能力，难以理解复杂指令。
- AirStar利用大语言模型作为认知核心，结合语音、手势等自然交互，实现环境理解和任务规划。
- AirStar实现了视觉语言导航、跨模态问答等功能，并具有高度可扩展性，为通用智能无人机代理奠定基础。
📝 摘要（中文）
本文介绍了一种以无人机为中心的具身平台AirStar，它将无人机转变为智能空中助手。AirStar利用大型语言模型作为认知核心，进行环境理解、上下文推理和任务规划。它接受语音命令和手势等自然交互方式，无需遥控器，从而显著扩大了用户群体。AirStar结合了地理空间知识驱动的远距离导航和上下文推理的精细短距离控制，实现了高效准确的视觉语言导航(VLN)能力。此外，该系统还提供跨模态问答、智能拍摄和目标跟踪等内置功能。凭借高度可扩展的框架，AirStar支持新功能的无缝集成，为通用、指令驱动的智能无人机代理铺平了道路。
🔬 方法详解
问题定义：现有无人机在执行复杂任务时，通常依赖于遥控器进行控制，操作繁琐且用户群体受限。同时，无人机缺乏高级的认知能力，难以理解用户的自然语言指令，无法进行自主的任务规划和执行。因此，如何使无人机能够理解自然语言指令，并自主完成复杂的导航和任务执行，是一个重要的挑战。
核心思路：AirStar的核心思路是将大型语言模型（LLM）作为无人机的认知核心，利用LLM强大的环境理解、上下文推理和任务规划能力，使无人机能够理解用户的自然语言指令，并自主生成任务执行计划。同时，结合视觉信息和地理空间知识，实现精确的导航和目标跟踪。
技术框架：AirStar的整体架构包含以下几个主要模块：1) 自然语言理解模块：负责解析用户的语音或文本指令，提取任务目标和约束条件。2) 任务规划模块：利用LLM根据任务目标和环境信息，生成任务执行计划，包括导航路径、目标搜索策略等。3) 视觉感知模块：负责处理无人机摄像头采集的图像信息，进行目标检测、场景理解和定位。4) 运动控制模块：根据任务执行计划和视觉感知结果，控制无人机的运动，实现精确的导航和目标跟踪。5) 跨模态问答模块：利用LLM结合视觉信息和知识库，回答用户提出的问题。
关键创新：AirStar最重要的技术创新点在于将大型语言模型作为无人机的认知核心，实现了自然语言交互和自主任务规划。与传统的基于规则或强化学习的无人机控制方法相比，AirStar具有更强的泛化能力和适应性，能够处理更复杂的任务。
关键设计：AirStar的关键设计包括：1) 针对无人机应用场景，对LLM进行微调，提高其环境理解和任务规划能力。2) 设计了一种基于地理空间知识的导航算法，实现远距离的精确导航。3) 采用了一种基于视觉注意力的目标跟踪算法，提高目标跟踪的鲁棒性。
🖼️ 关键图片
📊 实验亮点
AirStar通过结合地理空间知识和上下文推理，实现了高效准确的视觉语言导航。实验结果表明，AirStar在导航任务中的成功率和效率均优于传统方法。此外，AirStar还展示了强大的跨模态问答、智能拍摄和目标跟踪能力，证明了其作为智能无人机助手的潜力。
🎯 应用场景
AirStar具有广泛的应用前景，包括：1) 智能巡检：可用于电力巡检、桥梁检测等场景，提高巡检效率和安全性。2) 智能安防：可用于园区安防、边境巡逻等场景，提高安防能力。3) 智能物流：可用于室内物流、末端配送等场景，提高物流效率。4) 灾害救援：可用于灾情侦察、物资投放等场景，提高救援效率。
📄 摘要（原文）
Unmanned Aerial Vehicles, operating in environments with relatively few obstacles, offer high maneuverability and full three-dimensional mobility. This allows them to rapidly approach objects and perform a wide range of tasks often challenging for ground robots, making them ideal for exploration, inspection, aerial imaging, and everyday assistance. In this paper, we introduce AirStar, a UAV-centric embodied platform that turns a UAV into an intelligent aerial assistant: a large language model acts as the cognitive core for environmental understanding, contextual reasoning, and task planning. AirStar accepts natural interaction through voice commands and gestures, removing the need for a remote controller and significantly broadening its user base. It combines geospatial knowledge-driven long-distance navigation with contextual reasoning for fine-grained short-range control, resulting in an efficient and accurate vision-and-language navigation (VLN) capability.Furthermore, the system also offers built-in capabilities such as cross-modal question answering, intelligent filming, and target tracking. With a highly extensible framework, it supports seamless integration of new functionalities, paving the way toward a general-purpose, instruction-driven intelligent UAV agent. The supplementary PPT is available at \href{https://buaa-colalab.github.io/airstar.github.io}{https://buaa-colalab.github.io/airstar.github.io}.