UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

📄 arXiv: 2501.02341v2 📥 PDF

作者: Yonglin Tian, Fei Lin, Yiduo Li, Tengchao Zhang, Qiyao Zhang, Xuan Fu, Jun Huang, Xingyuan Dai, Yutong Wang, Chunwei Tian, Bai Li, Yisheng Lv, Levente Kovács, Fei-Yue Wang

分类: cs.RO, cs.AI

发布日期: 2025-01-04 (更新: 2025-03-25)

期刊: Information Fusion, Volume 122, 2025, 103158

DOI: 10.1016/j.inffus.2025.103158

🔗 代码/项目: GITHUB

💡 一句话要点

探索LLM赋能无人机：迈向具备自主智能的低空移动代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机 大型语言模型 自主智能 低空移动 多模态感知

📋 核心要点

  1. 现有无人机操作依赖人工控制，自主性有限，难以适应复杂环境和任务，缺乏足够的智能。
  2. 论文提出将大型语言模型（LLM）与无人机集成，利用LLM的强大问题解决和泛化能力，提升无人机智能。
  3. 论文概述了无人机系统、LLM技术、多模态数据资源，并分析了无人机与LLM融合的关键任务和应用场景，提出了代理无人机的路线图。

📝 摘要（中文）

低空移动性，以无人机（UAV）为代表，已在运输、物流和农业等领域带来了变革性进步。凭借灵活的视角和快速的机动性，无人机扩展了传统系统的感知和行动能力，受到了学术界和工业界的广泛关注。然而，目前的无人机操作主要依赖于人工控制，仅在简单场景中具有有限的自主性，并且缺乏复杂环境和任务所需的智能和适应性。大型语言模型（LLM）的出现展示了卓越的问题解决和泛化能力，为提升无人机智能提供了一条有希望的途径。本文探讨了LLM和无人机的集成，首先概述了无人机系统的基本组件和功能，然后概述了LLM技术的最新进展。随后，系统地强调了可用于无人机的多模态数据资源，这些资源为训练和评估提供了关键支持。此外，它对无人机和LLM融合的关键任务和应用场景进行了分类和分析。最后，提出了一个迈向代理无人机的参考路线图，旨在使无人机能够通过自主感知、记忆、推理和工具利用来实现代理智能。相关资源可在https://github.com/Hub-Tian/UAVs_Meet_LLMs获取。

🔬 方法详解

问题定义：当前无人机系统在复杂环境下的自主性不足，主要依赖人工控制，无法有效应对复杂任务。现有方法缺乏足够的智能和适应性，难以满足日益增长的应用需求。因此，如何提升无人机在复杂环境下的自主智能是亟待解决的问题。

核心思路：论文的核心思路是将大型语言模型（LLM）与无人机系统相结合，利用LLM强大的语言理解、推理和决策能力，赋予无人机更高级别的自主性。通过LLM，无人机可以理解复杂指令、进行环境感知、规划行动路径，并与人类进行自然语言交互。

技术框架：论文提出了一个迈向代理无人机的参考路线图，主要包含以下几个关键模块：1) 自主感知模块：利用多模态传感器数据（如视觉、激光雷达、IMU）进行环境感知；2) 记忆模块：存储和检索历史经验和知识；3) 推理模块：基于LLM进行逻辑推理和决策；4) 工具利用模块：控制无人机的各种执行器，完成特定任务。整体流程为：无人机通过传感器获取环境信息，LLM对信息进行理解和推理，生成行动指令，无人机执行指令并反馈结果，LLM根据结果调整策略。

关键创新：论文的关键创新在于将LLM引入无人机系统，并提出了一个完整的代理无人机框架。与传统的基于规则或机器学习的无人机控制方法相比，基于LLM的无人机具有更强的泛化能力和适应性，能够处理更复杂的任务和环境。此外，论文还强调了多模态数据资源的重要性，为LLM的训练和评估提供了关键支持。

关键设计：论文并未详细介绍具体的参数设置、损失函数或网络结构等技术细节，而是侧重于整体框架的设计和概念的阐述。未来的研究可以进一步探索如何针对无人机应用优化LLM的性能，例如，设计特定的损失函数来提高无人机的任务完成率，或者采用轻量级的LLM模型来降低计算成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文是一篇综述性文章，主要贡献在于提出了LLM赋能无人机的概念和框架，并对相关技术和应用进行了全面的分析和展望。虽然没有提供具体的实验数据，但论文为未来的研究方向提供了重要的指导，例如，如何利用LLM提升无人机的自主感知、推理和决策能力，以及如何构建适用于无人机应用的多模态数据集。

🎯 应用场景

该研究成果可应用于多种领域，如智能物流、灾害救援、环境监测、农业巡检等。通过LLM赋能，无人机可以自主完成更加复杂的任务，提高工作效率和安全性。未来，随着LLM技术的不断发展，代理无人机将在各个领域发挥更大的作用，例如，在危险环境中进行自主探测和救援，或者在复杂地形中进行精准农业作业。

📄 摘要（原文）

Low-altitude mobility, exemplified by unmanned aerial vehicles (UAVs), has introduced transformative advancements across various domains, like transportation, logistics, and agriculture. Leveraging flexible perspectives and rapid maneuverability, UAVs extend traditional systems' perception and action capabilities, garnering widespread attention from academia and industry. However, current UAV operations primarily depend on human control, with only limited autonomy in simple scenarios, and lack the intelligence and adaptability needed for more complex environments and tasks. The emergence of large language models (LLMs) demonstrates remarkable problem-solving and generalization capabilities, offering a promising pathway for advancing UAV intelligence. This paper explores the integration of LLMs and UAVs, beginning with an overview of UAV systems' fundamental components and functionalities, followed by an overview of the state-of-the-art in LLM technology. Subsequently, it systematically highlights the multimodal data resources available for UAVs, which provide critical support for training and evaluation. Furthermore, it categorizes and analyzes key tasks and application scenarios where UAVs and LLMs converge. Finally, a reference roadmap towards agentic UAVs is proposed, aiming to enable UAVs to achieve agentic intelligence through autonomous perception, memory, reasoning, and tool utilization. Related resources are available at https://github.com/Hub-Tian/UAVs_Meet_LLMs.