Large Language Models to Enhance Multi-task Drone Operations in Simulated Environments
作者: Yizhan Feng, Hichem Snoussi, Jing Teng, Abel Cherouat, Tian Wang
分类: cs.RO, eess.SY
发布日期: 2026-01-13
备注: 1st International Conference on Drones and Unmanned Systems (DAUS' 2025)
💡 一句话要点
提出基于微调CodeT5的自然语言无人机多任务控制方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无人机控制 自然语言处理 大型语言模型 CodeT5 AirSim
📋 核心要点
- 现有无人机控制方式复杂，需要专业知识，限制了无人机技术的普及和应用。
- 利用大型语言模型CodeT5，将自然语言指令转换为无人机可执行代码，降低操作门槛。
- 实验表明，该方法在AirSim模拟环境中能有效执行多任务，提升了无人机控制的效率和易用性。
📝 摘要（中文）
本文提出了一种方法，该方法将微调后的CodeT5模型与基于Unreal Engine的AirSim无人机模拟器集成，以使用自然语言命令高效地执行多任务操作。该方法允许用户通过提示或命令描述与模拟无人机交互，从而轻松访问和控制无人机的状态，显著降低了操作门槛。在AirSim模拟器中，可以灵活地构建视觉上逼真的动态环境，以模拟复杂场景中的无人机应用。通过结合ChatGPT生成的大量（自然语言，程序代码）命令-执行对数据集以及开发者编写的无人机代码作为训练数据，对CodeT5进行微调，以实现从自然语言到无人机任务可执行代码的自动翻译。实验结果表明，该方法在模拟环境中表现出卓越的任务执行效率和命令理解能力。未来，计划以模块化的方式扩展模型功能，增强其对复杂场景的适应性，并推动无人机技术在现实环境中的应用。
🔬 方法详解
问题定义：现有无人机控制方法依赖于复杂的编程接口或专业的操作人员，普通用户难以快速上手并执行复杂任务。痛点在于缺乏一种直观、易用的自然语言控制方式，使得无人机应用受到限制。
核心思路：利用大型语言模型（LLM）强大的自然语言理解和代码生成能力，将用户的自然语言指令转化为无人机可以执行的程序代码。通过微调CodeT5模型，使其能够更好地理解无人机任务相关的指令，并生成相应的控制代码。
技术框架：整体框架包括三个主要部分：1) AirSim无人机模拟环境，用于模拟真实的无人机飞行场景；2) ChatGPT生成的大规模自然语言-代码数据集，以及开发者编写的无人机控制代码，作为CodeT5的训练数据；3) 微调后的CodeT5模型，负责将自然语言指令翻译成无人机可执行的程序代码。用户通过自然语言输入指令，CodeT5将其转换为代码，AirSim模拟器执行代码并反馈结果。
关键创新：关键创新在于将大型语言模型CodeT5应用于无人机控制领域，实现了自然语言到无人机控制代码的自动翻译。与传统的基于规则或脚本的控制方法相比，该方法具有更强的泛化能力和灵活性，能够处理更复杂的任务。
关键设计：使用ChatGPT生成大量的(自然语言，程序代码)命令-执行对，并结合开发者编写的无人机代码作为训练数据。对CodeT5模型进行微调，使其适应无人机控制任务的特点。具体参数设置和损失函数等细节在论文中未明确说明，属于未知信息。
📊 实验亮点
实验结果表明，该方法在AirSim模拟环境中能够有效地将自然语言指令转换为无人机可执行代码，并成功完成多项任务。虽然论文中没有提供具体的性能数据和对比基线，但强调了该方法在任务执行效率和命令理解能力方面的优越性。
🎯 应用场景
该研究成果可应用于无人机巡检、物流配送、灾害救援等领域。通过自然语言控制，降低了无人机操作的门槛，使得非专业人员也能轻松驾驭无人机完成复杂任务。未来，该技术有望推动无人机在各行各业的广泛应用，并促进人机协作的智能化发展。
📄 摘要（原文）
Benefiting from the rapid advancements in large language models (LLMs), human-drone interaction has reached unprecedented opportunities. In this paper, we propose a method that integrates a fine-tuned CodeT5 model with the Unreal Engine-based AirSim drone simulator to efficiently execute multi-task operations using natural language commands. This approach enables users to interact with simulated drones through prompts or command descriptions, allowing them to easily access and control the drone's status, significantly lowering the operational threshold. In the AirSim simulator, we can flexibly construct visually realistic dynamic environments to simulate drone applications in complex scenarios. By combining a large dataset of (natural language, program code) command-execution pairs generated by ChatGPT with developer-written drone code as training data, we fine-tune the CodeT5 to achieve automated translation from natural language to executable code for drone tasks. Experimental results demonstrate that the proposed method exhibits superior task execution efficiency and command understanding capabilities in simulated environments. In the future, we plan to extend the model functionality in a modular manner, enhancing its adaptability to complex scenarios and driving the application of drone technologies in real-world environments.