End-to-End LLM Flight Planning with RAG-based Memory and Multi-modal Coach Agent

📄 arXiv: 2607.06964v1 📥 PDF

作者: Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

分类: cs.RO, cs.AI

发布日期: 2026-07-08

备注: Accepted at the ICML 2026 LM4Plan Workshop

💡 一句话要点

提出FRAMe以解决人机协作飞行规划问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 飞行规划 大型语言模型 多模态代理 检索增强生成 人机协作 电动垂直起降 智能航空

📋 核心要点

  1. 核心问题：传统飞行规划算法难以灵活适应人类飞行员的偏好，导致飞行计划的有效性不足。
  2. 方法要点：FRAMe通过结合大型语言模型、RAG记忆和多模态教练代理，生成符合人类偏好的飞行计划。
  3. 实验或效果：FRAMe系统在四种LLM中表现最佳，整体有效性高达93.8%，在简单场景中达到99%。

📝 摘要（中文）

在电动垂直起降（eVTOL）飞机的实际部署中，弥合人类飞行员意图与自主飞行操作之间的差距至关重要。传统的飞行规划依赖经典算法，难以灵活地融入人类偏好。本文提出FRAMe，一个端到端的大型语言模型（LLM）飞行规划工具，结合了基于检索增强生成（RAG）的记忆和多模态教练代理。该系统将规划LLM与多模态教练代理和RAG记忆集成，以生成满足任务约束并符合人类飞行操作员偏好的飞行计划。我们在多种真实场景中展示了该系统的应用，结果表明FRAMe在有效性和偏好相关指标上均表现优异。

🔬 方法详解

问题定义：本文旨在解决传统飞行规划方法无法有效整合人类飞行员偏好的问题。现有方法往往依赖于固定算法，难以适应动态和复杂的飞行任务需求。

核心思路：FRAMe的核心思想是通过结合大型语言模型与多模态教练代理，利用RAG记忆来生成灵活且安全的飞行计划。这种设计使得系统能够理解并响应人类操作员的自然语言指令。

技术框架：FRAMe系统的整体架构包括三个主要模块：规划LLM、多模态教练代理和RAG记忆模块。规划LLM负责生成初步的飞行计划，多模态教练代理则提供实时反馈和建议，而RAG记忆模块则用于存储和检索相关信息以增强生成效果。

关键创新：FRAMe的主要创新在于将RAG记忆与多模态教练代理结合，形成一个人机协作的飞行规划系统。这一设计使得系统不仅能生成高效的飞行计划，还能根据人类操作员的偏好进行调整。

关键设计：在系统设计中，关键参数包括LLM的选择、教练代理的反馈机制以及RAG记忆的检索策略。损失函数的设计旨在平衡飞行计划的有效性与人类偏好的匹配度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FRAMe系统在四种不同的LLM中均表现出色，整体有效性高达93.8%。在简单场景中，最强的规划LLM达到了99%的有效性，且在偏好相关指标上向操作员偏好的方向移动，显示出显著的提升。

🎯 应用场景

FRAMe的研究成果具有广泛的应用潜力，尤其是在电动垂直起降（eVTOL）飞机的自主飞行任务中。通过实现人机协作的飞行规划，FRAMe能够提升飞行安全性和效率，未来可推广至无人机、航空交通管理等领域，推动智能航空技术的发展。

📄 摘要（原文）

Bridging the gap between human pilot intent and autonomous flight operation is critical for real-world electric vertical takeoff and landing (eVTOL) aircraft deployment. Flight planning traditionally relies on classic algorithms that struggle to incorporate flexible human preferences. We present FRAMe, an End-to-End Large Language Model (LLM) Flight Planning tool with RAG-based Memory and Multi-modal Coach Agent. Our system integrates a planner LLM with a multi-modal coach agent and retrieval augmented generation (RAG)-based memory to generate flight plans that satisfy mission constraints while aligning with human flight operator preferences. We demonstrate the system in a range of real-world-inspired scenarios of varying difficulty levels. Across four LLMs, the full FRAMe system (RAG and coach) yields the highest validity for every planner (up to 93.8% aggregate, 99% on Easy scenarios for the strongest planner) and shifts preference-relevant metrics in the operator-favored direction where the metric has headroom. FRAMe signifies how advanced LLMs can be deployed for human-centric mission planning, translating natural language instructions into safe, efficient, and flexible flight routes. The code is available at: github.com/amin-tabrizian/FlightPlanningLLMs