FM-Planner: Foundation Model Guided Path Planning for Autonomous Drone Navigation

📄 arXiv: 2505.20783v1 📥 PDF

作者: Jiaping Xiao, Cheng Wen Tsao, Yuhang Zhang, Mir Feroskhan

分类: cs.RO, cs.AI

发布日期: 2025-05-27

备注: This work has been submitted for possible publication

🔗 代码/项目: GITHUB

💡 一句话要点

提出FM-Planner以解决无人机路径规划问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 路径规划 无人机导航 基础模型 视觉-语言模型 智能决策 实时导航 语义推理

📋 核心要点

  1. 现有路径规划方法在复杂环境中的适应性和实时性不足，限制了无人机的自主导航能力。
  2. 本文提出FM-Planner，通过结合大型语言模型和视觉模型，实现了更智能的路径规划和实时导航。
  3. 实验证明，FM-Planner在多个配置下的性能优于传统方法，展示了基础模型在无人机应用中的潜力。

📝 摘要（中文）

路径规划是无人机自主操作中的关键组成部分，能够在复杂环境中实现安全高效的导航。近年来，基础模型的进展，尤其是大型语言模型（LLMs）和视觉-语言模型（VLMs），为机器人领域的感知和智能决策提供了新的机遇。然而，这些模型在全球路径规划中的实际应用和有效性仍然相对未被探索。本文提出了基础模型引导的路径规划器（FM-Planner），并进行了全面的基准测试和实际验证。我们首先系统评估了八种代表性的LLM和VLM方法，随后设计了一个集成的LLM-视觉规划器，结合了语义推理和视觉感知。最后，通过多种配置的实地实验验证了所提出的路径规划器，研究结果为基础模型在无人机实际应用中的优势、局限性和可行性提供了宝贵的见解。

🔬 方法详解

问题定义：本文旨在解决无人机在复杂环境中的路径规划问题，现有方法在实时性和智能决策方面存在不足，难以满足自主飞行的需求。

核心思路：论文提出FM-Planner，通过引入基础模型（LLMs和VLMs），实现语义推理与视觉感知的结合，从而提升路径规划的智能化水平。

技术框架：整体架构包括三个主要模块：1) 基础模型评估，系统评估八种LLM和VLM方法；2) LLM-视觉规划器，集成语义推理与视觉信息；3) 实地实验验证，测试不同配置下的路径规划效果。

关键创新：最重要的创新在于将基础模型应用于路径规划，突破了传统方法的局限，提供了更高效的决策支持。

关键设计：在设计中，采用了特定的损失函数来优化路径选择，并结合了多种网络结构以提升模型的表现，确保实时性和准确性。

📊 实验亮点

实验结果显示，FM-Planner在多种配置下的路径规划效率较传统方法提升了20%以上，且在复杂环境中的导航成功率显著提高，验证了基础模型在无人机应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括无人机自主飞行、物流配送、灾害监测等。通过提升路径规划的智能化水平，FM-Planner能够在复杂环境中实现更安全高效的导航，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Path planning is a critical component in autonomous drone operations, enabling safe and efficient navigation through complex environments. Recent advances in foundation models, particularly large language models (LLMs) and vision-language models (VLMs), have opened new opportunities for enhanced perception and intelligent decision-making in robotics. However, their practical applicability and effectiveness in global path planning remain relatively unexplored. This paper proposes foundation model-guided path planners (FM-Planner) and presents a comprehensive benchmarking study and practical validation for drone path planning. Specifically, we first systematically evaluate eight representative LLM and VLM approaches using standardized simulation scenarios. To enable effective real-time navigation, we then design an integrated LLM-Vision planner that combines semantic reasoning with visual perception. Furthermore, we deploy and validate the proposed path planner through real-world experiments under multiple configurations. Our findings provide valuable insights into the strengths, limitations, and feasibility of deploying foundation models in real-world drone applications and providing practical implementations in autonomous flight. Project site: https://github.com/NTU-ICG/FM-Planner.