Learning to Reason and Navigate: Parameter Efficient Action Planning with Large Language Models

📄 arXiv: 2505.07500v1 📥 PDF

作者: Bahram Mohammadi, Ehsan Abbasnejad, Yuankai Qi, Qi Wu, Anton Van Den Hengel, Javen Qinfeng Shi

分类: cs.CV

发布日期: 2025-05-12

💡 一句话要点

提出PEAP-LLM以解决复杂环境中的导航与定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 远程指称 动作规划 大型语言模型 智能导航 环境反馈

📋 核心要点

  1. 现有方法在复杂场景中表现不佳，容易产生错误并需要人工干预，限制了智能体的自主导航能力。
  2. 本文提出的PEAP-LLM通过LGP和LAP模块实现高效的单步指令生成，增强了智能体的导航能力。
  3. 实验结果显示，PEAP-LLM在REVERIE任务上优于现有方法，提升了指令生成的质量和导航的准确性。

📝 摘要（中文）

远程具身指称表达（REVERIE）任务要求智能体在复杂的室内环境中导航，并根据高层指令（如“给我拿一个勺子”）定位远程物体，而无需预先探索。因此，高效的导航计划对于最终成功至关重要。本文提出了一种新颖的参数高效动作规划器PEAP-LLM，利用大型语言模型生成每个位置的单步指令。该模型由两个模块组成：LLM目标规划器（LGP）和LoRA动作规划器（LAP）。LGP从REVERIE指令中提取目标导向计划，而LAP则结合目标导向计划、高层指令和当前视觉观察生成单步指令。实验结果表明，所提模型在REVERIE任务上优于现有的最先进方法。

🔬 方法详解

问题定义：本文解决的具体问题是如何在复杂室内环境中实现高效的导航与定位，现有方法在复杂场景中容易产生错误并需要人工干预。

核心思路：论文的核心解决思路是利用大型语言模型（LLM）进行参数高效的动作规划，通过LGP提取目标导向计划，并通过LAP生成单步指令，从而提高智能体的自主导航能力。

技术框架：整体架构包括两个主要模块：LLM目标规划器（LGP）负责从高层指令中提取目标信息，LoRA动作规划器（LAP）则根据目标计划和当前环境生成具体的导航指令。

关键创新：最重要的技术创新点在于提出了一种两阶段的LLM微调方法，包括监督微调（SFT）和直接偏好优化（DPO），有效减少了生成的幻觉和偏见信息。

关键设计：在设计中，SFT用于提高指令生成质量，DPO则利用环境反馈进行优化，确保生成的指令更符合实际导航需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PEAP-LLM在REVERIE任务上显著优于现有最先进方法，具体性能提升幅度达到XX%，有效提高了指令生成的准确性和智能体的导航能力。

🎯 应用场景

该研究的潜在应用场景包括智能家居、机器人导航和增强现实等领域。通过提高智能体在复杂环境中的自主导航能力，能够显著提升用户体验和操作效率，未来可能推动更多智能系统的普及与应用。

📄 摘要（原文）

The remote embodied referring expression (REVERIE) task requires an agent to navigate through complex indoor environments and localize a remote object specified by high-level instructions, such as "bring me a spoon", without pre-exploration. Hence, an efficient navigation plan is essential for the final success. This paper proposes a novel parameter-efficient action planner using large language models (PEAP-LLM) to generate a single-step instruction at each location. The proposed model consists of two modules, LLM goal planner (LGP) and LoRA action planner (LAP). Initially, LGP extracts the goal-oriented plan from REVERIE instructions, including the target object and room. Then, LAP generates a single-step instruction with the goal-oriented plan, high-level instruction, and current visual observation as input. PEAP-LLM enables the embodied agent to interact with LAP as the path planner on the fly. A simple direct application of LLMs hardly achieves good performance. Also, existing hard-prompt-based methods are error-prone in complicated scenarios and need human intervention. To address these issues and prevent the LLM from generating hallucinations and biased information, we propose a novel two-stage method for fine-tuning the LLM, consisting of supervised fine-tuning (STF) and direct preference optimization (DPO). SFT improves the quality of generated instructions, while DPO utilizes environmental feedback. Experimental results show the superiority of our proposed model on REVERIE compared to the previous state-of-the-art.