Leveraging Pre-trained Large Language Models with Refined Prompting for Online Task and Motion Planning

📄 arXiv: 2504.21596v1 📥 PDF

作者: Huihui Guo, Huilong Pi, Yunchuan Qin, Zhuo Tang, Kenli Li

分类: cs.RO, cs.AI

发布日期: 2025-04-30

💡 一句话要点

LLM-PAS：利用预训练大语言模型与优化Prompt实现在线任务与运动规划

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务规划 运动规划 大语言模型 机器人 异常处理 闭环控制 PDDL Prompt工程

📋 核心要点

  1. 现有机器人任务规划方法在处理复杂环境和异常情况时缺乏灵活性和适应性，难以保证任务的稳定和鲁棒执行。
  2. LLM-PAS系统利用LLM的推理能力，将部分约束检查转移到执行阶段，并引入FLP方法引导LLM生成有效的PDDL目标，从而提升系统对异常情况的处理能力。
  3. 实验结果表明，LLM-PAS在处理任务执行期间的异常情况时表现出良好的有效性和鲁棒性，验证了所提出方法的优越性。

📝 摘要（中文）

本文提出了一种闭环任务规划与执行系统LLM-PAS，该系统借助预训练的大语言模型（LLM）进行辅助。LLM-PAS在规划长时程任务方面与传统的任务与运动规划器类似，但更强调任务的执行阶段。通过将部分约束检查过程从规划阶段转移到执行阶段，LLM-PAS能够探索约束空间，并在执行过程中提供更准确的环境异常反馈。LLM的推理能力使其能够处理鲁棒执行器无法解决的异常情况。为了进一步增强系统在重新规划期间辅助规划器的能力，我们提出了一种名为“First Look Prompting (FLP)”的方法，该方法引导LLM生成有效的PDDL目标。通过对比Prompt实验和系统实验，我们证明了LLM-PAS在处理任务执行期间的异常情况方面的有效性和鲁棒性。

🔬 方法详解

问题定义：现有任务和运动规划方法在复杂动态环境中面临挑战，尤其是在处理未预见到的异常情况时，往往需要重新规划，效率较低。传统的约束检查主要在规划阶段进行，忽略了执行阶段的实时反馈和环境变化，导致鲁棒性不足。

核心思路：本文的核心思路是将大语言模型（LLM）的推理能力融入到任务规划和执行过程中，利用LLM处理环境异常，并将部分约束检查过程转移到执行阶段。通过这种方式，系统可以更灵活地适应环境变化，并及时纠正规划中的错误。

技术框架：LLM-PAS系统包含以下主要模块：1) 任务规划器：负责生成初始的任务计划；2) 鲁棒执行器：负责执行任务计划，并检测执行过程中的异常情况；3) LLM推理模块：利用LLM的推理能力处理鲁棒执行器无法解决的异常情况，并生成新的目标；4) First Look Prompting (FLP)模块：引导LLM生成有效的PDDL目标，辅助任务规划器进行重新规划。整个系统形成一个闭环反馈机制，不断优化任务执行过程。

关键创新：最重要的技术创新点在于将LLM的推理能力与传统的任务和运动规划相结合，并提出了First Look Prompting (FLP)方法。FLP方法通过精心设计的Prompt，引导LLM生成更有效的PDDL目标，从而提高了重新规划的效率和质量。与现有方法相比，LLM-PAS能够更好地处理环境异常，并提供更鲁棒的任务执行能力。

关键设计：FLP方法的关键在于Prompt的设计，Prompt需要包含当前的任务状态、已执行的动作以及遇到的异常情况。通过Prompt，LLM可以理解当前的任务目标，并生成新的PDDL目标。此外，系统还设计了一套反馈机制，将执行过程中的异常信息反馈给LLM，以便LLM能够更好地进行推理和决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过对比实验验证了LLM-PAS的有效性。实验结果表明，LLM-PAS在处理异常情况时，能够显著提高任务完成率和执行效率。与传统的任务规划方法相比，LLM-PAS能够更好地适应环境变化，并提供更鲁棒的任务执行能力。FLP方法的引入进一步提升了重新规划的效率和质量。

🎯 应用场景

该研究成果可应用于各种需要智能机器人辅助的场景，例如家庭服务、工业自动化、医疗辅助等。通过提高机器人任务规划和执行的鲁棒性和灵活性，可以使机器人更好地适应复杂动态环境，并完成更加复杂的任务。未来，该技术有望进一步发展，实现更高级别的自主性和智能化。

📄 摘要（原文）

With the rapid advancement of artificial intelligence, there is an increasing demand for intelligent robots capable of assisting humans in daily tasks and performing complex operations. Such robots not only require task planning capabilities but must also execute tasks with stability and robustness. In this paper, we present a closed-loop task planning and acting system, LLM-PAS, which is assisted by a pre-trained Large Language Model (LLM). While LLM-PAS plans long-horizon tasks in a manner similar to traditional task and motion planners, it also emphasizes the execution phase of the task. By transferring part of the constraint-checking process from the planning phase to the execution phase, LLM-PAS enables exploration of the constraint space and delivers more accurate feedback on environmental anomalies during execution. The reasoning capabilities of the LLM allow it to handle anomalies that cannot be addressed by the robust executor. To further enhance the system's ability to assist the planner during replanning, we propose the First Look Prompting (FLP) method, which induces LLM to generate effective PDDL goals. Through comparative prompting experiments and systematic experiments, we demonstrate the effectiveness and robustness of LLM-PAS in handling anomalous conditions during task execution.