A Systematic Study of Large Language Models for Task and Motion Planning With PDDLStream

📄 arXiv: 2510.00182v1 📥 PDF

作者: Jorge Mendez-Mendez

分类: cs.RO, cs.AI

发布日期: 2025-09-30

💡 一句话要点

系统性研究大语言模型在基于PDDLStream的任务与运动规划中的应用

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 任务与运动规划 机器人 PDDLStream 零样本学习

📋 核心要点

  1. 现有方法难以有效利用大语言模型（LLMs）解决机器人任务与运动规划（TAMP）问题，缺乏系统性研究。
  2. 论文提出将LLMs与TAMP相结合，通过设计多种算法变体，探索LLMs在TAMP各环节的替代方案。
  3. 实验结果表明，基于Gemini的规划器在成功率和规划时间上均不如工程化对应物，几何细节反而增加错误。

📝 摘要（中文）

本文旨在研究大语言模型（LLMs）在解决复杂机器人问题中的规划能力。尽管已知LLMs在某些问题上具备规划能力，但其规划能力覆盖机器人任务空间的程度尚不明确。一个有前景的方向是将LLMs的语义知识与任务和运动规划（TAMP）的正式推理相结合。然而，如何将LLMs集成到TAMP中存在多种选择，这使得此类系统的设计变得复杂。本文开发了16种算法，使用Gemini 2.5 Flash来替代关键的TAMP组件。在4950个问题和三个领域上的零样本实验表明，基于Gemini的规划器比其工程化的对应物表现出更低的成功率和更长的规划时间。研究表明，与纯PDDL描述相比，提供几何细节会增加任务规划错误的数量，并且（更快的）非推理LLM变体在大多数情况下优于（更慢的）推理变体，因为TAMP系统可以指导LLM纠正其错误。

🔬 方法详解

问题定义：论文旨在研究如何有效地将大语言模型（LLMs）集成到任务和运动规划（TAMP）系统中，以解决复杂的机器人问题。现有的TAMP系统通常依赖于手工设计的规划器和知识库，难以适应新的环境和任务。LLMs具有强大的语义理解和推理能力，但其在TAMP中的应用方式尚不明确，存在多种集成方案，缺乏系统性的评估。

核心思路：论文的核心思路是通过系统性地探索不同的LLM集成方案，评估LLMs在TAMP各个环节的性能。具体而言，论文设计了多种算法变体，使用LLMs替代TAMP中的关键组件，如状态估计、动作选择和约束生成。通过对比不同变体的性能，分析LLMs在TAMP中的优势和不足，为未来的LLM-TAMP系统设计提供指导。

技术框架：论文的技术框架基于PDDLStream，这是一个用于TAMP的通用框架。论文设计了16种算法，这些算法使用Gemini 2.5 Flash来替代PDDLStream中的关键组件。这些组件包括： 1. 状态估计：使用LLM来估计机器人的当前状态和环境信息。 2. 动作选择：使用LLM来选择下一步要执行的动作。 3. 约束生成：使用LLM来生成动作执行的约束条件。

整体流程是，首先使用LLM进行初始状态估计，然后根据当前状态和目标，使用LLM选择动作并生成约束，最后执行动作并更新状态。这个过程循环进行，直到达到目标状态。

关键创新：论文的关键创新在于对LLM在TAMP中的应用进行了系统性的研究。通过设计多种算法变体，论文探索了LLMs在TAMP各个环节的性能，并分析了不同集成方案的优缺点。此外，论文还发现，提供几何细节反而会增加任务规划错误的数量，这表明LLMs在处理几何信息方面存在局限性。

关键设计：论文的关键设计包括： 1. 算法变体的设计：论文设计了16种算法变体，这些变体使用LLMs替代TAMP中的不同组件，从而可以全面地评估LLMs在TAMP中的性能。 2. 实验场景的设计：论文在三个不同的机器人领域进行了实验，包括拾取放置、导航和操作。这些领域涵盖了不同的机器人任务，可以有效地评估LLMs在不同场景下的泛化能力。 3. 评估指标的选择：论文使用了多种评估指标，包括成功率、规划时间和错误类型。这些指标可以全面地评估LLMs在TAMP中的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于Gemini的规划器在4950个问题和三个领域上的零样本实验中，成功率低于工程化的对应物，规划时间更长。此外，与纯PDDL描述相比，提供几何细节会增加任务规划错误的数量。值得注意的是，（更快的）非推理LLM变体在大多数情况下优于（更慢的）推理变体。

🎯 应用场景

该研究成果可应用于机器人自动化、智能制造、自动驾驶等领域。通过将大语言模型的语义理解能力与任务和运动规划的精确控制相结合，可以实现更智能、更灵活的机器人系统，从而提高生产效率、降低运营成本，并拓展机器人的应用范围。

📄 摘要（原文）

Using large language models (LLMs) to solve complex robotics problems requires understanding their planning capabilities. Yet while we know that LLMs can plan on some problems, the extent to which these planning capabilities cover the space of robotics tasks is unclear. One promising direction is to integrate the semantic knowledge of LLMs with the formal reasoning of task and motion planning (TAMP). However, the myriad of choices for how to integrate LLMs within TAMP complicates the design of such systems. We develop 16 algorithms that use Gemini 2.5 Flash to substitute key TAMP components. Our zero-shot experiments across 4,950 problems and three domains reveal that the Gemini-based planners exhibit lower success rates and higher planning times than their engineered counterparts. We show that providing geometric details increases the number of task-planning errors compared to pure PDDL descriptions, and that (faster) non-reasoning LLM variants outperform (slower) reasoning variants in most cases, since the TAMP system can direct the LLM to correct its mistakes.