Kinodynamic Task and Motion Planning using VLM-guided and Interleaved Sampling

📄 arXiv: 2510.26139v1 📥 PDF

作者: Minseo Kwon, Young J. Kim

分类: cs.RO

发布日期: 2025-10-30

💡 一句话要点

提出基于VLM引导和交错采样的运动学任务与运动规划方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务与运动规划 视觉语言模型 机器人操作 运动学约束 混合状态树

📋 核心要点

  1. 现有TAMP方法在长时程任务中因过度采样导致计算成本高昂，且LLM缺乏空间推理能力。
  2. 提出一种混合状态树，结合VLM引导和交错采样，实现任务和运动的联合决策。
  3. 实验结果表明，该方法显著提高了成功率并降低了复杂问题的规划时间。

📝 摘要（中文）

本文提出了一种运动学任务与运动规划（TAMP）框架，该框架集成了高层任务规划和底层运动可行性验证。现有方法由于过多的运动采样，在长时程问题中成本高昂。虽然大型语言模型（LLM）提供了常识先验，但它们缺乏3D空间推理，无法确保几何或动态可行性。我们提出的框架基于混合状态树，在规划过程中统一表示符号和数值状态，从而能够联合决策任务和运动。TAMP问题中嵌入的运动学约束通过现成的运动规划器和物理模拟器进行验证，视觉语言模型（VLM）引导探索TAMP解决方案，并根据状态的视觉渲染回溯搜索。在模拟和真实环境中的实验表明，与传统和基于LLM的TAMP规划器相比，平均成功率提高了32.14% - 1166.67%，并减少了复杂问题的规划时间，消融实验进一步突出了VLM指导的优势。

🔬 方法详解

问题定义：现有的任务与运动规划（TAMP）方法在解决长时程问题时，由于需要进行大量的运动采样，计算成本非常高昂。虽然大型语言模型（LLM）可以提供一些常识性的先验知识，但是它们缺乏对三维空间的推理能力，无法保证几何和动力学上的可行性。因此，如何有效地利用LLM的常识知识，同时保证规划的几何和动力学可行性，是本文要解决的核心问题。

核心思路：本文的核心思路是利用视觉语言模型（VLM）来引导TAMP的搜索过程。VLM能够理解场景的视觉信息，并提供关于任务执行的建议。通过将VLM的建议融入到TAMP的搜索过程中，可以有效地减少不必要的运动采样，从而提高规划效率。此外，本文还采用了一种混合状态树的表示方法，将符号状态和数值状态统一起来，从而实现任务和运动的联合决策。

技术框架：该框架主要包含以下几个模块：1) 混合状态树：用于统一表示符号状态和数值状态。2) 运动规划器：用于验证运动学约束。3) 物理模拟器：用于验证动力学约束。4) 视觉语言模型（VLM）：用于引导TAMP的搜索过程。整体流程是，首先利用VLM生成任务执行的建议，然后根据这些建议在混合状态树中进行搜索。在搜索过程中，使用运动规划器和物理模拟器来验证运动学和动力学约束。如果找到一个可行的解决方案，则输出该解决方案；否则，继续搜索。

关键创新：本文最重要的技术创新点在于将VLM引入到TAMP的搜索过程中。与传统的TAMP方法相比，本文的方法能够利用VLM的常识知识来指导搜索，从而有效地减少不必要的运动采样，提高规划效率。此外，本文还提出了一种混合状态树的表示方法，将符号状态和数值状态统一起来，从而实现任务和运动的联合决策。

关键设计：VLM的使用方式是关键设计之一。具体来说，VLM被用来评估当前状态的“视觉吸引力”，并根据这个吸引力来调整搜索策略。例如，如果VLM认为当前状态非常接近目标状态，那么就增加对该状态的探索概率。此外，混合状态树的设计也至关重要。该树的节点包含符号状态和数值状态，并且树的边表示任务和运动的转换。通过这种方式，可以实现任务和运动的联合规划。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与传统和基于LLM的TAMP规划器相比，该方法在模拟和真实环境中的平均成功率提高了32.14% - 1166.67%，并且在复杂问题上显著减少了规划时间。消融实验进一步验证了VLM指导在提高规划效率和成功率方面的作用。

🎯 应用场景

该研究成果可应用于机器人操作、自动驾驶、智能制造等领域。例如，在机器人操作中，可以利用该方法规划复杂的装配任务；在自动驾驶中，可以利用该方法规划安全高效的行驶路径；在智能制造中，可以利用该方法规划最优的生产流程。该研究具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

Task and Motion Planning (TAMP) integrates high-level task planning with low-level motion feasibility, but existing methods are costly in long-horizon problems due to excessive motion sampling. While LLMs provide commonsense priors, they lack 3D spatial reasoning and cannot ensure geometric or dynamic feasibility. We propose a kinodynamic TAMP framework based on a hybrid state tree that uniformly represents symbolic and numeric states during planning, enabling task and motion decisions to be jointly decided. Kinodynamic constraints embedded in the TAMP problem are verified by an off-the-shelf motion planner and physics simulator, and a VLM guides exploring a TAMP solution and backtracks the search based on visual rendering of the states. Experiments on the simulated domains and in the real world show 32.14% - 1166.67% increased average success rates compared to traditional and LLM-based TAMP planners and reduced planning time on complex problems, with ablations further highlighting the benefits of VLM guidance.