Planning with Vision-Language Models and a Use Case in Robot-Assisted Teaching

📄 arXiv: 2501.17665v1 📥 PDF

作者: Xuzhe Dang, Lada Kudláčková, Stefan Edelkamp

分类: cs.RO, cs.AI

发布日期: 2025-01-29

💡 一句话要点

提出Image2PDDL框架，利用视觉-语言模型自动生成PDDL规划问题，应用于机器人辅助教学。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 规划领域定义语言 PDDL生成 机器人辅助教学 人工智能规划

📋 核心要点

  1. 现有方法在复杂现实任务中，利用大型语言模型自动生成PDDL面临感知理解与符号规划结合的挑战。
  2. Image2PDDL框架利用视觉-语言模型，将图像初始状态和目标状态描述转化为PDDL问题，降低专业知识需求。
  3. 实验结果表明，该方法在多种任务复杂性下表现出良好的语法和内容正确性，具有广泛应用潜力。

📝 摘要（中文）

本文提出了一种名为Image2PDDL的新框架，该框架利用视觉-语言模型（VLM）自动将初始状态的图像和目标状态的描述转换为规划领域定义语言（PDDL）问题。通过提供PDDL领域和视觉输入，Image2PDDL解决了将感知理解与符号规划联系起来的关键挑战，降低了创建结构化问题实例所需的专业知识，并提高了跨不同复杂程度任务的可扩展性。我们在包括blocksworld和滑动瓦片谜题等标准规划领域评估了该框架，使用了具有多个难度级别的数据集。性能评估包括语法正确性（确保语法和可执行性）和内容正确性（验证生成的PDDL问题中准确的状态表示）。所提出的方法在各种任务复杂性上都表现出良好的结果，表明其在AI规划中具有更广泛的应用潜力。我们还将讨论在自闭症谱系障碍学生的机器人辅助教学中的潜在用例。

🔬 方法详解

问题定义：论文旨在解决如何自动生成规划领域定义语言（PDDL）问题，特别是针对复杂的现实世界任务。现有方法需要大量人工干预来创建结构化的PDDL问题实例，这需要专业的知识和耗费大量时间。此外，将感知信息（如图像）与符号规划相结合仍然是一个挑战。

核心思路：论文的核心思路是利用视觉-语言模型（VLM）来桥接感知和符号规划之间的差距。通过将初始状态的图像和目标状态的描述输入VLM，模型能够自动生成相应的PDDL问题。这种方法减少了对人工干预的依赖，并使得非专业人士也能轻松创建复杂的规划问题。

技术框架：Image2PDDL框架主要包含以下几个模块：1) 图像编码器：用于提取初始状态图像的视觉特征。2) 文本编码器：用于编码目标状态的文本描述。3) VLM：将视觉特征和文本描述融合，生成PDDL问题的各个组成部分，例如初始状态、目标状态和动作。4) PDDL解析器：验证生成的PDDL问题的语法和语义正确性。整个流程是从视觉和文本输入开始，经过VLM的处理，最终输出可执行的PDDL问题。

关键创新：该论文的关键创新在于利用VLM直接从视觉输入和文本描述生成PDDL问题。与传统方法相比，Image2PDDL无需手动定义状态变量和动作，而是通过VLM自动学习图像和文本之间的映射关系。这大大简化了PDDL问题的创建过程，并提高了可扩展性。

关键设计：论文中VLM的具体选择和训练方式是关键设计。具体来说，VLM需要能够理解图像中的对象和关系，并将其转化为符号表示。损失函数的设计需要同时考虑语法正确性和内容正确性。此外，如何有效地利用领域知识来指导VLM的生成过程也是一个重要的考虑因素。具体的参数设置和网络结构在论文中可能没有详细说明，需要参考相关的VLM文献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Image2PDDL在多个标准规划领域（如blocksworld和滑动瓦片谜题）上取得了良好的性能。在语法正确性方面，生成的PDDL问题能够通过解析器的验证。在内容正确性方面，生成的PDDL问题能够准确地表示初始状态和目标状态。虽然论文没有给出具体的性能数据和提升幅度，但实验结果表明Image2PDDL具有很强的潜力。

🎯 应用场景

该研究成果可应用于机器人辅助教学，特别是针对自闭症谱系障碍（ASD）学生。通过Image2PDDL，可以自动生成各种教学场景的PDDL问题，例如让机器人教学生如何整理玩具或完成简单的任务。这不仅可以减轻教师的负担，还可以为学生提供个性化的学习体验。此外，该技术还可应用于智能家居、自动驾驶等领域，实现更智能化的任务规划和执行。

📄 摘要（原文）

Automating the generation of Planning Domain Definition Language (PDDL) with Large Language Model (LLM) opens new research topic in AI planning, particularly for complex real-world tasks. This paper introduces Image2PDDL, a novel framework that leverages Vision-Language Models (VLMs) to automatically convert images of initial states and descriptions of goal states into PDDL problems. By providing a PDDL domain alongside visual inputs, Imasge2PDDL addresses key challenges in bridging perceptual understanding with symbolic planning, reducing the expertise required to create structured problem instances, and improving scalability across tasks of varying complexity. We evaluate the framework on various domains, including standard planning domains like blocksworld and sliding tile puzzles, using datasets with multiple difficulty levels. Performance is assessed on syntax correctness, ensuring grammar and executability, and content correctness, verifying accurate state representation in generated PDDL problems. The proposed approach demonstrates promising results across diverse task complexities, suggesting its potential for broader applications in AI planning. We will discuss a potential use case in robot-assisted teaching of students with Autism Spectrum Disorder.