DAG-Plan: Generating Directed Acyclic Dependency Graphs for Dual-Arm Cooperative Planning

📄 arXiv: 2406.09953v3 📥 PDF

作者: Zeyu Gao, Yao Mu, Jinye Qu, Mengkang Hu, Shijia Peng, Chengkai Hou, Lingyue Guo, Ping Luo, Shanghang Zhang, Yanfeng Lu

分类: cs.RO, cs.AI

发布日期: 2024-06-14 (更新: 2025-04-11)

💡 一句话要点

DAG-Plan：为双臂协同规划生成有向无环依赖图，提升任务效率和成功率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双臂机器人 任务规划 有向无环图 大型语言模型 协同操作

📋 核心要点

  1. 双臂机器人任务规划面临子任务间复杂的时序和空间依赖关系，以及动作分配和执行顺序的难题。
  2. DAG-Plan利用LLM将复杂任务分解为DAG结构的子任务，并根据环境观测动态分配给双臂，实现并行执行。
  3. 在Dual-Arm Kitchen Benchmark上，DAG-Plan相比线性规划方法效率提升52.8%，成功率提升48%。

📝 摘要（中文）

本文提出了一种名为DAG-Plan的结构化任务规划框架，专为双臂机器人设计。该框架利用大型语言模型（LLM）将复杂任务分解为可执行的子任务，这些子任务被表示为有向无环图（DAG）中的节点。DAG-Plan能够根据实时环境观测动态地将这些子任务分配给合适的机械臂，从而实现并行和自适应的执行。在包含44个子任务的Dual-Arm Kitchen Benchmark上的实验结果表明，DAG-Plan相比直接使用LLM生成线性任务序列，效率提高了52.8%，双臂任务规划的成功率提高了48%。与迭代方法相比，DAG-Plan由于查询次数更少，执行效率提高了84.1%。

🔬 方法详解

问题定义：现有的任务规划方法主要集中在单臂机器人或依赖于预定义的双臂操作，使用大型语言模型生成具有线性时间依赖性的任务序列，无法充分利用双臂系统的能力。因此，需要一种能够处理复杂任务依赖关系，并能动态分配任务给双臂的规划方法。

核心思路：DAG-Plan的核心思路是将复杂任务分解为一系列具有依赖关系的子任务，并使用有向无环图（DAG）来表示这些子任务及其依赖关系。通过这种方式，可以显式地建模任务之间的并行性和顺序性，从而更好地利用双臂机器人的协同能力。此外，DAG-Plan还能够根据实时环境观测动态地将子任务分配给合适的机械臂，以适应不同的任务需求和环境变化。

技术框架：DAG-Plan的整体框架包括以下几个主要模块：1) 任务分解模块：使用大型语言模型（LLM）将复杂任务分解为一系列可执行的子任务。2) 依赖关系建模模块：根据任务的逻辑关系和物理约束，建立子任务之间的依赖关系，并构建有向无环图（DAG）。3) 任务分配模块：根据实时环境观测和机械臂的状态，动态地将子任务分配给合适的机械臂。4) 任务执行模块：按照DAG的拓扑顺序执行子任务，并进行必要的同步和协调。

关键创新：DAG-Plan的关键创新在于它使用有向无环图（DAG）来表示任务的依赖关系，并能够根据实时环境观测动态地分配任务给双臂。这种方法能够更好地利用双臂机器人的协同能力，并适应不同的任务需求和环境变化。与传统的线性任务规划方法相比，DAG-Plan能够更有效地处理复杂任务，并提高任务的执行效率和成功率。

关键设计：DAG-Plan的关键设计包括：1) 使用LLM进行任务分解，需要设计合适的prompt来引导LLM生成高质量的子任务。2) 依赖关系建模需要考虑任务的逻辑关系和物理约束，并选择合适的图结构来表示这些关系。3) 任务分配需要考虑机械臂的状态、任务的优先级和环境的约束，并设计合适的分配策略。4) 任务执行需要进行必要的同步和协调，以保证任务的正确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAG-Plan在Dual-Arm Kitchen Benchmark上显著优于其他方法。与单臂任务规划相比，效率提升了52.8%。与直接使用LLM生成线性任务序列的双臂任务规划相比，成功率提高了48%。与迭代方法相比，由于查询次数更少，执行效率提高了84.1%。这些数据表明DAG-Plan在双臂协同任务规划方面具有显著优势。

🎯 应用场景

DAG-Plan可应用于各种需要双臂协同操作的场景，如智能厨房、自动化装配、医疗手术等。通过优化任务规划和资源分配，提高生产效率和操作精度，降低人工干预的需求，实现更智能化的自动化流程。未来可扩展到多臂机器人系统，进一步提升复杂任务的处理能力。

📄 摘要（原文）

Dual-arm robots offer enhanced versatility and efficiency over single-arm counterparts by enabling concurrent manipulation of multiple objects or cooperative execution of tasks using both arms. However, the coordination of dual-arm systems for long-horizon tasks continues to pose significant challenges, stemming from the intricate temporal and spatial dependencies among sub-tasks, necessitating intelligent decisions regarding the allocation of actions between arms and their optimal execution order. Existing task planning methods predominantly focus on single-arm robots or rely on predefined bimanual operations to use large language models (LLMs) generate task sequence with linear temporal dependency, failing to fully leverage the capabilities of dual-arm systems. To address this limitation, we introduce DAG-Plan, a structured task planning framework tailored for dual-arm robots. DAG-Plan harnesses LLMs to decompose intricate tasks into actionable sub-tasks represented as nodes within a directed acyclic graph (DAG). Critically, DAG-Plan dynamically assigns these sub-tasks to the appropriate arm based on real-time environmental observations, enabling parallel and adaptive execution. We evaluate DAG-Plan on the Dual-Arm Kitchen Benchmark, comprising 5 sequential tasks with 44 sub-tasks. Extensive experiments demonstrate the superiority of DAG-Plan over directly using LLM to generate linear task sequence, achieving 52.8% higher efficiency compared to the single-arm task planning and 48% higher success rate of the dual-arm task planning. Compared to iterative methods, DAG-Plan improving execution efficiency 84.1% due to its fewer query time. More demos and information are available on https://sites.google.com/view/dag-plan.