Task and Motion Planning for Execution in the Real
作者: Tianyang Pan, Rahul Shome, Lydia E. Kavraki
分类: cs.RO, cs.AI
发布日期: 2024-06-05 (更新: 2024-06-13)
备注: 15 pages, 14 figures, 2 tables, accepted by IEEE Transactions on Robotics
💡 一句话要点
提出一种结合离线规划与在线行为的任务与运动规划方法，解决部分可观测环境下的机器人操作问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 任务与运动规划 机器人操作 部分可观测 在线行为 离线规划 闭环控制 重规划
📋 核心要点
- 传统任务与运动规划依赖完整的环境模型，在部分可观测或模型不精确的情况下失效。
- 该方法结合离线规划和在线行为，允许在规划时存在未完全关联的动作，通过闭环行为处理。
- 实验表明，该方法在真实机器人任务中，相比现有方法，执行时间更短，动作数量更少，成功率更高。
📝 摘要（中文）
本文提出了一种任务与运动规划方法，该方法结合了离散任务域的推理和连续运动生成。传统的推理需要任务域模型和足够的信息来将动作与运动规划查询关联起来。然而，由于遮挡或不精确建模等原因，这些知识常常存在缺口。本文生成包含在规划时无法完全关联的动作的任务与运动规划。在执行过程中，此类动作由人工设计的或学习的闭环行为处理。执行过程结合了离线规划的运动和在线行为，直到达到任务目标。行为的失败会作为约束反馈，以寻找新的计划。通过四十次真实机器人试验和演示来评估所提出的框架，并与最先进的方法进行比较。结果表明，在出现各种缺口的问题中，该方法执行时间更快，动作数量更少，成功率更高。实验数据已共享，供研究人员模拟这些设置。这项工作表明，在扩展机器人可以解决的实际部分关联问题的适用类别方面具有前景。
🔬 方法详解
问题定义：现有任务与运动规划方法通常需要完整的任务域模型和精确的环境信息，以便将高级任务动作与底层运动规划查询关联起来。然而，在实际应用中，由于遮挡、传感器噪声、模型不精确等因素，环境信息往往是不完整的，导致传统方法难以生成有效的规划。因此，如何处理部分可观测或不确定环境下的任务与运动规划是一个关键问题。
核心思路：本文的核心思路是将离线规划与在线行为相结合。离线规划负责生成粗略的任务与运动计划，其中允许包含在规划时无法完全关联的动作。这些未完全关联的动作在执行过程中由人工设计的或学习的闭环行为来处理。通过这种方式，可以利用离线规划的全局优化能力和在线行为的实时适应能力，从而在不确定环境中实现鲁棒的任务执行。
技术框架：该方法的技术框架主要包含以下几个阶段：1) 离线任务与运动规划：使用现有的任务与运动规划器生成初始计划，允许包含未完全关联的动作。2) 在线行为执行：对于未完全关联的动作，使用预先设计或学习的闭环行为进行执行。3) 失败检测与重规划：如果在执行过程中检测到行为失败，则将失败信息作为约束反馈给规划器，重新生成新的计划。整个过程迭代进行，直到达到任务目标。
关键创新：该方法最重要的技术创新点在于将离线规划与在线行为相结合，从而允许在规划时存在未完全关联的动作。这种方法打破了传统任务与运动规划对完整环境信息的依赖，使其能够应用于更广泛的实际场景。与现有方法相比，该方法能够更好地处理不确定性和动态性，从而提高任务执行的鲁棒性和效率。
关键设计：关于闭环行为的设计，论文中提到可以是人工设计的，也可以是学习得到的。具体的设计细节取决于具体的任务和环境。对于失败检测，可以使用传感器数据或模型预测来进行判断。重规划过程可以使用现有的任务与运动规划器，但需要将失败信息作为约束条件加入到规划问题中。具体的参数设置和损失函数等技术细节在论文中没有详细描述，可能需要根据具体应用进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在包含各种不确定性的真实机器人任务中，该方法相比于现有方法，能够显著减少执行时间、降低动作数量，并提高任务成功率。具体而言，在40次真实机器人试验中，该方法在执行时间和动作数量上均优于对比方法，并且在成功率方面也有显著提升。实验数据已公开，方便其他研究者进行复现和比较。
🎯 应用场景
该研究成果可广泛应用于机器人操作、自动化装配、智能家居等领域。例如，在自动化装配中，机器人可以在不完全了解零件位置和姿态的情况下，通过在线行为调整来完成装配任务。在智能家居中，机器人可以在未知环境下，通过与环境的交互来完成清洁、整理等任务。该方法有望提高机器人在复杂环境中的适应性和自主性。
📄 摘要（原文）
Task and motion planning represents a powerful set of hybrid planning methods that combine reasoning over discrete task domains and continuous motion generation. Traditional reasoning necessitates task domain models and enough information to ground actions to motion planning queries. Gaps in this knowledge often arise from sources like occlusion or imprecise modeling. This work generates task and motion plans that include actions cannot be fully grounded at planning time. During execution, such an action is handled by a provided human-designed or learned closed-loop behavior. Execution combines offline planned motions and online behaviors till reaching the task goal. Failures of behaviors are fed back as constraints to find new plans. Forty real-robot trials and motivating demonstrations are performed to evaluate the proposed framework and compare against state-of-the-art. Results show faster execution time, less number of actions, and more success in problems where diverse gaps arise. The experiment data is shared for researchers to simulate these settings. The work shows promise in expanding the applicable class of realistic partially grounded problems that robots can address.