Multi-Modal MPPI and Active Inference for Reactive Task and Motion Planning

📄 arXiv: 2312.02328v2 📥 PDF

作者: Yuezhe Zhang, Corrado Pezzato, Elia Trevisan, Chadi Salmi, Carlos Hernández Corbato, Javier Alonso-Mora

分类: cs.RO

发布日期: 2023-12-04 (更新: 2024-07-10)

备注: Accepted for IEEE RA-L, June 2024. Project's website: https://autonomousrobots.nl/paper_websites/m3p2i-aip

DOI: 10.1109/LRA.2024.3426183

💡 一句话要点

提出多模态MPPI与主动推理的反应式任务与运动规划方法，提升机器人操作的鲁棒性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务与运动规划 反应式规划 主动推理 模型预测控制 多模态融合 机器人操作 鲁棒性 物理模拟

📋 核心要点

  1. 现有任务与运动规划(TAMP)方法在复杂操作任务中取得了进展，但忽略了规划方案的执行鲁棒性，难以应对运行时不确定性。
  2. 本文提出结合主动推理规划器(AIP)和多模态模型预测路径积分控制器(M3P2I)的反应式TAMP方法，同时优化高层动作和低层运动。
  3. 通过模拟和真实场景的实验验证，该方法能够融合不同的机器人技能，实现流畅和反应式的计划执行，提升了鲁棒性。

📝 摘要（中文）

本文提出了一种用于反应式任务与运动规划(TAMP)的方法，旨在应对运行时的不确定性和扰动。该方法结合了用于自适应高层动作选择的主动推理规划器(AIP)和用于低层控制的新型多模态模型预测路径积分控制器(M3P2I)。这种结合能够同时调整高层动作和低层运动。AIP生成备选的符号计划，每个计划都与M3P2I的成本函数相关联。M3P2I利用物理模拟器进行多样化的轨迹展开，通过根据成本对不同样本进行加权来推导出最优控制。这种方法能够融合不同的机器人技能，实现流畅和反应式的计划执行，适应高层和低层的计划调整，从而应对动态障碍物或使当前计划失效的扰动。该方法已在模拟和真实场景中进行了测试。

🔬 方法详解

问题定义：论文旨在解决任务与运动规划(TAMP)在实际应用中鲁棒性不足的问题。现有的TAMP方法通常专注于生成可行的计划，而忽略了运行时可能出现的各种不确定性和扰动，导致计划在实际执行中容易失败。例如，动态障碍物的出现、环境的变化或机器人自身状态的偏差都可能使预先规划好的动作序列失效。

核心思路：论文的核心思路是将高层动作规划与低层运动控制相结合，形成一个反应式的规划框架。通过主动推理规划器(AIP)在高层生成多个备选的符号计划，并利用多模态模型预测路径积分控制器(M3P2I)在低层实现灵活的运动控制。这种设计允许系统根据实际情况动态地切换和调整计划，从而提高鲁棒性。

技术框架：整体框架包含两个主要模块：主动推理规划器(AIP)和多模态模型预测路径积分控制器(M3P2I)。AIP负责生成多个备选的符号计划，每个计划对应一个特定的任务目标和约束。M3P2I则负责根据当前的状态和环境信息，对每个计划进行评估，并选择最优的控制策略。M3P2I通过物理模拟器进行轨迹rollout，并根据成本函数对不同的轨迹进行加权，从而得到最优的控制指令。整个过程是一个闭环反馈系统，能够实时地调整计划和控制策略。

关键创新：论文的关键创新在于提出了多模态模型预测路径积分控制器(M3P2I)。与传统的MPPI控制器不同，M3P2I能够同时考虑多个备选的计划，并根据它们的成本进行加权。这种多模态的设计使得系统能够更好地应对不确定性和扰动，并在不同的计划之间进行平滑的切换。此外，AIP与M3P2I的结合也使得系统能够同时在高层和低层进行调整，从而实现更灵活和鲁棒的规划。

关键设计：M3P2I的关键设计包括：1) 使用物理模拟器进行轨迹rollout，以获得更准确的运动模型；2) 定义合适的成本函数，以评估不同轨迹的优劣；3) 使用加权平均的方式融合不同的轨迹，以获得最优的控制指令。AIP的关键设计包括：1) 定义合适的符号动作空间，以描述不同的任务目标和约束；2) 使用概率模型来表示环境的不确定性；3) 设计有效的搜索算法，以生成多个备选的计划。

📊 实验亮点

论文通过模拟和真实世界的实验验证了所提出方法的有效性。实验结果表明，该方法能够成功地应对动态障碍物和外部扰动，并实现流畅和反应式的计划执行。虽然论文中没有给出具体的性能数据和提升幅度，但实验结果表明该方法在鲁棒性方面优于传统的TAMP方法。

🎯 应用场景

该研究成果可应用于各种需要高鲁棒性的机器人操作场景，例如：在拥挤或动态环境中进行物体抓取和放置、在复杂地形中进行导航、在存在干扰的情况下进行装配等。该方法能够提高机器人在实际环境中的适应性和可靠性，具有重要的实际应用价值和潜力。

📄 摘要（原文）

Task and Motion Planning (TAMP) has made strides in complex manipulation tasks, yet the execution robustness of the planned solutions remains overlooked. In this work, we propose a method for reactive TAMP to cope with runtime uncertainties and disturbances. We combine an Active Inference planner (AIP) for adaptive high-level action selection and a novel Multi-Modal Model Predictive Path Integral controller (M3P2I) for low-level control. This results in a scheme that simultaneously adapts both high-level actions and low-level motions. The AIP generates alternative symbolic plans, each linked to a cost function for M3P2I. The latter employs a physics simulator for diverse trajectory rollouts, deriving optimal control by weighing the different samples according to their cost. This idea enables blending different robot skills for fluid and reactive plan execution, accommodating plan adjustments at both the high and low levels to cope, for instance, with dynamic obstacles or disturbances that invalidate the current plan. We have tested our approach in simulations and real-world scenarios.