The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations

📄 arXiv: 2407.13432v3 📥 PDF

作者: Jan Ole von Hartz, Tim Welschehold, Abhinav Valada, Joschka Boedecker

分类: cs.RO, cs.LG

发布日期: 2024-07-18 (更新: 2024-10-23)

💡 一句话要点

提出基于黎曼GMM的模仿学习方法，仅需少量演示即可完成复杂操作任务

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模仿学习 机器人操作 黎曼GMM 技能分割 任务参数化

📋 核心要点

  1. 现有TP-GMM方法难以有效处理非欧几里德空间中的末端执行器速度，限制了其应用。
  2. 将末端执行器速度分解为方向和大小，并使用黎曼GMM建模，同时进行技能分割与对齐。
  3. 实验表明，该方法仅需少量演示即可学习复杂操作任务，并在RLBench上实现了显著的性能提升。

📝 摘要（中文）

本文提出了一种高效的模仿学习方法，用于学习物体中心的机器人操作任务。针对任务参数化高斯混合模型(TP-GMM)在实际应用中面临的挑战，本文协同解决了三个关键问题。首先，末端执行器的速度是非欧几里德的，难以用标准GMM建模，因此将末端执行器的速度分解为方向和大小，并使用黎曼GMM进行建模。其次，利用分解后的速度从复杂的演示轨迹中分割和排序技能，通过分割进一步对齐技能轨迹，从而利用时间作为一个强大的归纳偏置。第三，提出了一种从视觉观察中自动检测每个技能的相关任务参数的方法。该方法仅使用RGB-D观测，只需五个演示即可学习复杂的操纵任务。在RLBench上的大量实验表明，该方法实现了最先进的性能，样本效率提高了20倍。所学策略可以推广到不同的环境、对象实例和对象位置，同时学习到的技能是可重用的。

🔬 方法详解

问题定义：现有的Task Parametrized Gaussian Mixture Models (TP-GMM)方法在处理机器人操作任务时，尤其是在末端执行器速度建模方面存在局限性。末端执行器速度位于非欧几里德空间，直接使用标准GMM建模效果不佳。此外，从复杂的演示轨迹中学习技能，并自动检测相关任务参数也是挑战。

核心思路：论文的核心思路是将末端执行器速度分解为方向和大小两个部分，分别进行建模。方向部分使用黎曼GMM，从而更好地适应非欧几里德空间。同时，通过分解后的速度进行技能分割和对齐，并从视觉观察中自动检测任务参数。这种分解、分割和自动检测的结合，提高了样本效率和泛化能力。

技术框架：整体框架包含以下几个主要阶段：1) 数据收集：通过少量演示轨迹收集RGB-D图像和机器人状态数据。2) 速度分解：将末端执行器速度分解为方向和大小。3) 技能分割与对齐：利用分解后的速度进行技能分割，并通过动态时间规整(DTW)等方法对齐技能轨迹。4) 任务参数检测：从视觉观察中自动检测每个技能的相关任务参数。5) 策略学习：使用TP-GMM或其他模仿学习算法，基于分割、对齐和参数化的技能轨迹学习控制策略。

关键创新：最重要的技术创新点在于使用黎曼GMM建模末端执行器速度的方向分量。与直接使用标准GMM相比，黎曼GMM能够更好地处理非欧几里德空间中的数据，从而提高建模精度。此外，自动检测任务参数也减少了人工干预，提高了学习效率。

关键设计：在速度分解方面，论文可能使用了李群或李代数来表示末端执行器的姿态和速度。黎曼GMM的具体实现可能涉及指数映射和对数映射等操作。在任务参数检测方面，可能使用了注意力机制或图神经网络来提取与技能相关的视觉特征。损失函数可能包含模仿学习损失、技能分割损失和任务参数预测损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在RLBench基准测试中取得了最先进的性能，并且样本效率提高了20倍。这意味着仅需5个演示即可学习复杂的操纵任务，显著降低了数据收集成本。此外，该方法还具有良好的泛化能力，能够适应不同的环境、对象实例和对象位置。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如装配、抓取、放置等。特别是在需要机器人快速适应新环境和新物体的场景下，该方法具有很高的应用价值。例如，在智能制造、仓储物流、家庭服务等领域，可以利用该方法快速部署机器人，完成各种复杂的操作任务。

📄 摘要（原文）

Task Parametrized Gaussian Mixture Models (TP-GMM) are a sample-efficient method for learning object-centric robot manipulation tasks. However, there are several open challenges to applying TP-GMMs in the wild. In this work, we tackle three crucial challenges synergistically. First, end-effector velocities are non-Euclidean and thus hard to model using standard GMMs. We thus propose to factorize the robot's end-effector velocity into its direction and magnitude, and model them using Riemannian GMMs. Second, we leverage the factorized velocities to segment and sequence skills from complex demonstration trajectories. Through the segmentation, we further align skill trajectories and hence leverage time as a powerful inductive bias. Third, we present a method to automatically detect relevant task parameters per skill from visual observations. Our approach enables learning complex manipulation tasks from just five demonstrations while using only RGB-D observations. Extensive experimental evaluations on RLBench demonstrate that our approach achieves state-of-the-art performance with 20-fold improved sample efficiency. Our policies generalize across different environments, object instances, and object positions, while the learned skills are reusable.