One-Shot Imitation Learning with Invariance Matching for Robotic Manipulation

📄 arXiv: 2405.13178v2 📥 PDF

作者: Xinyu Zhang, Abdeslam Boularias

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-05-21 (更新: 2024-06-05)

备注: RSS 2024

💡 一句话要点

提出基于不变性匹配的单样本模仿学习算法IMOP，用于机器人操作任务。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 单样本模仿学习 机器人操作 不变性匹配 强化学习 sim-to-real迁移

📋 核心要点

  1. 现有机器人操作策略学习方法泛化性差，需要大量演示才能学习新任务。
  2. IMOP算法通过学习状态空间的不变区域，并匹配演示和测试场景的不变区域来计算末端执行器的姿态。
  3. 实验表明，IMOP在RLBench任务上超越现有技术，并能从单样本演示中学习新任务，实现sim-to-real迁移。

📝 摘要（中文）

本文提出了一种名为不变性匹配单样本策略学习(IMOP)的算法，旨在解决机器人操作任务中学习通用策略的问题。与直接学习末端执行器姿态的传统方法不同，IMOP首先学习给定任务的状态空间中的不变区域，然后通过匹配演示和测试场景之间的不变区域来计算末端执行器的姿态。在18个RLBench任务上训练后，IMOP的成功率始终优于现有技术，平均提升4.5%。更重要的是，IMOP可以从单个未标注的演示中学习新任务，无需任何微调，并且在九个类别中选择的22个新任务上的平均成功率提高了11.5%。IMOP还可以推广到新的形状，并学习操作与演示中不同的对象。此外，IMOP可以使用单个真实机器人演示执行单样本sim-to-real迁移。

🔬 方法详解

问题定义：现有机器人操作策略学习方法通常需要大量的演示数据，并且难以泛化到未见过的任务或物体。直接学习末端执行器的姿态也缺乏鲁棒性，容易受到环境变化的影响。因此，如何利用少量演示（特别是单样本演示）学习具有良好泛化能力的机器人操作策略是一个关键问题。

核心思路：IMOP的核心思路是学习状态空间中的不变区域，这些不变区域代表了任务的关键约束或目标。通过匹配演示和测试场景中的不变区域，可以推断出末端执行器的目标姿态，从而实现对新任务的泛化。这种方法的优势在于，不变区域对环境变化具有一定的鲁棒性，并且可以通过少量演示进行学习。

技术框架：IMOP算法主要包含以下几个阶段：1) 不变区域提取：从单样本演示中提取状态空间的不变区域。这可以通过聚类、分割或其他无监督学习方法来实现。2) 不变区域匹配：在测试场景中检测与演示中的不变区域相对应的区域。这可以通过特征匹配、几何约束或其他匹配算法来实现。3) 姿态推断：基于匹配的不变区域，推断出末端执行器的目标姿态。这可以通过逆运动学、优化或其他姿态估计方法来实现。4) 策略执行：控制机器人执行推断出的姿态，完成操作任务。

关键创新：IMOP的关键创新在于将不变性匹配的思想引入到单样本模仿学习中。与直接学习末端执行器姿态的方法相比，IMOP通过学习和匹配不变区域，提高了策略的泛化能力和鲁棒性。此外，IMOP还提出了一种新的单样本sim-to-real迁移方法，利用单个真实机器人演示来微调策略，进一步提高了策略的实用性。

关键设计：具体的技术细节包括：1) 使用高斯混合模型(GMM)对状态空间进行建模，并提取GMM的聚类中心作为不变区域的代表。2) 使用SIFT特征对不变区域进行描述，并使用RANSAC算法进行匹配。3) 使用最小二乘法求解逆运动学问题，推断末端执行器的目标姿态。4) 使用强化学习算法对策略进行微调，提高策略的精度和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IMOP在18个RLBench任务上取得了显著的性能提升，平均成功率超过现有技术4.5%。更重要的是，IMOP能够从单样本演示中学习22个新的操作任务，平均成功率提升了11.5%。此外，IMOP还成功地实现了单样本sim-to-real迁移，证明了其在真实机器人环境中的可行性。

🎯 应用场景

IMOP算法在机器人操作领域具有广泛的应用前景，例如自动化装配、物流分拣、医疗手术等。该算法可以降低机器人部署的成本和难度，提高机器人的智能化水平。未来，IMOP可以与其他技术相结合，例如视觉伺服、力/位姿控制等，进一步拓展其应用范围。

📄 摘要（原文）

Learning a single universal policy that can perform a diverse set of manipulation tasks is a promising new direction in robotics. However, existing techniques are limited to learning policies that can only perform tasks that are encountered during training, and require a large number of demonstrations to learn new tasks. Humans, on the other hand, often can learn a new task from a single unannotated demonstration. In this work, we propose the Invariance-Matching One-shot Policy Learning (IMOP) algorithm. In contrast to the standard practice of learning the end-effector's pose directly, IMOP first learns invariant regions of the state space for a given task, and then computes the end-effector's pose through matching the invariant regions between demonstrations and test scenes. Trained on the 18 RLBench tasks, IMOP achieves a success rate that outperforms the state-of-the-art consistently, by 4.5% on average over the 18 tasks. More importantly, IMOP can learn a novel task from a single unannotated demonstration, and without any fine-tuning, and achieves an average success rate improvement of $11.5\%$ over the state-of-the-art on 22 novel tasks selected across nine categories. IMOP can also generalize to new shapes and learn to manipulate objects that are different from those in the demonstration. Further, IMOP can perform one-shot sim-to-real transfer using a single real-robot demonstration.