Conditional Variational Auto Encoder Based Dynamic Motion for Multi-task Imitation Learning

📄 arXiv: 2405.15266v1 📥 PDF

作者: Binzhao Xu, Muhayy Ud Din, Irfan Hussain

分类: cs.RO

发布日期: 2024-05-24

💡 一句话要点

提出基于条件变分自编码器和动态运动原语的多任务模仿学习框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 动态运动原语 条件变分自编码器 多任务学习 机器人控制

📋 核心要点

  1. 现有基于DMP的方法大多侧重于单个模块学习单个任务，泛化能力有限。
  2. 提出结合CVAE和DMP的框架，利用深度网络生成力矩，驱动动态系统生成轨迹，适应新目标。
  3. 在手写数字数据集上训练后，模型在机器人到达和推动任务中达到100%的成功率。

📝 摘要（中文）

本文提出了一种结合传统动态运动原语（DMP）和条件变分自编码器（CVAE）的框架，用于多任务模仿学习。该框架利用动态系统和深度神经网络构建编码器和解码器。深度神经网络根据任务ID生成力矩，然后该力矩用于在动态系统中创建期望轨迹，使生成的轨迹能够适应新的目标位置。此外，还提出了一种微调方法来保证通过点的约束。该模型在手写数字数据集上进行训练，并应用于机器人任务——直接到达和推动。仿真环境中的结果表明，在手写数字数据集上训练后，该模型在推动和到达任务上实现了100%的成功率。

🔬 方法详解

问题定义：现有基于动态运动原语（DMP）的方法通常针对单个任务进行优化，缺乏多任务处理能力。虽然一些基于深度学习的框架可以同时学习多个任务，但它们需要大量的训练数据，并且对于未训练状态的泛化能力有限。因此，如何利用少量数据实现多任务模仿学习是一个挑战。

核心思路：本文的核心思路是将传统的DMP方法与条件变分自编码器（CVAE）相结合。DMP擅长于生成平滑的运动轨迹，而CVAE则可以学习数据的潜在表示并生成新的样本。通过将两者结合，可以利用CVAE学习不同任务的潜在表示，并将其作为DMP的条件，从而实现多任务模仿学习。

技术框架：该框架包含一个编码器和一个解码器。编码器由一个动态系统和一个深度神经网络组成，用于将观测到的状态和任务ID编码成潜在向量。解码器也由一个动态系统和一个深度神经网络组成，用于根据潜在向量和目标状态生成控制力矩，从而驱动机器人完成任务。整体流程是：首先，编码器将当前状态和任务ID编码为潜在变量；然后，解码器根据潜在变量和目标状态生成力矩；最后，动态系统根据力矩生成轨迹。

关键创新：该方法最重要的创新点在于将CVAE与DMP相结合，利用CVAE学习任务的潜在表示，并将其作为DMP的条件。这种方法可以有效地利用少量数据学习多个任务，并且具有较好的泛化能力。此外，还提出了一种微调方法来保证通过点的约束，进一步提高了轨迹的精度。

关键设计：深度神经网络用于生成力矩，其输入是任务ID和潜在变量，输出是力矩的大小和方向。动态系统使用标准的DMP公式，其参数由深度神经网络生成。损失函数包括重构损失、KL散度和通过点约束损失。微调方法通过调整DMP的参数，使得轨迹能够精确地通过指定的通过点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该模型在手写数字数据集上进行训练，并在仿真环境中验证了其在机器人到达和推动任务中的性能。实验结果表明，经过训练后，该模型在推动和到达任务上均实现了100%的成功率，证明了该方法在多任务模仿学习方面的有效性。

🎯 应用场景

该研究成果可应用于机器人操作、自动化控制等领域。例如，机器人可以通过模仿学习掌握多种操作技能，从而在复杂的环境中完成各种任务。此外，该方法还可以用于人机协作，使机器人能够根据人的意图生成合适的运动轨迹。

📄 摘要（原文）

The dynamic motion primitive-based (DMP) method is an effective method of learning from demonstrations. However, most of the current DMP-based methods focus on learning one task with one module. Although, some deep learning-based frameworks can learn to multi-task at the same time. However, those methods require a large number of training data and have limited generalization of the learned behavior to the untrained state. In this paper, we propose a framework that combines the advantages of the traditional DMP-based method and conditional variational auto-encoder (CVAE). The encoder and decoder are made of a dynamic system and deep neural network. Deep neural networks are used to generate torque conditioned on the task ID. Then, this torque is used to create the desired trajectory in the dynamic system based on the final state. In this way, the generated tractory can adjust to the new goal position. We also propose a finetune method to guarantee the via-point constraint. Our model is trained on the handwriting number dataset and can be used to solve robotic tasks -- reaching and pushing directly. The proposed model is validated in the simulation environment. The results show that after training on the handwriting number dataset, it achieves a 100\% success rate on pushing and reaching tasks.