Skill Transfer and Discovery for Sim-to-Real Learning: A Representation-Based Viewpoint

📄 arXiv: 2404.05051v1 📥 PDF

作者: Haitong Ma, Zhaolin Ren, Bo Dai, Na Li

分类: cs.LG, cs.RO

发布日期: 2024-04-07

备注: 9 pages, 6 figures. Project page: https://congharvard.github.io/steady-sim-to-real/

💡 一句话要点

提出基于表示学习的技能转移与发现方法以解决仿真与现实间的差距问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 技能转移 表示学习 仿真到现实 机器人控制 技能发现 马尔可夫决策过程 四旋翼

📋 核心要点

  1. 现有的仿真到现实技能转移方法在处理动态差距时存在不足，导致现实世界中的控制性能不佳。
  2. 本论文提出了一种基于技能表示的学习方法，通过谱分解和正交约束来促进技能的发现与转移。
  3. 实验结果显示，所提方法在多个现实任务中提升了控制器性能，最高提升幅度达到30.2%。

📝 摘要（中文）

本研究探讨了在机器人控制中，利用表示学习进行仿真到现实的技能转移与发现。我们借鉴了马尔可夫决策过程的谱分解，提出了一种技能表示方法，能够线性表示由任意策略引导的状态-动作值函数，从而将其视为技能。这些技能表示可以在具有相同转移动态的不同任务间进行转移。此外，为了应对动态中的仿真与现实差距，我们提出了一种技能发现算法，从真实数据中学习因仿真与现实差距而产生的新技能。通过在技能之间施加正交约束，促进新技能的发现，并利用扩展的技能集合成策略。我们通过将四旋翼控制器从仿真环境转移到Crazyflie 2.1四旋翼上验证了该方法，结果表明可以从单一仿真任务中学习技能表示，并将其转移到多个不同的现实任务中，提升了现实控制器性能，最高可达30.2%。

🔬 方法详解

问题定义：本研究旨在解决仿真到现实的技能转移过程中，由于动态差距导致的控制性能下降问题。现有方法在处理这一问题时，往往无法有效地从仿真环境迁移到现实环境。

核心思路：论文的核心思路是通过谱分解马尔可夫决策过程，构建能够线性表示状态-动作值函数的技能表示。这种表示可以在具有相同转移动态的不同任务间进行转移，同时通过正交约束促进新技能的发现。

技术框架：整体方法包括技能表示的学习、技能发现算法的设计和策略合成三个主要模块。首先，从仿真任务中学习技能表示；其次，利用真实数据发现新技能；最后，将扩展的技能集用于合成控制策略。

关键创新：本研究的关键创新在于引入了正交约束机制，以促进新技能的发现并有效缩小仿真与现实之间的差距。这一方法与传统的技能转移方法相比，能够更好地适应现实环境的动态变化。

关键设计：在技能表示的学习中，采用了谱分解技术；在技能发现算法中，设计了正交约束损失函数，以确保新旧技能之间的独立性。网络结构方面，使用了适应性神经网络来处理不同任务的技能表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在将四旋翼控制器从仿真环境转移到现实环境时，能够显著提升控制器性能，最高提升幅度达到30.2%。与基线方法相比，展示了更强的技能转移能力和更好的现实任务适应性。

🎯 应用场景

该研究的潜在应用领域包括无人机控制、自动驾驶、机器人操作等多个需要从仿真环境迁移到现实环境的场景。通过有效的技能转移与发现方法，可以大幅提升机器人在复杂环境中的适应能力和控制性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

We study sim-to-real skill transfer and discovery in the context of robotics control using representation learning. We draw inspiration from spectral decomposition of Markov decision processes. The spectral decomposition brings about representation that can linearly represent the state-action value function induced by any policies, thus can be regarded as skills. The skill representations are transferable across arbitrary tasks with the same transition dynamics. Moreover, to handle the sim-to-real gap in the dynamics, we propose a skill discovery algorithm that learns new skills caused by the sim-to-real gap from real-world data. We promote the discovery of new skills by enforcing orthogonal constraints between the skills to learn and the skills from simulators, and then synthesize the policy using the enlarged skill sets. We demonstrate our methodology by transferring quadrotor controllers from simulators to Crazyflie 2.1 quadrotors. We show that we can learn the skill representations from a single simulator task and transfer these to multiple different real-world tasks including hovering, taking off, landing and trajectory tracking. Our skill discovery approach helps narrow the sim-to-real gap and improve the real-world controller performance by up to 30.2%.