Continuous Control of Diverse Skills in Quadruped Robots Without Complete Expert Datasets

📄 arXiv: 2503.03476v1 📥 PDF

作者: Jiaxin Tu, Xiaoyi Wei, Yueqi Zhang, Taixian Hou, Xiaofei Gao, Zhiyan Dong, Peng Zhai, Lihua Zhang

分类: cs.RO

发布日期: 2025-03-05

备注: Accepted by ICRA 2025

💡 一句话要点

提出PASIST，无需完整专家数据集即可实现四足机器人多样技能的连续控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 四足机器人 技能学习 自模仿学习 对抗学习 技能过渡 强化学习 机器人控制

📋 核心要点

  1. 现有模仿学习方法依赖大量专家数据，成本高昂，且难以处理四足机器人复杂技能间的平滑过渡。
  2. PASIST通过自主探索和选择高质量轨迹，并结合技能选择模块，无需完整专家数据集即可学习多样技能。
  3. 在仿真和真实机器人上的实验表明，PASIST能够有效重现目标姿态对应的技能，并实现平滑过渡。

📝 摘要（中文）

针对四足机器人学习多样技能时，技能间复杂过渡以及任务难度差异带来的挑战，现有模仿学习方法依赖昂贵的专家数据集。受内省学习启发，我们提出渐进式对抗自模仿技能过渡（PASIST），一种无需完整专家数据集的新方法。PASIST利用生成对抗自模仿学习（GASIL）框架，自主探索并基于预定义的目标姿态而非演示选择高质量轨迹。为了进一步提升学习效果，我们开发了一个技能选择模块，通过平衡不同难度技能的权重来缓解模式崩溃。通过这些方法，PASIST能够重现与目标姿态对应的技能，同时实现平滑自然的技能过渡。在仿真平台和Solo 8机器人上的评估证实了PASIST的有效性，为专家驱动学习提供了一种高效的替代方案。

🔬 方法详解

问题定义：四足机器人学习多样技能面临的主要问题是：1）现有模仿学习方法依赖于昂贵的专家数据集，获取成本高；2）不同技能之间的过渡复杂，难以实现平滑自然的切换；3）不同技能的难度差异大，容易导致模型训练时的模式崩溃。现有方法难以兼顾数据效率、技能平滑性和训练稳定性。

核心思路：PASIST的核心思路是利用自模仿学习，让机器人通过自主探索和学习自身的高质量轨迹来提升技能。通过对抗学习框架，鼓励机器人生成更接近目标姿态的轨迹。同时，引入技能选择模块，平衡不同难度技能的权重，避免模型陷入局部最优。这种方法无需依赖完整的专家数据集，降低了数据获取成本，并提高了学习效率。

技术框架：PASIST的整体框架基于生成对抗自模仿学习（GASIL）。主要包含以下几个模块：1）策略网络（Actor）：负责生成机器人的动作序列；2）判别器网络（Discriminator）：用于区分生成的轨迹和高质量轨迹；3）技能选择模块：根据技能的难度动态调整技能的权重；4）环境交互模块：机器人与环境进行交互，收集轨迹数据。训练过程中，策略网络和判别器网络进行对抗训练，策略网络不断优化动作序列，使生成的轨迹更接近目标姿态，判别器网络则不断提高区分能力。技能选择模块根据技能的训练情况动态调整技能的权重，避免模型陷入模式崩溃。

关键创新：PASIST的关键创新在于：1）无需完整专家数据集：通过自模仿学习和对抗训练，机器人可以自主学习技能，降低了对专家数据的依赖；2）渐进式学习：通过技能选择模块，逐步学习不同难度的技能，提高了学习效率和稳定性；3）技能过渡平滑：通过优化动作序列，实现了技能之间的平滑过渡。

关键设计：PASIST的关键设计包括：1）目标姿态的定义：使用预定义的目标姿态作为技能的指导信号；2）奖励函数的设计：结合目标姿态的距离和动作的平滑性，设计奖励函数，引导机器人学习高质量的轨迹；3）技能选择模块的实现：根据技能的训练情况，动态调整技能的权重，避免模型陷入模式崩溃；4）对抗训练的策略：采用合适的对抗训练策略，保证训练的稳定性和收敛性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PASIST在仿真和真实机器人Solo 8上的实验结果表明，该方法能够有效地学习多样技能，并实现平滑的技能过渡。与传统的模仿学习方法相比，PASIST无需完整的专家数据集，降低了数据获取成本。此外，PASIST还能够缓解模式崩溃，提高训练的稳定性和效率。实验结果表明，PASIST在技能学习和过渡方面取得了显著的提升。

🎯 应用场景

PASIST技术可应用于各种需要四足机器人执行复杂任务的场景，例如搜救、巡检、物流等。该方法降低了对专家数据的依赖，使得四足机器人能够更快速、更灵活地适应新的任务环境。未来，该技术有望推动四足机器人在更多领域的应用，例如农业、建筑等。

📄 摘要（原文）

Learning diverse skills for quadruped robots presents significant challenges, such as mastering complex transitions between different skills and handling tasks of varying difficulty. Existing imitation learning methods, while successful, rely on expensive datasets to reproduce expert behaviors. Inspired by introspective learning, we propose Progressive Adversarial Self-Imitation Skill Transition (PASIST), a novel method that eliminates the need for complete expert datasets. PASIST autonomously explores and selects high-quality trajectories based on predefined target poses instead of demonstrations, leveraging the Generative Adversarial Self-Imitation Learning (GASIL) framework. To further enhance learning, We develop a skill selection module to mitigate mode collapse by balancing the weights of skills with varying levels of difficulty. Through these methods, PASIST is able to reproduce skills corresponding to the target pose while achieving smooth and natural transitions between them. Evaluations on both simulation platforms and the Solo 8 robot confirm the effectiveness of PASIST, offering an efficient alternative to expert-driven learning.