DecAP: Decaying Action Priors for Accelerated Imitation Learning of Torque-Based Legged Locomotion Policies
作者: Shivam Sood, Ge Sun, Peizhuo Li, Guillaume Sartoretti
分类: cs.RO
发布日期: 2023-10-09 (更新: 2024-09-02)
备注: \c{opyright} 20XX IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
💡 一句话要点
提出DecAP以解决基于扭矩的模仿学习效率低下问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 扭矩控制 模仿学习 深度强化学习 腿部机器人 动作先验 样本效率 策略优化
📋 核心要点
- 现有的深度强化学习方法在扭矩空间中的学习效率低下，导致无法有效收敛到自然步态。
- 本文提出的两阶段框架通过生成模仿数据和引入衰减动作先验来提升扭矩策略的探索能力。
- 实验结果显示，该方法在模仿学习中表现优于传统方法，并且在不同奖励尺度下保持鲁棒性。
📝 摘要（中文）
腿部机器人在控制策略上经历了从基于位置到基于扭矩的转变，后者具有更好的顺应性和鲁棒性。与此同时，深度强化学习（DRL）被视为直接学习复杂任务的有前景的方法。然而，现有的DRL方法大多仍在位置空间中操作，导致在扭矩空间中的学习效率低下且不易收敛。为了解决这些问题，本文提出了一个两阶段框架，第一阶段通过训练基于位置的策略生成模仿数据，消除了对专家知识的依赖；第二阶段引入了一种新颖的衰减动作先验方法，以增强基于扭矩策略的探索能力。实验结果表明，该方法在模仿学习上表现优于单独的模仿学习，并且在奖励从0.1倍到10倍的范围内具有鲁棒性。
🔬 方法详解
问题定义：本文旨在解决基于扭矩的模仿学习在样本效率和收敛性方面的不足，现有方法多在位置空间中操作，导致学习效果不佳。
核心思路：提出一个两阶段的框架，第一阶段通过训练位置基础策略生成模仿数据，第二阶段引入衰减动作先验以增强扭矩策略的探索能力。这样的设计旨在减少对专家知识的依赖并提高学习效率。
技术框架：整体框架分为两个主要阶段：第一阶段生成模仿数据，第二阶段利用衰减动作先验进行策略优化。每个阶段都有明确的目标和方法，确保了学习过程的高效性。
关键创新：最重要的创新在于引入了衰减动作先验，这一方法显著提升了扭矩策略的探索能力，与传统的模仿学习方法相比，能够更好地适应复杂的控制任务。
关键设计：在参数设置上，奖励的尺度从0.1倍到10倍进行调整，确保了算法在不同条件下的鲁棒性。损失函数和网络结构经过精心设计，以支持高效的策略学习和优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的DecAP方法在模仿学习中优于传统方法，尤其在奖励从0.1倍到10倍的范围内，保持了良好的鲁棒性。与基线相比，性能提升显著，验证了扭矩控制的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和人机交互等。通过提升扭矩控制的学习效率，能够更好地应对复杂环境中的动态任务，具有重要的实际价值和未来影响。
📄 摘要（原文）
Optimal Control for legged robots has gone through a paradigm shift from position-based to torque-based control, owing to the latter's compliant and robust nature. In parallel to this shift, the community has also turned to Deep Reinforcement Learning (DRL) as a promising approach to directly learn locomotion policies for complex real-life tasks. However, most end-to-end DRL approaches still operate in position space, mainly because learning in torque space is often sample-inefficient and does not consistently converge to natural gaits. To address these challenges, we propose a two-stage framework. In the first stage, we generate our own imitation data by training a position-based policy, eliminating the need for expert knowledge to design optimal controllers. The second stage incorporates decaying action priors, a novel method to enhance the exploration of torque-based policies aided by imitation rewards. We show that our approach consistently outperforms imitation learning alone and is robust to scaling these rewards from 0.1x to 10x. We further validate the benefits of torque control by comparing the robustness of a position-based policy to a position-assisted torque-based policy on a quadruped (Unitree Go1) without any domain randomization in the form of external disturbances during training.