Efficient Sparse-Reward Goal-Conditioned Reinforcement Learning with a High Replay Ratio and Regularization

📄 arXiv: 2312.05787v1 📥 PDF

作者: Takuya Hiraoka

分类: cs.LG

发布日期: 2023-12-10

备注: Source code: https://github.com/TakuyaHiraoka/Efficient-SRGC-RL-with-a-High-RR-and-Regularization Demo video: https://drive.google.com/file/d/1UHd7JVPCwFLNFhy1QcycQfwU_nll_yII/view?usp=drive_link

💡 一句话要点

针对稀疏奖励目标条件强化学习，提出高回放率和正则化的高效REDQ改进方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 稀疏奖励 目标条件 后见经验回放 REDQ 机器人控制 样本效率

📋 核心要点

  1. 现有高回放率和正则化的强化学习方法主要针对稠密奖励任务，在稀疏奖励目标条件任务中表现不佳。
  2. 通过结合后见经验回放和目标Q值限制，改进REDQ算法，使其适用于稀疏奖励目标条件强化学习。
  3. 实验表明，改进后的REDQ在多个机器人任务中，样本效率显著优于现有最先进的强化学习方法。

📝 摘要（中文）

本文旨在将高回放率（RR）和正则化的强化学习（RL）方法扩展到稀疏奖励目标条件任务。我们采用随机集成双Q学习（REDQ），一种具有高RR和正则化的RL方法。为了将REDQ应用于稀疏奖励目标条件任务，我们对其进行了以下修改：（i）使用后见经验回放（HER）；（ii）限制目标Q值。我们在Robotics的12个稀疏奖励目标条件任务上评估了REDQ的这些修改，结果表明，它比以前最先进（SoTA）的RL方法实现了大约2倍的样本效率提升。此外，我们重新考虑了REDQ特定组件的必要性，并通过删除不必要的组件对其进行了简化。简化的REDQ与我们的修改在Robotics的4个Fetch任务中实现了比SoTA方法高约8倍的样本效率。

🔬 方法详解

问题定义：论文旨在解决稀疏奖励目标条件强化学习任务中样本效率低下的问题。现有的高回放率和正则化强化学习方法，如REDQ，主要针对稠密奖励任务设计，直接应用于稀疏奖励任务时，由于探索困难，学习效率很低。因此，如何在稀疏奖励环境下有效利用高回放率和正则化技术是本研究要解决的核心问题。

核心思路：论文的核心思路是将REDQ算法与后见经验回放（HER）相结合，并引入目标Q值限制。HER能够有效地利用失败的经验，增加奖励信号，从而加速学习。目标Q值限制则可以防止Q值过高估计，提高算法的稳定性和泛化能力。通过这两项改进，REDQ能够更好地适应稀疏奖励环境，提高样本效率。

技术框架：改进后的REDQ算法的整体框架仍然基于REDQ，包括Actor网络、Critic网络和目标网络。主要流程如下：1. 使用Actor网络生成动作，与环境交互，收集经验数据；2. 使用HER方法对经验数据进行增强，生成新的目标；3. 使用Critic网络评估状态-动作对的Q值；4. 使用目标网络计算目标Q值，并进行Q值限制；5. 使用梯度下降更新Actor和Critic网络参数。

关键创新：论文的关键创新在于将HER和目标Q值限制有效地结合到REDQ算法中，使其能够应用于稀疏奖励目标条件强化学习任务。这种结合不仅提高了样本效率，还增强了算法的稳定性和泛化能力。此外，论文还对REDQ算法进行了简化，去除了不必要的组件，进一步提高了算法的效率。

关键设计：论文的关键设计包括：1. 使用HER生成新的目标，增加奖励信号；2. 使用目标Q值限制，防止Q值过高估计；3. 对REDQ算法进行简化，去除不必要的组件。具体参数设置和网络结构与原始REDQ算法保持一致，但针对具体任务进行了调整。

📊 实验亮点

实验结果表明，改进后的REDQ算法在12个机器人任务中，样本效率比现有最先进的强化学习方法提高了约2倍。在4个Fetch任务中，样本效率更是提高了约8倍。这些结果充分证明了该方法的有效性和优越性。

🎯 应用场景

该研究成果可应用于各种机器人控制任务，例如物体抓取、导航和装配等。通过提高样本效率，可以降低机器人学习的成本，加速机器人在实际场景中的应用。此外，该方法还可以推广到其他稀疏奖励的强化学习任务中，例如游戏AI和自动驾驶等。

📄 摘要（原文）

Reinforcement learning (RL) methods with a high replay ratio (RR) and regularization have gained interest due to their superior sample efficiency. However, these methods have mainly been developed for dense-reward tasks. In this paper, we aim to extend these RL methods to sparse-reward goal-conditioned tasks. We use Randomized Ensemble Double Q-learning (REDQ) (Chen et al., 2021), an RL method with a high RR and regularization. To apply REDQ to sparse-reward goal-conditioned tasks, we make the following modifications to it: (i) using hindsight experience replay and (ii) bounding target Q-values. We evaluate REDQ with these modifications on 12 sparse-reward goal-conditioned tasks of Robotics (Plappert et al., 2018), and show that it achieves about $2 \times$ better sample efficiency than previous state-of-the-art (SoTA) RL methods. Furthermore, we reconsider the necessity of specific components of REDQ and simplify it by removing unnecessary ones. The simplified REDQ with our modifications achieves $\sim 8 \times$ better sample efficiency than the SoTA methods in 4 Fetch tasks of Robotics.