Reward-Punishment Reinforcement Learning with Maximum Entropy

📄 arXiv: 2405.11784v1 📥 PDF

作者: Jiexin Wang, Eiji Uchibe

分类: cs.LG, cs.AI, cs.RO

发布日期: 2024-05-20

备注: IJCNN2024

DOI: 10.1109/IJCNN60899.2024.10650872

💡 一句话要点

提出softDMP算法，通过最大熵奖励-惩罚强化学习提升样本效率和鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励-惩罚学习 最大熵 机器人导航 样本效率 鲁棒性 深度学习 策略优化

📋 核心要点

  1. 传统强化学习方法在动作值更新时依赖“max/min”算子，导致样本效率和鲁棒性不足。
  2. softDMP算法通过优化长期策略熵，平滑动作值更新算子，从而提升样本效率和鲁棒性。
  3. 实验表明，softDMP在离散MDP环境和Turtlebot 3迷宫导航任务中均表现出优异性能。

📝 摘要（中文）

本文提出了一种名为“soft Deep MaxPain”（softDMP）的算法，该算法将长期策略熵的优化融入到奖励-惩罚强化学习目标中。其动机是促进动作值更新中使用的算子的平滑变化，超越传统的“max”和“min”算子，从而提高样本效率和鲁棒性。同时，本文还解决了之前Deep MaxPain方法中存在的两个未解决的问题。首先，研究了从惩罚动作值导出的负（“翻转”）的寻求痛苦的子策略如何与“min”算子协同工作，以有效地学习惩罚模块，以及softDMP的平滑学习算子如何为“翻转”技巧提供见解。其次，解决了惩罚模块的数据收集问题，以减轻统一行为策略中涉及“翻转”子策略（避痛子策略）所导致的不一致性。通过在两个离散马尔可夫决策过程（MDP）环境中进行实验，阐明了DMP方法的重要进展以及对硬算子进行软处理的必要性。针对第二个问题，提出了一种基于寻求痛苦的子策略与寻求痛苦和目标达成子策略之和的比率的概率分类器。该分类器将roll-out分配到单独的replay buffer中，分别用于更新奖励和惩罚动作值函数。该框架在ROS Gazebo模拟下的Turtlebot 3迷宫导航任务中表现出卓越的性能。

🔬 方法详解

问题定义：传统强化学习算法，特别是基于值函数的算法，在更新动作值时通常使用“max”或“min”算子。这些算子可能导致值函数的剧烈变化，从而降低样本效率和鲁棒性。此外，如何有效地学习惩罚模块，以及如何解决因“翻转”子策略引起的数据不一致性，也是现有方法面临的挑战。

核心思路：softDMP算法的核心思路是将长期策略熵的优化融入到奖励-惩罚强化学习目标中，从而实现动作值更新算子的平滑变化。通过引入最大熵原则，鼓励探索更多可能的行为，避免过早收敛到局部最优解。同时，利用概率分类器分离奖励和惩罚数据，解决数据不一致性问题。

技术框架：softDMP算法的整体框架包括以下几个主要模块：1) 奖励动作值函数学习模块；2) 惩罚动作值函数学习模块；3) 基于策略熵的平滑算子；4) 基于概率分类器的replay buffer分离模块。算法首先通过与环境交互收集数据，然后使用概率分类器将数据分配到不同的replay buffer中。接着，分别更新奖励和惩罚动作值函数，并使用平滑算子更新策略。

关键创新：softDMP算法的关键创新在于：1) 将最大熵原则引入奖励-惩罚强化学习，实现动作值更新算子的平滑化；2) 提出了一种基于概率分类器的数据分离方法，解决了因“翻转”子策略引起的数据不一致性问题。与传统方法相比，softDMP能够更有效地探索环境，学习更鲁棒的策略。

关键设计：softDMP算法的关键设计包括：1) 使用Softmax函数作为平滑算子，替代传统的“max/min”算子；2) 设计基于寻求痛苦的子策略与寻求痛苦和目标达成子策略之和的比率的概率分类器，用于分离奖励和惩罚数据；3) 使用独立的replay buffer分别存储奖励和惩罚数据，并分别更新相应的动作值函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，softDMP算法在离散MDP环境和Turtlebot 3迷宫导航任务中均表现出优异性能。在迷宫导航任务中，softDMP能够更快地找到目标，并具有更高的成功率。与传统的Deep MaxPain方法相比，softDMP在样本效率和鲁棒性方面均有显著提升。

🎯 应用场景

softDMP算法可应用于机器人导航、游戏AI、自动驾驶等领域。通过提高样本效率和鲁棒性，该算法能够帮助智能体在复杂环境中更快地学习到最优策略，并更好地适应环境变化。尤其在需要同时考虑奖励和惩罚的场景下，softDMP具有显著优势。

📄 摘要（原文）

We introduce the soft Deep MaxPain'' (softDMP) algorithm, which integrates the optimization of long-term policy entropy into reward-punishment reinforcement learning objectives. Our motivation is to facilitate a smoother variation of operators utilized in the updating of action values beyond traditionalmax'' and min'' operators, where the goal is enhancing sample efficiency and robustness. We also address two unresolved issues from the previous Deep MaxPain method. Firstly, we investigate how the negated (flipped'') pain-seeking sub-policy, derived from the punishment action value, collaborates with the min'' operator to effectively learn the punishment module and how softDMP's smooth learning operator provides insights into theflipping'' trick. Secondly, we tackle the challenge of data collection for learning the punishment module to mitigate inconsistencies arising from the involvement of the ``flipped'' sub-policy (pain-avoidance sub-policy) in the unified behavior policy. We empirically explore the first issue in two discrete Markov Decision Process (MDP) environments, elucidating the crucial advancements of the DMP approach and the necessity for soft treatments on the hard operators. For the second issue, we propose a probabilistic classifier based on the ratio of the pain-seeking sub-policy to the sum of the pain-seeking and goal-reaching sub-policies. This classifier assigns roll-outs to separate replay buffers for updating reward and punishment action-value functions, respectively. Our framework demonstrates superior performance in Turtlebot 3's maze navigation tasks under the ROS Gazebo simulation.