Robust Model-Based Reinforcement Learning with an Adversarial Auxiliary Model

📄 arXiv: 2406.09976v2 📥 PDF

作者: Siemen Herremans, Ali Anwar, Siegfried Mercelis

分类: cs.LG, cs.AI

发布日期: 2024-06-14 (更新: 2024-07-01)

备注: Will be presented at the RL Safety Workshop at RLC 2024

💡 一句话要点

提出基于对抗辅助模型的鲁棒模型强化学习方法，提升策略在扰动环境下的泛化能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 鲁棒强化学习 模型强化学习 对抗学习 悲观策略 MuJoCo控制

📋 核心要点

  1. 现有强化学习方法在环境轻微变化时，策略性能显著下降，缺乏鲁棒性，限制了实际应用。
  2. 论文提出一种基于对抗学习的悲观辅助模型，用于估计最坏情况的MDP，提升策略的鲁棒性。
  3. 实验结果表明，该方法在MuJoCo控制任务中显著提高了策略在扰动环境下的性能。

📝 摘要（中文）

强化学习在机器人、棋盘游戏和经典街机游戏等领域表现出色。然而，学习策略的鲁棒性和安全性不足限制了其在现实世界的应用。具体而言，在特定马尔可夫决策过程(MDP)中训练的强化学习智能体，在几乎相同的MDP中表现不佳。为了解决这个问题，我们在基于模型的设置中采用鲁棒MDP(RMDP)框架，并引入了一种新的学习到的转移模型。我们的方法特别地包含一个对抗更新的悲观辅助模型，用于估计Kullback-Leibler不确定性集合中最坏情况的MDP。与现有工作相比，我们的工作没有对训练环境施加任何额外的条件，例如对参数化模拟器的需求。为了测试所提出的悲观模型在增强策略鲁棒性方面的有效性，我们将其集成到一种实用的强化学习算法中，称为鲁棒模型策略优化(RMBPO)。实验结果表明，在高维MuJoCo控制任务中，策略的鲁棒性得到了显著提高，辅助模型增强了学习策略在扭曲MDP中的性能。我们进一步探讨了所提出的辅助世界模型与标称模型之间学习到的偏差，以检验如何实现悲观。通过学习悲观的世界模型并证明其在提高策略鲁棒性方面的作用，我们的研究有助于使(基于模型的)强化学习更加鲁棒。

🔬 方法详解

问题定义：强化学习算法在训练环境中表现良好，但在实际应用中，环境往往存在各种扰动，导致策略性能急剧下降。现有方法要么依赖于参数化的模拟器，要么对训练环境有额外的限制，缺乏通用性。因此，如何提升强化学习策略在未知扰动环境下的鲁棒性是一个关键问题。

核心思路：论文的核心思路是学习一个悲观的世界模型，该模型能够预测在不确定性集合中最坏情况下的MDP。通过在训练过程中考虑最坏情况，可以使学习到的策略对环境扰动更加鲁棒。具体而言，通过对抗训练的方式，让辅助模型学习如何最大化策略的损失，从而模拟最坏情况。

技术框架：整体框架包括一个标称模型（Nominal Model）和一个对抗辅助模型（Adversarial Auxiliary Model）。标称模型用于学习环境的正常动态，而辅助模型则通过对抗训练来学习环境的最坏情况动态。RMBPO算法利用这两个模型进行策略优化，目标是找到在最坏情况下也能表现良好的策略。

关键创新：关键创新在于引入了对抗辅助模型来估计最坏情况的MDP，从而在训练过程中显式地考虑了环境的不确定性。与传统的鲁棒强化学习方法相比，该方法不需要对环境进行额外的假设或限制，具有更强的通用性。此外，通过对抗训练的方式，可以有效地学习到悲观的世界模型。

关键设计：辅助模型通过最小化KL散度与标称模型保持接近，同时最大化策略的损失。损失函数的设计至关重要，它需要能够有效地引导辅助模型学习到最坏情况的动态。RMBPO算法使用Trust Region Policy Optimization (TRPO) 或 Proximal Policy Optimization (PPO) 作为底层策略优化算法。对抗训练过程中的学习率、KL散度系数等超参数需要仔细调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的RMBPO算法在多个MuJoCo控制任务中显著提高了策略的鲁棒性。与基线方法相比，RMBPO在扰动环境下能够保持更高的性能水平。例如，在某些任务中，RMBPO的性能提升幅度超过20%。此外，论文还分析了辅助模型学习到的偏差，验证了其能够有效地模拟最坏情况的动态。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、资源管理等领域。通过提高强化学习策略的鲁棒性，可以使其在真实世界中更加可靠和安全。例如，在自动驾驶中，可以利用该方法训练出对各种突发情况具有更强适应能力的驾驶策略，从而降低事故发生的风险。在资源管理中，可以应对需求波动等不确定性因素，实现更优的资源分配。

📄 摘要（原文）

Reinforcement learning has demonstrated impressive performance in various challenging problems such as robotics, board games, and classical arcade games. However, its real-world applications can be hindered by the absence of robustness and safety in the learned policies. More specifically, an RL agent that trains in a certain Markov decision process (MDP) often struggles to perform well in nearly identical MDPs. To address this issue, we employ the framework of Robust MDPs (RMDPs) in a model-based setting and introduce a novel learned transition model. Our method specifically incorporates an auxiliary pessimistic model, updated adversarially, to estimate the worst-case MDP within a Kullback-Leibler uncertainty set. In comparison to several existing works, our work does not impose any additional conditions on the training environment, such as the need for a parametric simulator. To test the effectiveness of the proposed pessimistic model in enhancing policy robustness, we integrate it into a practical RL algorithm, called Robust Model-Based Policy Optimization (RMBPO). Our experimental results indicate a notable improvement in policy robustness on high-dimensional MuJoCo control tasks, with the auxiliary model enhancing the performance of the learned policy in distorted MDPs. We further explore the learned deviation between the proposed auxiliary world model and the nominal model, to examine how pessimism is achieved. By learning a pessimistic world model and demonstrating its role in improving policy robustness, our research contributes towards making (model-based) RL more robust.