Policy-shaped prediction: avoiding distractions in model-based reinforcement learning

📄 arXiv: 2412.05766v1 📥 PDF

作者: Miles Hutson, Isaac Kauvar, Nick Haber

分类: cs.LG, cs.AI

发布日期: 2024-12-08

备注: Accepted at NeurIPS 2024

💡 一句话要点

提出策略引导预测方法，解决基于模型的强化学习中背景干扰问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 基于模型的强化学习 世界模型 背景干扰 策略引导预测 对抗学习

📋 核心要点

  1. 现有基于重构的MBRL方法易受环境中与策略无关但可预测的干扰因素影响，导致模型容量浪费。
  2. 提出一种策略引导预测方法，结合预训练分割模型、任务感知重构损失和对抗学习，聚焦模型容量。
  3. 实验表明，该方法在存在复杂背景干扰的环境中，优于多种旨在减少干扰影响的基线方法。

📝 摘要（中文）

基于模型的强化学习(MBRL)是实现样本高效策略优化的一种有前景的途径。然而，基于重构的MBRL存在一个已知的弱点，即在某些场景中，世界的某些细节是高度可预测的，但与学习一个好的策略无关。这种情况可能导致模型将其容量耗费在无意义的内容上，从而忽略了重要的环境动态。虽然现有的方法试图解决这个问题，但我们通过一种新的环境突出了其对领先MBRL方法（包括DreamerV3和DreamerPro）的持续影响，在这种环境中，背景干扰是复杂的、可预测的，并且对规划未来的行动毫无用处。为了应对这一挑战，我们开发了一种方法，通过预训练的分割模型、任务感知的重构损失和对抗学习的协同作用来集中世界模型的容量。我们的方法优于各种旨在减少干扰影响的其他方法，并且是朝着鲁棒的基于模型的强化学习迈出的一步。

🔬 方法详解

问题定义：论文旨在解决基于模型的强化学习（MBRL）中，世界模型容易被环境中与策略学习无关的、但高度可预测的干扰因素分散注意力的问题。现有方法无法有效抑制这些干扰，导致模型将计算资源浪费在无意义的细节上，从而影响策略学习的效率和效果。DreamerV3和DreamerPro等先进方法也未能完全解决此问题。

核心思路：论文的核心思路是通过策略引导预测，使世界模型更加关注与任务相关的环境动态，而忽略无关的干扰因素。具体而言，利用预训练的分割模型提取环境中的关键特征，并结合任务感知的重构损失和对抗学习，引导模型学习对策略有用的表征。

技术框架：整体框架包含以下几个主要模块：1) 预训练的分割模型：用于提取环境中的语义信息，区分前景和背景；2) 世界模型：负责学习环境的动态模型，预测未来的状态；3) 任务感知重构损失：鼓励世界模型重构与任务相关的状态特征，例如智能体的状态和目标位置；4) 对抗学习：通过对抗训练，使世界模型生成的表征难以区分真实状态和生成状态，从而提高模型的泛化能力。

关键创新：论文的关键创新在于将预训练的分割模型、任务感知的重构损失和对抗学习相结合，形成一个协同作用的策略引导预测框架。与现有方法相比，该方法能够更有效地抑制环境中的干扰因素，使世界模型更加关注与策略学习相关的动态信息。

关键设计：任务感知的重构损失函数的设计是关键。该损失函数不仅考虑了状态的重构误差，还考虑了与任务相关的特征的重构误差，例如智能体的位置和目标位置。对抗学习采用GAN的结构，判别器用于区分真实状态和生成状态，生成器（世界模型）的目标是生成能够欺骗判别器的状态。具体的网络结构和参数设置在论文中有详细描述。

📊 实验亮点

实验结果表明，该方法在包含复杂背景干扰的环境中，显著优于DreamerV3和DreamerPro等基线方法。具体而言，该方法在学习效率和最终性能方面均取得了显著提升，证明了策略引导预测在抑制环境干扰方面的有效性。论文还对比了不同组件的消融实验，验证了预训练分割模型、任务感知重构损失和对抗学习的协同作用。

🎯 应用场景

该研究成果可应用于各种需要在复杂环境中进行决策的机器人和智能体控制任务，例如自动驾驶、机器人导航、游戏AI等。通过减少环境干扰的影响，可以提高智能体在真实世界中的鲁棒性和泛化能力，降低训练成本，加速智能体的部署和应用。

📄 摘要（原文）

Model-based reinforcement learning (MBRL) is a promising route to sample-efficient policy optimization. However, a known vulnerability of reconstruction-based MBRL consists of scenarios in which detailed aspects of the world are highly predictable, but irrelevant to learning a good policy. Such scenarios can lead the model to exhaust its capacity on meaningless content, at the cost of neglecting important environment dynamics. While existing approaches attempt to solve this problem, we highlight its continuing impact on leading MBRL methods -- including DreamerV3 and DreamerPro -- with a novel environment where background distractions are intricate, predictable, and useless for planning future actions. To address this challenge we develop a method for focusing the capacity of the world model through synergy of a pretrained segmentation model, a task-aware reconstruction loss, and adversarial learning. Our method outperforms a variety of other approaches designed to reduce the impact of distractors, and is an advance towards robust model-based reinforcement learning.