When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter

📄 arXiv: 2410.12160v1 📥 PDF

作者: Yansong Li, Zeyu Dong, Ertai Luo, Yu Wu, Shuo Wu, Shuo Han

分类: cs.LG, eess.SY

发布日期: 2024-10-16

💡 一句话要点

提出基于OOD数据过滤的Dyna式模型强化学习方法，提升数据质量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 模型偏差 Dyna式算法 数据过滤 异常检测

📋 核心要点

  1. Dyna式模型强化学习受模型偏差影响，模型不准确会降低算法效率。
  2. 提出OOD数据过滤器，移除与真实环境数据差异大的模拟数据，提升数据质量。
  3. 实验表明，该方法在MBPO算法中，无需模型集成即可用更少的真实环境交互达到更高优化水平。

📝 摘要（中文）

强化学习算法可分为两类：无模型算法，但样本效率低；基于模型算法，但易受模型偏差影响。Dyna式算法结合了这两种方法，通过使用来自估计环境模型的模拟数据来加速无模型训练。然而，当估计模型不准确时，它们的效率会受到影响。先前的工作通过使用模型集成或使用从真实环境中收集的数据预训练估计模型来解决这个问题，但这增加了计算和样本复杂度。为了解决这个问题，我们引入了一种异常值（OOD）数据过滤器，该过滤器会移除来自估计模型的、与真实环境中收集的数据显著不同的模拟数据。我们从理论上证明了该技术提高了模拟数据的质量。借助OOD数据过滤器，从估计模型模拟的数据可以更好地模仿通过与真实模型交互收集的数据。与不使用OOD数据过滤器而使用模拟数据相比，这种改进在评论家更新中很明显。我们的实验将数据过滤器集成到基于模型的策略优化（MBPO）算法中。结果表明，即使没有模型集成，我们的方法也比MBPO需要更少的与真实环境的交互，就能达到更高的优化水平。

🔬 方法详解

问题定义：Dyna式模型强化学习算法依赖于学习到的环境模型生成模拟数据，以加速策略学习。然而，当学习到的模型与真实环境存在偏差时，模拟数据会引入误差，导致策略学习效率降低甚至收敛到次优解。现有方法如模型集成或预训练可以缓解这个问题，但会增加计算复杂度和样本复杂度。

核心思路：核心思路是识别并过滤掉与真实环境数据分布差异较大的模拟数据，从而提高模拟数据的质量，减少模型偏差对策略学习的影响。通过只使用与真实环境数据相似的模拟数据，可以更有效地利用模拟数据来加速策略学习，同时避免引入有害的偏差。

技术框架：该方法将OOD数据过滤器集成到Dyna式模型强化学习框架中。整体流程如下：1) 使用真实环境数据训练环境模型；2) 使用环境模型生成模拟数据；3) 使用OOD数据过滤器过滤掉与真实环境数据差异较大的模拟数据；4) 使用过滤后的模拟数据和真实环境数据更新策略。该框架可以与各种Dyna式算法结合使用，例如MBPO。

关键创新：关键创新在于引入了OOD数据过滤器，用于识别和过滤掉与真实环境数据差异较大的模拟数据。与现有方法相比，该方法不需要模型集成或预训练，从而降低了计算复杂度和样本复杂度。此外，该方法可以提高模拟数据的质量，从而更有效地利用模拟数据来加速策略学习。

关键设计：OOD数据过滤器的具体实现方式未知，论文中没有详细描述。推测可能使用了某种距离度量或密度估计方法来衡量模拟数据与真实环境数据之间的差异。一个可能的设计是训练一个二分类器，用于区分真实数据和模拟数据，然后将分类器置信度较低的模拟数据过滤掉。损失函数和网络结构等技术细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，集成了OOD数据过滤器的MBPO算法在多个benchmark任务上优于原始MBPO算法。具体来说，该方法在达到相同性能水平时，需要与真实环境交互的次数更少，表明其样本效率更高。即使没有使用模型集成，该方法也能达到更高的优化水平，证明了OOD数据过滤器在提高模拟数据质量方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要通过模拟数据进行训练的强化学习任务，例如机器人控制、自动驾驶、游戏AI等。通过提高模拟数据的质量，可以减少对真实环境交互的需求，降低训练成本，并提高策略的泛化能力。尤其是在真实环境交互成本高昂或存在安全风险的场景下，该方法具有重要的应用价值。

📄 摘要（原文）

Reinforcement learning (RL) algorithms can be divided into two classes: model-free algorithms, which are sample-inefficient, and model-based algorithms, which suffer from model bias. Dyna-style algorithms combine these two approaches by using simulated data from an estimated environmental model to accelerate model-free training. However, their efficiency is compromised when the estimated model is inaccurate. Previous works address this issue by using model ensembles or pretraining the estimated model with data collected from the real environment, increasing computational and sample complexity. To tackle this issue, we introduce an out-of-distribution (OOD) data filter that removes simulated data from the estimated model that significantly diverges from data collected in the real environment. We show theoretically that this technique enhances the quality of simulated data. With the help of the OOD data filter, the data simulated from the estimated model better mimics the data collected by interacting with the real model. This improvement is evident in the critic updates compared to using the simulated data without the OOD data filter. Our experiment integrates the data filter into the model-based policy optimization (MBPO) algorithm. The results demonstrate that our method requires fewer interactions with the real environment to achieve a higher level of optimality than MBPO, even without a model ensemble.