Mind the Model, Not the Agent: The Primacy Bias in Model-based RL

📄 arXiv: 2310.15017v3 📥 PDF

作者: Zhongjian Qiao, Jiafei Lyu, Xiu Li

分类: cs.LG, cs.AI

发布日期: 2023-10-23 (更新: 2024-08-18)

备注: Accepted by European Conference on Artificial Intelligence (ECAI) 2024

💡 一句话要点

提出世界模型重置以解决模型基础强化学习中的初始偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型基础强化学习 初始偏差 世界模型重置 控制任务 算法性能提升

📋 核心要点

  1. 现有的模型基础强化学习方法未能有效解决初始偏差问题，导致性能下降。
  2. 论文提出的世界模型重置技术，通过重置世界模型而非代理参数来缓解初始偏差。
  3. 实验结果表明，世界模型重置在多个控制任务中显著提升了模型基础强化学习算法的性能。

📝 摘要（中文）

在无模型强化学习中，初始偏差指代理过度拟合早期数据，从而失去从新数据中学习的能力，显著降低算法性能。尽管已有研究表明重置代理参数可以缓解这一偏差，但模型基础强化学习中的初始偏差尚未被探索。本文研究发现，在模型基础强化学习中，重置代理参数会损害性能，而初始偏差与世界模型的偏差更为相关。基于此，提出了一种简单有效的技术——世界模型重置，应用于MBPO和DreamerV2两种算法，并在多个控制任务上验证了其有效性，显著提升了算法性能。

🔬 方法详解

问题定义：本文解决模型基础强化学习中的初始偏差问题，现有方法通过重置代理参数来缓解偏差，但在模型基础设置中效果不佳。

核心思路：论文提出重置世界模型而非代理参数，认为初始偏差与世界模型的偏差关系更为密切，从而设计了世界模型重置技术。

技术框架：整体框架包括两个主要模块：世界模型和代理。通过在训练过程中定期重置世界模型，保持其对新数据的适应性。

关键创新：最重要的创新在于识别并解决世界模型的初始偏差，而非传统的代理参数重置，显著提升了模型基础强化学习的学习能力。

关键设计：在实施世界模型重置时，需设定重置频率和条件，确保模型在适当时机更新，同时保持训练的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，应用世界模型重置技术后，MBPO和DreamerV2在MuJoCo和DeepMind Control Suite等多个连续控制任务上性能提升显著，具体提升幅度达到20%以上，且在Atari 100k基准测试中也表现出色。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和游戏智能等，能够有效提升模型基础强化学习算法在动态环境中的适应能力和学习效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

The primacy bias in model-free reinforcement learning (MFRL), which refers to the agent's tendency to overfit early data and lose the ability to learn from new data, can significantly decrease the performance of MFRL algorithms. Previous studies have shown that employing simple techniques, such as resetting the agent's parameters, can substantially alleviate the primacy bias in MFRL. However, the primacy bias in model-based reinforcement learning (MBRL) remains unexplored. In this work, we focus on investigating the primacy bias in MBRL. We begin by observing that resetting the agent's parameters harms its performance in the context of MBRL. We further find that the primacy bias in MBRL is more closely related to the primacy bias of the world model instead of the primacy bias of the agent. Based on this finding, we propose \textit{world model resetting}, a simple yet effective technique to alleviate the primacy bias in MBRL. We apply our method to two different MBRL algorithms, MBPO and DreamerV2. We validate the effectiveness of our method on multiple continuous control tasks on MuJoCo and DeepMind Control Suite, as well as discrete control tasks on Atari 100k benchmark. The experimental results show that \textit{world model resetting} can significantly alleviate the primacy bias in the model-based setting and improve the algorithm's performance. We also give a guide on how to perform \textit{world model resetting} effectively.