Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias

📄 arXiv: 2310.08558v1 📥 PDF

作者: Max Sobol Mark, Archit Sharma, Fahim Tajwar, Rafael Rafailov, Sergey Levine, Chelsea Finn

分类: cs.LG, cs.AI, cs.RO

发布日期: 2023-10-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出离线重训练方法以缓解在线强化学习中的探索偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 离线重训练 探索偏差 政策解耦 在线微调 性能提升 机器人控制

📋 核心要点

  1. 现有的在线强化学习方法在使用探索奖励时，容易导致学习到的政策出现偏差，影响性能。
  2. 本文提出了一种离线重训练的方法，通过在在线微调后使用悲观目标训练评估政策，从而解耦数据收集和评估过程。
  3. 实验结果显示，该方法在多个环境中平均提升了14%到26%的性能，并在OpenAI gym环境中提高了165%的在线RL性能。

📝 摘要（中文）

在在线强化学习（RL）或微调过程中，政策需要乐观地探索新状态和行为，尤其是在先前的离线数据未能提供足够状态覆盖的情况下。然而，探索奖励可能会导致学习政策的偏差。本文提出了一种离线重训练的方法，通过在在线微调结束后提取政策，利用乐观的探索政策与悲观的评估政策进行解耦，从而减少在线交互中的偏差，提高政策性能。实验结果表明，该方法在多个环境中显著提升了平均性能，并在D4RL基准测试中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决在线强化学习中探索奖励导致的政策偏差问题。现有方法在使用探索奖励时，往往无法恢复出高性能的政策，尤其是在离线数据不足的情况下。

核心思路：论文提出的核心思路是通过离线重训练，利用悲观目标从所有交互数据中训练评估政策，从而解耦数据收集和评估过程。这种设计允许在在线交互中进行更多的探索行为，生成更好的数据用于后续的利用。

技术框架：整体架构为“离线-在线-离线”（OOO）框架，首先使用乐观的探索政策与环境交互，然后在所有观察到的数据上训练一个悲观的评估政策。该框架包括数据收集、政策训练和评估三个主要模块。

关键创新：最重要的技术创新在于政策的解耦设计，允许在在线交互中进行更为乐观的探索，而评估政策则专注于利用已有数据，显著减少了偏差。与现有方法相比，这一设计使得政策的训练和评估过程相互独立。

关键设计：在实现中，使用了特定的损失函数来优化悲观政策，并在训练过程中调整了探索奖励的参数设置，以确保评估政策的性能最大化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的OOO框架在多个环境中平均提升了14%到26%的性能，并在D4RL基准测试中达到了最先进的性能。此外，在两个OpenAI gym环境中，在线强化学习性能提高了165%，显示出该方法的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏AI和自动驾驶等需要在线学习和适应的场景。通过有效地利用离线数据和在线交互，能够在动态环境中实现更高效的学习和决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

It is desirable for policies to optimistically explore new states and behaviors during online reinforcement learning (RL) or fine-tuning, especially when prior offline data does not provide enough state coverage. However, exploration bonuses can bias the learned policy, and our experiments find that naive, yet standard use of such bonuses can fail to recover a performant policy. Concurrently, pessimistic training in offline RL has enabled recovery of performant policies from static datasets. Can we leverage offline RL to recover better policies from online interaction? We make a simple observation that a policy can be trained from scratch on all interaction data with pessimistic objectives, thereby decoupling the policies used for data collection and for evaluation. Specifically, we propose offline retraining, a policy extraction step at the end of online fine-tuning in our Offline-to-Online-to-Offline (OOO) framework for reinforcement learning (RL). An optimistic (exploration) policy is used to interact with the environment, and a separate pessimistic (exploitation) policy is trained on all the observed data for evaluation. Such decoupling can reduce any bias from online interaction (intrinsic rewards, primacy bias) in the evaluation policy, and can allow more exploratory behaviors during online interaction which in turn can generate better data for exploitation. OOO is complementary to several offline-to-online RL and online RL methods, and improves their average performance by 14% to 26% in our fine-tuning experiments, achieves state-of-the-art performance on several environments in the D4RL benchmarks, and improves online RL performance by 165% on two OpenAI gym environments. Further, OOO can enable fine-tuning from incomplete offline datasets where prior methods can fail to recover a performant policy. Implementation: https://github.com/MaxSobolMark/OOO