Enhancing Online Reinforcement Learning with Meta-Learned Objective from Offline Data

📄 arXiv: 2501.07346v1 📥 PDF

作者: Shilong Deng, Zetao Zheng, Hongcai He, Paul Weng, Jie Shao

分类: cs.LG

发布日期: 2025-01-13

备注: Accepted by AAAI 2025 (this version includes supplementary material)

💡 一句话要点

提出GILD，通过元学习离线数据目标函数，提升在线强化学习在稀疏奖励环境下的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 元学习 模仿学习 离线数据 稀疏奖励 目标函数 机器人控制

📋 核心要点

  1. 传统模仿学习增强在线强化学习的方法，依赖手工设计的辅助目标，限制了策略的优化空间，尤其是在非专家数据下。
  2. GILD通过元学习离线数据中的目标函数，为在线强化学习提供内在动机，引导策略向最优方向探索，提升学习效率。
  3. GILD作为一个灵活的模块，可与多种off-policy强化学习算法结合，无需特定领域超参数调整，且计算成本增加有限。

📝 摘要（中文）

强化学习（RL）的一个主要挑战是从稀疏奖励中学习最优策略的困难。先前的工作通过手工设计的辅助目标，利用传统的模仿学习（IL）来增强在线RL，但当离线数据由非专家策略生成时，会限制RL策略达到次优。为了更好地利用离线数据中的有价值信息，我们开发了基于演示的广义模仿学习（GILD），它元学习一个目标函数，从离线数据中提取知识，并向最优策略灌输内在动机。与之前仅限于特定RL算法的工作不同，GILD是一个灵活的模块，适用于各种原始的off-policy RL算法。此外，GILD不引入特定于领域的超参数，并且计算成本增加极小。在四个具有稀疏奖励的MuJoCo挑战性任务中，我们表明，通过GILD增强的三种RL算法显著优于最先进的方法。

🔬 方法详解

问题定义：在稀疏奖励的强化学习环境中，如何有效利用离线数据来加速在线学习，并克服传统模仿学习的局限性？现有方法通常依赖手工设计的辅助目标，这可能限制策略的探索空间，尤其是在离线数据质量不高的情况下。因此，如何在利用离线数据知识的同时，保持策略的灵活性和探索能力是一个关键问题。

核心思路：GILD的核心思路是通过元学习的方式，从离线数据中学习一个目标函数，该目标函数能够指导在线强化学习过程，并提供内在的探索动机。这个目标函数不是预先设定的，而是根据离线数据动态学习的，因此能够更好地适应不同的离线数据分布，并避免策略被限制在次优解空间。

技术框架：GILD作为一个可插拔的模块，可以与各种off-policy强化学习算法结合使用。整体流程如下：1) 使用离线数据训练一个元学习器，使其能够预测一个目标函数，该目标函数能够最大化离线数据的回报。2) 在线强化学习过程中，使用元学习器预测的目标函数作为辅助奖励，引导策略的探索方向。3) 同时，原始的强化学习奖励也用于更新策略，以保证策略能够最终收敛到最优解。

关键创新：GILD的关键创新在于使用元学习来自动学习一个目标函数，而不是手工设计。这使得GILD能够更好地适应不同的离线数据分布，并避免策略被限制在次优解空间。此外，GILD作为一个通用模块，可以与多种off-policy强化学习算法结合使用，具有很强的灵活性和可扩展性。

关键设计：GILD使用一个神经网络作为元学习器，输入是当前的状态和动作，输出是一个标量，表示该状态-动作对的奖励。元学习器的训练目标是最大化离线数据的回报，可以使用各种元学习算法，例如Model-Agnostic Meta-Learning (MAML)。在线强化学习过程中，将元学习器预测的奖励与原始奖励加权求和，作为最终的奖励信号。权重的选择需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个MuJoCo挑战性任务（稀疏奖励）中，GILD显著提升了三种off-policy强化学习算法的性能。实验结果表明，GILD能够超越当前最先进的方法，并且在不同任务和算法中都表现出良好的泛化能力。例如，在Hopper-v2任务中，使用GILD的TD3算法比基线算法提高了超过50%的性能。

🎯 应用场景

GILD可应用于机器人控制、游戏AI、自动驾驶等领域，尤其是在奖励稀疏或难以设计的环境中。通过利用已有的离线数据，GILD能够显著提升强化学习的效率和性能，降低训练成本，加速智能系统的开发和部署。未来，GILD有望扩展到更复杂的任务和环境，例如多智能体系统和部分可观测环境。

📄 摘要（原文）

A major challenge in Reinforcement Learning (RL) is the difficulty of learning an optimal policy from sparse rewards. Prior works enhance online RL with conventional Imitation Learning (IL) via a handcrafted auxiliary objective, at the cost of restricting the RL policy to be sub-optimal when the offline data is generated by a non-expert policy. Instead, to better leverage valuable information in offline data, we develop Generalized Imitation Learning from Demonstration (GILD), which meta-learns an objective that distills knowledge from offline data and instills intrinsic motivation towards the optimal policy. Distinct from prior works that are exclusive to a specific RL algorithm, GILD is a flexible module intended for diverse vanilla off-policy RL algorithms. In addition, GILD introduces no domain-specific hyperparameter and minimal increase in computational cost. In four challenging MuJoCo tasks with sparse rewards, we show that three RL algorithms enhanced with GILD significantly outperform state-of-the-art methods.