SALE-Based Offline Reinforcement Learning with Ensemble Q-Networks

📄 arXiv: 2501.03676v2 📥 PDF

作者: Zheng Chun

分类: cs.LG, cs.AI

发布日期: 2025-01-07 (更新: 2025-01-12)

备注: 19 pages, 7 figures, 4 tables

💡 一句话要点

提出基于SALE的离线强化学习算法，融合集成Q网络与梯度多样性惩罚，提升稳定性和性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 集成Q网络 梯度多样性 分布外问题 Actor-Critic 行为克隆

📋 核心要点

  1. 离线强化学习面临分布外动作问题，现有方法难以有效引导策略学习。
  2. 通过集成Q网络和梯度多样性惩罚，引导Actor学习分布内动作，抑制Q值过估计。
  3. 实验表明，该算法在MuJoCo基准测试中，收敛速度、稳定性和性能均优于现有方法。

📝 摘要（中文）

本文基于离线强化学习算法TD7，该算法结合了状态-动作学习嵌入(SALE)和优先经验回放缓冲区(LAP)。我们提出了一种无模型的Actor-Critic算法，该算法集成了集成Q网络和来自EDAC的梯度多样性惩罚。集成Q网络引入惩罚，引导Actor网络学习分布内的动作，有效解决了分布外动作的挑战。同时，梯度多样性惩罚鼓励Q值梯度的多样性，进一步抑制了对分布外动作的过度估计。此外，我们的方法保留了一个可调节的行为克隆(BC)项，该项在早期训练阶段引导Actor网络学习数据集中的动作，并随着Q-ensemble精度的提高而逐渐降低其影响。这些增强功能协同工作，提高了训练的稳定性和精度。在D4RL MuJoCo基准测试上的实验结果表明，与现有方法相比，我们的算法实现了更高的收敛速度、稳定性和性能。

🔬 方法详解

问题定义：离线强化学习旨在利用预先收集好的静态数据集训练策略，而无需与环境交互。一个关键挑战是分布外(Out-of-Distribution, OOD)问题，即Actor网络可能生成数据集中未包含的动作，导致Q函数对这些OOD动作的估计不准确，进而影响策略学习。现有方法难以有效解决OOD问题，导致策略不稳定或性能不佳。

核心思路：本文的核心思路是通过集成Q网络和梯度多样性惩罚来解决OOD问题。集成Q网络通过多个Q函数的投票机制，可以更准确地估计动作的Q值，并对OOD动作进行惩罚，引导Actor网络学习分布内的动作。梯度多样性惩罚则鼓励不同的Q函数学习不同的特征，从而进一步抑制对OOD动作的过度估计。

技术框架：该算法是一个无模型的Actor-Critic框架，主要包含以下模块：1) Actor网络：负责生成动作；2) 集成Q网络：由多个Q函数组成，用于评估动作的Q值；3) 经验回放缓冲区：存储离线数据集；4) 优化器：用于更新Actor和Q网络的参数。训练过程包括：从经验回放缓冲区采样数据，计算Q值和梯度，更新Q网络和Actor网络。

关键创新：该算法的关键创新在于将集成Q网络和梯度多样性惩罚相结合，用于解决离线强化学习中的OOD问题。与传统的单Q网络方法相比，集成Q网络可以更准确地估计动作的Q值，并对OOD动作进行惩罚。梯度多样性惩罚则进一步提高了Q函数的泛化能力，抑制了对OOD动作的过度估计。此外，可调节的行为克隆项也提高了训练的稳定性。

关键设计：集成Q网络包含多个结构相同的Q函数，每个Q函数独立学习。梯度多样性惩罚采用EDAC中的方法，鼓励Q值梯度的多样性。行为克隆项的权重随着训练的进行逐渐减小，以平衡探索和利用。损失函数包括Q函数损失、Actor损失和梯度多样性惩罚项。具体的网络结构和超参数设置需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在D4RL MuJoCo基准测试中，该算法在多个任务上取得了显著的性能提升。例如，在halfcheetah-medium-replay任务上，该算法的性能超过了TD7等现有方法，实现了更高的平均奖励和更快的收敛速度。实验结果表明，集成Q网络和梯度多样性惩罚能够有效解决OOD问题，提高离线强化学习的稳定性和性能。

🎯 应用场景

该研究成果可应用于各种需要离线数据驱动的强化学习任务，例如机器人控制、自动驾驶、推荐系统和金融交易等。通过利用预先收集的数据，可以避免与环境的昂贵交互，加速策略学习，并提高策略的安全性。该方法尤其适用于那些难以进行在线探索或存在安全风险的场景。

📄 摘要（原文）

In this work, we build upon the offline reinforcement learning algorithm TD7, which incorporates State-Action Learned Embeddings (SALE) and a prioritized experience replay buffer (LAP). We propose a model-free actor-critic algorithm that integrates ensemble Q-networks and a gradient diversity penalty from EDAC. The ensemble Q-networks introduce penalties to guide the actor network toward in-distribution actions, effectively addressing the challenge of out-of-distribution actions. Meanwhile, the gradient diversity penalty encourages diverse Q-value gradients, further suppressing overestimation for out-of-distribution actions. Additionally, our method retains an adjustable behavior cloning (BC) term that directs the actor network toward dataset actions during early training stages, while gradually reducing its influence as the precision of the Q-ensemble improves. These enhancements work synergistically to improve the stability and precision of the training. Experimental results on the D4RL MuJoCo benchmarks demonstrate that our algorithm achieves higher convergence speed, stability, and performance compared to existing methods.