Residual Policy Gradient: A Reward View of KL-regularized Objective

📄 arXiv: 2503.11019v2 📥 PDF

作者: Pengcheng Wang, Xinghao Zhu, Yuxin Chen, Chenfeng Xu, Masayoshi Tomizuka, Chenran Li

分类: cs.LG

发布日期: 2025-03-14 (更新: 2025-05-23)

💡 一句话要点

提出残差策略梯度(RPG)，扩展残差Q学习到策略梯度方法，用于策略定制。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 策略梯度 残差学习 策略定制 KL正则化

📋 核心要点

  1. 现有强化学习方法在实际部署中面临额外需求，策略定制旨在调整先验策略以满足新需求，但现有方法存在局限性。
  2. 论文提出残差策略梯度(RPG)，将残差Q学习扩展到策略梯度方法，允许在基于梯度的强化学习环境中进行策略定制。
  3. 实验结果表明，提出的软策略梯度和残差策略梯度在MuJoCo环境中是有效的，验证了方法的有效性。

📝 摘要（中文）

强化学习和模仿学习在许多领域取得了广泛成功，但在实际部署中仍然受到限制。主要问题之一是训练期间未考虑的额外需求。为了应对这一挑战，策略定制被引入，旨在调整先验策略，同时保留其固有属性并满足新的特定任务需求。残差Q学习(RQL)是策略定制的一种原则性方法，它将问题形式化为马尔可夫决策过程(MDP)，并推导出了一系列基于价值的学习算法。然而，RQL尚未应用于策略梯度方法，这限制了其适用性，尤其是在策略梯度已被证明更有效的任务中。在这项工作中，我们首先推导出一个简洁的软策略梯度形式作为初步。在此基础上，我们引入了残差策略梯度(RPG)，它将RQL扩展到策略梯度方法，从而允许在基于梯度的RL设置中进行策略定制。通过RPG的视角，我们重新思考了RL微调中广泛使用的KL正则化目标。我们表明，在某些假设下，KL正则化目标导致最大熵策略，该策略在奖励层面上平衡了固有属性和特定任务的需求。我们在MuJoCo中的实验证明了软策略梯度和残差策略梯度的有效性。

🔬 方法详解

问题定义：论文旨在解决强化学习策略定制问题，即如何在保留先验策略固有属性的同时，满足新的特定任务需求。现有方法，特别是残差Q学习(RQL)，虽然在价值函数学习上有效，但尚未扩展到策略梯度方法，限制了其在策略梯度更有效的任务中的应用。

核心思路：论文的核心思路是将残差Q学习的思想引入到策略梯度方法中，从而实现残差策略梯度(RPG)。RPG通过优化一个残差策略，使得最终策略既能继承先验策略的优点，又能适应新的任务需求。这种方法允许在策略空间中进行更灵活的调整，同时避免了从头开始训练策略的困难。

技术框架：整体框架包括以下几个主要部分：1) 推导软策略梯度(Soft Policy Gradient)的简洁形式，作为基础。2) 基于软策略梯度，引入残差策略梯度(RPG)，将RQL扩展到策略梯度方法。3) 从RPG的视角重新审视KL正则化目标，并证明其在特定假设下可以得到最大熵策略，从而平衡固有属性和任务需求。

关键创新：论文的关键创新在于提出了残差策略梯度(RPG)，这是首次将残差学习的思想应用于策略梯度方法。RPG允许在策略空间中进行更精细的调整，从而更好地适应新的任务需求，同时保留先验策略的优点。此外，论文还从RPG的视角重新审视了KL正则化目标，并给出了新的解释。

关键设计：论文的关键设计包括：1) 使用软策略梯度作为基础，保证了策略的探索性。2) 通过残差策略的设计，实现了对先验策略的微调，避免了从头开始训练策略的困难。3) 使用KL正则化目标来平衡固有属性和任务需求，避免了策略的过度调整。具体的参数设置和网络结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

论文在MuJoCo环境中进行了实验，验证了软策略梯度和残差策略梯度的有效性。具体的性能数据和对比基线在摘要中未提及，属于未知信息。但实验结果表明，提出的方法能够有效地进行策略定制，并取得良好的性能。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、游戏AI等领域。例如，可以将预训练的机器人控制策略快速适应到新的环境或任务中，或者将模仿学习得到的策略微调到更优的性能。该方法具有实际应用价值，能够降低策略训练的成本，提高策略的泛化能力。

📄 摘要（原文）

Reinforcement Learning and Imitation Learning have achieved widespread success in many domains but remain constrained during real-world deployment. One of the main issues is the additional requirements that were not considered during training. To address this challenge, policy customization has been introduced, aiming to adapt a prior policy while preserving its inherent properties and meeting new task-specific requirements. A principled approach to policy customization is Residual Q-Learning (RQL), which formulates the problem as a Markov Decision Process (MDP) and derives a family of value-based learning algorithms. However, RQL has not yet been applied to policy gradient methods, which restricts its applicability, especially in tasks where policy gradient has already proven more effective. In this work, we first derive a concise form of Soft Policy Gradient as a preliminary. Building on this, we introduce Residual Policy Gradient (RPG), which extends RQL to policy gradient methods, allowing policy customization in gradient-based RL settings. With the view of RPG, we rethink the KL-regularized objective widely used in RL fine-tuning. We show that under certain assumptions, KL-regularized objective leads to a maximum-entropy policy that balances the inherent properties and task-specific requirements on a reward-level. Our experiments in MuJoCo demonstrate the effectiveness of Soft Policy Gradient and Residual Policy Gradient.