Policy Optimization with Smooth Guidance Learned from State-Only Demonstrations

📄 arXiv: 2401.00162v3 📥 PDF

作者: Guojian Wang, Faguo Wu, Xiao Zhang, Tianyuan Chen

分类: cs.LG

发布日期: 2023-12-30 (更新: 2024-08-03)

备注: 31 pages, 23 figures; This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出POSG算法，利用状态演示提升稀疏奖励强化学习策略优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 稀疏奖励 状态演示 策略优化 引导学习 轨迹重要性 信用分配

📋 核心要点

  1. 在线强化学习在稀疏奖励环境中面临探索难题，高质量专家演示数据难以获取。
  2. POSG算法利用少量状态演示学习平滑引导，辅助策略优化，实现长期信用分配。
  3. 实验表明，POSG在多个稀疏奖励任务中显著提升了控制性能和收敛速度。

📝 摘要（中文）

在线深度强化学习（DRL）中，奖励反馈的稀疏性仍然是一个具有挑战性的问题。以往的方法利用离线演示在多个困难任务中取得了显著成果。然而，这些方法对演示质量要求很高，获得专家级别的动作通常成本高昂且不切实际。为了解决这些问题，我们提出了一种简单而高效的算法，称为Policy Optimization with Smooth Guidance (POSG)，它利用少量仅包含状态的演示（演示中不包含专家动作信息）来间接进行近似且可行的长期信用分配，并促进探索。具体来说，我们首先设计了一种轨迹重要性评估机制，以确定当前轨迹相对于演示的质量。然后，我们引入了一种基于轨迹重要性的引导奖励计算技术，以衡量每个状态-动作对的影响，将演示者的状态分布与奖励信息融合到引导奖励中。我们从理论上分析了平滑引导奖励带来的性能提升，并推导出了性能提升的新的最坏情况下的下界。大量的实验结果表明，POSG在四个稀疏奖励环境中（包括网格世界迷宫、Hopper-v4、HalfCheetah-v4和Ant迷宫）的控制性能和收敛速度方面具有显著优势。值得注意的是，我们研究了具体的指标和可量化的结果，以证明POSG的优越性。

🔬 方法详解

问题定义：论文旨在解决稀疏奖励强化学习中，智能体难以有效探索和学习的问题。现有方法依赖高质量的专家动作演示，但获取这些数据成本高昂，且不切实际。因此，如何利用更易获得的状态演示来指导智能体学习成为一个关键挑战。

核心思路：POSG的核心思路是利用状态演示来学习一个平滑的引导奖励函数，该函数能够为智能体提供额外的奖励信号，从而促进探索和学习。通过评估当前轨迹与状态演示的相似度，并将其融入奖励计算中，可以间接实现长期信用分配。

技术框架：POSG算法主要包含以下几个模块：1) 轨迹重要性评估模块：用于评估当前轨迹与状态演示的相似度，输出轨迹重要性权重。2) 引导奖励计算模块：基于轨迹重要性权重，将演示者的状态分布与奖励信息融合，计算每个状态-动作对的引导奖励。3) 策略优化模块：利用引导奖励和环境奖励，更新强化学习策略。整体流程是，智能体与环境交互产生轨迹，轨迹重要性评估模块评估轨迹质量，引导奖励计算模块计算引导奖励，最后策略优化模块利用引导奖励和环境奖励更新策略。

关键创新：POSG的关键创新在于利用状态演示学习平滑引导奖励，而不是直接模仿专家动作。这种方法降低了对演示质量的要求，同时能够更有效地促进探索和学习。此外，论文还提出了轨迹重要性评估机制，能够更准确地评估轨迹质量，并将其融入奖励计算中。

关键设计：轨迹重要性评估模块可以使用各种距离度量方法，例如动态时间规整（DTW）或Hausdorff距离，来衡量当前轨迹与状态演示的相似度。引导奖励计算模块可以将演示者的状态分布与奖励信息进行加权融合，权重由轨迹重要性权重决定。策略优化模块可以使用各种强化学习算法，例如PPO或SAC，来更新策略。

📊 实验亮点

实验结果表明，POSG在网格世界迷宫、Hopper-v4、HalfCheetah-v4和Ant迷宫等四个稀疏奖励环境中，显著提升了控制性能和收敛速度。具体指标和可量化的结果证明了POSG的优越性，例如在Ant迷宫任务中，POSG能够更快地找到目标，并获得更高的平均奖励。

🎯 应用场景

POSG算法可应用于机器人控制、游戏AI、自动驾驶等领域，尤其适用于奖励稀疏、难以获取高质量专家演示数据的场景。该方法能够降低对演示数据的要求，提高强化学习算法的效率和鲁棒性，具有广泛的应用前景。

📄 摘要（原文）

The sparsity of reward feedback remains a challenging problem in online deep reinforcement learning (DRL). Previous approaches have utilized offline demonstrations to achieve impressive results in multiple hard tasks. However, these approaches place high demands on demonstration quality, and obtaining expert-like actions is often costly and unrealistic. To tackle these problems, we propose a simple and efficient algorithm called Policy Optimization with Smooth Guidance (POSG), which leverages a small set of state-only demonstrations (where expert action information is not included in demonstrations) to indirectly make approximate and feasible long-term credit assignments and facilitate exploration. Specifically, we first design a trajectory-importance evaluation mechanism to determine the quality of the current trajectory against demonstrations. Then, we introduce a guidance reward computation technology based on trajectory importance to measure the impact of each state-action pair, fusing the demonstrator's state distribution with reward information into the guidance reward. We theoretically analyze the performance improvement caused by smooth guidance rewards and derive a new worst-case lower bound on the performance improvement. Extensive results demonstrate POSG's significant advantages in control performance and convergence speed in four sparse-reward environments, including the grid-world maze, Hopper-v4, HalfCheetah-v4, and Ant maze. Notably, the specific metrics and quantifiable results are investigated to demonstrate the superiority of POSG.