Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers

📄 arXiv: 2411.15370v2 📥 PDF

作者: Gautham Vasan, Mohamed Elsayed, Alireza Azimi, Jiamin He, Fahim Shariar, Colin Bellinger, Martha White, A. Rupam Mahmood

分类: cs.LG, cs.AI, cs.RO, eess.SY

发布日期: 2024-11-22 (更新: 2025-05-21)

备注: In The Thirty-eighth Annual Conference on Neural Information Processing Systems. Source code at https://github.com/gauthamvasan/avg and companion video at https://youtu.be/cwwuN6Hyew0

💡 一句话要点

提出AVG方法，无需批量更新、目标网络和经验回放，实现资源受限机器人上的深度策略梯度学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 策略梯度 增量学习 机器人控制 动作值函数

📋 核心要点

  1. 现有深度策略梯度方法依赖大批量更新或经验回放，不适用于资源受限的真实机器人系统。
  2. 论文提出Action Value Gradient (AVG) 方法，结合归一化和缩放技术，解决增量学习中的不稳定性问题。
  3. 实验表明，AVG是唯一有效的增量学习方法，在仿真和真实机器人上均达到与批量方法相当的性能。

📝 摘要（中文）

现代深度策略梯度方法在模拟机器人任务中表现出色，但它们都需要大型回放缓冲区或昂贵的批量更新，或两者兼而有之，这使得它们与资源有限的真实系统不兼容。我们表明，当限制为小型回放缓冲区或在增量学习期间（即更新仅使用最新的样本，无需批量更新或回放缓冲区）时，这些方法会发生灾难性故障。我们提出了一种新颖的增量深度策略梯度方法——动作值梯度（AVG），以及一套归一化和缩放技术，以应对增量学习中不稳定性带来的挑战。在机器人仿真基准测试中，我们表明 AVG 是唯一能有效学习的增量方法，通常能达到与批量策略梯度方法相当的最终性能。这一进步使我们首次展示了仅使用增量更新，利用机器人机械臂和移动机器人，进行有效的真实机器人深度强化学习。

🔬 方法详解

问题定义：现有深度策略梯度方法，如TRPO、PPO等，在机器人控制等任务中表现良好，但它们通常需要大量的样本数据进行批量更新，或者依赖于大型的经验回放缓冲区来稳定学习过程。这使得它们难以应用于计算资源有限，或者无法存储大量数据的真实机器人系统。因此，如何在资源受限的条件下，实现高效稳定的深度策略梯度学习是一个关键问题。

核心思路：论文的核心思路是设计一种增量式的策略梯度方法，即每次更新只使用最新的样本，而不需要批量更新或经验回放。为了解决增量学习带来的不稳定性问题，论文提出了Action Value Gradient (AVG) 方法，并结合了归一化和缩放技术，以稳定策略更新的方向和幅度。AVG方法旨在直接估计动作值函数的梯度，从而避免了对策略梯度的直接估计，降低了方差。

技术框架：AVG方法的技术框架主要包括以下几个部分：1. 策略网络：用于输出给定状态下的动作概率分布。2. 动作值函数网络：用于估计给定状态和动作下的动作值函数。3. 梯度计算模块：用于计算动作值函数的梯度，并将其作为策略更新的方向。4. 归一化和缩放模块：用于对梯度进行归一化和缩放，以稳定学习过程。整个流程是：机器人与环境交互，获得新的样本数据，然后使用这些数据更新动作值函数网络，并计算动作值函数的梯度，最后使用归一化和缩放后的梯度更新策略网络。

关键创新：论文最重要的技术创新点在于提出了Action Value Gradient (AVG) 方法，这是一种无需批量更新、目标网络和经验回放的增量式策略梯度方法。与传统的策略梯度方法相比，AVG方法直接估计动作值函数的梯度，从而避免了对策略梯度的直接估计，降低了方差，提高了学习的稳定性。此外，论文还提出了一套归一化和缩放技术，进一步稳定了学习过程。

关键设计：AVG方法的关键设计包括：1. 动作值函数网络的结构：论文使用了多层感知机作为动作值函数网络的结构，并使用ReLU激活函数。2. 损失函数：论文使用了均方误差作为动作值函数网络的损失函数，目标值为即时奖励加上折扣因子乘以下一个状态的最大动作值函数。3. 归一化和缩放技术：论文使用了自适应的归一化和缩放技术，根据梯度的统计特性动态调整归一化和缩放的参数。

📊 实验亮点

实验结果表明，AVG方法在机器人仿真基准测试中表现出色，是唯一能有效学习的增量方法，通常能达到与批量策略梯度方法相当的最终性能。更重要的是，该研究首次展示了仅使用增量更新，利用机器人机械臂和移动机器人，进行有效的真实机器人深度强化学习。这证明了AVG方法在真实机器人系统中的可行性和有效性。

🎯 应用场景

该研究成果可广泛应用于资源受限的机器人系统，例如小型无人机、移动机器人和机械臂等。它使得这些机器人能够在没有大量计算资源和存储空间的情况下，通过与环境的交互学习到复杂的控制策略。这对于在实际环境中部署智能机器人具有重要的意义，例如在灾难救援、物流配送和家庭服务等领域。

📄 摘要（原文）

Modern deep policy gradient methods achieve effective performance on simulated robotic tasks, but they all require large replay buffers or expensive batch updates, or both, making them incompatible for real systems with resource-limited computers. We show that these methods fail catastrophically when limited to small replay buffers or during incremental learning, where updates only use the most recent sample without batch updates or a replay buffer. We propose a novel incremental deep policy gradient method -- Action Value Gradient (AVG) and a set of normalization and scaling techniques to address the challenges of instability in incremental learning. On robotic simulation benchmarks, we show that AVG is the only incremental method that learns effectively, often achieving final performance comparable to batch policy gradient methods. This advancement enabled us to show for the first time effective deep reinforcement learning with real robots using only incremental updates, employing a robotic manipulator and a mobile robot.