GR2PO: Group Relative Return Policy Optimization for Continuous Robot Control

📄 arXiv: 2609.19850v1 📥 PDF

作者: Pengqin Wang, Qiming Zhang, Shaojie Shen, Jun Ma

分类: cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出GR2PO以解决连续机器人控制中的价值网络依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无评论强化学习 机器人控制 策略优化 边缘计算 长期回报 组归一化 相对优势

📋 核心要点

  1. 现有的演员-评论家架构在连续机器人控制中广泛应用，但依赖于价值网络，增加了训练的计算开销。
  2. GR2PO通过去除评论者，采用无评论的组相对策略优化方法，解决了即时奖励在密集奖励环境中的长期动作结果学习不足的问题。
  3. 实验结果显示，GR2PO在机器人控制仿真环境中显著优于基于即时奖励的无评论方法，并与最先进的演员-评论家方法竞争，训练效率也表现良好。

📝 摘要（中文）

本文提出了一种名为Group Relative Return Policy Optimization（GR2PO）的无评论强化学习框架，旨在解决连续机器人控制中的价值网络计算开销和长期动作结果学习不足的问题。GR2PO通过并行收集轨迹估计折扣回报，在每次回滚时进行组归一化，并利用相对优势和裁剪目标更新策略。实验结果表明，GR2PO在机器人控制仿真环境中显著优于使用即时奖励的无评论基线，并在训练效率上表现出竞争力。该框架已在真实边缘设备上进行部署，展示了其实际应用的可行性。

🔬 方法详解

问题定义：本文旨在解决连续机器人控制中，现有演员-评论家方法对价值网络的依赖所带来的计算开销和长期动作结果学习不足的问题。现有的无评论方法在密集奖励环境中直接应用即时奖励进行策略优化，导致无法有效学习长期回报。

核心思路：GR2PO通过并行收集轨迹来估计折扣回报，采用组归一化技术来提高策略更新的稳定性和效率。相对优势和裁剪目标的使用，进一步增强了策略优化的效果。

技术框架：GR2PO的整体架构包括轨迹收集、回报估计、组归一化、策略更新等主要模块。在每个回滚时间索引上进行组归一化，以确保策略更新的有效性。

关键创新：GR2PO的主要创新在于其无评论的策略优化方法，能够在不依赖价值网络的情况下，有效学习长期回报。这一设计与传统的演员-评论家方法形成了鲜明对比。

关键设计：在关键参数设置上，GR2PO采用了并行组大小、回报估计方法和目标裁剪比率等设计，实验结果表明这些设计对学习性能有显著影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GR2PO在机器人控制仿真环境中显著优于基于即时奖励的无评论基线，且在训练效率上表现出竞争力。在NVIDIA Jetson TX2上的推理测试验证了该框架在边缘平台上的可行性，展示了其实际应用的潜力。

🎯 应用场景

GR2PO框架在机器人控制领域具有广泛的应用潜力，特别是在需要实时决策的边缘计算设备上。其高效的训练和推理能力使得该方法适用于自动驾驶、智能制造和服务机器人等实际场景，未来可能推动这些领域的技术进步。

📄 摘要（原文）

Actor-critic architecture has been widely used in continuous robot control. However, they rely on learning a value network, introducing additional computational overhead during training. Moreover, policy learning may also be affected by the approximation error of value estimation. Critic-free group relative policy optimization methods provide a simpler training approach by removing the need for a critic. However, they fail to learn long-term action outcomes when directly applying immediate rewards to policy optimization in dense-reward environments. To address these problems, we propose Group Relative Return Policy Optimization (GR2PO), a critic-free reinforcement learning framework for continuous robot control. GR2PO estimates the discounted returns from the parallelly collected trajectories, performs group normalization at each rollout time index, and uses relative advantages and clipped targets to update the policy. To evaluate the effectiveness of the proposed framework, we instantiate it on robot control simulation environments and deploy the model to a real-world edge device. The results show that GR2PO significantly outperforms critic-free baselines that use immediate rewards and performs competitively against state-of-the-art actor-critic methods. Furthermore, GR2PO demonstrates competitive training efficiency. Inference tests on NVIDIA Jetson TX2 demonstrate the feasibility of deploying the learned policies on edge platforms. Further ablation experiments analyze the effects of parallel group size, return estimation methods, and target clipping ratio on learning performance. To support follow-up research, we will make the complete code publicly available after the paper is accepted, including the framework implementation, experimental configuration, and training and evaluation scripts.