On the Hidden Objective Biases of Group-based Reinforcement Learning

📄 arXiv: 2601.05002v1 📥 PDF

作者: Aleksandar Fontana, Marco Simoni, Giulio Rossolini, Andrea Saracino, Paolo Mori

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-01-08

💡 一句话要点

揭示基于群组强化学习的隐藏目标偏差，为未来设计提供指导

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 语言模型 群组策略优化 目标偏差 AdamW优化器

📋 核心要点

  1. 现有基于群组的强化学习方法在奖励优化和训练目标间存在结构性不匹配，影响模型性能。
  2. 论文通过统一的替代公式分析GRPO类方法，揭示其隐藏的目标偏差，为改进提供理论基础。
  3. 研究发现非均匀权重、AdamW优化器和动量等因素会引入梯度偏差，影响策略更新，限制模型表现。

📝 摘要（中文）

基于群组的强化学习方法，如群组相对策略优化（GRPO），目前被广泛用于大型语言模型的后训练。尽管它们在经验上取得了成功，但奖励优化与底层训练目标之间存在结构性不匹配。本文通过在一个统一的替代公式中研究GRPO风格的方法，对它们进行了理论分析。这种视角揭示了影响所有被分析方法的重复出现的属性：（i）非均匀群组权重导致共享前缀token上的系统性梯度偏差；（ii）与AdamW优化器的交互使得训练动态在很大程度上对奖励缩放不敏感；（iii）在重复的优化步骤下，优化器动量可以将策略更新推到超出预期的裁剪区域。我们认为这些发现突出了当前方法的基本局限性，并为未来公式的设计提供了原则性指导。

🔬 方法详解

问题定义：论文旨在解决基于群组的强化学习方法（如GRPO）在应用于大型语言模型后训练时，奖励优化目标与实际训练目标之间存在的偏差问题。现有方法虽然在实践中表现良好，但缺乏对其内在机制的深入理解，导致难以解释和改进其性能。这些方法中的隐藏偏差可能会导致次优的策略学习，限制模型的泛化能力和鲁棒性。

核心思路：论文的核心思路是通过构建一个统一的替代公式来分析GRPO类方法，从而揭示其隐藏的目标偏差。通过将不同的群组强化学习方法置于同一框架下，可以更容易地识别它们共有的问题和局限性。这种理论分析为理解这些方法的行为提供了更深入的视角，并为未来的改进提供了指导。

技术框架：论文的技术框架主要包括以下几个步骤：1. 构建一个统一的替代公式，用于描述GRPO类方法。2. 基于该公式，分析非均匀群组权重对共享前缀token的影响，揭示其导致的梯度偏差。3. 研究AdamW优化器与奖励缩放之间的交互作用，分析其对训练动态的影响。4. 考察优化器动量在重复优化步骤下的行为，评估其对策略更新的影响。

关键创新：论文的关键创新在于从理论上揭示了基于群组的强化学习方法中存在的隐藏目标偏差。具体来说，论文发现了三个主要问题：非均匀群组权重导致的梯度偏差、AdamW优化器对奖励缩放的不敏感性以及优化器动量对策略更新的影响。这些发现为理解和改进这些方法提供了新的视角。与现有方法相比，该研究不仅关注经验结果，更注重理论分析，从而能够更深入地理解这些方法的内在机制。

关键设计：论文的关键设计包括：1. 使用统一的替代公式来描述不同的GRPO类方法，从而方便进行比较和分析。2. 通过数学推导和实验验证，揭示非均匀群组权重、AdamW优化器和优化器动量对训练过程的影响。3. 分析梯度偏差的来源和影响，并提出可能的缓解策略。4. 研究奖励缩放对训练动态的影响，并探讨如何提高训练的鲁棒性。论文没有涉及具体的网络结构或损失函数的设计，而是侧重于对现有方法的理论分析和问题识别。

📊 实验亮点

论文通过理论分析揭示了GRPO类方法中存在的三个主要问题：非均匀群组权重导致梯度偏差，AdamW优化器对奖励缩放不敏感，以及优化器动量可能导致策略更新超出预期范围。这些发现为改进现有方法提供了明确的方向，并为未来研究奠定了基础。

🎯 应用场景

该研究成果可应用于大型语言模型的后训练，提升模型性能和训练效率。通过减少隐藏的目标偏差，可以提高模型的泛化能力和鲁棒性，使其在各种实际应用场景中表现更佳。此外，该研究也为未来强化学习方法的设计提供了理论指导，促进相关领域的发展。

📄 摘要（原文）

Group-based reinforcement learning methods, like Group Relative Policy Optimization (GRPO), are widely used nowadays to post-train large language models. Despite their empirical success, they exhibit structural mismatches between reward optimization and the underlying training objective. In this paper, we present a theoretical analysis of GRPO style methods by studying them within a unified surrogate formulation. This perspective reveals recurring properties that affect all the methods under analysis: (i) non-uniform group weighting induces systematic gradient biases on shared prefix tokens; (ii) interactions with the AdamW optimizer make training dynamics largely insensitive to reward scaling; and (iii) optimizer momentum can push policy updates beyond the intended clipping region under repeated optimization steps. We believe that these findings highlight fundamental limitations of current approaches and provide principled guidance for the design of future formulations.