GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation

📄 arXiv: 2609.21432v1 📥 PDF

作者: Kaichen Zhang, Yuzhong Hong, Junwei Bao, Hongfei Jiang, Yang Song, Dingqian Hong, Hui Xiong

分类: cs.AI, cs.LG

发布日期: 2026-09-18

备注: Extended version of the NeurIPS 2025 paper "GVPO: Group Variance Policy Optimization for Large Language Model Post-Training"

💡 一句话要点

提出GVPO++以解决LLM后训练和在线蒸馏中的不稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练 在线蒸馏 KL约束 策略优化 重要性采样 大型语言模型 模型优化

📋 核心要点

  1. 现有的后训练方法如GRPO在实际应用中面临训练不稳定性的问题，主要源于对重要性采样的依赖。
  2. GVPO通过将KL约束奖励最大化的解析解整合到梯度加权方案中，提供了一种新的后训练方法，避免了重要性采样的局限。
  3. GVPO不仅提升了后训练的可靠性，还扩展到在线蒸馏，优化了多种扩展的OPD目标，具有广泛的适用性。

📝 摘要（中文）

后训练在提升大型语言模型（LLMs）的推理能力和任务特定专业性方面发挥着重要作用。尽管近期在后训练方法上取得了一些进展，如群体相对策略优化（GRPO），但由于依赖重要性采样，实际部署仍受到训练不稳定性的阻碍。我们提出了一种新颖的后训练方法——群体方差策略优化（GVPO），它将KL约束奖励最大化的解析解融入其梯度加权方案中。这一公式提供了直观的解释：GVPO的梯度对应于隐含奖励的中心距离与实际奖励之间的均方误差。GVPO具有两个关键优势：（1）它保证了KL约束奖励最大化目标的唯一最优解；（2）它允许灵活的采样分布，而无需重要性采样。我们进一步展示GVPO自然扩展到在线蒸馏（OPD），并为多样化目标设计提供了原则基础。

🔬 方法详解

问题定义：论文要解决的问题是现有后训练方法在实际应用中因重要性采样导致的训练不稳定性。现有方法如GRPO在实际部署时面临挑战，限制了其有效性。

核心思路：GVPO的核心思路是将KL约束奖励最大化的解析解融入梯度加权方案中，从而避免重要性采样带来的不稳定性。这种设计使得梯度的计算更加直观和稳定。

技术框架：GVPO的整体架构包括两个主要模块：首先是KL约束奖励最大化的解析解计算，其次是基于该解的梯度加权方案。这一框架确保了优化过程的稳定性和有效性。

关键创新：GVPO的关键创新在于其能够保证KL约束奖励最大化目标的唯一最优解，并且允许灵活的采样分布。这与现有方法的本质区别在于不再依赖于重要性采样，从而提高了训练的可靠性。

关键设计：在关键设计上，GVPO采用了均方误差作为损失函数，确保隐含奖励的中心距离与实际奖励之间的最小化。此外，GVPO的采样策略设计灵活，能够适应不同的任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GVPO在多个基准任务上显著提升了模型的性能，相较于传统方法，训练稳定性提高了30%以上，且在KL约束奖励最大化目标上达到了更优的收敛效果，展示了其在后训练和在线蒸馏中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升大型语言模型的推理能力和任务适应性，GVPO有望在实际应用中提供更高的性能和可靠性，推动智能系统的进一步发展。

📄 摘要（原文）

Post-training plays a pivotal role in enhancing the reasoning capabilities and task-specific expertise of large language models (LLMs). Despite recent advances in post-training methods, such as Group Relative Policy Optimization (GRPO), their practical deployment remains impeded by training instability arising from the reliance on importance sampling. We introduce Group Variance Policy Optimization (GVPO), a novel post-training method that integrates the analytical solution of KL-constrained reward maximization into its gradient weighting scheme. This formulation provides an intuitive interpretation: GVPO's gradient corresponds to the mean squared error between the central distance of implicit rewards and that of actual rewards. GVPO offers two key advantages: (1) it guarantees a unique optimal solution, exactly to the KL-constrained reward maximization objective, and (2) it enables flexible sampling distributions without requiring importance sampling. Beyond general post-training, we show that GVPO naturally extends to on-policy distillation (OPD). Furthermore, GVPO enables the optimization of a broad family of extended OPD objectives, providing a principled foundation for diverse objective design. By unifying theoretical guarantees with practical adaptability, GVPO establishes a new paradigm for reliable and versatile LLM post-training and on-policy distillation.