GRPODropout: Less is More for Online Reinforcement Learning Rollouts

📄 arXiv: 2610.11854v1 📥 PDF

作者: Hexuan Deng, Zihao Yan, Xuebo Liu, Shuo Nie, Yue Wang, Chen Wang, Zhaohua Zhang, Tianwen Jiang, Qiuyong Xiao, Jihong Zhang, Min Zhang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出GRPODropout以解决强化学习中的策略熵崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 策略更新 回合选择 样本效率 算法优化

📋 核心要点

  1. 现有强化学习方法在采样多样性方面存在不足，导致策略熵崩溃，限制了探索和性能提升。
  2. 本文提出GRPODropout，通过选择性移除高概率正优势回合来改善策略更新，从而提高学习效果。
  3. 实验表明，GRPODropout在使用更少回合样本的情况下，准确率和演员熵均优于原始GRPO，展示了显著的性能提升。

📝 摘要（中文）

强化学习（RL）方法如GRPO在大型语言模型推理中显著提升了性能，但常遭遇策略熵崩溃问题，导致采样多样性丧失，抑制探索并限制进一步改进。现有方法通过算法级干预或令牌级重加权来解决此问题。本文探讨了一种补充视角：通过改变哪些生成的回合贡献于策略更新，可以缓解熵崩溃。在相同的采样预算下，并非所有回合都对更新有积极贡献，选择性排除某些回合可以提高学习效果。为此，我们提出了GRPODropout：在标准更新之前，采用简单策略选择性移除少量高概率正优势回合，并重新中心化保留的优势。实验结果显示，GRPODropout在使用更少回合样本进行更新时，准确率高于原始GRPO，并且演员熵更高，体现了“少即是多”的理念。

🔬 方法详解

问题定义：本文旨在解决强化学习中的策略熵崩溃问题，现有方法往往通过算法级干预来改善采样多样性，但效果有限。

核心思路：GRPODropout的核心思路是通过选择性排除某些高概率的正优势回合，来优化策略更新，从而提高学习效率。这样的设计旨在减少不必要的回合干扰，增强有效样本的贡献。

技术框架：该方法的整体架构包括回合生成、选择性排除和策略更新三个主要阶段。首先生成一系列回合，然后根据设定的标准选择性移除部分回合，最后进行策略更新。

关键创新：GRPODropout的创新点在于其仅通过调整回合的使用方式来改善学习效果，而不增加显著的计算开销。这与传统方法的算法级干预形成鲜明对比。

关键设计：在具体实现中，选择性移除的标准基于回合的概率和优势值，确保保留的回合对策略更新具有正面贡献。此外，重新中心化保留的优势值也是设计中的一个重要环节，以确保更新的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GRPODropout在使用更少的回合样本进行更新时，准确率比原始GRPO提高，且演员熵更高，具体提升幅度未明确，但整体性能显著增强，验证了“少即是多”的理念。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和游戏智能等。通过优化强化学习中的回合使用，GRPODropout能够在多种场景中提升学习效率和性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning (RL) methods such as GRPO substantially improve large language model reasoning but often suffer from policy entropy collapse: the loss of sampling diversity weakens exploration and limits further improvement. Existing methods address this issue either through algorithm-level interventions, such as reward modification and entropy/KL regularization, or through token-level reweighting. We investigate a complementary perspective: entropy collapse can also be mitigated by changing which generated rollouts contribute to policy updates. Under the same sampling budget, not all rollouts contribute positively to an update, and selectively excluding some can improve learning. To address this, we propose GRPODropout: before the standard update, we use a simple strategy that selectively removes a small number of high-probability positive-advantage rollouts and recenters the retained advantages. To motivate this design, we develop a rollout-level theoretical analysis that guides method design and threshold selection. The method changes only rollout usage, and adds negligible computational overhead. Experiments show higher accuracy than original GRPO and higher actor entropy while using fewer rollout samples for updates, illustrating "less is more." This work provides insight into RL rollout usage: removing some rollouts can improve performance. Code is available at https://github.com/hexuandeng/GRPODropout/.