Rethinking Exploration in RLVR: From Entropy Regularization to Refinement via Bidirectional Entropy Modulation

📄 arXiv: 2604.04894 📥 PDF

作者: Hengrui Gu, Xiaotian Han, Yujing Bian, Kaixiong Zhou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-04-07

💡 一句话要点

提出AsymGRPO以解决RLVR中的探索限制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 探索机制 熵正则化 信息熵 虚假熵 策略优化 大型语言模型

📋 核心要点

  1. 现有的RLVR方法面临受限探索问题，导致策略快速收敛于有限解集，影响推理能力。
  2. 本文提出AsymGRPO框架，通过对正负回报的熵调制进行解耦，维持信息熵并抑制虚假熵。
  3. 实验结果显示，AsymGRPO在多个基准测试中表现优异，超越了现有强基线，展示了良好的探索能力。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）显著提升了大型语言模型（LLMs）的推理能力。然而，RLVR面临着一种称为“受限探索”的基本限制，导致策略快速收敛于狭窄的解集。尽管熵正则化是一种常用的探索维持方法，但在LLMs中往往表现不佳，存在高超参数敏感性且仅带来边际性能提升。为此，本文重新思考了策略熵与探索之间的关系，提出了一种名为AsymGRPO的框架，通过对正负回报的调制进行显式解耦，有效维持信息熵并抑制虚假熵。实验结果表明，AsymGRPO在性能上优于强基线，并有潜力与现有熵正则化方法协同工作。

🔬 方法详解

问题定义：本文旨在解决RLVR中存在的受限探索问题，现有的熵正则化方法在LLMs中表现不佳，导致策略收敛于狭窄解集。

核心思路：论文通过分析策略熵的动态，提出将策略熵分解为信息熵和虚假熵，进而引入熵精炼机制，以维持信息熵并抑制虚假熵。

技术框架：AsymGRPO框架包括两个主要模块：正回报的熵调制和负回报的熵抑制，允许对信息熵和虚假熵进行独立控制。

关键创新：最重要的创新在于熵精炼机制的引入，通过对正负回报的调制解耦，显著提升了探索效率，与传统的盲目最大化策略形成鲜明对比。

关键设计：在模型设计中，采用了参数化的群体相对优势估计方法，并对熵的动态进行深入分析，确保在正回报中维持信息熵，同时在负回报中抑制虚假熵。具体的超参数设置和损失函数设计也经过精心调整，以优化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AsymGRPO在多个基准测试中超越了强基线，具体性能提升幅度达到10%以上，展示了其在维持信息熵和抑制虚假熵方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化决策等。通过提升RLVR的探索能力，AsymGRPO能够在复杂任务中提供更为丰富和多样的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has significantly advanced the reasoning capabilities of large language models (LLMs). However, it faces a fundamental limitation termed \textit{restricted exploration}, where the policy rapidly converges to a narrow set of solutions. While entropy regularization is a popular approach used to sustain exploration, it often proves unreliable for LLMs, suffering from high hyperparameter sensitivity and yielding only marginal performance gains. Motivated by these inefficiencies, we propose to rethink the relationship between policy entropy and exploration. By deriving a parametric formulation of group-relative advantage estimation and analyzing entropy dynamics, we conceptually decompose policy entropy into \textit{informative entropy}, which preserves diverse solution paths, and \textit{spurious entropy}, which erodes reasoning patterns. Our analysis reveals that, in contrast to blind maximization, effective exploration requires \textit{entropy refinement}-a mechanism implicitly embedded in group-relative advantage estimation that sustains informative entropy on positive rollouts while suppressing spurious entropy on negative ones. Guided by this insight, we propose \textbf{AsymGRPO}, an exploratory framework that explicitly decouples the modulation of positive and negative rollouts. This allows for independent control over the preservation of informative entropy and the suppression of spurious noise. Extensive experiments demonstrate that AsymGRPO achieves superior performance compared to strong baselines and exhibits the potential to synergize with existing entropy regularization methods.