All Work And No Play Makes Jack a Dull Boy: Understanding and Preventing Catastrophic Strategy Collapse in RLVR

📄 arXiv: 2610.02835v1 📥 PDF

作者: Qiyuan Huang, Tianshi Xu, Meng Li

分类: cs.LG

发布日期: 2026-10-02

备注: 84 pages, 10 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mesh Learning以解决RLVR中的灾难性策略崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 策略崩溃 Mesh Learning 推理策略 模型优化 信息理论

📋 核心要点

  1. 现有的RLVR方法在后期训练中容易出现策略崩溃，导致推理能力下降。
  2. 论文提出Mesh Learning，通过同时优化多种推理策略，避免单一策略的主导地位。
  3. 在多个基准数据集上，Mesh Learning的表现优于现有方法，提升显著，验证了策略保留的重要性。

📝 摘要（中文）

在使用可验证奖励的强化学习（RLVR）对大型语言模型进行后训练时，GRPO风格算法可能会出现严重的晚期崩溃。基于提示的探测表明，这并非是良性的策略修剪，而是有效策略容量的有害收缩，使得不同的推理策略变得越来越不可及。为此，论文定义了通过轨迹级策略更新交互来表征策略，并开发了一个结合优化动态和信息理论的统一理论框架。研究证明，主要的RLVR目标逐渐将概率质量集中到单一策略上，而维持非平凡的任务准确性需要最低的策略容量。这两者之间的冲突为灾难性崩溃提供了机械解释。为防止崩溃，论文提出了Mesh Learning，能够暴露多种推理策略，防止单一策略主导优化。实验表明，Mesh Learning在多个基准数据集上均优于强基线，提升幅度可达13.4个百分点和11.5个百分点。

🔬 方法详解

问题定义：本论文旨在解决在使用可验证奖励的强化学习（RLVR）中出现的灾难性策略崩溃问题。现有的GRPO风格算法在后期训练中表现出严重的策略收缩，导致推理能力下降。

核心思路：论文提出Mesh Learning作为解决方案，通过同时优化多种推理策略，防止单一策略主导，从而保持策略的多样性和有效性。

技术框架：整体架构包括策略定义、策略更新和Mesh Learning模块。首先，通过轨迹级的策略更新交互来定义策略，然后在优化过程中引入Mesh Learning以暴露多种推理策略。

关键创新：最重要的技术创新点是提出了Mirrored Entanglement Index (MEI)作为在线预警信号，并通过Mesh Learning有效防止了策略崩溃，与现有方法相比，提供了更为稳定的优化过程。

关键设计：在Mesh Learning中，设计了特定的损失函数和参数设置，以确保多种推理策略的同时优化，并通过实验验证了这些设计的有效性。具体的网络结构和参数设置在代码中提供。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Mesh Learning在AIME26、AIME25、MATH-500、GPQA和LiveCodeBench等多个基准数据集上均优于强基线，提升幅度分别达到13.4个百分点和11.5个百分点，验证了策略保留在稳定RLVR中的关键作用。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和优化，尤其是在需要高可靠性和多样性推理的任务中。通过有效防止策略崩溃，Mesh Learning能够提升模型的稳定性和任务表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

During post-training of large language models (LLMs) with Reinforcement Learning with Verifiable Rewards (RLVR), GRPO-style algorithms can exhibit severe late-stage collapse. Prompt-based probing reveals that this is not benign strategic pruning, but a harmful contraction of effective strategy capacity that makes distinct reasoning strategies increasingly inaccessible. To characterize this phenomenon, we define strategies through trajectory-level policy-update interactions and develop a unified theoretical framework combining optimization dynamics and information theory. We prove that major RLVR objectives progressively concentrate probability mass onto a single strategy, while sustaining nontrivial task accuracy requires a minimum strategy capacity. The conflict between these two results provides a mechanistic explanation for catastrophic collapse. We further derive the {Mirrored Entanglement Index (MEI)} as a lightweight online warning signal. To prevent collapse, we propose \textbf{Mesh Learning}, which exposes multiple reasoning strategies and prevents any single strategy from dominating optimization. Across AIME26, AIME25, MATH-500, GPQA, and LiveCodeBench, Mesh Learning consistently outperforms strong baselines across Qwen and Phi model families, with gains of up to 13.4 pp and 11.5 pp, respectively. These results establish strategy preservation as a key principle for stable RLVR. Code is available at https://github.com/Ayanami-0123/Open-Mesh-Learning.