Decoupling Exploration from Optimization in RLVR

📄 arXiv: 2610.10536v1 📥 PDF

作者: Saif Punjwani, Micah Goldblum

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-07

备注: 20 pages, 16 figures, 9 tables. Code: https://github.com/SaifPunjwani/Exploration-Distillation. Checkpoints: https://huggingface.co/SaifPunjwani/expdis-checkpoints

💡 一句话要点

提出探索-蒸馏框架以解决RLVR中的优化与探索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 可验证奖励 探索-蒸馏 推理策略 模型优化 新颖性激励 数学推理 模型蒸馏

📋 核心要点

  1. 现有的RLVR方法在增强新颖性激励时效果有限，且可能导致模型性能下降，难以恢复。
  2. 本文提出的ExpDis框架将探索与优化解耦，通过蒸馏高质量的探索策略来提升学生策略的性能。
  3. 在七个数学推理基准上，ExpDis在相同的时间预算下超越了DAPO，并且生成的正确解更加多样化。

📝 摘要（中文）

现代语言模型在已训练的检查点上进行可验证奖励的强化学习（RLVR），其关键承诺是发现新的推理策略。然而，增强RLVR的强新颖性激励在实践中效果有限，且可能导致模型质量下降。由于可验证奖励仅监督模型知识和行为的狭窄部分，这种下降难以恢复。为此，本文提出了探索-蒸馏（ExpDis）框架，将探索与优化解耦。通过训练一个或多个带有新颖性奖励的探索策略，过滤其轨迹以确保正确性和质量，并将其蒸馏为独立的学生策略，后者在没有新颖性奖励的情况下进行训练。通过多轮交替探索与优化，ExpDis在七个数学推理基准和两个模型家族上超越了DAPO，且在生成多样化正确解方面表现出更好的扩展性。

🔬 方法详解

问题定义：本文旨在解决在RLVR中探索与优化之间的相互影响问题。现有方法在引入新颖性激励时，往往导致模型质量下降，且难以恢复。

核心思路：论文提出的核心思路是将探索与优化解耦，通过训练探索策略并进行蒸馏，确保学生策略的质量不受探索过程的影响。

技术框架：ExpDis框架包含多个阶段：首先训练一个或多个带新颖性奖励的探索策略；然后过滤其轨迹以确保质量；最后将这些轨迹蒸馏为独立的学生策略，学生策略在没有新颖性奖励的情况下进行训练。

关键创新：最重要的创新在于将探索与优化过程分开，使得可以在不影响学生策略质量的情况下进行大规模探索。这一方法与现有方法的本质区别在于其解耦的设计。

关键设计：在设计中，探索策略的奖励函数包含新颖性奖励，而学生策略则不包含。通过多轮交替训练，确保探索的多样性与学生策略的稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，ExpDis在七个数学推理基准上表现优于DAPO，且在相同的时间预算下，ExpDis模型生成的正确解更加多样化，显示出更好的扩展性和性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、自动推理和智能对话系统等。通过提高模型在复杂任务中的推理能力，ExpDis框架可以帮助开发更智能的AI系统，提升其在实际应用中的表现和可靠性。

📄 摘要（原文）

Modern language models undergo reinforcement learning with verifiable rewards (RLVR) on top of already-trained checkpoints. A key promise of RLVR is the discovery of new reasoning strategies. In principle, a model can sample novel ideas absent from its prior training data. In practice, however, augmenting RLVR with strong novelty incentives has seen limited success and can degrade model quality. Because verifiable rewards supervise only a narrow slice of the model's knowledge and behavior, such degradations are difficult to recover from. Instead, we decouple exploration from optimization in a framework we call Exploration-Distillation (ExpDis). We train one or more explorer policies with a novelty bonus in the reward, filter their trajectories for correctness and quality, and distill them into a separate student policy. The student policy is then trained without a novelty bonus. We repeat the above procedure for several rounds, alternating between exploration and optimization. This decoupling allows us to aggressively scale exploration without degrading the student policy. Across seven mathematical reasoning benchmarks and two model families, ExpDis outperforms DAPO at the same wall-clock budget. Moreover, we observe improved pass@$k$ scaling, indicating that ExpDis produces models that generate more diverse correct solutions.