Improving RL Exploration for LLM Reasoning through Retrospective Replay

📄 arXiv: 2504.14363v2 📥 PDF

作者: Shihan Dou, Muling Wu, Jingwen Xu, Rui Zheng, Tao Gui, Qi Zhang, Xuanjing Huang

分类: cs.LG, cs.CL

发布日期: 2025-04-19 (更新: 2025-07-05)

备注: 13 pages, 3 figures

💡 一句话要点

提出基于回溯重放的强化学习(RRL)，提升LLM在复杂推理任务中的探索能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 探索策略 回溯重放 复杂推理 数学推理 代码生成

📋 核心要点

  1. 现有强化学习方法在训练初期会抑制LLM有潜力的探索方向，导致后期能力提升后也无法有效解决复杂问题。
  2. RRL算法通过动态回放机制，使模型能够重新审视早期识别的有希望状态，从而提升探索效率和效果。
  3. 实验表明，RRL在复杂推理任务和通用对话任务上均能显著提升LLM的性能，并增强RLHF的安全性与有效性。

📝 摘要（中文）

强化学习(RL)已成为大语言模型(LLM)后训练的关键技术。有效的输出空间探索对于RL的成功至关重要。我们观察到，对于复杂问题，模型在训练初期表现出很强的探索能力，能够识别有希望的解决方案思路。然而，由于此时模型能力有限，无法成功解决这些问题。策略梯度对这些潜在有价值的解决方案思路的早期抑制，阻碍了模型后续重新审视和探索这些思路的能力。因此，尽管LLM的能力在训练后期有所提高，但仍然难以有效解决这些复杂问题。为了解决这个探索问题，我们提出了一种名为基于回溯重放的强化学习(RRL)的新算法，该算法在整个训练过程中引入了一种动态重放机制。RRL使模型能够重新审视早期识别的有希望的状态，从而提高其探索效率和有效性。为了评估RRL的有效性，我们对包括数学推理和代码生成在内的复杂推理任务以及通用对话任务进行了广泛的实验。结果表明，RRL在整个训练期间保持了较高的探索效率，显著提高了RL在优化LLM以解决复杂推理任务方面的有效性。此外，它还提高了RLHF的性能，使模型更安全、更有帮助。

🔬 方法详解

问题定义：论文旨在解决大语言模型(LLM)在复杂推理任务中使用强化学习(RL)进行训练时，由于早期探索受限而导致的性能瓶颈问题。现有方法在训练初期，LLM虽然具有一定的探索能力，但由于能力不足无法成功解决问题，而策略梯度会抑制这些早期有潜力的探索方向，导致后期即使能力提升也难以重新探索这些方向。

核心思路：论文的核心思路是引入一个动态的回溯重放机制(Retrospective Replay)。该机制允许模型在训练过程中，能够重新访问和利用早期训练阶段中发现的有希望的状态和动作。通过这种方式，即使LLM在早期阶段无法完全解决问题，但其探索到的有价值的信息仍然可以被保留和利用，从而在后期训练中提升解决复杂问题的能力。

技术框架：RRL的整体框架是在标准的强化学习训练循环中加入一个回溯重放模块。该模块负责存储和选择性地重放早期训练阶段的状态、动作和奖励信息。具体流程如下：1. LLM与环境交互，生成轨迹数据。2. 轨迹数据被存储到回放缓冲区中。3. RRL算法根据一定的策略，从回放缓冲区中选择有希望的状态进行重放。4. LLM基于重放的状态进行学习，更新策略。

关键创新：RRL的关键创新在于其动态的回溯重放机制。与传统的经验回放不同，RRL不是随机地重放经验，而是有选择性地重放早期训练阶段中被认为有希望的状态。这种选择性的重放机制能够更有效地利用早期探索的信息，避免了对无效经验的过度学习。

关键设计：RRL的关键设计包括：1. 如何定义和识别“有希望的状态”：论文可能采用某种指标来评估状态的潜力，例如早期阶段获得的奖励值。2. 如何控制重放的频率和比例：需要平衡探索和利用，避免过度依赖早期经验而影响模型的泛化能力。3. 如何将重放的经验融入到训练过程中：可能采用不同的损失函数或训练策略来引导模型学习重放的经验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在数学推理、代码生成和通用对话任务上的实验，验证了RRL算法的有效性。实验结果表明，RRL能够显著提升LLM在这些任务上的性能，并提高了RLHF的安全性。具体的性能提升数据和对比基线需要在论文中查找，但总体而言，RRL在复杂推理任务上的表现优于传统的强化学习方法。

🎯 应用场景

RRL算法具有广泛的应用前景，可用于提升LLM在各种复杂推理任务中的性能，例如数学问题求解、代码生成、知识推理等。此外，该算法还可以应用于人机对话系统，提升对话的质量和安全性，使其能够更好地理解用户意图并给出合理的回复。RRL的引入有望推动LLM在更广泛的实际场景中应用。

📄 摘要（原文）

Reinforcement learning (RL) has increasingly become a pivotal technique in the post-training of large language models (LLMs). The effective exploration of the output space is essential for the success of RL. We observe that for complex problems, during the early stages of training, the model exhibits strong exploratory capabilities and can identify promising solution ideas. However, its limited capability at this stage prevents it from successfully solving these problems. The early suppression of these potentially valuable solution ideas by the policy gradient hinders the model's ability to revisit and re-explore these ideas later. Consequently, although the LLM's capabilities improve in the later stages of training, it still struggles to effectively address these complex problems. To address this exploration issue, we propose a novel algorithm named Retrospective Replay-based Reinforcement Learning (RRL), which introduces a dynamic replay mechanism throughout the training process. RRL enables the model to revisit promising states identified in the early stages, thereby improving its efficiency and effectiveness in exploration. To evaluate the effectiveness of RRL, we conduct extensive experiments on complex reasoning tasks, including mathematical reasoning and code generation, and general dialogue tasks. The results indicate that RRL maintains high exploration efficiency throughout the training period, significantly enhancing the effectiveness of RL in optimizing LLMs for complicated reasoning tasks. Moreover, it also improves the performance of RLHF, making the model both safer and more helpful.