Explore with Memory, Learn without It: In-Context Exploration and Self-Distillation for LLM Reasoning

📄 arXiv: 2610.17734v1 📥 PDF

作者: Yutong Chen, Zhichao Xu, Rui Liu, Kunpeng Liu

分类: cs.LG, cs.AI

发布日期: 2026-10-13

备注: preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出LEAF以解决强化学习中的探索效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自蒸馏 动态记忆 探索效率 策略更新

📋 核心要点

  1. 现有强化学习方法在探索过程中未能充分利用已收集的信息，导致学习效率低下。
  2. LEAF通过在每次回滚前注入动态的、问题特定的记忆，提升了探索的有效性和学习效率。
  3. 在多个基准测试中，LEAF显著提高了模型的准确率，并加快了探索速度，展示了其优越性。

📝 摘要（中文）

探索在具有可验证奖励的强化学习中限制了学习效率。现有方法主要通过独立采样进行探索，未充分利用沿途收集的信息，如已知错误答案和环境反馈。本文提出LEAF，在每次回滚前将动态、问题特定的记忆注入上下文中。该记忆包含最近的响应、其奖励及其他环境反馈，并在每次验证调用后更新。我们将策略更新与回滚解耦，通过自蒸馏更新策略。在四个基准和两个开放模型上，LEAF的探索速度比随机采样基线快约4倍。在未见测试集上，其准确率在两个模型上分别比最强基线提高了1.59和1.83个百分点，同时计算资源消耗低于任何强化学习基线。这些结果突显了LEAF在提高探索和学习效率方面的潜力。

🔬 方法详解

问题定义：本文旨在解决强化学习中探索效率低下的问题。现有方法主要依赖独立采样，未能充分利用已知错误答案和环境反馈，导致学习过程中的信息浪费。

核心思路：LEAF的核心思路是将动态的、问题特定的记忆注入到上下文中，以便在每次回滚时使用。这种设计使得模型能够更好地利用历史信息，从而加速学习过程。

技术框架：LEAF的整体架构包括两个主要模块：动态记忆模块和自蒸馏策略更新模块。动态记忆模块在每次回滚前更新并注入上下文，而自蒸馏模块则在策略更新时利用这些信息。

关键创新：LEAF的主要创新在于将动态记忆与自蒸馏相结合，解耦了策略更新与回滚过程。这一设计使得模型能够在探索过程中更有效地利用历史反馈，显著提高了学习效率。

关键设计：在LEAF中，记忆模块包含最近的响应、奖励和环境反馈，并在每次验证调用后更新。自蒸馏过程则通过优化损失函数来实现策略的改进，确保了计算资源的高效利用。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，LEAF在四个基准测试上比随机采样基线的探索速度提高了约4倍。在未见测试集上，LEAF在两个模型上的准确率分别比最强基线提高了1.59和1.83个百分点，同时计算资源消耗低于任何强化学习基线，展示了其显著的性能优势。

🎯 应用场景

LEAF的研究成果在多个领域具有潜在应用价值，尤其是在需要高效探索的强化学习任务中，如机器人控制、游戏智能体和自动驾驶等。通过提高学习效率，LEAF能够加速模型训练，降低计算成本，推动智能系统的实际应用。未来，该方法可能会影响更多复杂环境下的决策制定和学习策略。

📄 摘要（原文）

Exploration bounds learning efficiency in reinforcement learning with verifiable rewards (RLVR). Current methods explore mostly through independent sampling, without fully using the information gathered along the way, such as known wrong answers and environment feedback. We propose LEAF, which injects a dynamic, problem-specific memory into the context before every rollout. The memory contains the most recent response, its reward, and other environment feedback. It is updated after every verifier call. We decouple policy updates from rollouts and update the policy through self-distillation. On four benchmarks and two open models, LEAF accelerates exploration by about 4x compared with a random sampling baseline. On unseen test sets, it improves accuracy over the strongest baseline by 1.59 and 1.83 percentage points on the two models, while using less compute than any RL baseline. These results highlight the potential of LEAF in improving both exploration and learning efficiency. Code is available at: https://github.com/on1262/LEAF