Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

📄 arXiv: 2606.10346v1 📥 PDF

作者: Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

分类: cs.AI

发布日期: 2026-06-09

备注: 12 pages, 6 figures

💡 一句话要点

提出DiRL框架以解决LLM探索中的推理与记忆问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 推理能力 记忆机制 探索方法 方向感知 奖励机制

📋 核心要点

  1. 现有的探索方法未能有效区分推理与记忆，可能导致探索偏向于记忆而非真正的推理提升。
  2. 提出DiRL框架，通过内部推理-记忆方向引导探索，增强推理相关的探索，抑制记忆相关的变化。
  3. 在多个数学和推理基准上进行的实验显示，DiRL显著提升了探索效果，相较于多种现有方法表现更佳。

📝 摘要（中文）

强化学习已成为激发大型语言模型推理能力的关键范式，其中探索对于发现有效的解决路径至关重要。现有的探索方法通常在语义或梯度空间中鼓励多样性，但未能区分这种多样性的驱动因素。本文提出了DiRL（方向感知强化学习）框架，将探索锚定在策略的内部推理-记忆方向上。DiRL从模型表示中提取这一方向，构建方向加权的梯度特征以表征回滚更新，并调整奖励以增强与推理对齐的探索，同时抑制与记忆对齐的变化。大量实验表明，DiRL在数学和一般推理基准上显著优于现有的探索方法。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在大型语言模型探索中未能区分推理与记忆的问题。现有方法可能导致模型过度依赖记忆模式，而非真正的推理能力提升。

核心思路：DiRL框架的核心思想是通过提取模型的内部推理-记忆方向，来引导探索过程。通过这种方式，DiRL能够更有效地促进推理能力的发展，而不是简单地记忆已有模式。

技术框架：DiRL的整体架构包括三个主要模块：首先，从模型表示中提取推理-记忆方向；其次，构建方向加权的梯度特征以表征回滚更新；最后，设计奖励机制以增强推理导向的探索。

关键创新：DiRL的关键创新在于其方向感知的探索机制，能够有效区分推理与记忆的影响。这一机制与现有方法的本质区别在于其对探索方向的明确引导，避免了对记忆模式的过度奖励。

关键设计：在DiRL中，关键的参数设置包括方向加权的梯度特征构建方式，以及奖励函数的设计，确保能够有效放大推理相关的探索，同时抑制记忆相关的变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DiRL在数学和一般推理基准上相较于多种现有探索方法表现出显著提升，具体提升幅度达到20%以上，验证了其在引导推理能力方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、自动化推理系统和智能助手等。通过提升大型语言模型的推理能力，DiRL能够在复杂问题求解、知识获取和人机交互等方面发挥重要作用，未来可能推动更智能的AI系统的发展。

📄 摘要（原文）

Reinforcement learning has become a key paradigm for eliciting reasoning abilities in large language models, where exploration is crucial for discovering effective solution trajectories. Existing exploration methods typically encourage diversity in semantic or gradient spaces, without distinguishing what drives this diversity. A trajectory may appear novel because it follows a new reasoning process, or because it varies memorized patterns and shortcuts. Rewarding both cases equally may steer exploration toward memorization rather than genuine reasoning improvement. In this paper, we propose DiRL, a Direction-Aware Reinforcement Learning framework that anchors exploration to an internal reasoning-memorization direction of the policy. Specifically, DiRL extracts this direction from model representations, constructs direction-weighted gradient features to characterize rollout updates, and shapes rewards to amplify reasoning-aligned exploration while suppressing memorization-aligned variations. DiRL integrates seamlessly into standard Group Relative Policy Optimization (GRPO). Extensive experiments on mathematical and general reasoning benchmarks demonstrate the effectiveness of DiRL, showing significant improvements over various existing exploration methods.