Mechanistically Interpreting the Role of Sample Difficulty in RLVR for LLMs

📄 arXiv: 2605.28388v1 📥 PDF

作者: Yue Cheng, Jiajun Zhang, Xiaohui Gao, Weiwei Xing, Zheng Wang, Zhanxing Zhu

分类: cs.AI

发布日期: 2026-05-27

备注: 30 pages, 11 figures

💡 一句话要点

通过难度分析改进RLVR，提升LLM在数学和编程推理中的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 推理能力 样本难度 时间稀疏自编码器

📋 核心要点

  1. 现有RLVR方法对样本难度在提升LLM推理能力中的作用机制理解不足，缺乏细粒度分析。
  2. 本文通过难度分级和单样本分析，揭示了样本难度对RLVR性能的非单调影响，并提出了难度自适应策略。
  3. 实验表明，中等难度样本对RLVR提升效果最佳，本文提出的难度自适应策略能有效利用困难样本。

📝 摘要（中文）

本文深入研究了样本难度在基于可验证奖励的强化学习（RLVR）中对大型语言模型（LLM）推理性能的影响，尤其是在数学和编程领域。研究发现，样本难度对RLVR的影响并非单调：中等难度的题目能带来最强且最稳定的推理能力提升，而过于困难的题目则会产生微弱的学习信号，导致模型出现重复答案或跳过必要计算等退化行为，甚至会降低模型原有的能力。除了分析模型输出，本文还利用时间稀疏自编码器（T-SAE）分析了模型内部特征的动态变化。简单问题主要强化直接回答和基础计算特征，抑制推理特征；困难问题激活推理相关特征，但只有在成功轨迹被采样时才有效；中等难度问题提供更平衡的信号，同时增强计算和多步推理特征。基于这些发现，本文提出了难度自适应策略，利用反向推理重构和T-SAE引导的训练信号来提高RLVR中的奖励密度和信用分配。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习（RLVR）方法在提升大型语言模型（LLM）的推理能力方面取得了显著进展，尤其是在数学和编程领域。然而，对于样本难度在RLVR中的作用机制，现有研究缺乏深入的理解。现有方法未能充分考虑不同难度样本对模型学习的影响，可能导致训练效率低下甚至性能下降。

核心思路：本文的核心思路是通过细粒度的难度分析，揭示样本难度对RLVR训练过程的影响，并据此设计难度自适应的训练策略。具体来说，本文将样本分为简单、中等和困难三个等级，并分析不同难度样本对模型输出和内部特征的影响。基于分析结果，本文提出利用反向推理重构和T-SAE引导的训练信号来提高困难样本的利用率。

技术框架：本文的研究框架主要包括以下几个部分：1) 基于难度分级的RLVR训练；2) 模型输出分析，评估不同难度样本对模型推理能力的影响；3) 基于时间稀疏自编码器（T-SAE）的内部特征动态分析，揭示不同难度样本对模型内部表示的影响；4) 难度自适应训练策略，包括反向推理重构和T-SAE引导的训练信号。

关键创新：本文最重要的技术创新点在于对样本难度在RLVR中的作用机制进行了深入的分析，并提出了难度自适应的训练策略。与现有方法相比，本文的方法能够更有效地利用不同难度的样本，从而提高RLVR的训练效率和性能。此外，本文还首次将时间稀疏自编码器（T-SAE）应用于分析RLVR训练过程中模型内部特征的动态变化。

关键设计：在难度自适应训练策略中，反向推理重构用于将困难问题分解为更简单的子问题，从而提高奖励密度。T-SAE引导的训练信号则用于根据模型内部特征的激活情况，调整奖励函数，从而更好地分配信用。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

实验结果表明，中等难度的样本对RLVR的提升效果最佳。通过引入难度自适应策略，可以有效利用困难样本，提高奖励密度和信用分配，从而进一步提升模型的推理性能。具体的性能数据和提升幅度未在摘要中详细说明，属于未知信息。

🎯 应用场景

该研究成果可应用于提升大型语言模型在数学、编程等领域的推理能力，尤其是在需要复杂推理和计算的任务中。通过难度自适应的训练策略，可以更有效地利用训练数据，提高模型的泛化能力和鲁棒性。此外，该研究提出的分析方法也可用于评估和改进其他基于强化学习的语言模型训练方法。

📄 摘要（原文）

Reinforcement Learning with Verifiable Reward (RLVR) is empirically shown to notably enhance the reasoning performance of large language models (LLMs), particularly in mathematics and programming. However, the mechanistic role of Sample Difficulty in RLVR remains poorly understood. In this paper, we investigate RLVR through the lens of difficulty-wise and one-sample analysis. We find that sample difficulty has a non-monotonic effect on RLVR: easy and medium-difficulty problems yield the strongest and most stable reasoning improvements, whereas overly hard problems often provide weak learning signals, induce degenerate behaviors such as answer repetition or skipping necessary computation, and can ultimately degrade the model's pre-existing capabilities. Beyond the obverse of response, we further analyze the model's internal feature dynamics using Temporal Sparse Autoencoders (T-SAE). Easy problems mainly reinforce direct-answer and basic-computation features while suppressing deliberative-reasoning features; hard problems activate reasoning-related features but become useful only when successful trajectories are sampled; medium-difficulty problems provide a more balanced signal, strengthening both computation and multi-step reasoning features. Motivated by these findings, we propose difficulty-adaptive strategies for hard-sample utilization, using backward-reasoning reformulation and T-SAE-guided training signals to improve reward density and credit assignment during RLVR. Overall, our results identify sample difficulty as a key factor governing both the optimization dynamics and representation evolution of RLVR.