Placing Puzzle Pieces Where They Matter: A Question Augmentation Framework for Reinforcement Learning
作者: Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi
分类: cs.LG
发布日期: 2026-04-17
💡 一句话要点
提出PieceHint框架，通过问题增强策略提升强化学习在数学推理中的性能和泛化性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 问题增强 提示注入 数学推理 大型语言模型
📋 核心要点
- 现有强化学习方法在简单问题上易过拟合，在困难问题上奖励稀疏，阻碍了模型推理能力的提升。
- PieceHint框架通过评估推理步骤的重要性，选择性地注入提示，引导模型学习关键推理步骤。
- 实验表明，PieceHint框架在数学推理任务上，使用较小模型取得了与更大模型相当的性能，并提升了泛化能力。
📝 摘要（中文）
强化学习已成为增强大型语言模型推理能力的有效方法，但面临一个根本困境：在简单问题上训练会导致过拟合和pass@k指标下降，而在困难问题上训练通常导致稀疏奖励。最近的问题增强方法通过预先添加部分解决方案作为提示来解决这个问题。然而，统一的提示提供可能引入冗余信息，同时遗漏关键的推理瓶颈，并且过多的提示会降低推理多样性，导致pass@k指标下降。我们提出了PieceHint，一个提示注入框架，在训练期间有策略地识别和提供关键的推理步骤。通过对不同推理步骤的重要性进行评分，根据问题难度选择性地分配提示，并逐步撤回支架，PieceHint使模型能够从引导学习过渡到独立推理。在六个数学推理基准上的实验表明，我们的15亿参数模型实现了与320亿参数基线相当的平均性能，同时保持了所有k值的pass@k多样性。
🔬 方法详解
问题定义：现有基于强化学习的大语言模型推理方法，在训练过程中面临着“简单问题过拟合，困难问题奖励稀疏”的困境。简单问题训练导致模型过度适应特定解题模式，泛化能力下降；困难问题训练则由于探索空间巨大，难以获得有效奖励信号，导致学习效率低下。现有问题增强方法（如提示注入）虽然有所缓解，但统一的提示策略可能引入冗余信息或遗漏关键推理步骤，反而降低模型性能。
核心思路：PieceHint的核心思路是根据推理步骤的重要性，动态地提供提示信息。它不再是简单地将部分解题步骤作为提示，而是通过评估每个步骤对最终结果的影响，选择性地注入对模型最有帮助的步骤。同时，PieceHint还根据问题难度调整提示的强度，并在训练过程中逐步减少提示，鼓励模型独立推理。
技术框架：PieceHint框架主要包含以下几个模块：1) 推理步骤重要性评估模块：该模块负责评估每个推理步骤对最终结果的重要性，可以使用梯度信息、注意力权重等方法进行评估。2) 提示选择模块：根据推理步骤的重要性，选择合适的步骤作为提示信息。该模块会根据问题难度调整提示的强度，例如，对于简单问题，可以减少提示，对于困难问题，可以增加提示。3) 提示注入模块：将选择的提示信息注入到模型中，引导模型进行推理。4) 逐步撤回支架模块：在训练过程中，逐步减少提示的强度，鼓励模型独立推理。
关键创新：PieceHint的关键创新在于其动态提示策略。与现有方法相比，PieceHint能够根据推理步骤的重要性，选择性地注入提示信息，避免了冗余信息和关键步骤的遗漏。此外，PieceHint还根据问题难度调整提示的强度，并在训练过程中逐步减少提示，鼓励模型独立推理，从而提高了模型的泛化能力。
关键设计：PieceHint框架中，推理步骤重要性评估模块的设计至关重要。论文可能采用了基于梯度的方法，计算每个步骤对最终损失的梯度，梯度越大，说明该步骤越重要。此外，提示选择模块也需要精心设计，例如，可以使用一个阈值来过滤掉重要性较低的步骤。逐步撤回支架模块可以通过线性衰减或指数衰减的方式来减少提示的强度。具体的损失函数可能包含一个奖励项，鼓励模型生成正确的推理步骤，以及一个惩罚项，惩罚模型过度依赖提示信息。
🖼️ 关键图片
📊 实验亮点
PieceHint框架在六个数学推理基准测试中表现出色，仅使用15亿参数的模型就达到了与320亿参数基线模型相当的平均性能。更重要的是，PieceHint在所有k值上都保持了pass@k的多样性，表明其具有更强的泛化能力，能够更好地解决不同难度的数学问题。
🎯 应用场景
PieceHint框架可应用于各种需要复杂推理的任务，例如数学问题求解、代码生成、知识图谱推理等。该方法能够有效提升模型在这些任务上的性能和泛化能力，降低对大规模标注数据的依赖，具有重要的实际应用价值和潜力。
📄 摘要（原文）
Reinforcement learning has become a powerful approach for enhancing large language model reasoning, but faces a fundamental dilemma: training on easy problems can cause overfitting and pass@k degradation, while training on hard problems often results in sparse rewards. Recent question augmentation methods address this by prepending partial solutions as hints. However, uniform hint provision may introduce redundant information while missing critical reasoning bottlenecks, and excessive hints can reduce reasoning diversity, causing pass@k degradation. We propose \textbf{PieceHint}, a hint injection framework that strategically identifies and provides critical reasoning steps during training. By scoring the importance of different reasoning steps, selectively allocating hints based on problem difficulty, and progressively withdrawing scaffolding, PieceHint enables models to transition from guided learning to independent reasoning. Experiments on six mathematical reasoning benchmarks show that our 1.5B model achieves comparable average performance to 32B baselines while preserving pass@k diversity across all $k$ values.