Balancing the Reasoning Load: Difficulty-Differentiated Policy Optimization with Length Redistribution for Efficient and Robust Reinforcement Learning

📄 arXiv: 2603.18533v1 📥 PDF

作者: Yinan Xia, Haotian Zhang, Huiming Wang

分类: cs.LG, cs.CL

发布日期: 2026-03-19

备注: 13 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出难度区分策略优化DDPO，解决大模型推理中过度思考和欠思考问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 大型推理模型 策略优化 难度区分 长度优化

📋 核心要点

  1. 大型推理模型存在过度思考（生成冗余答案）和欠思考（对困难问题过度自信）的问题。
  2. DDPO通过难度区分策略优化，对简单任务减少输出长度，对复杂任务扩大探索空间。
  3. 实验表明，DDPO在降低答案长度的同时，提高了准确率，实现了更好的权衡。

📝 摘要（中文）

大型推理模型(LRM)展现了卓越的推理能力，但也存在过度思考的问题，经常生成过长且冗余的答案。对于超出模型能力的问题，LRM往往表现出过度自信的现象，生成过短但错误的答案，这可能导致次优性能。为了解决这些问题，我们提出了一种高效的强化学习算法——难度区分策略优化(DDPO)，它基于过度自信现象，分别优化简单和复杂的任务。具体来说，它在不影响准确性的前提下，减少简单任务的输出长度；对于复杂任务，它扩大探索空间以提高性能。我们进一步推导了最大化预期准确率的理论条件，这要求长度分布尽可能接近最优长度并尽可能集中。基于这些条件，我们提出使用难度级别的平均值作为长度优化的良好参考。在领域内和领域外基准上的大量实验验证了DDPO的优越性和有效性。与GRPO相比，DDPO在多个基准测试中将平均答案长度减少了12%，同时将准确率提高了1.85%，从而在准确率和长度之间实现了更好的权衡。

🔬 方法详解

问题定义：论文旨在解决大型推理模型（LRM）在推理过程中出现的两个主要问题：一是“过度思考”，即对于简单问题生成过长、冗余的答案，导致计算资源浪费；二是“欠思考”，即对于超出模型能力范围的复杂问题，模型表现出过度自信，生成过短但错误的答案，影响性能。现有方法难以有效区分任务难度，并针对性地调整推理过程的长度。

核心思路：DDPO的核心思路是根据任务的难度，动态调整模型生成答案的长度。对于简单任务，减少输出长度以提高效率；对于复杂任务，增加探索空间以提高准确率。这种难度区分的策略优化旨在使模型在准确性和效率之间达到更好的平衡。论文还推导了最大化预期准确率的理论条件，为长度优化提供了理论依据。

技术框架：DDPO的技术框架主要包含以下几个阶段：1. 难度评估：根据模型对任务的“过度自信”程度来判断任务的难度。2. 策略优化：基于强化学习，分别优化简单和复杂任务的策略。对于简单任务，鼓励生成更短的答案；对于复杂任务，鼓励探索更长的答案。3. 长度重分布：根据难度级别的平均值，调整长度分布，使其更接近最优长度，并尽可能集中。

关键创新：DDPO的关键创新在于提出了难度区分的策略优化方法，能够根据任务的难度动态调整推理过程的长度。与现有方法相比，DDPO能够更有效地利用计算资源，并在准确性和效率之间实现更好的权衡。此外，论文还推导了最大化预期准确率的理论条件，为长度优化提供了理论指导。

关键设计：DDPO的关键设计包括：1. 难度评估指标：使用模型对任务的置信度来评估任务难度。2. 奖励函数设计：设计奖励函数，鼓励简单任务生成更短的答案，鼓励复杂任务探索更长的答案。3. 长度重分布策略：使用难度级别的平均值作为参考，调整长度分布。具体的网络结构和参数设置在论文中未详细说明，可能使用了标准的强化学习网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DDPO在多个基准测试中优于GRPO。具体而言，DDPO在将平均答案长度减少12%的同时，将准确率提高了1.85%。这表明DDPO能够在准确率和长度之间实现更好的权衡，验证了其有效性和优越性。

🎯 应用场景

DDPO具有广泛的应用前景，可应用于各种需要大型推理模型的场景，例如问答系统、文本摘要、机器翻译等。通过优化推理过程的长度，DDPO可以提高模型的效率和准确率，降低计算成本，并提升用户体验。该研究对于推动大型语言模型在实际应用中的部署具有重要意义。

📄 摘要（原文）

Large Reasoning Models (LRMs) have shown exceptional reasoning capabilities, but they also suffer from the issue of overthinking, often generating excessively long and redundant answers. For problems that exceed the model's capabilities, LRMs tend to exhibit the overconfidence phenomenon, generating overly short but incorrect answers, which may contribute to suboptimal performance. To address these issues, we propose Difficulty-Differentiated Policy Optimization (DDPO), an efficient reinforcement learning algorithm that optimizes simple and complex tasks separately based on the overconfidence phenomenon. Specifically, it reduces the output length for simple tasks without compromising accuracy, while for complex tasks, it expands the exploration space to improve performance. We further derive the theoretical conditions for maximizing expected accuracy, which require the length distribution to closely approximate the optimal length and be as concentrated as possible. Based on these conditions, we propose using the difficulty-level average as a well-founded reference for length optimization. Extensive experiments on both in-domain and out-of-domain benchmarks validate the superiority and effectiveness of DDPO. Compared to GRPO, DDPO reduces the average answer length by 12% while improving accuracy by 1.85% across multiple benchmarks, achieving a better trade-off between accuracy and length. The code is available at https://github.com/Yinan-Xia/DDPO.