Balancing the Reasoning Load: Difficulty-Differentiated Policy Optimization with Length Redistribution for Efficient and Robust Reinforcement Learning

📄 arXiv: 2603.18533v2 📥 PDF

作者: Yinan Xia, Haotian Zhang, Huiming Wang

分类: cs.LG, cs.CL

发布日期: 2026-03-19 (更新: 2026-03-20)

备注: 13 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出难度区分策略优化DDPO，解决大模型推理中过度思考和欠思考问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 大型推理模型 策略优化 难度区分 长度优化

📋 核心要点

  1. 大型推理模型存在过度思考（生成冗余答案）和欠思考（对困难问题过度自信）的问题。
  2. DDPO算法通过难度区分策略优化，对简单任务减少输出长度，对复杂任务扩大探索空间。
  3. 实验表明，DDPO在多个基准测试中，答案长度减少12%的同时，准确率提升1.85%。

📝 摘要（中文）

大型推理模型(LRM)展现了卓越的推理能力，但也存在过度思考的问题，经常生成过长且冗余的答案。对于超出模型能力的问题，LRM倾向于表现出过度自信的现象，生成过短但错误的答案，这可能导致次优性能。为了解决这些问题，我们提出了一种高效的强化学习算法——难度区分策略优化(DDPO)，它基于过度自信现象分别优化简单和复杂的任务。具体来说，它在不影响准确性的前提下减少简单任务的输出长度，而对于复杂任务，它扩大探索空间以提高性能。我们进一步推导了最大化预期准确性的理论条件，这要求长度分布尽可能接近最优长度并尽可能集中。基于这些条件，我们提出使用难度级别的平均值作为长度优化的良好参考。在领域内和领域外基准上的大量实验验证了DDPO的优越性和有效性。与GRPO相比，DDPO在多个基准测试中将平均答案长度减少了12%，同时将准确率提高了1.85%，从而在准确率和长度之间实现了更好的权衡。

🔬 方法详解

问题定义：论文旨在解决大型推理模型（LRMs）在推理过程中出现的两个主要问题：一是“过度思考”，即对于简单问题生成过长且冗余的答案，导致效率降低；二是“欠思考”，即对于超出自身能力范围的复杂问题，LRMs表现出过度自信，生成过短但错误的答案，影响性能。现有方法难以有效区分任务难度，无法针对性地优化推理过程。

核心思路：DDPO的核心思路是根据任务的难度差异，采用不同的策略优化方法。对于简单任务，减少输出长度，避免过度思考，提高效率；对于复杂任务，扩大探索空间，鼓励模型进行更深入的推理，提高准确性。这种难度区分的策略优化能够更好地平衡模型的推理时间和准确性。

技术框架：DDPO的技术框架主要包含以下几个阶段：1. 任务难度评估：根据模型的“过度自信”程度来判断任务难度。2. 策略优化：针对不同难度的任务，采用不同的策略优化方法。对于简单任务，通过缩短输出长度来优化；对于复杂任务，通过扩大探索空间来优化。3. 长度重分布：根据理论推导出的最优长度分布，调整模型的输出长度分布，使其更接近最优长度。

关键创新：DDPO的关键创新在于提出了难度区分的策略优化方法，并将其应用于强化学习框架中。与现有方法相比，DDPO能够更有效地利用模型的推理能力，避免过度思考和欠思考的问题。此外，论文还推导了最大化预期准确性的理论条件，为长度优化提供了理论依据。

关键设计：DDPO的关键设计包括：1. 难度评估指标：基于模型在任务上的置信度来评估任务难度。2. 长度优化策略：对于简单任务，采用缩短输出长度的策略；对于复杂任务，采用扩大探索空间的策略。3. 损失函数设计：设计损失函数，鼓励模型的输出长度分布接近最优长度分布。4. 长度重分布方法：使用难度级别的平均值作为长度优化的参考，调整模型的输出长度分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DDPO在多个领域内和领域外基准测试中均表现出色。与GRPO相比，DDPO在平均答案长度减少12%的同时，准确率提高了1.85%。这表明DDPO能够在准确率和效率之间实现更好的权衡，有效解决了大型推理模型中的过度思考和欠思考问题。

🎯 应用场景

DDPO算法可应用于各种需要大型推理模型的场景，例如问答系统、文本摘要、代码生成等。通过优化模型的推理效率和准确性，可以提高用户体验，降低计算成本。该研究对于提升AI系统的智能化水平和实际应用价值具有重要意义，未来可能推动更高效、更可靠的AI应用发展。

📄 摘要（原文）

Large Reasoning Models (LRMs) have shown exceptional reasoning capabilities, but they also suffer from the issue of overthinking, often generating excessively long and redundant answers. For problems that exceed the model's capabilities, LRMs tend to exhibit the overconfidence phenomenon, generating overly short but incorrect answers, which may contribute to suboptimal performance. To address these issues, we propose Difficulty-Differentiated Policy Optimization (DDPO), an efficient reinforcement learning algorithm that optimizes simple and complex tasks separately based on the overconfidence phenomenon. Specifically, it reduces the output length for simple tasks without compromising accuracy, while for complex tasks, it expands the exploration space to improve performance. We further derive the theoretical conditions for maximizing expected accuracy, which require the length distribution to closely approximate the optimal length and be as concentrated as possible. Based on these conditions, we propose using the difficulty-level average as a well-founded reference for length optimization. Extensive experiments on both in-domain and out-of-domain benchmarks validate the superiority and effectiveness of DDPO. Compared to GRPO, DDPO reduces the average answer length by 12% while improving accuracy by 1.85% across multiple benchmarks, achieving a better trade-off between accuracy and length. The code is available at https://github.com/Yinan-Xia/DDPO.