Hierarchical Budget Policy Optimization for Adaptive Reasoning

📄 arXiv: 2507.15844v3 📥 PDF

作者: Shangke Lyu, Linjuan Wu, Yuchen Yan, Xingyu Wu, Hao Li, Yongliang Shen, Peisheng Jiang, Weiming Lu, Jun Xiao, Yueting Zhuang

分类: cs.AI, cs.CL

发布日期: 2025-07-21 (更新: 2025-08-07)

备注: Code: https://github.com/zju-real/hbpo Project Page:https://zju-real.github.io/hbpo/

💡 一句话要点

提出层级预算策略优化（HBPO），提升大模型自适应推理效率与精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应推理 强化学习 思维链 大语言模型 效率优化

📋 核心要点

  1. 现有大模型推理存在效率问题，无论问题难易都进行大量推理，造成资源浪费。
  2. HBPO通过强化学习，将探索空间划分为不同预算层级，并设计奖励机制，鼓励模型学习自适应推理深度。
  3. 实验表明，HBPO显著降低了token使用量，同时提升了推理准确率，展现了模型自适应推理的潜力。

📝 摘要（中文）

大型推理模型通过广泛的思维链生成实现了卓越的性能，但同时也存在一个关键的低效问题：无论问题复杂度如何，都采用统一的广泛推理。本文提出了一种层级预算策略优化（HBPO）的强化学习框架，使模型能够在不牺牲能力的情况下学习特定于问题的推理深度。与施加严格约束或依赖离散模式选择的现有方法不同，HBPO将探索空间划分为预算约束的层级结构（512-2560个token），每个层级具有不同的奖励结构，从而同时保留了效率激励和推理能力。这种设计解决了高效推理训练中的一个根本挑战：传统的长度惩罚会系统性地使模型偏离必要的长推理路径，导致探索空间崩溃。通过层级采样和预算感知奖励，HBPO保持了探索多样性，同时教会模型识别何时需要扩展推理。大量实验表明，HBPO在四个推理基准测试中，平均token使用量减少了高达60.6%，同时准确率提高了3.14%。最值得注意的是，HBPO表现出涌现的自适应行为，模型可以根据问题复杂度自动调整推理深度。我们的结果表明，推理效率和能力并非天生冲突，可以通过适当构建的层级训练（保持探索多样性）同时优化。

🔬 方法详解

问题定义：现有的大型语言模型在进行推理时，通常采用固定的、大量的token生成，而忽略了不同问题的复杂度差异。这种做法导致了计算资源的浪费，尤其是在处理简单问题时。现有的方法要么施加了过于严格的约束，限制了模型的推理能力，要么依赖于离散的模式选择，无法实现细粒度的自适应推理。因此，如何让模型根据问题的复杂度自适应地调整推理深度，同时保持其推理能力，是一个亟待解决的问题。

核心思路：HBPO的核心思路是将推理过程视为一个强化学习问题，通过训练一个策略网络，让模型学习在不同的问题上选择合适的推理深度。为了解决传统长度惩罚导致探索空间崩溃的问题，HBPO将探索空间划分为多个预算约束的层级结构，每个层级对应不同的token预算范围。通过设计与预算相关的奖励函数，鼓励模型在每个层级内进行探索，从而保持探索的多样性，并避免模型过早地收敛到短推理路径。

技术框架：HBPO的整体框架包括以下几个主要模块：1) 层级预算划分：将token预算空间划分为多个层级，例如512-2560个token。2) 策略网络：用于预测在给定问题下，应该选择哪个层级的token预算。3) 奖励函数设计：为每个层级设计不同的奖励函数，包括准确率奖励和预算惩罚，以鼓励模型在保证准确率的同时，尽可能减少token的使用。4) 强化学习训练：使用策略梯度算法，训练策略网络，使其能够根据问题的复杂度自适应地选择合适的推理深度。

关键创新：HBPO最重要的技术创新在于其层级预算划分和预算感知奖励的设计。通过将探索空间划分为多个层级，HBPO能够有效地保持探索的多样性，避免模型过早地收敛到短推理路径。同时，预算感知奖励能够引导模型在每个层级内进行探索，从而学习到不同推理深度下的性能表现，并最终实现自适应推理。与现有方法的本质区别在于，HBPO不是简单地限制推理长度，而是通过强化学习的方式，让模型自主地学习如何根据问题的复杂度选择合适的推理深度。

关键设计：HBPO的关键设计包括：1) 层级数量和预算范围：论文中使用了5个层级，预算范围从512到2560个token不等。2) 奖励函数：奖励函数包括准确率奖励和预算惩罚，其中准确率奖励用于鼓励模型提高推理准确率，预算惩罚用于鼓励模型减少token的使用。3) 策略网络结构：策略网络可以使用各种常见的神经网络结构，例如Transformer。4) 强化学习算法：论文中使用了策略梯度算法，例如PPO或REINFORCE。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HBPO在四个推理基准测试中取得了显著的性能提升。具体来说，HBPO在平均token使用量上减少了高达60.6%，同时在准确率上提高了3.14%。这些结果表明，HBPO能够有效地提高推理效率，同时保持甚至提升推理准确率。此外，实验还表明，HBPO能够涌现出一种自适应行为，即模型可以根据问题的复杂度自动调整推理深度，这进一步证明了HBPO的有效性和潜力。

🎯 应用场景

HBPO具有广泛的应用前景，可以应用于各种需要进行推理的场景，例如问答系统、对话系统、知识图谱推理等。通过自适应地调整推理深度，HBPO可以显著提高推理效率，降低计算成本，并提升用户体验。未来，HBPO可以进一步扩展到其他类型的任务，例如图像推理、视频推理等，并与其他技术相结合，例如知识蒸馏、模型压缩等，以进一步提高推理效率和性能。

📄 摘要（原文）

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet they suffer from a critical inefficiency: applying uniformly extensive reasoning regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. Unlike existing approaches that impose rigid constraints or rely on discrete mode selection, HBPO partitions the exploration space into budget-constrained hierarchies (512-2560 tokens), each with differentiated reward structures that preserve both efficiency incentives and reasoning capabilities. This design addresses a fundamental challenge in efficient reasoning training: traditional length penalties systematically bias models away from necessary long reasoning paths, causing exploration space collapse. Through hierarchical sampling and budget-aware rewards, HBPO maintains exploration diversity while teaching models to recognize when extended deliberation is warranted. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Most notably, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.