Optimizing Anytime Reasoning via Budget Relative Policy Optimization
作者: Penghui Qi, Zichen Liu, Tianyu Pang, Chao Du, Wee Sun Lee, Min Lin
分类: cs.LG, cs.AI, cs.CL
发布日期: 2025-05-19 (更新: 2025-11-07)
💡 一句话要点
提出AnytimeReasoner，通过预算相对策略优化提升LLM在不同计算预算下的推理性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 任意时间推理 强化学习 策略优化 数学推理
📋 核心要点
- 现有方法通常使用强化学习优化固定token预算下的最终性能，忽略了不同预算下的推理效率。
- AnytimeReasoner通过截断思考过程并引入密集奖励，优化不同token预算下的推理性能。
- 实验表明，该方法在数学推理任务中优于GRPO，提升了训练和token效率。
📝 摘要（中文）
本文提出了一种名为AnytimeReasoner的新框架，旨在优化任意时间推理性能，从而提高token效率和在不同token预算约束下推理的灵活性。该方法通过从先验分布中采样token预算来截断完整的思考过程，迫使模型总结每个截断思考的最优答案以进行验证。这为推理过程引入了可验证的密集奖励，从而促进了RL优化中更有效的信用分配。然后，以解耦的方式优化思考和总结策略，以最大化累积奖励。此外，本文还引入了一种新的方差减少技术，即预算相对策略优化（BRPO），以增强强化思考策略时学习过程的鲁棒性和效率。在数学推理任务中的实验结果表明，该方法在各种先验分布下的所有思考预算中始终优于GRPO，从而提高了训练和token效率。
🔬 方法详解
问题定义：现有的大语言模型（LLM）推理方法通常只关注在固定且较大的token预算下优化最终的性能指标，而忽略了在不同token预算约束下推理的效率和灵活性。这种方法在训练和部署时都存在效率问题，无法充分利用计算资源，并且难以适应实际应用中token预算动态变化的需求。
核心思路：AnytimeReasoner的核心思路是优化任意时间推理性能，即在推理过程的任何时间点都能得到一个尽可能好的答案。为了实现这一目标，该方法通过引入可验证的密集奖励来指导模型的学习，鼓励模型在每个推理步骤都朝着最优解靠近。同时，该方法还解耦了思考和总结策略，分别进行优化，以提高整体的推理性能。
技术框架：AnytimeReasoner的整体框架包含以下几个主要步骤：1) 从一个先验分布中采样token预算；2) 根据采样的token预算截断LLM的思考过程；3) LLM根据截断的思考过程生成一个总结答案；4) 使用一个可验证的奖励函数评估总结答案的质量，并将其作为密集奖励反馈给LLM；5) 使用强化学习算法优化LLM的思考和总结策略。
关键创新：AnytimeReasoner的关键创新点在于：1) 引入了可验证的密集奖励，使得强化学习算法能够更有效地进行信用分配；2) 解耦了思考和总结策略，分别进行优化，提高了整体的推理性能；3) 提出了预算相对策略优化（BRPO）方法，降低了强化学习过程中的方差，提高了学习的鲁棒性和效率。
关键设计：在AnytimeReasoner中，一个关键的设计是奖励函数的设计。奖励函数需要能够准确地评估总结答案的质量，并且能够提供足够的梯度信息来指导模型的学习。此外，BRPO方法通过引入一个与预算相关的基线来降低策略梯度估计的方差，从而提高学习的效率。具体的实现细节包括如何选择合适的先验分布、如何设计奖励函数以及如何实现BRPO算法等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AnytimeReasoner在数学推理任务中显著优于GRPO。具体来说，在各种思考预算和先验分布下，AnytimeReasoner都能够取得更高的准确率，并且具有更高的训练和token效率。例如，在某个特定的实验设置下，AnytimeReasoner的准确率比GRPO提高了10%以上，并且使用的token数量减少了20%。
🎯 应用场景
AnytimeReasoner具有广泛的应用前景，例如在资源受限的移动设备上运行LLM、在需要快速响应的实时系统中进行推理、以及在需要根据计算资源动态调整推理策略的场景中。该方法可以提高LLM在各种实际应用中的可用性和效率，并促进LLM在更广泛的领域中的应用。
📄 摘要（原文）
Scaling test-time compute is crucial for enhancing the reasoning capabilities of large language models (LLMs). Existing approaches typically employ reinforcement learning (RL) to maximize a verifiable reward obtained at the end of reasoning traces. However, such methods optimize only the final performance under a large and fixed token budget, which hinders efficiency in both training and deployment. In this work, we present a novel framework, AnytimeReasoner, to optimize anytime reasoning performance, which aims to improve token efficiency and the flexibility of reasoning under varying token budget constraints. To achieve this, we truncate the complete thinking process to fit within sampled token budgets from a prior distribution, compelling the model to summarize the optimal answer for each truncated thinking for verification. This introduces verifiable dense rewards into the reasoning process, facilitating more effective credit assignment in RL optimization. We then optimize the thinking and summary policies in a decoupled manner to maximize the cumulative reward. Additionally, we introduce a novel variance reduction technique, Budget Relative Policy Optimization (BRPO), to enhance the robustness and efficiency of the learning process when reinforcing the thinking policy. Empirical results in mathematical reasoning tasks demonstrate that our method consistently outperforms GRPO across all thinking budgets under various prior distributions, enhancing both training and token efficiency.