Scalable Chain of Thoughts via Elastic Reasoning

📄 arXiv: 2505.05315v2 📥 PDF

作者: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-05-08 (更新: 2025-05-21)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Elastic Reasoning，通过弹性推理链解决大模型在资源受限场景下的推理难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弹性推理 思维链 资源约束 大模型 自适应推理

📋 核心要点

  1. 现有大型推理模型在资源受限场景下，由于推理链长度不可控，难以满足实际部署的预算约束。
  2. Elastic Reasoning将推理过程解耦为“思考”和“解决方案”两个阶段，并为每个阶段独立分配预算，提升资源利用率。
  3. 通过预算约束rollout策略训练模型，使其在思考过程被截断时仍能自适应推理，并在多种基准测试中表现出鲁棒性。

📝 摘要（中文）

大型推理模型(LRM)通过生成扩展的思维链(CoT)在复杂任务上取得了显著进展。然而，它们不受控制的输出长度给实际部署带来了重大挑战，因为实际应用中token数量、延迟或计算的推理时间预算受到严格限制。我们提出了Elastic Reasoning，这是一种用于可扩展思维链的新颖框架，它将推理明确地分为两个阶段——思考和解决方案——并独立分配预算。在测试时，Elastic Reasoning优先考虑解决方案片段的完整性，从而显著提高在严格资源约束下的可靠性。为了训练对截断思考具有鲁棒性的模型，我们引入了一种轻量级的预算约束rollout策略，集成到GRPO中，该策略教导模型在思考过程被缩短时自适应地推理，并有效地推广到未见过的预算约束，而无需额外的训练。在数学(AIME, MATH500)和编程(LiveCodeBench, Codeforces)基准测试上的实验结果表明，Elastic Reasoning在严格的预算约束下表现出强大的鲁棒性，同时比基线方法产生显著更低的训练成本。值得注意的是，即使在无约束的环境中，我们的方法也能产生更简洁和高效的推理。

🔬 方法详解

问题定义：论文旨在解决大型推理模型（LRMs）在实际部署中面临的推理资源约束问题。现有的思维链（CoT）方法虽然在复杂任务上表现出色，但其推理链长度不可控，导致在token数量、延迟或计算资源受限的情况下难以应用。现有的方法没有考虑到推理过程中的不同阶段对最终结果的影响不同，因此无法有效地分配资源。

核心思路：Elastic Reasoning的核心思路是将推理过程显式地分解为“思考”和“解决方案”两个阶段，并为每个阶段独立分配预算。这种解耦允许模型在资源紧张时优先保证“解决方案”阶段的完整性，从而提高整体推理的可靠性。通过这种方式，模型可以根据可用的资源自适应地调整推理策略，实现更高效的推理。

技术框架：Elastic Reasoning框架包含两个主要阶段：思考阶段和解决方案阶段。在思考阶段，模型生成一系列中间推理步骤，用于理解问题和推导解决方案。在解决方案阶段，模型利用思考阶段的输出，生成最终的答案。这两个阶段的预算可以独立控制，允许在资源有限的情况下优先保证解决方案的质量。训练过程中，采用了基于GRPO的预算约束rollout策略，鼓励模型在思考过程被截断时也能生成有效的解决方案。

关键创新：Elastic Reasoning的关键创新在于将推理过程解耦为“思考”和“解决方案”两个阶段，并独立分配预算。这种解耦使得模型能够根据资源约束自适应地调整推理策略，从而在资源有限的情况下提高推理的可靠性。此外，预算约束rollout策略也是一个重要的创新，它允许模型在训练过程中学习如何在思考过程被截断时进行有效推理。

关键设计：Elastic Reasoning使用GRPO（未知）作为基础训练框架，并在此基础上引入了预算约束rollout策略。该策略通过模拟在不同预算约束下截断思考过程，来训练模型的鲁棒性。具体的损失函数设计和网络结构细节在论文中可能有所描述，但摘要中未明确提及。关键参数设置可能包括思考阶段和解决方案阶段的预算分配比例，以及rollout策略中的截断概率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Elastic Reasoning在数学（AIME, MATH500）和编程（LiveCodeBench, Codeforces）基准测试中表现出强大的鲁棒性，尤其是在严格的预算约束下。与基线方法相比，Elastic Reasoning在保证性能的同时，显著降低了训练成本。此外，即使在无约束的环境中，Elastic Reasoning也能产生更简洁和高效的推理。

🎯 应用场景

Elastic Reasoning具有广泛的应用前景，尤其是在资源受限的场景下，例如移动设备、边缘计算和低功耗设备。该方法可以应用于各种需要复杂推理的任务，例如数学问题求解、代码生成和自然语言理解。通过提高推理效率和可靠性，Elastic Reasoning可以促进大型语言模型在实际应用中的部署。

📄 摘要（原文）

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritizes the completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Our code has been made available at https://github.com/SalesforceAIResearch/Elastic-Reasoning.