When Can LLM Reasoning Reliably Reuse Intermediate Results?

📄 arXiv: 2610.27662v1 📥 PDF

作者: Deyuan Liu, Zecheng Wang, Xuanyi Liu, Jungang Li, Yihao Hu, Mingjie Tang, Bryan Dai, Jie Fu

分类: cs.AI

发布日期: 2026-10-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出中间结果重用策略以提高大语言模型推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理效率 中间结果重用 局部重试 自然语言处理 智能助手

📋 核心要点

  1. 现有方法在处理多子问题任务时，往往需要从头开始，每次尝试都可能导致重复计算，效率低下。
  2. 论文提出了一种重用中间结果的策略，旨在减少重复工作并提高推理的成功率，尤其是在局部重试的场景中。
  3. 实验结果表明，保留第一子问题的答案和推理过程显著提高了第二子问题的成功率，展示了中间结果重用的有效性。

📝 摘要（中文）

本研究探讨了在大语言模型（LLM）推理中，何时可以可靠地重用中间结果。通过对多子问题任务的分析，论文指出保留中间结果可以避免重复正确的工作，但错误的中间结果可能会影响后续尝试的成功率。研究提供了在局部重试中正确完成的条件，并界定了平均尝试次数的上限。此外，实验结果显示，在不同推理模型中，保留第一子问题的上下文信息显著提高了第二子问题的成功率，表明中间结果的重用在推理任务中具有重要价值。

🔬 方法详解

问题定义：本论文旨在解决大语言模型在处理多子问题任务时的效率低下问题，现有方法在每次尝试中都需重新计算，导致资源浪费。

核心思路：提出了一种中间结果重用的策略，通过保留先前计算的结果，减少重复工作，提升推理效率和成功率。

技术框架：整体框架包括多个阶段：首先进行初步推理，若未成功则进行局部重试，重用中间结果以提高后续尝试的成功概率。

关键创新：论文的创新在于提供了中间结果重用的条件和局部重试的有效性分析，明确了在何种情况下重用是可靠的，填补了现有研究的空白。

关键设计：在实验中，设置了不同的重试预算和检查成本，分析了这些因素对总计算量的影响，确保了方法的实用性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在四个DeepSeek模型中，第二子问题的成功率在未使用第一子问题上下文时为36.2%，而使用答案时提高至57.2%，使用推理和答案时进一步提升至58.3%。这些数据表明，中间结果的重用显著改善了推理性能。

🎯 应用场景

该研究的成果可广泛应用于需要高效推理的领域，如自然语言处理、自动化决策系统和智能助手等。通过提高推理效率，能够显著提升系统的响应速度和用户体验，具有重要的实际价值和潜在的商业应用前景。

📄 摘要（原文）

Sampling complete solutions gives large language models more chances to solve a problem, but each attempt starts again. For tasks with several subproblems, all required answers must be correct in the same attempt. Retaining intermediate results can avoid repeating correct work, but errors in those results may affect later attempts. We study when this reuse is reliable and how much computation it requires. For local retries that stop when no candidate passes within the retry budget, we give conditions for correct completion and bound the average number of attempts. We also show how checking cost and the chance of passing a check affect total computation. Experiments across eight reasoning models examine composite mathematics and arithmetic. Across four DeepSeek models, average success on the second subproblem is 36.2 percent without first-subproblem context, 57.2 percent with its answer, and 58.3 percent with its reasoning and answer. These scores measure second-subproblem coverage and include continuations made when selection fails. Arithmetic experiments show that similar first-attempt accuracies can lead to very different coverage after repeated attempts. Code is available at https://github.com/SempraETY/Intermediate-State-Reuse.