Accelerating Large Language Model Reasoning via Speculative Search

📄 arXiv: 2505.02865v2 📥 PDF

作者: Zhihai Wang, Jie Wang, Jilai Pan, Xilin Xia, Huiling Zhen, Mingxuan Yuan, Jianye Hao, Feng Wu

分类: cs.CL, cs.AI

发布日期: 2025-05-03 (更新: 2025-05-24)

备注: Accepted by ICML2025

💡 一句话要点

提出SpecSearch，通过推测搜索加速大语言模型推理过程。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理加速 推测搜索 树搜索 模型优化

📋 核心要点

  1. 现有基于树搜索的LLM推理方法，因需生成大量中间推理步骤，导致推理延迟过高。
  2. SpecSearch框架利用小模型辅助大模型生成高质量推理步骤，并引入质量保持拒绝机制。
  3. 实验表明，SpecSearch在Qwen和Llama模型上实现了高达2.12倍的加速，且推理质量与大模型相当。

📝 摘要（中文）

基于树搜索的推理方法通过探索多个中间推理步骤（即“思考”）显著增强了大语言模型（LLM）的推理能力。然而，这些方法由于必须生成大量的推理“思考”，导致了巨大的推理延迟，严重限制了LLM的适用性。为了解决这个挑战，我们提出了一种新颖的推测搜索（SpecSearch）框架，通过优化“思考”的生成来显著加速LLM推理。具体来说，SpecSearch利用一个小模型与一个大模型在“思考”和token级别进行策略性协作，从而高效地生成高质量的推理“思考”。SpecSearch的主要支柱是一种新颖的质量保持拒绝机制，该机制有效地过滤掉质量低于大模型输出的“思考”。此外，我们表明SpecSearch保留了与大模型相当的推理质量。在Qwen和Llama模型上的实验表明，SpecSearch显著优于最先进的方法，在保持相当推理质量的同时，实现了高达2.12倍的加速。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）基于树搜索的推理方法中，由于需要生成大量中间推理步骤（“思考”）而导致的推理速度慢的问题。现有方法的痛点在于，为了保证推理质量，需要探索大量的推理路径，这使得计算成本和延迟显著增加，限制了LLM在实际应用中的可行性。

核心思路：论文的核心思路是利用一个小模型作为“草稿者”（drafter），快速生成多个可能的推理步骤，然后由大模型作为“验证者”（verifier）对这些步骤进行评估和筛选。通过这种推测执行的方式，可以并行探索多个推理路径，从而加速整个推理过程。关键在于设计一种有效的机制，确保被小模型接受的推理步骤的质量不低于大模型自身的输出。

技术框架：SpecSearch框架包含以下主要模块：1) 小模型（草稿者）：负责快速生成多个候选的推理“思考”。2) 大模型（验证者）：负责评估小模型生成的“思考”的质量，并决定是否接受。3) 质量保持拒绝机制：核心机制，用于过滤掉质量低于大模型自身输出的“思考”，保证推理质量。整体流程是：小模型生成多个“思考”，大模型对这些“思考”进行评估，如果质量足够高则接受，否则拒绝，并由大模型重新生成该步骤。

关键创新：SpecSearch最重要的技术创新点在于其质量保持拒绝机制。该机制能够有效地平衡推理速度和推理质量，确保在加速推理的同时，不会显著降低LLM的推理性能。与传统的模型蒸馏或知识迁移方法不同，SpecSearch不是直接训练小模型模仿大模型的行为，而是让小模型作为辅助工具，通过推测执行的方式加速大模型的推理过程。

关键设计：论文的关键设计包括：1) 如何定义和衡量“思考”的质量，以便大模型能够有效地进行评估。2) 如何设计小模型的架构和训练目标，使其能够快速生成多样化的候选“思考”。3) 如何调整小模型和大模型之间的协作策略，以最大化加速效果，同时保证推理质量。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述，但此处未给出具体数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpecSearch在Qwen和Llama模型上均取得了显著的加速效果。具体来说，SpecSearch在保持与大模型相当的推理质量的前提下，实现了高达2.12倍的推理速度提升。与现有的最先进方法相比，SpecSearch在加速效果和推理质量之间取得了更好的平衡。

🎯 应用场景

SpecSearch具有广泛的应用前景，可以应用于需要高效率和高质量推理的各种场景，例如：智能客服、自动问答、代码生成、科学研究等。通过加速LLM的推理过程，可以降低计算成本，提高响应速度，使得LLM能够更好地服务于实际应用，并推动人工智能技术的发展。

📄 摘要（原文）

Tree-search-based reasoning methods have significantly enhanced the reasoning capability of large language models (LLMs) by facilitating the exploration of multiple intermediate reasoning steps, i.e., thoughts. However, these methods suffer from substantial inference latency, as they have to generate numerous reasoning thoughts, severely limiting LLM applicability. To address this challenge, we propose a novel Speculative Search (SpecSearch) framework that significantly accelerates LLM reasoning by optimizing thought generation. Specifically, SpecSearch utilizes a small model to strategically collaborate with a large model at both thought and token levels, efficiently generating high-quality reasoning thoughts. The major pillar of SpecSearch is a novel quality-preserving rejection mechanism, which effectively filters out thoughts whose quality falls below that of the large model's outputs. Moreover, we show that SpecSearch preserves comparable reasoning quality to the large model. Experiments on both the Qwen and Llama models demonstrate that SpecSearch significantly outperforms state-of-the-art approaches, achieving up to 2.12$\times$ speedup with comparable reasoning quality.