Guiding Reasoning in Small Language Models with LLM Assistance

📄 arXiv: 2504.09923v2 📥 PDF

作者: Yujin Kim, Euiin Yi, Minu Kim, Se-Young Yun, Taehyeon Kim

分类: cs.CL

发布日期: 2025-04-14 (更新: 2025-06-02)

备注: 20 pages, 12 figures, 9 tables

💡 一句话要点

SMART框架：利用LLM辅助小模型进行复杂推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 大型语言模型 推理能力 认知支架 数学推理 选择性指导 最优策略搜索

📋 核心要点

  1. 小型语言模型在复杂推理任务中能力不足，限制了其应用场景。
  2. SMART框架利用LLM的指导，选择性地增强SLM的推理能力，类似于认知支架。
  3. 实验表明，SMART框架显著提升了SLM在数学推理任务上的性能。

📝 摘要（中文）

小型语言模型(SLM)在需要深度、多步骤逻辑推理的任务中表现出有限的能力，这使其适用性受到质疑。本文提出了一种名为Small Reasons, Large Hints (SMART)的框架，该框架选择性地利用大型语言模型(LLM)的针对性指导来增强SLM的推理能力。受到认知支架概念的启发，SMART采用基于分数的评估来识别不确定的推理步骤，并且仅在必要时注入由LLM生成的纠正性推理。通过将结构化推理构建为最优策略搜索，我们的方法引导推理轨迹朝着正确的解决方案前进，而无需详尽的采样。在数学推理数据集上的实验表明，有针对性的外部支架显著提高了性能，为SLM和LLM的协作使用铺平了道路，以解决目前SLM无法单独解决的复杂推理任务。

🔬 方法详解

问题定义：论文旨在解决小型语言模型（SLM）在复杂、多步骤推理任务中表现不足的问题。现有的SLM在处理需要深度逻辑推理的任务时，由于模型容量和训练数据的限制，容易出现推理错误，导致最终结果不准确。现有方法要么依赖于更大的模型，要么需要大量的计算资源进行微调，成本较高。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大推理能力，为SLM提供有针对性的指导，类似于认知支架。SMART框架并非完全依赖LLM进行推理，而是仅在SLM推理过程中出现不确定性时，才引入LLM的指导，从而在保证性能的同时，降低了计算成本。这种选择性的干预策略使得SLM能够逐步学习和改进推理能力。

技术框架：SMART框架的整体流程如下：1) SLM执行推理步骤；2) 基于置信度评分评估当前推理步骤的确定性；3) 如果置信度低于阈值，则利用LLM生成指导性推理；4) 将LLM的指导注入到SLM的推理过程中；5) 重复步骤1-4，直到完成整个推理过程。该框架包含两个主要模块：SLM推理模块和LLM指导模块。SLM推理模块负责执行基本的推理步骤，而LLM指导模块则负责在SLM推理出现不确定性时提供指导。

关键创新：SMART框架的关键创新在于其选择性的LLM指导策略。与传统的完全依赖LLM或对SLM进行微调的方法不同，SMART框架仅在必要时才引入LLM的指导，从而在保证性能的同时，显著降低了计算成本。此外，SMART框架将结构化推理视为一个最优策略搜索问题，通过引导推理轨迹朝着正确的解决方案前进，避免了详尽的采样。

关键设计：SMART框架的关键设计包括：1) 基于置信度评分的推理步骤确定性评估方法，用于判断何时需要引入LLM的指导；2) LLM生成的指导性推理的注入方式，需要确保LLM的指导能够有效地影响SLM的推理过程；3) 推理轨迹的引导策略，需要确保推理过程朝着正确的解决方案前进。具体的参数设置和损失函数等技术细节在论文中可能有所描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMART框架能够显著提升SLM在数学推理数据集上的性能。具体的性能数据和对比基线在摘要中未给出，但强调了有针对性的外部支架显著提高了性能，证明了LLM辅助SLM进行复杂推理的有效性。该框架为SLM和LLM的协作使用铺平了道路。

🎯 应用场景

该研究成果可应用于需要复杂推理能力的各种场景，例如数学问题求解、代码生成、知识图谱推理等。通过利用LLM的指导，可以显著提升小型语言模型在这些任务中的性能，使其能够更好地服务于资源受限的设备和应用。未来，该方法有望推动小型语言模型在边缘计算、移动设备等领域的广泛应用。

📄 摘要（原文）

The limited reasoning capabilities of small language models (SLMs) cast doubt on their suitability for tasks demanding deep, multi-step logical deduction. This paper introduces a framework called Small Reasons, Large Hints (SMART), which selectively augments SLM reasoning with targeted guidance from large language models (LLMs). Inspired by the concept of cognitive scaffolding, SMART employs a score-based evaluation to identify uncertain reasoning steps and injects corrective LLM-generated reasoning only when necessary. By framing structured reasoning as an optimal policy search, our approach steers the reasoning trajectory toward correct solutions without exhaustive sampling. Our experiments on mathematical reasoning datasets demonstrate that targeted external scaffolding significantly improves performance, paving the way for collaborative use of both SLM and LLM to tackle complex reasoning tasks that are currently unsolvable by SLMs alone.