Reasoning Scaffolding: Distilling the Flow of Thought from LLMs

📄 arXiv: 2509.23619v2 📥 PDF

作者: Xiangyu Wen, Junhua Huang, Zeju Li, Min Li, Jianyuan Zhong, Zhijian Xu, Mingxuan Yuan, Yongxiang Huang, Qiang Xu

分类: cs.AI

发布日期: 2025-09-28 (更新: 2025-10-01)

💡 一句话要点

提出推理支架(Reasoning Scaffolding)框架，提升小模型推理能力和逻辑一致性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理蒸馏 知识蒸馏 大型语言模型 小型语言模型 多任务学习 语义信号 逻辑推理

📋 核心要点

  1. 现有行为克隆方法在推理蒸馏中存在不足，SLM 难以学习 LLM 的底层算法思维结构，导致逻辑鲁棒性差。
  2. 论文提出 Reasoning Scaffolding 框架，将推理过程分解为离散语义信号序列，引导学生模型学习推理流程。
  3. 实验结果表明，该方法在推理准确性和逻辑一致性方面显著优于现有蒸馏方法，提升了小模型的推理能力。

📝 摘要（中文）

从大型语言模型(LLM)中提炼推理能力的主流方法是从文本推理解释中进行行为克隆，但这种方法存在根本性局限。它教导小型语言模型(SLM)模仿表面模式，而不是潜在的算法思维结构，导致逻辑鲁棒性严重不足。我们认为，蒸馏应该直接传递这种算法结构，而不是克隆文本。我们提出了推理支架(Reasoning Scaffolding)框架，将推理重构为一个结构化的生成过程。我们的方法首先将教师模型的思维过程抽象为一系列离散的、可解释的语义信号(例如，对比、添加)，作为支架。然后，通过多任务目标训练学生模型，使其既能(1)预测下一个语义信号，预测推理流程，又能(2)生成与该信号相对应的步骤，以该信号为条件。这种多任务方案作为一个强大的正则化器，迫使学生内化连贯推理的计算模式。在一系列具有挑战性的推理基准测试中，我们的方法在准确性和逻辑一致性方面都显著优于最先进的蒸馏方法，为创建真正具有推理能力的小型模型(而不仅仅是流利的模仿者)提供了一条途径。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）推理能力强大，但模型体积庞大，难以部署。通过行为克隆将 LLM 的推理能力迁移到小型语言模型（SLM）是一种常见方法。然而，简单地模仿 LLM 的文本推理过程，SLM 只能学习到表面的模式，缺乏真正的逻辑推理能力，导致在复杂推理任务中表现不佳，逻辑一致性较差。

核心思路：论文的核心思路是将 LLM 的推理过程解构为一系列离散的、可解释的语义信号，例如“对比”、“添加”等。这些语义信号作为推理的“支架”，引导 SLM 学习推理的流程和逻辑关系。通过预测下一个语义信号和生成相应的推理步骤，SLM 可以更好地理解和内化 LLM 的推理过程，从而提高推理能力和逻辑一致性。

技术框架：Reasoning Scaffolding 框架包含两个主要阶段：1) 语义信号提取：首先，从 LLM 的推理过程中提取出一系列离散的语义信号，这些信号代表了推理步骤之间的逻辑关系。可以使用人工标注或自动方法提取这些信号。2) 多任务训练：然后，使用多任务学习方法训练 SLM。SLM 需要同时完成两个任务：预测下一个语义信号和生成与该信号对应的推理步骤。通过这种方式，SLM 可以学习到推理的流程和逻辑关系。

关键创新：该方法最重要的创新点在于将推理过程解构为离散的语义信号，并使用这些信号作为“支架”来引导 SLM 学习推理。与传统的行为克隆方法相比，该方法更加注重学习推理的底层逻辑结构，而不是简单地模仿文本。这种方法可以显著提高 SLM 的推理能力和逻辑一致性。

关键设计：在多任务训练中，使用了两个损失函数：一个用于预测下一个语义信号，另一个用于生成推理步骤。可以根据具体任务调整这两个损失函数的权重。此外，还可以使用不同的网络结构来实现 SLM，例如 Transformer 或 LSTM。语义信号的提取方式也会影响最终的性能，需要根据具体任务进行选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Reasoning Scaffolding 框架在多个推理基准测试中显著优于现有的蒸馏方法。例如，在某些任务上，该方法可以将模型的准确率提高 10% 以上，并且显著提高了模型的逻辑一致性。与直接模仿 LLM 文本输出的蒸馏方法相比，该方法能够更好地学习到 LLM 的推理能力。

🎯 应用场景

该研究成果可应用于各种需要逻辑推理的场景，例如问答系统、对话系统、智能助手等。通过将大型语言模型的推理能力迁移到小型模型，可以降低计算成本和部署难度，使得这些应用能够在资源受限的设备上运行。此外，该方法还可以用于提高模型的逻辑一致性和鲁棒性，使其在复杂和不确定环境中表现更好。

📄 摘要（原文）

The prevailing approach to distilling reasoning from Large Language Models (LLMs)-behavioral cloning from textual rationales-is fundamentally limited. It teaches Small Language Models (SLMs) to mimic surface-level patterns rather than the underlying algorithmic structure of thought, resulting in a critical lack of logical robustness. We argue that instead of cloning text, distillation should transfer this algorithmic structure directly. We introduce Reasoning Scaffolding}, a framework that reframes reasoning as a structured generation process. Our method first abstracts the teacher's thought process into a sequence of discrete, interpretable semantic signals (e.g., Contrast, Addition) that act as a scaffold. The student model is then trained via a multi-task objective to both (1)predict the next semantic signal, anticipating the reasoning flow, and (2)generate the corresponding step, conditioned on that signal. This multi-task scheme acts as a powerful regularizer, compelling the student to internalize the computational patterns of coherent reasoning. On a suite of challenging reasoning benchmarks, our method significantly outperforms state-of-the-art distillation in both accuracy and logical consistency, providing a path towards creating smaller models that are genuine reasoners, not just fluent mimics.