SCOUT: Teaching Pre-trained Language Models to Enhance Reasoning via Flow Chain-of-Thought

📄 arXiv: 2505.24181v1 📥 PDF

作者: Guanghao Li, Wenhao Jiang, Mingfeng Chen, Yan Li, Hao Yu, Shuting Dong, Tao Ren, Ming Tang, Chun Yuan

分类: cs.AI

发布日期: 2025-05-30

💡 一句话要点

提出SCOUT框架，通过Flow CoT提升预训练语言模型的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练语言模型 推理能力 思维链 递归推理 知识蒸馏

📋 核心要点

  1. 现有CoT方法依赖中间推理步骤，限制了可扩展性和泛化性，递归推理缺乏迭代演进的原则性框架。
  2. 提出Flow CoT范式，将递归推理建模为潜在认知状态的渐进轨迹，每次迭代代表不同的认知阶段。
  3. SCOUT框架通过渐进式蒸馏和交叉注意力回顾模块，在无需预训练的情况下实现Flow CoT风格的推理，提升推理性能。

📝 摘要（中文）

思维链（CoT）提示通过鼓励逐步思考来提高大型语言模型（LLM）的推理性能。然而，基于CoT的方法依赖于中间推理步骤，这限制了可扩展性和泛化性。最近的研究探索了递归推理，其中LLM在迭代中重用内部层来细化潜在表示，而无需显式的CoT监督。虽然这些方法很有前景，但通常需要昂贵的预训练，并且缺乏关于推理应如何在迭代中演变的原则性框架。我们通过引入Flow CoT来解决这个问题，Flow CoT是一种推理范式，它将递归推理建模为潜在认知状态的渐进轨迹。Flow CoT将每次迭代构建为一个不同的认知阶段，从而加深跨迭代的推理，而无需依赖手动监督。为了实现这一点，我们提出了SCOUT（使用教师的逐步认知优化），这是一个轻量级的微调框架，它支持Flow CoT风格的推理，而无需预训练。SCOUT使用渐进式蒸馏来使每次迭代与适当容量的教师对齐，并使用基于交叉注意力的回顾模块，该模块集成了先前迭代的输出，同时保留了模型的原始计算流程。在八个推理基准上的实验表明，SCOUT始终提高准确性和解释质量，在微调下实现了高达1.8%的收益。定性分析进一步表明，SCOUT能够跨迭代逐步加深推理，从而改进信念形成和解释粒度。这些结果不仅验证了SCOUT的有效性，而且证明了Flow CoT作为一种可扩展的框架在增强LLM推理方面的实际可行性。

🔬 方法详解

问题定义：现有Chain-of-Thought (CoT)方法依赖于显式的中间推理步骤，这限制了其可扩展性和泛化能力。递归推理方法虽然尝试通过迭代优化隐层表示来避免显式CoT，但通常需要昂贵的预训练，并且缺乏一个明确的框架来指导推理过程在迭代中的演进。因此，如何设计一个高效且可扩展的推理框架，能够在无需大量预训练的情况下，提升LLM的推理能力，是一个亟待解决的问题。

核心思路：论文的核心思路是将递归推理过程建模为一个潜在认知状态的渐进轨迹，即Flow Chain-of-Thought (Flow CoT)。Flow CoT将每次迭代视为一个不同的认知阶段，通过逐步加深推理来提升最终结果。这种方法避免了对显式CoT的依赖，同时提供了一个更结构化的方式来指导递归推理过程。

技术框架：SCOUT框架主要包含两个关键模块：渐进式蒸馏和交叉注意力回顾模块。首先，使用渐进式蒸馏，将每次迭代与一个具有适当容量的教师模型对齐，从而引导模型学习到更有效的认知状态。其次，使用基于交叉注意力的回顾模块，将先前迭代的输出整合到当前迭代中，从而在保留模型原始计算流程的同时，利用历史信息来提升推理效果。整体流程是，模型在每次迭代中，首先通过交叉注意力回顾模块整合历史信息，然后进行推理，并通过渐进式蒸馏与教师模型对齐。

关键创新：SCOUT的关键创新在于其将递归推理建模为Flow CoT，并提出了渐进式蒸馏和交叉注意力回顾模块来实现这一范式。与现有方法相比，SCOUT无需昂贵的预训练，并且提供了一个更结构化的方式来指导递归推理过程。渐进式蒸馏确保了每次迭代都能学习到有效的认知状态，而交叉注意力回顾模块则允许模型在迭代过程中利用历史信息，从而提升推理效果。

关键设计：渐进式蒸馏的关键在于选择合适的教师模型和设计合适的损失函数。论文中使用了不同容量的教师模型，并采用KL散度作为蒸馏损失函数，以确保学生模型能够学习到教师模型的知识。交叉注意力回顾模块的关键在于设计合适的注意力机制，以有效地整合历史信息。论文中使用了标准的交叉注意力机制，并对注意力权重进行了归一化处理，以避免梯度消失或爆炸的问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SCOUT在八个推理基准上始终提高了准确性和解释质量，在微调下实现了高达1.8%的收益。定性分析表明，SCOUT能够跨迭代逐步加深推理，从而改进信念形成和解释粒度。这些结果验证了SCOUT的有效性，并证明了Flow CoT作为一种可扩展的框架在增强LLM推理方面的实际可行性。

🎯 应用场景

该研究成果可应用于各种需要复杂推理能力的场景，例如问答系统、智能客服、决策支持系统等。通过提升LLM的推理能力，可以提高这些系统的准确性和可靠性，从而更好地服务于用户。此外，该方法还可以用于教育领域，帮助学生更好地理解和解决问题。

📄 摘要（原文）

Chain of Thought (CoT) prompting improves the reasoning performance of large language models (LLMs) by encouraging step by step thinking. However, CoT-based methods depend on intermediate reasoning steps, which limits scalability and generalization. Recent work explores recursive reasoning, where LLMs reuse internal layers across iterations to refine latent representations without explicit CoT supervision. While promising, these approaches often require costly pretraining and lack a principled framework for how reasoning should evolve across iterations. We address this gap by introducing Flow Chain of Thought (Flow CoT), a reasoning paradigm that models recursive inference as a progressive trajectory of latent cognitive states. Flow CoT frames each iteration as a distinct cognitive stage deepening reasoning across iterations without relying on manual supervision. To realize this, we propose SCOUT (Stepwise Cognitive Optimization Using Teachers), a lightweight fine tuning framework that enables Flow CoT style reasoning without the need for pretraining. SCOUT uses progressive distillation to align each iteration with a teacher of appropriate capacity, and a cross attention based retrospective module that integrates outputs from previous iterations while preserving the models original computation flow. Experiments across eight reasoning benchmarks show that SCOUT consistently improves both accuracy and explanation quality, achieving up to 1.8% gains under fine tuning. Qualitative analyses further reveal that SCOUT enables progressively deeper reasoning across iterations refining both belief formation and explanation granularity. These results not only validate the effectiveness of SCOUT, but also demonstrate the practical viability of Flow CoT as a scalable framework for enhancing reasoning in LLMs.