Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models

📄 arXiv: 2505.15634v4 📥 PDF

作者: Zihao Li, Xu Wang, Yuzhe Yang, Ziyu Yao, Haoyi Xiong, Mengnan Du

分类: cs.CL, cs.LG

发布日期: 2025-05-21 (更新: 2025-07-12)

💡 一句话要点

提出基于特征提取和引导的CoT推理增强方法，无需外部数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 思维链 稀疏自编码器 特征提取 模型引导

📋 核心要点

  1. 现有方法依赖长CoT数据和微调来提升LLM推理能力，成本高昂且数据获取困难。
  2. 该论文提出一种基于特征提取和引导的CoT推理增强方法，无需外部数据集，降低了成本。
  3. 实验结果表明，基于SAE和无SAE的引导算法均能显著提升LLM的推理能力。

📝 摘要（中文）

大型语言模型(LLMs)展现了使用思维链(CoT)技术解决推理和数学问题的能力。扩展CoT长度，如DeepSeek-R1模型所示，显著增强了复杂问题的推理能力，但需要昂贵且高质量的长CoT数据和微调。受DeepSeek-R1的深度思考范式的启发，本文利用一种引导技术来增强LLM的推理能力，而无需外部数据集。我们的方法首先采用稀疏自编码器(SAEs)从原始CoT中提取可解释的特征。然后，这些特征用于在生成过程中引导LLM的内部状态。考虑到许多LLM没有相应的预训练SAE，我们进一步引入了一种新颖的无SAE引导算法，该算法直接从LLM的残差激活中计算引导方向，从而避免了对显式SAE的需求。实验结果表明，我们的基于SAE和后续的无SAE引导算法都显著增强了LLM的推理能力。

🔬 方法详解

问题定义：现有的大型语言模型，虽然可以通过扩展CoT的长度来提升推理能力，但是这种方法依赖于大量高质量的长CoT数据，并且需要进行耗时的微调。这使得提升LLM的推理能力变得非常昂贵和困难。因此，如何在不依赖外部数据集和微调的情况下，提升LLM的推理能力是一个重要的研究问题。

核心思路：该论文的核心思路是借鉴DeepSeek-R1的深度思考范式，通过引导LLM的内部状态来增强其推理能力。具体来说，首先从原始的CoT数据中提取可解释的特征，然后利用这些特征来引导LLM的生成过程，使其能够更好地进行推理。这种方法的关键在于如何有效地提取和利用这些特征。

技术框架：该论文提出了两种引导算法：基于SAE的引导算法和无SAE的引导算法。基于SAE的引导算法首先使用稀疏自编码器(SAEs)从原始CoT中提取可解释的特征，然后将这些特征用于引导LLM的内部状态。无SAE的引导算法直接从LLM的残差激活中计算引导方向，从而避免了对显式SAE的需求。两种算法都旨在通过引导LLM的内部状态来增强其推理能力。

关键创新：该论文的关键创新在于提出了无SAE的引导算法。传统的引导方法通常需要预训练的SAE来提取特征，这限制了其应用范围。该论文提出的无SAE算法可以直接从LLM的残差激活中计算引导方向，从而避免了对SAE的需求，使其能够更广泛地应用于各种LLM。

关键设计：对于基于SAE的引导算法，关键在于SAE的训练和特征的选择。对于无SAE的引导算法，关键在于如何从残差激活中有效地计算引导方向。论文中可能涉及残差激活的归一化、加权等处理，以及引导强度的控制参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，无论是基于SAE的引导算法还是无SAE的引导算法，都能够显著提升LLM的推理能力。具体的性能数据和提升幅度需要在论文中查找，但摘要明确指出两种算法都取得了显著的成果。这表明该论文提出的方法是有效的，并且具有一定的实用价值。

🎯 应用场景

该研究成果可广泛应用于需要复杂推理能力的自然语言处理任务中，例如数学问题求解、逻辑推理、知识图谱推理等。通过提升LLM的推理能力，可以提高这些任务的准确性和效率，从而在教育、金融、医疗等领域发挥重要作用。未来，该方法有望进一步扩展到其他类型的语言模型和推理任务中。

📄 摘要（原文）

Large Language Models (LLMs) demonstrate the ability to solve reasoning and mathematical problems using the Chain-of-Thought (CoT) technique. Expanding CoT length, as seen in models such as DeepSeek-R1, significantly enhances this reasoning for complex problems, but requires costly and high-quality long CoT data and fine-tuning. This work, inspired by the deep thinking paradigm of DeepSeek-R1, utilizes a steering technique to enhance the reasoning ability of an LLM without external datasets. Our method first employs Sparse Autoencoders (SAEs) to extract interpretable features from vanilla CoT. These features are then used to steer the LLM's internal states during generation. Recognizing that many LLMs do not have corresponding pre-trained SAEs, we further introduce a novel SAE-free steering algorithm, which directly computes steering directions from the residual activations of an LLM, obviating the need for an explicit SAE. Experimental results demonstrate that both our SAE-based and subsequent SAE-free steering algorithms significantly enhance the reasoning capabilities of LLMs.