Uncovering Latent Chain of Thought Vectors in Language Models

📄 arXiv: 2409.14026v3 📥 PDF

作者: Jason Zhang, Scott Viteri

分类: cs.CL, cs.AI

发布日期: 2024-09-21 (更新: 2025-03-20)

备注: This work was presented at the Workshop on Neural Network Weights as a New Data Modality at ICLR 2025

💡 一句话要点

通过激活空间干预，在语言模型中诱导潜在的思维链向量

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 思维链 激活空间 steering vectors 推理能力 模型干预 可解释性 提示工程

📋 核心要点

  1. 现有语言模型依赖自然语言提示进行思维链推理，效率和灵活性受限。
  2. 该论文提出通过激活空间干预，注入steering vectors来诱导模型进行CoT推理，无需自然语言提示。
  3. 实验表明，该方法在多个推理基准上达到或超过传统CoT提示的性能，证明了激活空间蕴含推理模式。

📝 摘要（中文）

本文研究了如何通过对语言模型（LM）激活空间进行有针对性的扰动来编码复杂的推理模式。我们通过将从LM激活中导出的steering vectors注入到推理时的LM中，研究这些向量是否可以在不需要自然语言提示的情况下，在LM中诱导思维链（CoT）推理。我们在Llama3 8B Instruct和Mistral 7B v0.2 Instruct上验证了这种方法，并表明与传统的CoT提示相比，激活空间干预在多个推理基准测试（包括GSM8k、MMLU、AGI Eval和ARC AI2）上实现了具有竞争力甚至更优越的性能。这些发现表明，神经网络激活可以编码推理模式，为激活空间操作提供了一种新的应用，作为调整模型行为的工具。

🔬 方法详解

问题定义：现有的大语言模型进行复杂推理时，通常依赖于Chain-of-Thought (CoT) prompting，即通过在prompt中加入推理步骤的示例来引导模型生成推理过程。这种方法依赖于精心设计的prompt，且prompt的设计和选择会显著影响模型性能。因此，如何减少对prompt的依赖，直接操控模型内部状态以实现CoT推理是一个重要问题。

核心思路：该论文的核心思路是，语言模型的激活空间中蕴含着CoT推理的潜在模式。通过在推理过程中对模型的激活空间进行有针对性的扰动，可以引导模型产生CoT推理行为，而无需依赖于自然语言prompt。这种方法类似于对模型进行“微手术”，直接影响其内部状态。

技术框架：该方法主要包含以下几个步骤：1) 使用CoT prompting训练语言模型；2) 提取模型在CoT推理过程中的激活向量，作为steering vectors；3) 在推理阶段，将这些steering vectors注入到模型的激活空间中，从而引导模型进行CoT推理。整个过程无需修改模型结构或重新训练模型。

关键创新：该论文的关键创新在于，它证明了语言模型的激活空间可以编码CoT推理模式，并提出了一种通过激活空间干预来诱导CoT推理的方法。与传统的CoT prompting相比，该方法更加直接和高效，并且可以减少对prompt的依赖。

关键设计：论文的关键设计包括：1) 如何选择合适的激活层进行干预；2) 如何提取和表示steering vectors；3) 如何将steering vectors注入到激活空间中。具体来说，论文使用了Llama3 8B Instruct和Mistral 7B v0.2 Instruct模型，并选择了特定的激活层进行干预。steering vectors通过对CoT推理过程中的激活向量进行平均得到。注入方式是将steering vectors加到推理过程中的激活向量上，并使用一个缩放因子来控制干预的强度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过激活空间干预，Llama3 8B Instruct和Mistral 7B v0.2 Instruct模型在GSM8k、MMLU、AGI Eval和ARC AI2等多个推理基准测试上取得了与传统CoT prompting相当甚至更优越的性能。例如，在某些任务上，该方法能够显著提高模型的准确率，证明了激活空间干预的有效性。

🎯 应用场景

该研究成果可应用于提升语言模型在资源受限场景下的推理能力，例如在移动设备或边缘计算环境中，减少对复杂prompt的依赖，提高推理效率。此外，该方法为理解和控制语言模型的内部行为提供了一种新的途径，有助于开发更可控、更可靠的人工智能系统。

📄 摘要（原文）

In this work, we examine how targeted perturbations in the activation space of Language Models (LMs) can encode complex reasoning patterns. We inject steering vectors, derived from LM activations, into LMs during inference time and study whether these vectors can induce Chain-of-Thought (CoT) reasoning in LMs without the need for natural language prompting. We demonstrate this approach on Llama3 8B Instruct and Mistral 7B v0.2 Instruct and show that activation-space interventions achieve competitive, if not superior, performance compared to traditional CoT prompting across multiple reasoning benchmarks, including GSM8k, MMLU, AGI Eval, and ARC AI2. These findings suggest that neural network activations can encode reasoning patterns, offering a new application of activation space manipulation as a tool for tuning model behavior.