Prototype-Based Dynamic Steering for Large Language Models

📄 arXiv: 2510.05498v1 📥 PDF

作者: Ceyhun Efe Kayan, Li Zhang

分类: cs.CL

发布日期: 2025-10-07

💡 一句话要点

提出基于原型动态引导（PDS）方法，无需指令即可增强LLM的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理增强 动态引导 原型学习 无指令学习

📋 核心要点

  1. 现有LLM推理依赖显式指令或静态引导，缺乏自适应性和灵活性，限制了其在复杂任务中的应用。
  2. PDS通过聚类CoT和中性提示的激活差异，构建推理原型，动态生成实例特定的引导向量，增强LLM推理。
  3. 实验表明，PDS在多个基准测试中提升了LLM的推理准确性，且在抑制CoT时仍有效，表明其增强了潜在推理能力。

📝 摘要（中文）

大型语言模型（LLM）虽然能力强大，但仍然依赖于显式的推理指令或静态的、一刀切的引导方法。这留下了一个自适应、无指令推理增强的空间。我们提出了基于原型动态引导（PDS）方法，这是一种测试时方法，无需添加或更改指令即可增强大型语言模型的推理能力。我们通过聚类思维链（CoT）提示和中性提示之间的激活差异来引入“推理原型”。在推理时，输入的隐藏状态被投影到这些原型上，形成一个特定于实例的引导向量。在GSM8K、AQuA-RAT和BIG-Bench任务上的评估表明，PDS在没有微调或提示工程的情况下始终提高准确性。值得注意的是，即使在明确抑制CoT以提高成本效率时，这种增益仍然存在，表明干预加强了潜在的推理过程，而不是诱导表面的行为转变。这些结果表明，动态的、原型引导的引导是一种轻量级的替代方案，可以替代训练时方法来增强LLM推理。

🔬 方法详解

问题定义：现有的大型语言模型在进行推理时，通常依赖于显式的推理指令，例如思维链（Chain-of-Thought, CoT）提示，或者使用静态的引导方法。这些方法缺乏自适应性，无法根据不同的输入进行调整，并且需要人工设计提示，成本较高。因此，如何设计一种无需人工干预，能够自适应地增强LLM推理能力的方法是一个重要的研究问题。

核心思路：PDS的核心思路是利用CoT提示和中性提示在LLM内部激活上的差异来构建“推理原型”。这些原型代表了LLM在进行推理时不同阶段的典型状态。在推理过程中，PDS将输入的隐藏状态投影到这些原型上，根据相似度动态地生成一个引导向量，从而在不改变输入提示的情况下，引导LLM进行更有效的推理。

技术框架：PDS方法主要包含以下几个阶段：1) 原型构建：首先，使用CoT提示和中性提示处理一批训练数据，记录LLM每一层的激活值。然后，计算CoT提示和中性提示在每一层的激活差异，并使用聚类算法（如K-means）将这些差异聚类成若干个“推理原型”。2) 动态引导向量生成：在推理时，对于给定的输入，提取LLM每一层的隐藏状态。然后，计算该隐藏状态与每个推理原型的相似度（如余弦相似度），并根据相似度加权得到一个引导向量。3) 推理增强：将生成的引导向量添加到LLM的隐藏状态中，从而在不改变输入提示的情况下，引导LLM进行更有效的推理。

关键创新：PDS的关键创新在于它是一种动态的、实例特定的引导方法。与传统的静态引导方法相比，PDS能够根据不同的输入自适应地调整引导向量，从而更好地适应不同的推理需求。此外，PDS无需人工设计提示，降低了使用成本。

关键设计：PDS的关键设计包括：1) 激活差异的计算：使用CoT提示和中性提示的激活差异来表示推理过程中的关键信息。2) 聚类算法的选择：可以使用不同的聚类算法来构建推理原型，例如K-means、层次聚类等。3) 相似度度量：可以使用不同的相似度度量方法来计算隐藏状态与推理原型之间的相似度，例如余弦相似度、欧氏距离等。4) 引导向量的添加方式：可以将引导向量直接添加到隐藏状态中，也可以使用更复杂的融合方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PDS在GSM8K、AQuA-RAT和BIG-Bench等多个基准测试中都取得了显著的性能提升。例如，在GSM8K数据集上，PDS在不使用CoT提示的情况下，仍然能够达到与使用CoT提示相当甚至更高的准确率。更重要的是，即使在明确抑制CoT的情况下，PDS仍然能够带来性能提升，这表明PDS不仅仅是简单地模仿CoT的行为，而是真正地增强了LLM的潜在推理能力。

🎯 应用场景

PDS方法可以广泛应用于需要LLM进行复杂推理的场景，例如数学问题求解、常识推理、代码生成等。该方法无需微调或提示工程，可以作为一种轻量级的推理增强手段，提高LLM在各种任务中的性能。此外，PDS还可以用于分析LLM的内部推理过程，帮助研究人员更好地理解LLM的工作机制。

📄 摘要（原文）

Despite impressive breadth, LLMs still rely on explicit reasoning instructions or static, one-fits-all steering methods, leaving a gap for adaptive, instruction-free reasoning amplification. We present Prototype-Based Dynamic Steering (PDS), a test-time method that amplifies large language model (LLM) reasoning without adding or altering instructions. We introduce "reasoning prototypes" by clustering activation differences between Chain-of-Thought (CoT) and neutral prompts. At inference, an input's hidden state is projected onto these prototypes to form an instance-specific steering vector. Evaluated on GSM8K, AQuA-RAT, and BIG-Bench tasks, PDS consistently improves accuracy without fine-tuning or prompt engineering. Notably, the gains persist even when CoT is explicitly suppressed to improve cost-efficiency, indicating that the intervention strengthens latent reasoning processes rather than inducing a superficial behavioral shift. These results position dynamic, prototype-guided steering as a lightweight alternative to training-time approaches for enhancing LLM reasoning.