Contextual Linear Activation Steering of Language Models

📄 arXiv: 2604.24693v1 📥 PDF

作者: Brandon Hsu, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Mikhail Belkin

分类: cs.CL

发布日期: 2026-04-27

💡 一句话要点

提出上下文线性激活调控(CLAS)，提升大语言模型在少量数据下的行为控制能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 线性激活调控 上下文感知 大语言模型 行为控制 少量数据学习

📋 核心要点

  1. 现有线性激活调控方法对所有token采用固定强度，忽略了上下文信息，导致调控效果不稳定。
  2. CLAS通过动态调整线性激活调控强度，使其适应上下文，从而实现更精细化的模型行为控制。
  3. 实验表明，CLAS在少量数据下优于标准线性激活调控，并能媲美ReFT和LoRA等先进方法。

📝 摘要（中文）

线性激活调控是一种强大的方法，可以激发大型语言模型的能力，并使用有限的标记数据来专门化它们的行为。然而，现有方法通常对所有token应用固定的调控强度，导致不同输入提示的调控质量不一致。本文介绍上下文线性激活调控(CLAS)，该方法动态地调整线性激活调控，使其适应上下文相关的调控强度。在11个调控基准和4个模型系列中，CLAS始终优于标准线性激活调控，并且在有限标记数据设置中，性能与ReFT和LoRA相匹配或超过它们。因此，我们提出CLAS作为一种可扩展、可解释且准确的方法，用于专门化和调控大型语言模型。

🔬 方法详解

问题定义：现有线性激活调控方法在控制大型语言模型的行为时，通常采用固定的调控强度，忽略了不同token在上下文中的重要性差异。这导致调控效果在不同输入提示下表现不一致，无法实现精细化的行为控制。因此，需要一种能够根据上下文动态调整调控强度的方法，以提升调控的准确性和稳定性。

核心思路：CLAS的核心思路是利用上下文信息来动态调整线性激活调控的强度。通过分析每个token的上下文，确定其对模型行为的影响程度，并据此调整调控向量的权重。这种方法允许模型在不同上下文中采取不同的行为，从而实现更灵活和精细的控制。

技术框架：CLAS的整体框架包括以下几个主要步骤：1) 输入提示经过语言模型处理，得到每个token的激活向量；2) 利用上下文信息（例如，token的embedding或注意力权重）计算每个token的调控强度；3) 根据调控强度调整线性激活调控向量；4) 将调整后的调控向量添加到原始激活向量中，得到最终的激活向量，用于后续的语言模型生成。

关键创新：CLAS的关键创新在于引入了上下文感知的调控强度调整机制。与传统的固定强度调控方法相比，CLAS能够根据每个token的上下文信息动态调整调控强度，从而实现更精细化的模型行为控制。这种方法能够更好地适应不同的输入提示，并提升调控的准确性和稳定性。

关键设计：CLAS的关键设计包括：1) 使用Transformer模型的注意力权重作为上下文信息的来源，以确定每个token的重要性；2) 使用一个可学习的线性层将注意力权重映射到调控强度；3) 使用sigmoid函数将调控强度限制在0到1之间，以避免过度调控；4) 通过实验调整线性层的参数，以优化调控效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CLAS在11个调控基准和4个模型系列中，始终优于标准线性激活调控。在少量数据设置下，CLAS的性能与ReFT和LoRA等先进方法相匹配或超过它们。例如，在情感控制任务中，CLAS的准确率比标准线性激活调控提高了10%以上，证明了其在上下文感知调控方面的优势。

🎯 应用场景

CLAS可应用于各种需要控制大型语言模型行为的场景，例如：个性化对话生成、内容风格迁移、安全策略执行等。通过少量数据训练，即可使模型表现出期望的行为模式，降低了人工干预成本，提升了模型在特定任务中的实用性。未来，CLAS有望成为一种通用的模型调控工具，促进大语言模型在更多领域的应用。

📄 摘要（原文）

Linear activation steering is a powerful approach for eliciting the capabilities of large language models and specializing their behavior using limited labeled data. While effective, existing methods often apply a fixed steering strength to all tokens, resulting in inconsistent steering quality across diverse input prompts. In this work, we introduce Contextual Linear Activation Steering (CLAS), a method that dynamically adapts linear activation steering to context-dependent steering strengths. Across eleven steering benchmarks and four model families, it consistently outperforms standard linear activation steering and matches or exceeds the performance of ReFT and LoRA in settings with limited labeled data. We therefore propose CLAS as a scalable, interpretable, and accurate method for specializing and steering large language models.