From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification

📄 arXiv: 2610.25700v1 📥 PDF

作者: Keqi Chen, Zekai Sun, Yuhua Wen, Tianyi Tian, Xinyang Huang, Huijun Lian, Yingming Gao, Ya Li

分类: cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出NeuroSteer以解决LLM推理时行为调整问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理时调整 稀疏自编码器 行为偏好 特征神经元 内容生成 用户体验

📋 核心要点

  1. 现有方法在推理时调整LLM行为偏好面临高成本和复杂性，难以满足动态场景需求。
  2. 本文提出NeuroSteer框架，通过稀疏自编码器实现LLM偏好的灵活、定量调整，简化了行为调整过程。
  3. 实验结果显示，NeuroSteer在情感、毒性等方面的调整效果优于对比基线，且在生成质量上存在任务和强度的权衡。

📝 摘要（中文）

推理时的行为调整对于在实际应用中部署大型语言模型（LLM）至关重要，模型需根据场景风险灵活调整行为偏好。现有的提示工程和微调方法在反复调整行为时成本较高。为此，本文提出了NeuroSteer，一个即插即用的框架，能够在推理时灵活、定量地调整LLM的偏好。NeuroSteer使用稀疏自编码器（SAE）作为控制器，通过比较正负示例的神经元激活频率，识别出与目标偏好（如礼貌和积极情感）相关的“特征神经元”。在推理过程中，选择的SAE特征的激活在潜在表示中被放大，从而引导输出分布。实验表明，NeuroSteer能够在推理时改变情感、毒性、立场和礼貌性，并在多个设置中实现比基线更高的目标导向调整分数。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）在推理时灵活调整行为偏好的问题。现有的提示工程和微调方法在反复调整时成本高且复杂，难以适应动态场景的需求。

核心思路：NeuroSteer框架通过稀疏自编码器（SAE）作为控制器，识别与目标偏好相关的特征神经元，并在推理时放大这些特征的激活，从而实现对LLM输出的引导。

技术框架：NeuroSteer的整体架构包括数据输入、特征神经元识别、特征激活放大和输出生成四个主要模块。首先，通过对正负示例的比较，识别出特征神经元；然后在推理时放大这些特征的激活，以调整输出。

关键创新：NeuroSteer的主要创新在于其使用稀疏自编码器来实现对LLM偏好的定量调整，这与传统的提示工程和微调方法有本质区别，后者往往需要额外的优化和数据。

关键设计：在设计中，NeuroSteer通过选择特定的SAE特征来实现对不同偏好的调节，用户可以根据场景或用户需求调整放大强度，确保生成内容的多样性和适应性。实验中还考虑了不同任务和强度下的生成质量权衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeuroSteer在推理时能够有效改变情感、毒性、立场和礼貌性等特征，其目标导向调整分数在多个设置中均高于对比基线，显示出显著的性能提升。具体而言，在某些任务中，NeuroSteer的调整效果提升幅度超过20%。

🎯 应用场景

NeuroSteer的研究成果具有广泛的应用潜力，尤其在需要根据上下文动态调整语言模型输出的场景中，如客服机器人、内容生成和社交媒体管理等领域。通过提供灵活的行为调整机制，NeuroSteer能够提升用户体验和模型的适应性，未来可能在更多实际应用中发挥重要作用。

📄 摘要（原文）

Inference-time steering is crucial for deploying Large Language Models (LLMs) in real-world applications, where they must flexibly adjust behavior preferences. For instance, a model should dynamically adjust its caution level based on the risk of the scenario. This requirement introduces a challenge: modulating the intensity of LLM preferences. Prompt engineering can require task-specific prompt design, while fine-tuning requires additional optimization and data. These requirements can make repeated behavioral adjustments costly. To address this, we introduce NeuroSteer, a plug-and-play framework that enables flexible, quantitative adjustment of LLM preferences at inference time. NeuroSteer employs a Sparse Autoencoder (SAE) as its controller. Comparing neuron activation frequencies between positive and negative examples isolates "feature neurons" that correspond to target preferences such as politeness and positive sentiment. During inference, the activations of selected SAE features are amplified in the latent representations to steer the output distribution. Users can adjust the strength of this steering on a per-scenario or per-user basis, granting the LLM fine-grained, quantifiable trait modulation. Our experiments show that NeuroSteer can alter sentiment, toxicity, stance, and politeness at inference time. It achieves higher target-direction steering scores than the compared baselines in several settings, with task- and strength-dependent trade-offs in generation quality.