MSRS: Adaptive Multi-Subspace Representation Steering for Attribute Alignment in Large Language Models

📄 arXiv: 2508.10599v3 📥 PDF

作者: Xinyan Jiang, Lin Zhang, Jiayi Zhang, Qingsong Yang, Guimin Hu, Di Wang, Lijie Hu

分类: cs.AI

发布日期: 2025-08-14 (更新: 2025-11-21)

💡 一句话要点

提出MSRS，通过多子空间表示引导实现大语言模型中属性对齐，减少属性间的干扰。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 激活引导 多属性控制 子空间表示 属性对齐

📋 核心要点

  1. 现有激活引导方法难以同时控制多个属性，容易产生属性间的干扰和性能权衡。
  2. MSRS通过为每个属性分配正交子空间，并结合共享子空间，实现属性间的解耦和精确控制。
  3. 实验表明，MSRS能有效减少属性冲突，在多个属性上优于现有方法，并具备良好的泛化能力。

📝 摘要（中文）

激活引导是一种通过直接操纵大语言模型的内部激活来控制其行为的有前景的方法。然而，现有方法在联合引导多个属性时常常面临困难，导致干扰和不良的权衡。为了解决这个问题，我们提出了多子空间表示引导（MSRS），这是一种通过子空间表示微调实现有效多属性引导的新框架。MSRS通过为每个属性分配正交子空间来减少属性间的干扰，从而隔离它们在模型表示空间内的影响。MSRS还结合了一种混合子空间组合策略：它将特定于属性的子空间与共享子空间相结合，分别用于独特的引导方向和通用的引导方向。动态权重函数学习有效地整合这些组件，以实现精确控制。在推理过程中，MSRS引入了一种token级别的引导机制，该机制动态地识别和干预语义上最相关的token，从而实现细粒度的行为调节。实验结果表明，MSRS显著减少了属性冲突，在各种属性上超越了现有方法，并有效地推广到不同的下游任务。

🔬 方法详解

问题定义：现有的大语言模型激活引导方法在同时控制多个属性时，容易产生属性之间的干扰，导致性能下降或出现不期望的行为。这是因为不同属性的引导方向可能存在重叠，导致模型难以区分和独立地处理它们。现有方法缺乏有效的机制来解耦不同属性的影响，从而限制了多属性引导的性能。

核心思路：MSRS的核心思路是将模型的表示空间划分为多个正交的子空间，每个子空间对应一个特定的属性。通过这种方式，不同属性的引导方向被限制在各自的子空间内，从而减少了属性之间的干扰。此外，MSRS还引入了一个共享子空间，用于表示所有属性共有的引导方向，从而提高了引导的效率。

技术框架：MSRS的整体框架包括三个主要组成部分：属性特定子空间、共享子空间和动态权重函数。首先，为每个属性学习一个独立的子空间，这些子空间彼此正交。其次，学习一个共享子空间，用于表示所有属性共有的引导方向。最后，使用一个动态权重函数来整合属性特定子空间和共享子空间，从而实现对每个token的精细化控制。在推理阶段，MSRS会动态地识别和干预语义上最相关的token，从而实现更精确的行为调节。

关键创新：MSRS的关键创新在于其多子空间表示方法，它通过将表示空间划分为多个正交的子空间，有效地解耦了不同属性的影响。与现有方法相比，MSRS能够更好地处理多属性引导问题，减少属性之间的干扰，并提高引导的性能。此外，MSRS的动态权重函数和token级别的引导机制也进一步提高了引导的精度和灵活性。

关键设计：MSRS的关键设计包括：1) 使用正交化约束来保证属性特定子空间之间的独立性；2) 使用混合子空间组合策略，将属性特定子空间和共享子空间相结合，以实现更全面的引导；3) 使用动态权重函数来根据token的语义信息调整不同子空间的权重；4) 使用token级别的引导机制，只干预语义上最相关的token，从而避免对模型造成不必要的干扰。具体的损失函数包括用于训练子空间的重构损失、用于保证子空间正交性的正交损失以及用于优化动态权重函数的对比损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MSRS在多属性引导任务中显著优于现有方法。例如，在控制情感和主题等多个属性时，MSRS能够显著减少属性之间的冲突，并提高生成文本的质量。具体而言，MSRS在多个指标上取得了超过10%的提升，证明了其有效性和优越性。此外，实验还表明，MSRS具有良好的泛化能力，能够有效地应用于不同的下游任务。

🎯 应用场景

MSRS可应用于需要对大语言模型进行精细化控制的各种场景，例如：内容生成、对话系统、代码生成等。通过引导模型生成具有特定属性的文本，可以提高生成内容的质量和多样性。此外，MSRS还可以用于缓解大语言模型中的偏见和有害内容，从而提高模型的安全性和可靠性。未来，MSRS有望成为一种通用的模型行为控制工具，应用于更广泛的领域。

📄 摘要（原文）

Activation steering offers a promising approach to controlling the behavior of Large Language Models by directly manipulating their internal activations. However, most existing methods struggle to jointly steer multiple attributes, often resulting in interference and undesirable trade-offs. To address this challenge, we propose Multi-Subspace Representation Steering (MSRS), a novel framework for effective multi-attribute steering via subspace representation fine-tuning. MSRS reduces inter-attribute interference by allocating orthogonal subspaces to each attribute, isolating their influence within the model's representation space. MSRS also incorporates a hybrid subspace composition strategy: it combines attribute-specific subspaces for unique steering directions with a shared subspace for common steering directions. A dynamic weighting function learns to efficiently integrate these components for precise control. During inference, MSRS introduces a token-level steering mechanism that dynamically identifies and intervenes on the most semantically relevant tokens, enabling fine-grained behavioral modulation. Experimental results show that MSRS significantly reduces attribute conflicts, surpasses existing methods across a range of attributes, and generalizes effectively to diverse downstream tasks.