MetaSteer: Context-Conditioned, nonlinear Steering via Attention-Projection Adaptation
作者: Mehdi Jafari, Hao Xue, Flora Salim
分类: cs.CL
发布日期: 2026-09-30
备注: Preprint. Code and pretrained model checkpoints will be released shortly
💡 一句话要点
提出MetaSteer以解决大语言模型的非线性引导问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 非线性干预 上下文依赖 注意力机制 偏好优化 文本生成 零-shot学习
📋 核心要点
- 现有的引导方法通常依赖于线性且与上下文无关的干预，导致信息瓶颈和表现不足。
- MetaSteer通过学习上下文依赖的非线性干预，优化注意力投影矩阵，克服了传统方法的局限性。
- 在多个文本生成基准和代理设置中，MetaSteer在零-shot条件下的表现超过了许多强基线，显示出其有效性。
📝 摘要（中文）
在大语言模型的引导过程中，传统方法依赖于线性且与上下文无关的干预，这一假设已被近期研究所挑战，并可能导致信息瓶颈。本文提出MetaSteer，一种通过学习上下文依赖的非线性干预来优化注意力投影矩阵的方法。MetaSteer在一个汇总的偏好语料库上进行训练，并能够零-shot转移到未见概念和分布外上下文。实验结果表明，尽管使用低秩适配器，MetaSteer能够在隐藏状态轨迹中引入结构化的上下文依赖变化，同时部分保留局部轨迹动态特征。我们在多个模型系列和规模上评估了MetaSteer，并发现其在大多数零-shot比较中与强任务特定引导基线相匹配或超越。
🔬 方法详解
问题定义：本文旨在解决大语言模型引导中的线性干预假设问题。现有方法在处理复杂行为时，往往无法有效编码多样化的上下文信息，导致性能瓶颈。
核心思路：MetaSteer的核心思想是通过学习上下文依赖的非线性干预，来优化注意力投影矩阵。这种设计使得激活效果能够根据输入上下文变化，避免了固定表示的限制。
技术框架：MetaSteer的整体架构包括偏好优化训练阶段和零-shot转移阶段。首先在汇总的偏好语料库上进行训练，然后将学习到的干预应用于未见的概念和分布外上下文。
关键创新：MetaSteer的主要创新在于其非线性干预机制和上下文依赖性，这与传统的线性干预方法形成了鲜明对比，使得模型能够更灵活地适应不同的输入情境。
关键设计：在实现上，MetaSteer使用低秩适配器来引入结构化的上下文依赖变化，同时在训练过程中保留了局部轨迹动态特征，如速度和曲率。
🖼️ 关键图片
📊 实验亮点
在实验中，MetaSteer在三个控制文本生成基准和多个代理设置中表现出色，尤其在零-shot条件下，其性能与强任务特定引导基线相匹配或超越，显示出显著的提升效果。
🎯 应用场景
MetaSteer的研究成果在多个领域具有潜在应用价值，包括自然语言处理、智能对话系统和个性化推荐等。其非线性引导机制能够提升模型在复杂任务中的表现，未来可能推动更智能的交互系统的发展。
📄 摘要（原文）
Steering large language models typically relies on linear, context-independent interventions in activation space, an assumption that recent work has challenged and that can induce an information bottleneck when a fixed representation must encode many behavioral distinctions. We introduce MetaSteer, a method that learns nonlinear interventions with context-dependent effects and applies them to attention projection matrices, producing activation effects that vary with the input context by construction and requiring no linear concept-geometry assumption. Framed as preference-based optimization, MetaSteer is trained once on a pooled preference corpus and transferred zero-shot to unseen concepts and out-of-distribution contexts. We find that, despite using low-rank adapters, MetaSteer induces structured, context-dependent changes in hidden-state trajectories while partially preserving aspects of their local trajectory dynamics, including velocity and curvature. We evaluate MetaSteer on three controlled text-generation benchmarks and three agentic settings across multiple model families and scales. MetaSteer matches or outperforms strong task-specific steering baselines on most aggregate comparisons in the zero-shot regime. Across the evaluated settings, stronger text-generation steering is associated with stronger agentic steering performance. We further discuss geometric trajectory effects, capability retention, and safety considerations raised by transferable steering.