Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks

📄 arXiv: 2602.22719v1 📥 PDF

作者: Vamshi Sunku Mohan, Kaustubh Gupta, Aneesha Das, Chandan Singh

分类: cs.LG

发布日期: 2026-02-26

💡 一句话要点

通过激活子空间瓶颈解释和引导状态空间模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 状态空间模型 可解释性 机械可解释性 Mamba 激活子空间 模型引导 长上下文建模

📋 核心要点

  1. Transformer的Attention机制复杂度高，SSM作为替代方案，其可解释性和可控性不足。
  2. 通过机械可解释性方法，识别Mamba模型中的激活子空间瓶颈，并进行干预。
  3. 通过简单的激活缩放干预，在多个SSM和基准测试中平均提升性能8.27%。

📝 摘要（中文）

状态空间模型(SSM)已成为构建强大语言模型的有效策略，避免了Transformer中计算attention的二次复杂度。尽管SSM具有潜力，但现代SSM的可解释性和可引导性仍相对未被充分探索。本文利用机械可解释性工具，通过识别Mamba系列SSM模型中的激活子空间瓶颈，朝着这个方向迈出了重要一步。然后，本文引入了一种测试时引导干预，该干预仅将已识别瓶颈的激活乘以一个标量。在5个SSM和6个不同的基准测试中，这种干预平均提高了8.27%的性能，而无需任何特定于任务的调整。最后，本文通过修改已识别的瓶颈，使其产生一种名为Stable-Mamba的架构，从而验证了已识别的瓶颈确实阻碍了性能，当从头开始重新训练时，Stable-Mamba实现了长上下文性能的提升。

🔬 方法详解

问题定义：现有状态空间模型（SSM），特别是Mamba系列，在语言建模任务中表现出色，但其内部运作机制缺乏透明度。现有方法难以理解模型内部状态的表示，以及如何有效地引导模型的行为。因此，如何提升SSM的可解释性和可控性是一个关键问题。

核心思路：该论文的核心思路是识别SSM中的“激活子空间瓶颈”，即模型中对性能至关重要的特定激活区域。通过分析这些瓶颈，可以理解模型如何处理信息，并通过干预这些瓶颈来引导模型的行为。这种方法借鉴了机械可解释性的思想，旨在揭示模型内部的因果关系。

技术框架：该研究主要包含以下几个阶段：1) 使用机械可解释性工具分析Mamba模型，识别激活子空间瓶颈。2) 设计测试时引导干预，通过缩放瓶颈激活来影响模型输出。3) 在多个SSM模型和基准测试上评估干预效果。4) 修改瓶颈结构，提出Stable-Mamba架构，并进行重训练验证。

关键创新：该论文的关键创新在于：1) 首次将机械可解释性方法应用于SSM，特别是Mamba模型，揭示了其内部的激活子空间瓶颈。2) 提出了一种简单有效的测试时引导干预方法，通过缩放瓶颈激活来提升模型性能，无需任务特定调整。3) 通过修改瓶颈结构，提出了Stable-Mamba架构，验证了瓶颈对模型性能的影响。

关键设计：该研究的关键设计包括：1) 使用特定的机械可解释性技术（具体技术未知）来识别激活子空间瓶颈。2) 设计简单的标量乘法干预，直接作用于瓶颈激活。3) 在多个数据集和模型上进行广泛的实验验证，确保结果的泛化性。4) Stable-Mamba架构的具体修改方式（未知），以及重训练的超参数设置（未知）。

📊 实验亮点

通过在Mamba模型中识别激活子空间瓶颈，并进行简单的激活缩放干预，该研究在5个SSM和6个不同的基准测试中平均提高了8.27%的性能，且无需任何特定于任务的调整。此外，通过修改瓶颈结构提出的Stable-Mamba架构，在从头开始重新训练时，实现了长上下文性能的提升。

🎯 应用场景

该研究成果可应用于提升语言模型的可解释性和可控性，例如，在文本生成任务中，可以通过干预激活子空间瓶颈来控制生成文本的风格、主题或情感。此外，该方法还可以用于诊断和修复模型中的潜在问题，例如，识别导致模型产生偏见或错误输出的瓶颈。

📄 摘要（原文）

State-space models (SSMs) have emerged as an efficient strategy for building powerful language models, avoiding the quadratic complexity of computing attention in transformers. Despite their promise, the interpretability and steerability of modern SSMs remain relatively underexplored. We take a major step in this direction by identifying activation subspace bottlenecks in the Mamba family of SSM models using tools from mechanistic interpretability. We then introduce a test-time steering intervention that simply multiplies the activations of the identified bottlenecks by a scalar. Across 5 SSMs and 6 diverse benchmarks, this intervention improves performance by an average of 8.27%, without requiring any task-specific tuning. Finally, we validate that the identified bottlenecks are indeed hindering performance by modifying them to yield an architecture we call Stable-Mamba, which achieves long-context performance gains when retrained from scratch.