What Does Layer-Importance Reveal About Transformers and State-Space Models?

📄 arXiv: 2609.16537v1 📥 PDF

作者: Istabrak Abbes, Nizar Islah, Irina Rish, Sarath Chandar

分类: cs.LG, cs.AI

发布日期: 2026-09-15

💡 一句话要点

通过层重要性分析揭示变换器与状态空间模型的差异

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层重要性 变换器 状态空间模型 微调 适应性 深度学习 序列模型

📋 核心要点

  1. 现有的变换器和状态空间模型在层重要性分析上的理解尚不充分，导致对模型的压缩和微调策略缺乏有效指导。
  2. 本文提出通过层的重要性分析，区分必要性和可塑性，以更好地理解变换器与SSMs的特性及其在微调中的表现。
  3. 实验结果表明，在变换器中，必要性和可塑性在深度上呈现反向对齐，而在SSMs中则指向重叠区域，影响下游任务的适应性。

📝 摘要（中文）

变换器和状态空间模型（SSMs）是序列模型的两大主流家族，本文探讨了变换器的分析知识在SSMs中的迁移能力。通过层重要性分析，本文将其分解为必要性和可塑性两个概念，前者衡量模型对层贡献的依赖程度，后者则反映模型在微调过程中吸收新信息的能力。研究发现，两者在变换器和Mamba风格的SSMs中表现出根本不同的行为，且这种差异能够预测下游适应行为。

🔬 方法详解

问题定义：本文旨在解决变换器与状态空间模型在层重要性分析上的迁移性问题，现有方法未能有效揭示两者在微调和适应性上的差异。

核心思路：通过将层重要性分解为必要性和可塑性，分析模型对层的依赖程度及其在微调时的信息吸收能力，从而揭示两种模型的本质差异。

技术框架：研究采用了对比实验的方法，评估不同参数规模的变换器和Mamba风格的SSMs，分析其在层重要性上的表现。主要模块包括模型训练、层重要性计算和适应性评估。

关键创新：本文的创新在于首次系统性地将层重要性分为必要性和可塑性，并揭示了两种模型在这些维度上的反向对齐与重叠特性。

关键设计：在实验中，采用了特定的损失函数来量化层的重要性，并通过调整微调策略来观察必要性与可塑性的影响，确保了实验的严谨性与可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在评估的变换器中，集中更新在最具可塑性的层上会导致灾难性遗忘，而在Mamba风格的SSMs中，这种层依赖效应则消失。具体而言，变换器的必要性与可塑性在深度上反向对齐，而SSMs则表现出重叠区域，揭示了两者在适应性上的根本差异。

🎯 应用场景

该研究为序列模型的压缩、微调和可解释性提供了新的视角，具有广泛的应用潜力，尤其在自然语言处理和时间序列预测等领域。通过优化模型结构和微调策略，可以提升模型的性能和适应能力，推动相关技术的发展。

📄 摘要（原文）

Transformers and state-space models (SSMs) are the two dominant families of sequence models, and a central open question is how far the analytical knowledge built for transformers transfers to SSMs. We address this through the lens of layer importance which underpins compression, selective fine-tuning, and interpretability across both families. We decompose layer importance into two distinct notions. \emph{Necessity} captures how much the pretrained model depends on a layer's existing contribution, measured by the loss increase from bypassing it. \emph{Plasticity} captures where the model absorbs new information during fine-tuning, measured by the magnitude of task-specific weight updates. Our analysis reveals that the two families behave fundamentally differently: in every evaluated residual transformer up to $14$B parameters, Necessity and Plasticity anti-align across depth, whereas in the evaluated Mamba-style SSMs they point to overlapping regions. The sign of this alignment also predicts downstream adaptation behavior. In the evaluated transformers, concentrating updates in the most plastic layers increases catastrophic forgetting, while this tier-dependent effect disappears in the evaluated Mamba-style SSMs.