State-offset Tuning: State-based Parameter-Efficient Fine-Tuning for State Space Models

📄 arXiv: 2503.03499v2 📥 PDF

作者: Wonjun Kang, Kevin Galim, Yuchen Zeng, Minjae Lee, Hyung Il Koo, Nam Ik Cho

分类: cs.LG

发布日期: 2025-03-05 (更新: 2025-06-09)

备注: Accepted at ACL 2025 Main

🔗 代码/项目: GITHUB

💡 一句话要点

提出State-offset Tuning，一种面向状态空间模型的高效参数微调方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 状态空间模型 参数高效微调 状态偏移 深度学习 自然语言处理

📋 核心要点

  1. 现有Prompt Tuning等方法在Transformer上表现良好，但直接应用于SSM时效果不佳，无法有效利用SSM的内部状态信息。
  2. State-offset Tuning通过直接调整SSM的状态特征，避免了对外部prompt的依赖，更贴合SSM的架构特性。
  3. 实验结果表明，State-offset Tuning在多个数据集上表现出优异的性能，验证了其在SSM参数高效微调方面的有效性。

📝 摘要（中文）

状态空间模型(SSMs)作为Transformer的有效替代方案，缓解了其二次计算成本。然而，参数高效微调(PEFT)方法在SSM上的应用在很大程度上仍未被探索。特别是，像Prompt Tuning和Prefix-Tuning这样广泛用于Transformer的基于prompt的方法在SSM上表现不佳。为了解决这个问题，我们提出基于状态的方法，作为prompt方法的更优替代方案。这种新的方法家族自然源于SSM的架构特性。基于状态的方法直接调整与状态相关的特征，而不是依赖于外部prompt。此外，我们引入了一种新的基于状态的PEFT方法：State-offset Tuning。在每个时间步，我们的方法直接影响当前步骤的状态，从而实现更有效的适应。通过跨各种数据集的广泛实验，我们证明了我们方法的有效性。代码可在https://github.com/furiosa-ai/ssm-state-tuning 获取。

🔬 方法详解

问题定义：论文旨在解决状态空间模型（SSM）的参数高效微调（PEFT）问题。现有的基于Prompt的方法，如Prompt Tuning和Prefix-Tuning，在Transformer模型上表现良好，但直接应用于SSM时效果不佳。这些方法未能充分利用SSM内部的状态信息，导致微调效率低下。

核心思路：论文的核心思路是利用SSM本身的状态特性，设计一种基于状态的PEFT方法。该方法直接调整SSM的状态特征，而不是依赖于外部的prompt。这种方法更符合SSM的架构特点，能够更有效地进行微调。

技术框架：State-offset Tuning方法在每个时间步直接影响当前步骤的状态。具体来说，该方法通过引入一个可学习的偏移量，对SSM的状态进行调整。整体流程包括：输入数据经过SSM处理，在每个时间步计算状态，然后将可学习的偏移量加到状态上，得到调整后的状态，最后使用调整后的状态进行后续计算。

关键创新：State-offset Tuning的关键创新在于它是一种基于状态的PEFT方法，直接作用于SSM的状态，而不是像Prompt Tuning那样依赖外部prompt。这种方法能够更有效地利用SSM的内部信息，从而提高微调效率。与现有方法相比，State-offset Tuning更贴合SSM的架构特性。

关键设计：State-offset Tuning的关键设计在于偏移量的引入和学习方式。偏移量是一个可学习的参数，其维度与SSM的状态维度相同。在训练过程中，通过优化损失函数来学习偏移量，使得调整后的状态能够更好地适应下游任务。损失函数通常是交叉熵损失或均方误差损失，具体取决于任务类型。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，State-offset Tuning在多个数据集上取得了显著的性能提升。例如，在文本分类任务中，State-offset Tuning相比于Prompt Tuning，在参数量更少的情况下，取得了更高的准确率。此外，State-offset Tuning在长序列建模任务中也表现出优异的性能，验证了其在处理长依赖关系方面的优势。

🎯 应用场景

State-offset Tuning具有广泛的应用前景，可应用于自然语言处理、语音识别、时间序列预测等领域。该方法能够以较低的计算成本对SSM进行微调，使其能够更好地适应各种下游任务。此外，该方法还可以用于模型压缩和知识迁移，提高模型的效率和泛化能力。

📄 摘要（原文）

State Space Models (SSMs) have emerged as efficient alternatives to Transformers, mitigating their quadratic computational cost. However, the application of Parameter-Efficient Fine-Tuning (PEFT) methods to SSMs remains largely unexplored. In particular, prompt-based methods like Prompt Tuning and Prefix-Tuning, which are widely used in Transformers, do not perform well on SSMs. To address this, we propose state-based methods as a superior alternative to prompt-based methods. This new family of methods naturally stems from the architectural characteristics of SSMs. State-based methods adjust state-related features directly instead of depending on external prompts. Furthermore, we introduce a novel state-based PEFT method: State-offset Tuning. At every timestep, our method directly affects the state at the current step, leading to more effective adaptation. Through extensive experiments across diverse datasets, we demonstrate the effectiveness of our method. Code is available at https://github.com/furiosa-ai/ssm-state-tuning.