Parameter-Efficient Fine-Tuning of State Space Models

📄 arXiv: 2410.09016v3 📥 PDF

作者: Kevin Galim, Wonjun Kang, Yuchen Zeng, Hyung Il Koo, Kangwook Lee

分类: cs.LG, cs.CL

发布日期: 2024-10-11 (更新: 2025-06-09)

备注: Accepted at ICML 2025. Code is available at https://github.com/furiosa-ai/ssm-peft

💡 一句话要点

提出稀疏维度调整(SDT)方法，高效微调状态空间模型(SSM)，提升性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 状态空间模型 参数高效微调 稀疏维度调整 Mamba 自然语言处理

📋 核心要点

  1. 现有参数高效微调方法(PEFT)在状态空间模型(SSM)上的表现未被充分研究，需要探索更优的微调策略。
  2. 论文提出稀疏维度调整(SDT)方法，专门针对SSM模块进行参数高效微调，提升模型性能。
  3. 实验结果表明，结合SDT和LoRA，可以在SSM模型上实现最先进的微调性能。

📝 摘要（中文）

深度状态空间模型(SSM)，如Mamba，已成为强大的语言建模工具，具有高性能和序列长度的线性可扩展性。然而，参数高效微调(PEFT)方法在基于SSM的模型中的应用在很大程度上仍未被探索。我们首先研究了现有PEFT方法的两个基本问题：(i)它们在基于SSM的模型上的表现如何？(ii)应该针对哪些参数才能获得最佳结果？我们的分析表明，LoRA及其变体始终优于所有其他PEFT方法。虽然LoRA对于线性投影矩阵有效，但它在SSM模块上失败了——但仍然优于其他适用于SSM的方法，表明了它们的局限性。这突出了对专门的SSM调整方法的需求。为了解决这个问题，我们提出了一种专门为SSM模块定制的PEFT方法：稀疏维度调整(SDT)。将用于SSM的SDT与用于线性投影矩阵的LoRA相结合，我们在广泛的实验中实现了最先进的性能。

🔬 方法详解

问题定义：现有参数高效微调(PEFT)方法，如LoRA，在应用于状态空间模型(SSM)时，效果并不理想。虽然LoRA在微调线性层时表现良好，但在SSM模块上的性能提升有限，甚至不如其他适用于SSM的PEFT方法。这表明需要一种专门为SSM设计的PEFT方法，以充分利用SSM的潜力。

核心思路：论文的核心思路是针对SSM模块的特殊结构，设计一种稀疏的参数更新策略。具体来说，通过选择性地调整SSM模块中的特定维度，而不是像LoRA那样更新整个矩阵，从而实现更高效的微调。这种稀疏性可以减少需要训练的参数数量，并可能避免过度拟合。

技术框架：整体框架是结合LoRA和SDT。对于线性投影矩阵，使用LoRA进行微调。对于SSM模块，使用提出的SDT方法进行微调。整个流程包括：1) 使用LoRA微调线性层；2) 使用SDT微调SSM模块；3) 将微调后的模型应用于下游任务。

关键创新：关键创新在于提出了稀疏维度调整(SDT)方法。与传统的PEFT方法不同，SDT不是更新整个参数矩阵，而是选择性地更新SSM模块中的特定维度。这种稀疏性使得SDT能够更有效地调整SSM的内部状态，从而提高模型性能。SDT与现有方法的本质区别在于其稀疏性，以及针对SSM模块的特殊设计。

关键设计：SDT的关键设计包括：1) 如何选择需要调整的维度？论文可能采用某种重要性度量来选择对模型性能影响最大的维度。2) 如何更新选定的维度？论文可能使用类似于LoRA的低秩分解方法来更新选定的维度。3) 如何控制稀疏性？论文可能引入一个超参数来控制需要调整的维度数量。具体的损失函数和网络结构细节未知。

📊 实验亮点

论文实验结果表明，将SDT应用于SSM模块，并结合LoRA微调线性层，可以在多个NLP任务上取得state-of-the-art的性能。具体的性能提升幅度未知，但摘要中强调了“across extensive experiments”和“state-of-the-art performance”，表明该方法具有显著的优势。

🎯 应用场景

该研究成果可广泛应用于自然语言处理领域，特别是需要处理长序列的任务，如文本生成、机器翻译、语音识别等。通过高效微调SSM模型，可以降低计算成本，提高模型性能，加速相关应用的落地。该方法还可能推广到其他类型的深度学习模型，具有重要的实际价值和未来影响。

📄 摘要（原文）

Deep State Space Models (SSMs), such as Mamba (Gu & Dao, 2024), have become powerful tools for language modeling, offering high performance and linear scalability with sequence length. However, the application of parameter-efficient fine-tuning (PEFT) methods to SSM-based models remains largely underexplored. We start by investigating two fundamental questions on existing PEFT methods: (i) How do they perform on SSM-based models? (ii) Which parameters should they target for optimal results? Our analysis shows that LoRA and its variants consistently outperform all other PEFT methods. While LoRA is effective for linear projection matrices, it fails on SSM modules-yet still outperforms other methods applicable to SSMs, indicating their limitations. This underscores the need for a specialized SSM tuning approach. To address this, we propose Sparse Dimension Tuning (SDT), a PEFT method tailored for SSM modules. Combining SDT for SSMs with LoRA for linear projection matrices, we achieve state-of-the-art performance across extensive experiments.