Selection Mechanisms for Sequence Modeling using Linear State Space Models

📄 arXiv: 2505.17932v1 📥 PDF

作者: Umberto Casti, Sandro Zampieri, Fabio Pasqualetti

分类: eess.SY, cs.LG

发布日期: 2025-05-23

备注: 9 pages, 5 figures

💡 一句话要点

提出基于线性状态空间模型的序列建模选择机制，灵感来源于控制理论

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 序列建模 线性状态空间模型 控制理论 选择机制 残差生成器

📋 核心要点

  1. 现有序列建模方法如Transformer和Mamba存在计算复杂度高或难以训练等问题。
  2. 本文提出一种基于LTI系统的选择机制，通过残差生成器实现序列选择，灵感来源于控制理论中的故障检测。
  3. 在合成任务上的实验表明，该方法在保持LTI系统优点的同时，实现了与Mamba相当的选择性。

📝 摘要（中文）

本文提出了一种受控理论方法启发的序列建模选择机制，用于线性状态空间模型（SSM）。与Transformer和选择性状态空间模型（SSM）不同，本文提出了一种新的残差生成器用于选择，该生成器借鉴了线性时不变（LTI）系统中的故障检测策略。与Mamba利用线性时变（LTV）系统不同，该方法结合了多个LTI系统，在训练过程中保留了它们的有益特性，同时实现了可比的选择性。为了评估所提出架构的有效性，在合成任务上测试了其性能。这些任务虽然本质上并不关键，但可以作为测试不同核心架构选择性属性的基准。这项工作强调了将理论见解与实验进展相结合的潜力，为控制理论和机器学习交叉领域的深度学习创新提供了补充视角。

🔬 方法详解

问题定义：序列建模旨在捕捉序列数据中的长期依赖关系。Transformer和Mamba等模型在语言建模等任务中取得了显著成果，但Transformer计算复杂度高，Mamba则依赖于线性时变（LTV）系统，训练可能不稳定。因此，需要一种既能有效捕捉长期依赖，又能保持训练稳定性的序列建模方法。

核心思路：本文的核心思路是借鉴控制理论中线性时不变（LTI）系统的故障检测策略，设计一种新的选择机制。通过将序列建模问题类比为LTI系统的状态估计问题，利用残差生成器来选择与当前输入相关的状态信息。这种方法旨在结合LTI系统的稳定性和可解释性，同时实现与现有选择性状态空间模型（SSM）相当的性能。

技术框架：该架构的核心是多个LTI系统的组合。输入序列首先经过一个线性变换，然后输入到多个并行的LTI系统中。每个LTI系统产生一个状态向量，这些状态向量通过一个残差生成器进行选择。残差生成器根据输入序列和LTI系统的状态，计算一个残差信号，该信号用于确定哪些状态向量应该被保留。最后，被选择的状态向量被组合成一个输出序列。

关键创新：最关键的创新点在于使用残差生成器进行选择，该生成器借鉴了控制理论中的故障检测思想。与Mamba等使用LTV系统进行选择的方法不同，本文的方法使用LTI系统，从而保持了系统的稳定性和可解释性。此外，残差生成器的设计允许模型根据输入序列动态地选择相关的状态信息。

关键设计：LTI系统的具体参数（如状态转移矩阵、输入矩阵、输出矩阵）需要根据具体任务进行调整。残差生成器的设计也至关重要，需要仔细选择残差的计算方式和选择阈值。损失函数通常包括一个重构损失，用于确保模型能够准确地重构输入序列，以及一个正则化项，用于防止过拟合。

📊 实验亮点

论文在合成任务上验证了所提出选择机制的有效性。实验结果表明，该方法能够在保持LTI系统优点的同时，实现与Mamba相当的选择性。虽然没有在大型数据集上进行测试，但这些结果为进一步研究基于LTI系统的序列建模方法奠定了基础。

🎯 应用场景

该研究成果可应用于自然语言处理、时间序列预测、语音识别等领域。通过结合控制理论的稳定性分析工具，有望设计出更稳定、可解释的序列模型。未来，该方法可以扩展到处理更复杂的序列数据，例如视频和多模态数据。

📄 摘要（原文）

Recent advancements in language modeling tasks have been driven by architectures such as Transformers and, more recently, by Selective State Space Models (SSMs). In this paper, we introduce an alternative selection mechanism inspired by control theory methodologies. Specifically, we propose a novel residual generator for selection, drawing an analogy to fault detection strategies in Linear Time-Invariant (LTI) systems. Unlike Mamba, which utilizes Linear Time-Varying (LTV) systems, our approach combines multiple LTI systems, preserving their beneficial properties during training while achieving comparable selectivity. To evaluate the effectiveness of the proposed architecture, we test its performance on synthetic tasks. While these tasks are not inherently critical, they serve as benchmarks to test the selectivity properties of different cores architecture. This work highlights the potential of integrating theoretical insights with experimental advancements, offering a complementary perspective to deep learning innovations at the intersection of control theory and machine learning.