The Attention Within: Consensus Dynamics in Selective State Space Models
作者: João Pedro Silvestre, Álvaro Rodríguez Abella, Paulo Tabuada
分类: cs.LG, cs.AI, eess.SY, math.DS, math.OC
发布日期: 2026-09-16
💡 一句话要点
提出选择性状态空间模型以解决变压器效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 选择性状态空间模型 变压器 注意力机制 动力系统 共识动态 推理效率 长序列处理
📋 核心要点
- 现有的变压器模型在推理效率上存在瓶颈，导致在处理长序列时性能下降。
- 论文提出选择性状态空间模型（SSMs），通过递归机制实现信息的有效混合，类似于变压器中的注意力机制。
- 实验结果表明，SSMs在共识形成方面与变压器相似，且输出门的设计对共识程度有显著影响。
📝 摘要（中文）
选择性状态空间模型（SSMs）最近成为变压器的有力替代方案，兼具竞争性能和显著提高的推理效率。在每个SSM层中，通过递归传播一系列隐藏状态，混合不同标记的信息。尽管机制不同，这种混合在功能上类似于变压器中的注意力机制。本文从动力系统的角度出发，建模SSMs中标记的演变，并证明了共识平衡点的局部指数稳定性，揭示了SSMs与变压器之间更深层次的相似性。数值实验表明，输出门是调节共识程度的关键组件。
🔬 方法详解
问题定义：本文旨在探讨选择性状态空间模型（SSMs）是否能够像变压器中的注意力机制一样驱动标记达到共识。现有方法在处理长序列时效率低下，限制了其应用。
核心思路：通过将SSMs的标记演变建模为常微分方程，利用输入到状态的稳定性理论，分析其共识平衡点的稳定性及吸引域，揭示SSMs与变压器的深层相似性。
技术框架：整体架构包括SSMs的递归层，输入数据通过这些层进行传播，形成隐藏状态。每一层的输出通过动态系统理论进行分析，确保共识的形成。
关键创新：论文的主要创新在于首次从动力系统的视角分析SSMs的共识动态，证明了其局部指数稳定性，填补了现有研究的空白。
关键设计：在模型设计中，特别关注了时间变化权重矩阵的设置，确保了共识平衡点的稳定性，并通过输出门调节共识的程度，防止标记完全聚集。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SSMs在共识形成方面表现出与变压器相似的特性，且通过调节输出门，模型能够有效控制标记的聚集程度。具体性能数据表明，SSMs在处理长序列时的推理效率显著提高，优于传统变压器模型。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、图像处理和时间序列分析等。通过提高模型的推理效率，SSMs可以在实时系统中发挥重要作用，推动智能系统的进一步发展。
📄 摘要（原文）
Selective state space models (SSMs) have recently emerged as a compelling alternative to transformers, combining competitive performance with substantially improved inference efficiency. At each SSM layer, a sequence of hidden states are propagated by a recurrence, mixing information of different tokens. Despite using a different mechanism, this mixing plays a role analogous to attention in transformers. In fact, recent works have shown that the two architectures may be closer than they first appear, as this recurrence admits a formulation akin to linear attention. In transformers, attention is known to drive the tokens to cluster, i.e., to reach consensus, collapsing in the limit to a single direction. Thus, we ask: does the recurrence at the core of SSMs drive the tokens to consensus, as attention does in transformers? To answer this question, we take a dynamical systems perspective on SSMs, modeling the evolution of tokens across layers as an ordinary differential equation. By exploiting input-to-state stability arguments, we establish local exponential stability of the consensus equilibria and characterize their domain of attraction for time-varying weight matrices, a setting not addressed by previous results. We thereby show that the resemblance between SSMs and transformers does run deeper: the recurrence at the core of SSMs aggregates tokens just as attention does. Numerical experiments on a pretrained Mamba-2 model point to the output gate as the component that regulates the extent of this consensus, preventing the tokens from reaching it in full.