On the Expressive Power and Limitations of Multi-Layer SSMs

📄 arXiv: 2604.14501v1 📥 PDF

作者: Nikola Zubić, Qian Li, Yuyi Wang, Davide Scaramuzza

分类: cs.LG, cs.AI, cs.CC

发布日期: 2026-04-16

备注: 25 pages, 6 theorems

💡 一句话要点

揭示多层SSM在组合任务中的局限性，并探索在线CoT如何提升其表达能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 状态空间模型 思维链 组合任务 流式算法 表达能力

📋 核心要点

  1. 多层SSM在处理组合任务时存在固有局限性，无法有效建模流式数据。
  2. 引入在线思维链（CoT）机制，显著提升多层SSM的表达能力，使其逼近流式算法。
  3. 研究宽度与精度之间的权衡，发现在线CoT能有效弥补精度损失，实现资源等价。

📝 摘要（中文）

本文研究了多层状态空间模型（SSM）的表达能力和局限性。首先，我们证明了多层SSM在组合任务中面临根本性的限制，揭示了SSM与流式模型之间固有的差距。然后，我们考察了思维链（CoT）的作用，表明离线CoT并不能从根本上提高表达能力，而在线CoT可以显著提高其能力。事实上，通过在线CoT，多层SSM在能力上等同于流式算法。最后，我们研究了宽度和精度之间的权衡，表明这些资源在基本模型中不可互换，但一旦允许在线CoT，则可以实现清晰的等价性。总的来说，我们的结果提供了一个统一的视角，说明深度、有限精度和CoT如何塑造SSM的能力和限制。

🔬 方法详解

问题定义：论文旨在研究多层状态空间模型（SSM）的表达能力和局限性，尤其是在处理需要组合推理的任务时。现有的SSM虽然在序列建模方面表现出色，但在处理需要逐步分解和推理的复杂任务时，其能力受到限制。此外，有限的计算精度也可能影响SSM的性能。

核心思路：论文的核心思路是通过引入在线思维链（CoT）机制来增强多层SSM的表达能力。在线CoT允许模型在处理序列数据的同时进行逐步推理和决策，从而更好地应对组合任务。此外，论文还研究了宽度（模型大小）和精度之间的权衡，探索如何通过在线CoT来优化资源利用。

技术框架：论文的研究框架主要包括以下几个方面：1) 分析多层SSM在组合任务中的局限性，证明其与流式模型存在差距；2) 研究离线CoT对SSM表达能力的影响，发现其提升有限；3) 引入在线CoT机制，并证明其可以显著提升SSM的表达能力，使其等同于流式算法；4) 研究宽度和精度之间的权衡，探索在线CoT如何影响资源利用。

关键创新：论文最重要的技术创新点在于证明了在线CoT可以显著提升多层SSM的表达能力，使其在处理组合任务时可以达到与流式算法相当的水平。这一发现打破了人们对SSM表达能力的固有认知，为SSM的应用开辟了新的可能性。

关键设计：论文的关键设计包括：1) 在线CoT的具体实现方式，例如如何将推理步骤融入到SSM的序列处理过程中；2) 如何设计实验来评估在线CoT对SSM表达能力的提升效果；3) 如何量化宽度和精度之间的权衡，并探索在线CoT如何影响这一权衡关系。具体的参数设置、损失函数和网络结构等细节在论文中应该有详细描述，但摘要中未提及。

📊 实验亮点

论文证明了多层SSM在组合任务中存在局限性，并表明离线CoT不能有效提升其表达能力。然而，引入在线CoT后，多层SSM的表达能力显著提升，达到与流式算法相当的水平。此外，论文还研究了宽度和精度之间的权衡，发现在线CoT可以优化资源利用。

🎯 应用场景

该研究成果可应用于需要复杂推理和决策的序列建模任务，例如自然语言处理中的问答系统、机器人控制中的路径规划、以及金融领域中的风险预测等。通过引入在线CoT机制，可以提升SSM在这些领域的应用效果，使其能够更好地应对实际问题。

📄 摘要（原文）

We study the expressive power and limitations of multi-layer state-space models (SSMs). First, we show that multi-layer SSMs face fundamental limitations in compositional tasks, revealing an inherent gap between SSMs and streaming models. Then, we examine the role of chain-of-thought (CoT), showing that offline CoT does not fundamentally increase the expressiveness, while online CoT can substantially increase its power. Indeed, with online CoT, multi-layer SSMs become equivalent in power to streaming algorithms. Finally, we investigate the tradeoff between width and precision, showing that these resources are not interchangeable in the base model, but admit a clean equivalence once online CoT is allowed. Overall, our results offer a unified perspective on how depth, finite precision, and CoT shape the power and limits of SSMs.