A Survey of Mamba
作者: Haohao Qu, Liangbo Ning, Rui An, Wenqi Fan, Tyler Derr, Hui Liu, Xin Xu, Qing Li
分类: cs.LG, cs.AI
发布日期: 2024-08-02 (更新: 2025-06-17)
💡 一句话要点
综述Mamba模型：探索其架构、数据适应性和应用，为未来研究提供深入见解。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Mamba模型 状态空间模型 选择性状态空间模型 长序列建模 线性复杂度 深度学习 自然语言处理 计算机视觉
📋 核心要点
- Transformer模型在处理长序列时面临计算复杂度高的挑战，限制了其在某些场景下的应用。
- Mamba模型借鉴状态空间模型，旨在提供与Transformer相当的建模能力，同时实现近线性的序列长度扩展性。
- 该综述全面回顾了Mamba模型的架构设计、数据适应性以及在不同领域的应用，并探讨了未来的研究方向。
📝 摘要（中文）
Transformer架构作为最具代表性的深度学习技术之一，推动了众多先进模型的发展，尤其是包含数十亿参数的大型语言模型（LLM），成为深度学习的基石。尽管取得了令人瞩目的成就，但Transformer仍然面临固有的局限性，特别是由于注意力计算的二次计算复杂度导致耗时的推理。最近，一种名为Mamba的新型架构，从经典状态空间模型（SSM）中汲取灵感，已成为构建基础模型的有希望的替代方案，在保持序列长度的近线性可扩展性的同时，提供了与Transformer相当的建模能力。这引发了越来越多的研究，积极探索Mamba在不同领域取得令人印象深刻的性能的潜力。鉴于这种快速发展，迫切需要一个系统的综述，以整合现有的Mamba模型，从而全面了解这种新兴的模型架构。在本综述中，我们因此对最近的Mamba相关研究进行了深入调查，涵盖三个主要方面：基于Mamba的模型的进步、Mamba适应不同数据的技术以及Mamba可以擅长的应用。具体来说，我们首先回顾各种代表性深度学习模型的基础知识以及Mamba-1和Mamba-2的细节作为初步知识。然后，为了展示Mamba对人工智能的重要性，我们全面回顾了相关研究，重点关注Mamba模型的架构设计、数据适应性和应用。最后，我们提出了对当前局限性的讨论，并探讨了各种有希望的研究方向，以为未来的研究提供更深入的见解。
🔬 方法详解
问题定义：Transformer模型在处理长序列时，由于自注意力机制的二次方复杂度，导致计算成本过高，推理速度慢。这限制了Transformer在需要处理长文本、高分辨率图像或视频等场景的应用。现有方法难以在计算效率和模型性能之间取得平衡。
核心思路：Mamba模型的核心思路是借鉴状态空间模型（SSM），通过选择性状态空间模型（Selective SSM）来动态地选择和聚合信息。这种设计允许模型在处理序列时，只关注与当前状态相关的信息，从而降低计算复杂度，提高效率。
技术框架：Mamba模型主要包含以下几个关键模块：线性选择机制、硬件感知算法和并行扫描。线性选择机制用于动态选择和聚合信息，硬件感知算法优化计算效率，并行扫描加速序列处理。整体流程是：输入序列首先经过线性选择机制，提取关键信息；然后，这些信息被传递到状态空间模型中进行处理；最后，模型输出预测结果。
关键创新：Mamba模型最重要的技术创新点在于其选择性状态空间模型（Selective SSM）。与传统的SSM不同，Mamba能够根据输入动态地选择和聚合信息，从而更好地捕捉序列中的关键特征。这种选择性机制使得Mamba能够在保持高性能的同时，显著降低计算复杂度。
关键设计：Mamba的关键设计包括：1）使用硬件感知的递归算法，优化计算效率；2）采用选择性扫描机制，动态选择和聚合信息；3）通过并行扫描加速序列处理。此外，Mamba还采用了特定的初始化策略和正则化方法，以提高模型的稳定性和泛化能力。
🖼️ 关键图片
📊 实验亮点
Mamba模型在多个基准测试中表现出优异的性能。例如，在语言建模任务中，Mamba在保持相似性能的同时，推理速度比Transformer快几个数量级。在视觉任务中，Mamba也展现出强大的竞争力，能够处理高分辨率图像，并取得与现有方法相当甚至更好的结果。这些实验结果表明，Mamba是一种非常有潜力的模型架构。
🎯 应用场景
Mamba模型具有广泛的应用前景，包括自然语言处理、计算机视觉、语音识别等领域。它可以应用于大型语言模型的构建，提高模型的推理速度和效率。此外，Mamba还可以用于处理长文本、高分辨率图像和视频等数据，为相关应用提供更强大的支持。未来，Mamba有望成为构建下一代人工智能系统的关键技术。
📄 摘要（原文）
As one of the most representative DL techniques, Transformer architecture has empowered numerous advanced models, especially the large language models (LLMs) that comprise billions of parameters, becoming a cornerstone in deep learning. Despite the impressive achievements, Transformers still face inherent limitations, particularly the time-consuming inference resulting from the quadratic computation complexity of attention calculation. Recently, a novel architecture named Mamba, drawing inspiration from classical state space models (SSMs), has emerged as a promising alternative for building foundation models, delivering comparable modeling abilities to Transformers while preserving near-linear scalability concerning sequence length. This has sparked an increasing number of studies actively exploring Mamba's potential to achieve impressive performance across diverse domains. Given such rapid evolution, there is a critical need for a systematic review that consolidates existing Mamba-empowered models, offering a comprehensive understanding of this emerging model architecture. In this survey, we therefore conduct an in-depth investigation of recent Mamba-associated studies, covering three main aspects: the advancements of Mamba-based models, the techniques of adapting Mamba to diverse data, and the applications where Mamba can excel. Specifically, we first review the foundational knowledge of various representative deep learning models and the details of Mamba-1&2 as preliminaries. Then, to showcase the significance of Mamba for AI, we comprehensively review the related studies focusing on Mamba models' architecture design, data adaptability, and applications. Finally, we present a discussion of current limitations and explore various promising research directions to provide deeper insights for future investigations.