SPMamba: State-space model is all you need in speech separation

📄 arXiv: 2404.02063v2 📥 PDF

作者: Kai Li, Guo Chen, Runxuan Yang, Xiaolin Hu

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-04-02 (更新: 2024-09-10)

备注: Technical Report. Code is available at https://github.com/JusperLee/SPMamba

💡 一句话要点

提出SPMamba以解决语音分离中的长时间依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)

关键词: 语音分离 长时间依赖 双向Mamba模块 TF-GridNet 计算复杂性 深度学习 时频建模

📋 核心要点

  1. 现有的语音分离模型在捕捉长时间依赖方面存在局限，尤其是基于CNN的方法。
  2. SPMamba通过引入双向Mamba模块，替代传统的BLSTM模块，有效建模时频维度的关系，提升了分离性能。
  3. 在WSJ0-2Mix、WHAM!、Libri2Mix和新构建的Echo2Mix数据集上，SPMamba显著超越了现有模型，降低了计算复杂性。

📝 摘要（中文）

现有的基于CNN的语音分离模型面临局部感受野的限制，无法有效捕捉长时间依赖。尽管LSTM和Transformer模型能够避免这一问题，但其高复杂性在处理长音频时面临计算资源和推理效率的挑战。为了解决这一挑战，本文提出了一种创新的语音分离方法SPMamba，该模型基于强大的TF-GridNet架构，采用双向Mamba模块替代传统的BLSTM模块，有效建模时间和频率维度之间的时空关系，从而以线性计算复杂度捕捉长程依赖。实验表明，SPMamba在多个公共数据集上显著超越现有最先进模型，提升了分离性能并降低了计算复杂性。

🔬 方法详解

问题定义：本文旨在解决现有语音分离模型在捕捉长时间依赖方面的不足，尤其是CNN模型的局限性和LSTM、Transformer模型的高复杂性带来的计算资源挑战。

核心思路：SPMamba的核心思路是通过引入双向Mamba模块，替代传统的BLSTM模块，以线性计算复杂度有效建模时频维度的时空关系，从而提升语音分离的性能。

技术框架：SPMamba基于TF-GridNet架构，主要包括输入层、双向Mamba模块、输出层等。双向Mamba模块负责处理时频信息，增强模型对上下文信息的利用。

关键创新：SPMamba的关键创新在于双向Mamba模块的设计，使得模型能够同时利用过去和未来的上下文信息，从而有效捕捉长程依赖，区别于传统的单向处理方式。

关键设计：模型的关键设计包括双向Mamba模块的结构、损失函数的选择，以及在训练过程中对参数的优化设置，以确保模型在复杂环境下的有效性和高效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SPMamba在WSJ0-2Mix、WHAM!、Libri2Mix和Echo2Mix数据集上的实验结果显示，其性能显著优于现有最先进模型，具体提升幅度达到XX%，同时在计算复杂性上也有明显降低，证明了其在复杂环境下的有效性。

🎯 应用场景

SPMamba在语音分离领域的潜在应用场景包括语音识别、会议记录、语音增强等。其高效的计算性能和优越的分离效果使其在实时语音处理和复杂环境下的应用具有重要价值，未来可能推动相关技术的广泛应用。

📄 摘要（原文）

Existing CNN-based speech separation models face local receptive field limitations and cannot effectively capture long time dependencies. Although LSTM and Transformer-based speech separation models can avoid this problem, their high complexity makes them face the challenge of computational resources and inference efficiency when dealing with long audio. To address this challenge, we introduce an innovative speech separation method called SPMamba. This model builds upon the robust TF-GridNet architecture, replacing its traditional BLSTM modules with bidirectional Mamba modules. These modules effectively model the spatiotemporal relationships between the time and frequency dimensions, allowing SPMamba to capture long-range dependencies with linear computational complexity. Specifically, the bidirectional processing within the Mamba modules enables the model to utilize both past and future contextual information, thereby enhancing separation performance. Extensive experiments conducted on public datasets, including WSJ0-2Mix, WHAM!, and Libri2Mix, as well as the newly constructed Echo2Mix dataset, demonstrated that SPMamba significantly outperformed existing state-of-the-art models, achieving superior results while also reducing computational complexity. These findings highlighted the effectiveness of SPMamba in tackling the intricate challenges of speech separation in complex environments.