Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement

📄 arXiv: 2412.16626v2 📥 PDF

作者: Junyu Wang, Zizhen Lin, Tianrui Wang, Meng Ge, Longbiao Wang, Jianwu Dang

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-12-21 (更新: 2025-01-02)

备注: Accepted at ICASSP 2025, 5 pages, 1 figures, 5 tables

💡 一句话要点

提出Mamba-SEUNet，结合Mamba与U-Net用于单声道语音增强任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音增强 Mamba U-Net 状态空间模型 单声道 深度学习 长序列建模

📋 核心要点

  1. Transformer在语音增强中表现出色，但自注意力机制的计算复杂度较高，限制了实际应用。
  2. Mamba-SEUNet将Mamba与U-Net结合，利用Mamba建模长序列依赖，U-Net提取多尺度特征。
  3. 实验表明，Mamba-SEUNet在VCTK+DEMAND数据集上取得了SOTA性能，PESQ达到3.59。

📝 摘要（中文）

在语音增强（SE）研究中，Transformer及其变体已成为主流方法。然而，自注意力机制的二次复杂度限制了其在实际部署中的应用。Mamba作为一种新型状态空间模型（SSM），因其在建模长序列方面的强大能力和相对较低的计算复杂度，已在自然语言处理和计算机视觉领域得到广泛应用。本文提出了一种创新的架构Mamba-SEUNet，它将Mamba与U-Net集成用于语音增强任务。通过利用双向Mamba对不同分辨率语音信号的前向和后向依赖关系进行建模，并结合跳跃连接来捕获多尺度信息，我们的方法实现了最先进（SOTA）的性能。在VCTK+DEMAND数据集上的实验结果表明，Mamba-SEUNet的PESQ得分为3.59，同时保持了较低的计算复杂度。当与感知对比度拉伸技术结合使用时，Mamba-SEUNet进一步将PESQ得分提高到3.73。

🔬 方法详解

问题定义：论文旨在解决单声道语音增强问题，即从带噪语音信号中提取清晰的语音信号。现有基于Transformer的方法在处理长序列语音时，由于自注意力机制的二次方复杂度，计算成本较高，难以部署到资源受限的设备上。

核心思路：论文的核心思路是将新型状态空间模型Mamba与U-Net架构相结合，利用Mamba在建模长序列依赖方面的优势，以及U-Net在提取多尺度特征方面的能力，从而在保证性能的同时降低计算复杂度。Mamba能够有效地捕捉语音信号中的时间动态，而U-Net的跳跃连接则有助于融合不同尺度的信息。

技术框架：Mamba-SEUNet的整体架构是一个U-Net结构，其中编码器和解码器的每个阶段都包含Mamba块。编码器负责逐步降低输入特征图的分辨率，并提取抽象特征；解码器则负责逐步恢复特征图的分辨率，并生成增强后的语音信号。跳跃连接将编码器中的特征图传递到解码器中对应的阶段，从而实现多尺度信息的融合。

关键创新：最重要的技术创新点在于将Mamba模型引入到语音增强任务中，并将其与U-Net架构相结合。与传统的基于Transformer的方法相比，Mamba具有线性复杂度，能够更有效地处理长序列语音信号。此外，双向Mamba的设计能够同时建模语音信号的前向和后向依赖关系，从而提高增强性能。

关键设计：论文采用了双向Mamba来建模语音信号的时序依赖关系。具体来说，对于每个Mamba块，都包含一个前向Mamba和一个后向Mamba，分别处理语音信号的正向和反向序列。此外，论文还采用了跳跃连接来融合不同尺度的特征信息。损失函数未知，但通常语音增强任务会采用时域或频域的损失函数，例如均方误差或谱聚类损失。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，Mamba-SEUNet在VCTK+DEMAND数据集上取得了显著的性能提升，PESQ得分为3.59，超过了现有的许多方法。结合感知对比度拉伸技术后，PESQ得分进一步提高到3.73，表明该方法具有很强的竞争力。此外，论文还强调了Mamba-SEUNet具有较低的计算复杂度，使其更适合在实际应用中部署。

🎯 应用场景

Mamba-SEUNet在语音通信、语音识别、助听器等领域具有广泛的应用前景。它可以用于提高嘈杂环境下的语音质量，改善语音识别系统的性能，并帮助听力受损人士更好地理解语音。该研究的未来影响在于推动语音增强技术的发展，使其能够更好地适应各种复杂的噪声环境。

📄 摘要（原文）

In recent speech enhancement (SE) research, transformer and its variants have emerged as the predominant methodologies. However, the quadratic complexity of the self-attention mechanism imposes certain limitations on practical deployment. Mamba, as a novel state-space model (SSM), has gained widespread application in natural language processing and computer vision due to its strong capabilities in modeling long sequences and relatively low computational complexity. In this work, we introduce Mamba-SEUNet, an innovative architecture that integrates Mamba with U-Net for SE tasks. By leveraging bidirectional Mamba to model forward and backward dependencies of speech signals at different resolutions, and incorporating skip connections to capture multi-scale information, our approach achieves state-of-the-art (SOTA) performance. Experimental results on the VCTK+DEMAND dataset indicate that Mamba-SEUNet attains a PESQ score of 3.59, while maintaining low computational complexity. When combined with the Perceptual Contrast Stretching technique, Mamba-SEUNet further improves the PESQ score to 3.73.