G-Mamba: Sparse Graph-Guided Mamba for Audio-Visual Speech Enhancement

📄 arXiv: 2609.18009v1 📥 PDF

作者: Guo-Ruei Tseng, Hung-Shin Lee, Hsin-Min Wang, Berlin Chen

分类: eess.AS, cs.CL, cs.SD

发布日期: 2026-09-16

备注: Accepted to IEEE SLT 2026

💡 一句话要点

提出SG-Mamba以解决音视频语音增强中的效率与准确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 音视频语音增强 稀疏图 跨模态对齐 长距离上下文 噪声抑制

📋 核心要点

  1. 现有轻量级AVSE模型在计算效率与跨模态对齐准确性之间存在显著的权衡，简单拼接方法缺乏表达能力。
  2. 本文提出SG-Mamba框架，结合稀疏异构图与线性复杂度的Mamba主干，通过内容自适应注意力建模模态关系。
  3. SG-Mamba在LRS3数据集上表现优异，噪声条件下SI-SDR达到13.091 dB，且在多说话者环境中保持鲁棒性。

📝 摘要（中文）

轻量级音视频语音增强（AVSE）模型面临计算效率与跨模态对齐准确性之间的关键权衡。简单的拼接缺乏关系表达能力，而密集的跨注意力则增加计算开销，并在强噪声干扰下容易导致不可靠的跨模态对应。本文提出了稀疏图引导的Mamba（SG-Mamba），该框架结合了稀疏异构图与线性复杂度的Mamba主干。图通过内容自适应注意力和跨帧音视频连接显式建模模态特定关系，而Mamba则捕获长距离时间上下文。此外，引入音频跳跃连接以保留频谱细节而不牺牲噪声抑制。在LRS3数据集上的评估显示，SG-Mamba在噪声条件下达到了13.091 dB的SI-SDR，且在拥挤的多说话者环境中表现稳健，计算成本为3.45 G MACs（或6.90 G FLOPs）。在VoxCeleb2上的结果进一步表明，显式结构先验提高了轻量级AVSE的鲁棒性、泛化能力和计算效率。

🔬 方法详解

问题定义：本文旨在解决轻量级音视频语音增强模型在计算效率与跨模态对齐准确性之间的矛盾。现有方法如简单拼接缺乏足够的关系表达能力，而密集的跨注意力机制则增加了计算负担，并在强噪声干扰下容易导致不可靠的跨模态对应。

核心思路：SG-Mamba框架通过引入稀疏异构图与线性复杂度的Mamba主干，显式建模模态特定关系，并通过内容自适应注意力和跨帧连接来增强跨模态对齐能力，同时保持计算效率。

技术框架：SG-Mamba的整体架构包括稀疏图模块和Mamba主干。稀疏图模块负责建模模态间的关系，而Mamba主干则用于捕获长时间的上下文信息。此外，音频跳跃连接用于保留频谱细节。

关键创新：SG-Mamba的主要创新在于结合了稀疏图与线性复杂度的Mamba主干，这种设计使得模型在保持高效计算的同时，能够有效捕获模态间的复杂关系，与现有方法相比具有本质区别。

关键设计：在设计中，采用了内容自适应注意力机制来增强模态间的关系建模，并通过音频跳跃连接来确保频谱细节的保留，损失函数则针对噪声抑制进行了优化，以提高整体性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

SG-Mamba在LRS3数据集上达到了13.091 dB的SI-SDR，显示出在噪声条件下的优越性能。同时，在拥挤的多说话者环境中，SG-Mamba以3.45 G MACs的计算成本保持了良好的鲁棒性，优于多个强基线模型。

🎯 应用场景

该研究的潜在应用领域包括语音识别、视频会议、智能助理等场景，能够在噪声环境中提升语音清晰度和可懂度。未来，SG-Mamba可能在多模态交互和人机协作中发挥重要作用，推动相关技术的进步与应用。

📄 摘要（原文）

Lightweight audio-visual speech enhancement (AVSE) models face a critical trade-off between computational efficiency and cross-modal alignment accuracy. While simple concatenation lacks relational expressiveness, dense cross-attention incurs computational overhead and is prone to unreliable cross-modal correspondence under strong acoustic interference. We propose Sparse Graph-Guided Mamba (SG-Mamba), a lightweight AVSE framework that integrates a sparse heterogeneous graph with a linear-complexity Mamba backbone. The graph explicitly models modality-specific relations through content-adaptive attention and cross-frame audio-visual connections, while Mamba captures long-range temporal context. We further introduce an audio skip connection to preserve spectral detail without sacrificing noise suppression. Evaluated on LRS3, SG-Mamba achieves competitive or superior performance against strong lightweight baselines and reaches 13.091 dB SI-SDR under noise-only condition. It also remains robust in cluttered multi-speaker conditions with a competitive cost of 3.45 G MACs (or 6.90 G FLOPs). Results on VoxCeleb2 further suggest that explicit structural priors improve robustness, generalizability, and computational efficiency in lightweight AVSE.