Multichannel-to-Multichannel Target Sound Extraction Using Direction and Timestamp Clues

📄 arXiv: 2409.12415v1 📥 PDF

作者: Dayun Choi, Jung-Woo Choi

分类: eess.AS, cs.AI, cs.SD

发布日期: 2024-09-19

备注: 5 pages, 4 figures

💡 一句话要点

提出基于Transformer的多通道目标声源提取框架，利用时空线索提升分离性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 目标声源提取 多通道音频 Transformer 时空线索 到达方向 深度学习 语音分离

📋 核心要点

  1. 现有目标声源提取方法主要集中于单通道，忽略了多通道音频信号中的空间信息，且对空间线索的利用不足。
  2. 论文提出一种多通道到多通道的提取框架，利用到达方向(DoA)和时间戳等时空线索，实现更精确的目标声源分离。
  3. 实验证明，该框架能够有效提取多通道目标信号，且多通道提取任务能为DNN引入归纳偏置，使其直接处理DoA线索。

📝 摘要（中文）

本文提出了一种多通道到多通道的目标声源提取(M2M-TSE)框架，旨在从多通道混合音频中分离出多通道目标信号。目标声源提取(TSE)通常依赖于用户提供的线索来隔离特定的目标信号，但主要集中于单通道提取，并使用类别标签或时间激活图。为了保留和利用多通道音频信号中的空间信息，提取目标声源的多通道信号至关重要。此外，提取线索还可以包括空间或时间线索，如到达方向(DoA)或源激活的时间戳。为了应对这些挑战，我们提出了一个基于时空线索提取多通道声音信号的M2M框架。实验结果表明，我们基于Transformer的架构能够成功完成不同房间环境中各类音频信号合成的多通道信号的M2M-TSE任务。此外，多通道提取任务在深度神经网络中引入了足够的归纳偏置，使其能够直接处理DoA线索，而无需使用手工设计的空间特征。

🔬 方法详解

问题定义：论文旨在解决多通道音频混合信号中目标声源的提取问题。现有方法主要集中于单通道提取，无法充分利用多通道信号的空间信息。此外，现有方法对空间线索（如到达方向DoA）的利用通常依赖于手工设计的特征，缺乏灵活性和适应性。

核心思路：论文的核心思路是构建一个多通道到多通道的提取框架，该框架能够同时利用时间线索（如时间戳）和空间线索（如DoA）来指导目标声源的提取。通过直接处理DoA线索，避免了手工特征工程的局限性，并利用多通道提取任务引入的归纳偏置来提升模型性能。

技术框架：该框架基于Transformer架构，输入为多通道混合音频信号以及目标声源的时空线索（DoA和时间戳），输出为提取出的多通道目标声源信号。整体流程包括：1) 输入信号的预处理；2) Transformer编码器提取特征；3) 基于时空线索的注意力机制；4) Transformer解码器生成目标声源信号；5) 后处理。

关键创新：该论文的关键创新在于：1) 提出了一个多通道到多通道的目标声源提取框架，能够充分利用多通道信号的空间信息；2) 能够直接处理DoA线索，避免了手工特征工程的局限性；3) 利用多通道提取任务引入的归纳偏置来提升模型性能。与现有方法的本质区别在于，该方法能够同时利用时空线索，并直接从原始信号中学习空间特征。

关键设计：该框架的关键设计包括：1) 使用Transformer架构来捕捉音频信号的时序依赖关系；2) 设计了一种基于时空线索的注意力机制，用于将目标声源的时空信息融入到特征表示中；3) 损失函数的设计，可能包括时域和频域的损失，以保证提取信号的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出的M2M-TSE框架的有效性。实验结果表明，该框架能够成功提取多通道目标信号，并且在处理DoA线索时表现出良好的性能。具体性能数据未知，但论文强调了多通道提取任务引入的归纳偏置对性能提升的贡献。

🎯 应用场景

该研究成果可应用于语音助手、会议系统、助听器等领域，提升在复杂声学环境中目标语音的清晰度和可懂度。例如，在嘈杂的会议环境中，可以提取特定发言者的语音，消除背景噪声和干扰，提高会议效率。未来，该技术有望应用于更广泛的音频处理任务，如音乐信息检索、声纹识别等。

📄 摘要（原文）

We propose a multichannel-to-multichannel target sound extraction (M2M-TSE) framework for separating multichannel target signals from a multichannel mixture of sound sources. Target sound extraction (TSE) isolates a specific target signal using user-provided clues, typically focusing on single-channel extraction with class labels or temporal activation maps. However, to preserve and utilize spatial information in multichannel audio signals, it is essential to extract multichannel signals of a target sound source. Moreover, the clue for extraction can also include spatial or temporal cues like direction-of-arrival (DoA) or timestamps of source activation. To address these challenges, we present an M2M framework that extracts a multichannel sound signal based on spatio-temporal clues. We demonstrate that our transformer-based architecture can successively accomplish the M2M-TSE task for multichannel signals synthesized from audio signals of diverse classes in different room environments. Furthermore, we show that the multichannel extraction task introduces sufficient inductive bias in the DNN, allowing it to directly handle DoA clues without utilizing hand-crafted spatial features.