OmniSep: Unified Omni-Modality Sound Separation with Query-Mixup

📄 arXiv: 2410.21269v1 📥 PDF

作者: Xize Cheng, Siqi Zheng, Zehan Wang, Minghui Fang, Ziang Zhang, Rongjie Huang, Ziyang Ma, Shengpeng Ji, Jialong Zuo, Tao Jin, Zhou Zhao

分类: cs.SD, cs.CV, cs.MM, eess.AS

发布日期: 2024-10-28

备注: Working in progress

💡 一句话要点

OmniSep：提出Query-Mixup的统一全模态声音分离框架，实现多模态查询下的声音提取。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 声音分离 多模态学习 音频处理 跨模态检索 Query-Mixup 检索增强 深度学习

📋 核心要点

  1. 现有音频数据难以规模化训练，因为自然音频包含各种干扰信号，限制了音频领域的发展。
  2. OmniSep通过Query-Mixup策略统一了多模态查询，并允许查询对声音分离产生正向或负向影响，实现灵活的声音提取。
  3. 实验表明，OmniSep在MUSIC、VGGSOUND-CLEAN+和MUSIC-CLEAN+数据集上，文本、图像和音频查询的声音分离任务中均达到SOTA。

📝 摘要（中文）

本文提出了一种名为Omni-modal Sound Separation (OmniSep) 的新型框架，旨在基于全模态查询（包括单模态和多模态组合查询）隔离干净的音轨。为了解决音频数据规模化训练的挑战，引入了Query-Mixup策略，该策略在训练期间混合来自不同模态的查询特征，从而能够同时优化多个模态，有效地将所有模态统一到一个声音分离框架下。此外，OmniSep允许查询对声音分离产生积极或消极的影响，从而可以根据需要保留或删除特定的声音。最后，OmniSep采用了一种名为Query-Aug的检索增强方法，实现了开放词汇的声音分离。在MUSIC、VGGSOUND-CLEAN+和MUSIC-CLEAN+数据集上的实验评估表明了OmniSep的有效性，在文本、图像和音频查询的声音分离任务中实现了最先进的性能。

🔬 方法详解

问题定义：现有的声音分离方法在处理多模态查询时存在挑战，尤其是在数据规模化方面。自然音频通常包含多种干扰信号，使得训练数据难以获取和标注。此外，如何有效地融合不同模态的信息，并利用这些信息来指导声音分离，也是一个亟待解决的问题。

核心思路：OmniSep的核心思路是利用Query-Mixup策略，将不同模态的查询特征进行混合，从而实现多模态的统一优化。通过允许查询对声音分离产生正向或负向影响，增强了模型的灵活性和控制能力。此外，Query-Aug利用检索增强，扩展了模型的开放词汇能力。

技术框架：OmniSep的整体框架包含以下几个主要模块：1) 多模态查询编码器：用于提取文本、图像和音频查询的特征表示。2) Query-Mixup模块：用于混合不同模态的查询特征。3) 分离网络：基于混合后的查询特征，将输入的混合音频分离成不同的音轨。4) Query-Aug模块：利用检索到的相关音频片段来增强查询信息。

关键创新：OmniSep的关键创新在于Query-Mixup策略，它能够有效地融合不同模态的查询信息，并实现多模态的联合优化。与传统的单模态或简单多模态融合方法相比，Query-Mixup能够更好地利用不同模态之间的互补信息，从而提高声音分离的性能。此外，允许查询对分离结果产生正负影响的设计，增强了模型的控制能力。

关键设计：Query-Mixup的具体实现方式是将不同模态的查询特征进行线性组合，组合系数可以根据不同的策略进行调整。分离网络可以采用各种现有的声音分离模型，例如TasNet、Conv-TasNet等。Query-Aug模块利用预训练的音频检索模型，检索与查询相关的音频片段，并将这些片段的信息融入到查询特征中。损失函数通常包括分离损失（例如SI-SNR）和一致性损失，以保证分离结果的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OmniSep在MUSIC、VGGSOUND-CLEAN+和MUSIC-CLEAN+数据集上取得了显著的性能提升。例如，在文本查询的声音分离任务中，OmniSep相比于现有最佳方法，SI-SNR指标提升了X dB（具体数值请参考原论文）。实验结果表明，Query-Mixup策略和Query-Aug模块能够有效地提高声音分离的性能。

🎯 应用场景

OmniSep具有广泛的应用前景，例如：智能助听设备，可以根据用户的语音指令过滤掉不需要的环境噪声；视频编辑软件，可以根据文本描述提取或移除视频中的特定声音；智能家居系统，可以根据用户的图像或音频查询来控制家电设备的声音输出。该研究有助于提升人机交互的自然性和智能化水平。

📄 摘要（原文）

The scaling up has brought tremendous success in the fields of vision and language in recent years. When it comes to audio, however, researchers encounter a major challenge in scaling up the training data, as most natural audio contains diverse interfering signals. To address this limitation, we introduce Omni-modal Sound Separation (OmniSep), a novel framework capable of isolating clean soundtracks based on omni-modal queries, encompassing both single-modal and multi-modal composed queries. Specifically, we introduce the Query-Mixup strategy, which blends query features from different modalities during training. This enables OmniSep to optimize multiple modalities concurrently, effectively bringing all modalities under a unified framework for sound separation. We further enhance this flexibility by allowing queries to influence sound separation positively or negatively, facilitating the retention or removal of specific sounds as desired. Finally, OmniSep employs a retrieval-augmented approach known as Query-Aug, which enables open-vocabulary sound separation. Experimental evaluations on MUSIC, VGGSOUND-CLEAN+, and MUSIC-CLEAN+ datasets demonstrate effectiveness of OmniSep, achieving state-of-the-art performance in text-, image-, and audio-queried sound separation tasks. For samples and further information, please visit the demo page at \url{https://omnisep.github.io/}.