Effects of Dataset Sampling Rate for Noise Cancellation through Deep Learning

📄 arXiv: 2405.20884v1 📥 PDF

作者: Brandon Colelough, Andrew Zheng

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-05-30

备注: 16 pages, 8 pictures, 3 tables

💡 一句话要点

研究数据集采样率对基于深度学习的噪声消除效果的影响，优化移动设备端语音质量。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 噪声消除 深度学习 ConvTasNET 采样率 语音增强

📋 核心要点

  1. 传统噪声消除方法如快速傅里叶变换在某些场景下存在局限性，需要探索更优的替代方案。
  2. 本研究探索使用深度神经网络ConvTasNET进行噪声消除，关注训练数据采样率对模型性能的影响。
  3. 实验结果表明，较高采样率（48kHz）训练的模型在音频质量指标上表现更优，但处理时间也更长。

📝 摘要（中文）

本研究探讨了深度神经网络（DNNs）在主动噪声消除中的应用，旨在评估训练数据采样率对轻量级、高效DNNs性能的影响，尤其是在移动设备的处理能力约束下。研究采用ConvTasNET网络，并使用WHAM!、LibriMix和MS-2023 DNS Challenge等数据集，分别以8kHz、16kHz和48kHz的采样率进行训练，分析采样率对噪声消除效率和效果的影响。模型在2023年的core-i7 Intel处理器上进行测试，评估其在滤除背景噪声的同时产生清晰音频的能力。结果表明，以较高采样率（48kHz）训练的模型在总谐波失真（THD）和生成神经语音编解码器的质量预测（WARP-Q）指标上表现更优，表明音频质量有所提高。然而，较高的采样率也导致了更长的处理时间。结论是，在较高采样率（如48kHz）下训练的Conv-TasNET网络为移动设备提供了一种通过语音分离和增强实现噪声消除的有效解决方案。未来的工作将涉及进一步优化模型的效率并在移动设备上进行测试。

🔬 方法详解

问题定义：论文旨在解决移动设备上噪声消除的问题，现有方法在计算资源有限的情况下难以达到理想的降噪效果和音频质量。传统方法如FFT在复杂噪声环境下表现不佳，而计算复杂度高的深度学习模型难以在移动设备上部署。

核心思路：论文的核心思路是研究训练数据集的采样率对轻量级深度学习模型（ConvTasNET）在噪声消除任务中的性能影响。通过调整采样率，在模型性能和计算效率之间找到平衡点，从而实现在移动设备上的有效噪声消除。

技术框架：整体框架包括数据准备（使用WHAM!、LibriMix和MS-2023 DNS Challenge等数据集，并以8kHz、16kHz和48kHz采样），模型训练（使用ConvTasNET网络），以及模型评估（在core-i7 Intel处理器上测试，使用THD和WARP-Q指标）。主要模块包括编码器、分离模块和解码器。

关键创新：关键创新在于系统性地研究了数据集采样率对基于深度学习的噪声消除模型性能的影响，并针对移动设备的处理能力约束，探索了高效的噪声消除解决方案。这与以往研究可能更侧重于模型结构创新有所不同。

关键设计：论文选择了ConvTasNET作为基础模型，因为它在语音分离和增强方面表现出色，并且相对轻量级。关键参数包括采样率（8kHz、16kHz、48kHz），损失函数（未知，论文未明确说明），以及网络结构（ConvTasNET的具体结构，论文未详细描述）。评估指标包括总谐波失真（THD）和生成神经语音编解码器的质量预测（WARP-Q）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用48kHz采样率训练的ConvTasNET模型在THD和WARP-Q指标上表现优于使用较低采样率训练的模型，表明音频质量得到了显著提升。虽然较高采样率导致了更长的处理时间，但该研究为在移动设备上实现高质量噪声消除提供了有价值的参考。

🎯 应用场景

该研究成果可应用于各种移动设备上的语音通信和录音场景，例如智能手机、平板电脑、智能音箱等。通过优化噪声消除算法，可以显著提升通话质量、语音识别准确率，并改善用户在嘈杂环境下的使用体验。未来，该技术有望应用于助听器、车载语音系统等领域，具有广阔的应用前景。

📄 摘要（原文）

Background: Active noise cancellation has been a subject of research for decades. Traditional techniques, like the Fast Fourier Transform, have limitations in certain scenarios. This research explores the use of deep neural networks (DNNs) as a superior alternative. Objective: The study aims to determine the effect sampling rate within training data has on lightweight, efficient DNNs that operate within the processing constraints of mobile devices. Methods: We chose the ConvTasNET network for its proven efficiency in speech separation and enhancement. ConvTasNET was trained on datasets such as WHAM!, LibriMix, and the MS-2023 DNS Challenge. The datasets were sampled at rates of 8kHz, 16kHz, and 48kHz to analyze the effect of sampling rate on noise cancellation efficiency and effectiveness. The model was tested on a core-i7 Intel processor from 2023, assessing the network's ability to produce clear audio while filtering out background noise. Results: Models trained at higher sampling rates (48kHz) provided much better evaluation metrics against Total Harmonic Distortion (THD) and Quality Prediction For Generative Neural Speech Codecs (WARP-Q) values, indicating improved audio quality. However, a trade-off was noted with the processing time being longer for higher sampling rates. Conclusions: The Conv-TasNET network, trained on datasets sampled at higher rates like 48kHz, offers a robust solution for mobile devices in achieving noise cancellation through speech separation and enhancement. Future work involves optimizing the model's efficiency further and testing on mobile devices.