Knowledge Distillation for Speech Denoising by Latent Representation Alignment with Cosine Distance

📄 arXiv: 2505.03442v1 📥 PDF

作者: Diep Luong, Mikko Heikkinen, Konstantinos Drossos, Tuomas Virtanen

分类: cs.SD, cs.LG, eess.AS

发布日期: 2025-05-06

💡 一句话要点

提出基于余弦距离的知识蒸馏方法以改善语音去噪性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音去噪 知识蒸馏 余弦相似性 去噪自编码器 模型压缩 低资源环境 深度学习

📋 核心要点

  1. 现有的语音去噪方法复杂度高，难以在低资源环境中有效部署，限制了其应用。
  2. 本文提出了一种基于去噪自编码器和余弦相似性的知识蒸馏方法，旨在改善学生模型的学习能力。
  3. 实验结果显示，所提方法在多种不匹配场景下，学生模型的性能优于基线方法，提升显著。

📝 摘要（中文）

语音去噪是一个广泛应用且影响深远的任务，然而现有的强大方法往往过于复杂，难以在低资源环境中部署。知识蒸馏（KD）是一种有效的解决方案，通过将复杂模型的知识转移到简单模型中来减轻复杂性。现有的KD方法可能限制了学生模型的学习能力。本文提出了一种新方法，利用去噪自编码器框架、线性反向瓶颈和余弦相似性，解决了这一问题。通过公共数据集进行的实验表明，所提方法在不同的匹配场景下，学生模型的表现优于教师模型，并能更好地适应更大的不匹配条件。

🔬 方法详解

问题定义：本文解决的是语音去噪中的知识蒸馏问题，现有方法在复杂模型与简单模型之间的知识转移过程中，可能会限制学生模型的学习能力，导致性能下降。

核心思路：论文提出了一种新的知识蒸馏方法，利用去噪自编码器框架和余弦相似性，旨在改善学生模型的学习效果，避免信息损失。

技术框架：整体架构包括教师模型和学生模型的设计，采用去噪自编码器作为基础，结合线性反向瓶颈结构，通过余弦距离进行知识对齐。

关键创新：最重要的创新在于使用余弦相似性来进行知识蒸馏，这一方法与传统的基于欧氏距离的蒸馏方法有本质区别，能够更好地保持特征的相对关系。

关键设计：在参数设置上，采用了适应性损失函数，网络结构上引入了线性反向瓶颈，以提高模型的表达能力和去噪效果。

📊 实验亮点

实验结果表明，所提方法在不同的匹配场景下，学生模型的性能显著优于基线方法，具体表现为在多个指标上均有提升，尤其是在处理更大不匹配条件时，学生模型的鲁棒性得到了增强。

🎯 应用场景

该研究的潜在应用领域包括智能设备（如手持设备、智能眼镜和助听器）中的语音去噪技术。通过降低模型复杂度，能够在资源受限的环境中实现高效的语音处理，提升用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Speech denoising is a generally adopted and impactful task, appearing in many common and everyday-life use cases. Although there are very powerful methods published, most of those are too complex for deployment in everyday and low-resources computational environments, like hand-held devices, intelligent glasses, hearing aids, etc. Knowledge distillation (KD) is a prominent way for alleviating this complexity mismatch and is based on the transferring/distilling of knowledge from a pre-trained complex model, the teacher, to another less complex one, the student. Existing KD methods for speech denoising are based on processes that potentially hamper the KD by bounding the learning of the student to the distribution, information ordering, and feature dimensionality learned by the teacher. In this paper, we present and assess a method that tries to treat this issue, by exploiting the well-known denoising-autoencoder framework, the linear inverted bottlenecks, and the properties of the cosine similarity. We use a public dataset and conduct repeated experiments with different mismatching scenarios between the teacher and the student, reporting the mean and standard deviation of the metrics of our method and another, state-of-the-art method that is used as a baseline. Our results show that with the proposed method, the student can perform better and can also retain greater mismatching conditions compared to the teacher.