Knowledge Distillation for Speech Denoising by Latent Representation Alignment with Cosine Distance
作者: Diep Luong, Mikko Heikkinen, Konstantinos Drossos, Tuomas Virtanen
分类: cs.SD, cs.LG, eess.AS
发布日期: 2025-05-06
💡 一句话要点
提出基于余弦距离潜在表征对齐的知识蒸馏语音降噪方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语音降噪 知识蒸馏 潜在表征对齐 余弦相似度 降噪自编码器
📋 核心要点
- 现有语音降噪模型计算复杂度高，难以在低资源设备上部署，知识蒸馏是解决该问题的有效途径。
- 该论文提出一种基于余弦相似度的潜在表征对齐知识蒸馏方法，旨在克服现有方法对学生模型的限制。
- 实验结果表明，该方法在不同不匹配场景下，学生模型的性能优于基线方法，且能容忍更大的模型差异。
📝 摘要（中文）
语音降噪是一项被广泛采用且影响深远的任务，出现在许多常见的日常用例中。虽然已经发表了许多强大的方法，但它们对于日常和低资源计算环境（如手持设备、智能眼镜、助听器等）中的部署来说过于复杂。知识蒸馏（KD）是缓解这种复杂性不匹配的一种重要方法，它基于将知识从预先训练的复杂模型（教师）转移/提炼到另一个不太复杂的模型（学生）。现有的语音降噪KD方法基于一些过程，这些过程可能会通过将学生的学习限制在教师学习的分布、信息排序和特征维度上，从而阻碍KD。在本文中，我们提出并评估了一种试图解决此问题的方法，该方法利用了众所周知的降噪自编码器框架、线性反向瓶颈和余弦相似度的属性。我们使用公共数据集，并在教师和学生之间存在不同不匹配场景的情况下进行重复实验，报告了我们方法和另一种最先进方法（用作基线）的指标的平均值和标准差。结果表明，与基线方法相比，所提出的方法可以使学生表现更好，并且可以保留更大的不匹配条件。
🔬 方法详解
问题定义：论文旨在解决语音降噪模型在低资源设备上部署困难的问题。现有的知识蒸馏方法在语音降噪任务中，容易将学生模型的学习限制在教师模型的分布、信息排序和特征维度上，导致学生模型无法充分学习到教师模型的知识。
核心思路：论文的核心思路是利用降噪自编码器框架和线性反向瓶颈，并通过余弦相似度对齐教师和学生模型的潜在表征。这种方法旨在减少学生模型对教师模型特征维度和信息排序的依赖，从而更有效地进行知识迁移。
技术框架：该方法基于降噪自编码器（DAE）框架。教师模型和学生模型都是DAE，包含编码器和解码器。线性反向瓶颈（Linear Inverted Bottleneck, LIB）被用于编码器中，以提取更紧凑的特征表示。知识蒸馏过程通过对齐教师和学生模型编码器输出的潜在表征来实现。
关键创新：该方法的关键创新在于使用余弦相似度来对齐教师和学生模型的潜在表征。与直接对特征进行匹配相比，余弦相似度关注的是向量的方向，而不是幅度，这使得学生模型能够学习到教师模型更本质的知识，而不会受到特征维度和信息排序的限制。
关键设计：损失函数包含两部分：降噪损失和知识蒸馏损失。降噪损失用于训练学生模型和教师模型进行语音降噪。知识蒸馏损失基于余弦相似度，用于对齐教师和学生模型编码器输出的潜在表征。具体而言，知识蒸馏损失最小化教师和学生模型潜在表征之间的余弦距离。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在不同教师-学生模型不匹配的场景下，均优于基线方法。具体来说，学生模型在语音质量和可懂度指标上都取得了显著提升，并且能够容忍更大的模型差异。这表明该方法能够更有效地将知识从教师模型迁移到学生模型，从而在低资源设备上实现更好的语音降噪性能。
🎯 应用场景
该研究成果可应用于各种需要语音降噪的低资源设备，如智能手机、智能眼镜、助听器等。通过知识蒸馏，可以将复杂的语音降噪模型压缩成更小的模型，从而在资源受限的设备上实现高性能的语音降噪，提升用户体验。该技术还有潜力应用于语音识别、语音合成等其他语音处理任务。
📄 摘要（原文）
Speech denoising is a generally adopted and impactful task, appearing in many common and everyday-life use cases. Although there are very powerful methods published, most of those are too complex for deployment in everyday and low-resources computational environments, like hand-held devices, intelligent glasses, hearing aids, etc. Knowledge distillation (KD) is a prominent way for alleviating this complexity mismatch and is based on the transferring/distilling of knowledge from a pre-trained complex model, the teacher, to another less complex one, the student. Existing KD methods for speech denoising are based on processes that potentially hamper the KD by bounding the learning of the student to the distribution, information ordering, and feature dimensionality learned by the teacher. In this paper, we present and assess a method that tries to treat this issue, by exploiting the well-known denoising-autoencoder framework, the linear inverted bottlenecks, and the properties of the cosine similarity. We use a public dataset and conduct repeated experiments with different mismatching scenarios between the teacher and the student, reporting the mean and standard deviation of the metrics of our method and another, state-of-the-art method that is used as a baseline. Our results show that with the proposed method, the student can perform better and can also retain greater mismatching conditions compared to the teacher.