Creating a Good Teacher for Knowledge Distillation in Acoustic Scene Classification

📄 arXiv: 2503.11363v1 📥 PDF

作者: Tobias Morocutti, Florian Schmid, Khaled Koutini, Gerhard Widmer

分类: cs.SD, cs.LG, eess.AS

发布日期: 2025-03-14

💡 一句话要点

声学场景分类中，研究教师模型属性对知识蒸馏学生模型性能的影响

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 声学场景分类 知识蒸馏 教师模型 学生模型 模型压缩 设备泛化 模型集成

📋 核心要点

  1. 知识蒸馏在声学场景分类中被广泛应用，但如何选择合适的教师模型以提升学生模型性能的研究较少。
  2. 该研究通过系统性地改变教师模型的架构、大小、训练方式和集成策略，来分析这些因素对学生模型性能的影响。
  3. 实验结果表明，教师模型的大小、设备泛化方法、集成策略以及集成规模是影响学生模型性能的关键因素。

📝 摘要（中文）

知识蒸馏(KD)是一种广泛使用的技术，用于将大型模型的知识压缩到更紧凑和高效的模型中。KD已被证明在构建高性能、低复杂度的声学场景分类(ASC)系统中非常有效，并且在过去三年中，所有DCASE挑战赛中排名靠前的提交都使用了KD。目前已有大量关于建立KD过程、设计高效学生模型和形成高性能教师集成模型的研究。然而，关于哪些教师模型属性对低复杂度的学生模型有益的研究较少。本文试图通过研究不同教师网络架构、改变教师模型大小、使用不同的设备泛化方法训练教师模型以及应用不同的集成策略对学生模型性能的影响来弥补这一差距。结果表明，教师模型大小、设备泛化方法、集成策略和集成大小是影响学生网络性能的关键因素。

🔬 方法详解

问题定义：论文旨在解决声学场景分类（ASC）中，如何选择合适的教师模型，从而提升通过知识蒸馏训练得到的低复杂度学生模型的性能。现有方法主要集中在KD过程、学生模型设计和教师集成上，缺乏对教师模型自身属性（如架构、大小、训练方式等）对学生模型影响的深入研究。

核心思路：论文的核心思路是通过系统性地实验，探究不同的教师模型属性（架构、大小、设备泛化方法、集成策略）对学生模型性能的影响。通过控制变量法，分析每个因素对学生模型性能的贡献，从而为选择合适的教师模型提供指导。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择或构建不同的教师模型，这些模型在架构、大小、训练方式（是否使用设备泛化）和集成策略上有所不同。2) 使用这些教师模型对学生模型进行知识蒸馏训练。3) 在相同的测试集上评估学生模型的性能。4) 分析不同教师模型属性与学生模型性能之间的关系，得出结论。

关键创新：该研究的关键创新在于其系统性地研究了教师模型属性对知识蒸馏效果的影响。以往的研究主要关注学生模型的设计和KD过程的优化，而忽略了教师模型本身的重要性。该研究通过实验揭示了教师模型大小、设备泛化方法、集成策略等因素对学生模型性能的关键作用。

关键设计：论文的关键设计包括：1) 选择了多种不同的教师模型架构，例如不同的卷积神经网络结构。2) 通过调整模型参数数量来控制教师模型的大小。3) 使用不同的设备泛化方法（例如数据增强、领域对抗训练）来训练教师模型。4) 采用了不同的集成策略，例如简单平均、加权平均等。5) 使用交叉熵损失和蒸馏损失的加权和作为训练目标。

📊 实验亮点

实验结果表明，教师模型的大小对学生模型的性能有显著影响，较大的教师模型通常能够提供更好的蒸馏效果。此外，使用设备泛化方法训练的教师模型能够提升学生模型的泛化能力。集成策略的选择也会影响学生模型的性能，合适的集成策略能够进一步提升学生模型的准确率。例如，使用经过设备泛化训练的大型集成教师模型，可以显著提升学生模型的性能。

🎯 应用场景

该研究成果可应用于各种需要低功耗、低延迟的声学场景分类应用中，例如智能手机、智能家居设备、可穿戴设备等。通过选择合适的教师模型进行知识蒸馏，可以在保证模型性能的同时，显著降低模型的计算复杂度和存储空间，从而实现高效的边缘计算。

📄 摘要（原文）

Knowledge Distillation (KD) is a widespread technique for compressing the knowledge of large models into more compact and efficient models. KD has proved to be highly effective in building well-performing low-complexity Acoustic Scene Classification (ASC) systems and was used in all the top-ranked submissions to this task of the annual DCASE challenge in the past three years. There is extensive research available on establishing the KD process, designing efficient student models, and forming well-performing teacher ensembles. However, less research has been conducted on investigating which teacher model attributes are beneficial for low-complexity students. In this work, we try to close this gap by studying the effects on the student's performance when using different teacher network architectures, varying the teacher model size, training them with different device generalization methods, and applying different ensembling strategies. The results show that teacher model sizes, device generalization methods, the ensembling strategy and the ensemble size are key factors for a well-performing student network.