Deep Space Separable Distillation for Lightweight Acoustic Scene Classification

📄 arXiv: 2405.03567v1 📥 PDF

作者: ShuQi Ye, Yuan Tian

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-05-06

💡 一句话要点

提出深度空间可分离蒸馏网络，用于轻量级声场景分类

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 声场景分类 深度学习 模型轻量化 可分离卷积 蒸馏训练

📋 核心要点

  1. 现有声场景分类深度学习方法计算量大，性能有待提升，难以满足实际应用需求。
  2. 论文提出深度空间可分离蒸馏网络，通过高低频分解和轻量级算子降低计算复杂度。
  3. 实验结果表明，该方法在参数量和计算复杂度更小的情况下，性能提升了9.8%。

📝 摘要（中文）

声场景分类(ASC)在现实世界中至关重要。近年来，基于深度学习的方法已被广泛应用于声场景分类。然而，这些方法目前不够轻量级，且性能并不令人满意。为了解决这些问题，我们提出了一种深度空间可分离蒸馏网络。首先，该网络对log-mel频谱图进行高低频分解，在保持模型性能的同时显著降低了计算复杂度。其次，我们专门为ASC设计了三种轻量级算子，包括可分离卷积(SC)、正交可分离卷积(OSC)和可分离部分卷积(SPC)。这些算子在声场景分类任务中表现出高效的特征提取能力。实验结果表明，与目前流行的深度学习方法相比，该方法在参数量和计算复杂度更小的情况下，性能提升了9.8%。

🔬 方法详解

问题定义：论文旨在解决声场景分类任务中，现有深度学习模型参数量大、计算复杂度高，导致模型难以部署在资源受限设备上的问题。现有方法在模型轻量化和性能提升方面存在瓶颈。

核心思路：论文的核心思路是利用深度空间可分离蒸馏网络，在保证甚至提升模型性能的前提下，显著降低模型的参数量和计算复杂度。通过高低频分解降低输入维度，并设计轻量级算子进行高效特征提取。

技术框架：整体框架包含以下几个主要步骤：1) 输入log-mel频谱图；2) 对频谱图进行高低频分解，降低计算量；3) 使用轻量级算子（SC、OSC、SPC）进行特征提取；4) 利用蒸馏训练，将teacher模型的知识迁移到student模型，提升student模型的性能。

关键创新：论文的关键创新在于：1) 提出高低频分解方法，有效降低计算复杂度；2) 设计了三种轻量级算子（SC、OSC、SPC），专门用于声场景分类任务，具有高效的特征提取能力；3) 结合蒸馏训练，进一步提升了轻量级模型的性能。

关键设计：论文中，高低频分解的具体实现方式未知。三种轻量级算子（SC、OSC、SPC）的具体结构和参数设置未知。蒸馏训练中，teacher模型的选择和损失函数的设计未知。这些细节将影响最终的模型性能。

📊 实验亮点

实验结果表明，提出的深度空间可分离蒸馏网络在声场景分类任务中取得了显著的性能提升。与现有流行的深度学习方法相比，该方法在参数量和计算复杂度更小的情况下，性能提升了9.8%。这表明该方法在模型轻量化和性能提升方面具有优势。

🎯 应用场景

该研究成果可应用于智能家居、智能安防、自动驾驶等领域。例如，在智能家居中，可以利用轻量级的声场景分类模型识别环境声音，从而实现智能控制和个性化服务。在自动驾驶中，可以识别车辆周围的声音，提高驾驶安全性。该研究有助于推动声场景分类技术在实际场景中的应用。

📄 摘要（原文）

Acoustic scene classification (ASC) is highly important in the real world. Recently, deep learning-based methods have been widely employed for acoustic scene classification. However, these methods are currently not lightweight enough as well as their performance is not satisfactory. To solve these problems, we propose a deep space separable distillation network. Firstly, the network performs high-low frequency decomposition on the log-mel spectrogram, significantly reducing computational complexity while maintaining model performance. Secondly, we specially design three lightweight operators for ASC, including Separable Convolution (SC), Orthonormal Separable Convolution (OSC), and Separable Partial Convolution (SPC). These operators exhibit highly efficient feature extraction capabilities in acoustic scene classification tasks. The experimental results demonstrate that the proposed method achieves a performance gain of 9.8% compared to the currently popular deep learning methods, while also having smaller parameter count and computational complexity.