QUADS: QUAntized Distillation Framework for Efficient Speech Language Understanding

📄 arXiv: 2505.14723v1 📥 PDF

作者: Subrata Biswas, Mohammad Nur Hossain Khan, Bashima Islam

分类: eess.AS, cs.AI, cs.CL, cs.LG, cs.SD

发布日期: 2025-05-19

期刊: INTERSPEECH, 2025

DOI: 10.21437/Interspeech.2025-532

💡 一句话要点

提出QUADS框架，用于高效语音语言理解的量化蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音语言理解 知识蒸馏 模型量化 资源受限 多阶段训练

📋 核心要点

  1. 现有SLU系统在资源受限环境下，难以兼顾性能与效率，蒸馏和量化分离导致压缩效果不佳。
  2. QUADS框架通过多阶段训练，统一优化蒸馏和量化，提升模型在低比特率下的适应性。
  3. 实验表明，QUADS在保持较高准确率的同时，显著降低了计算复杂度和模型大小。

📝 摘要（中文）

口语理解（SLU）系统需要在性能和效率之间取得平衡，尤其是在资源受限的环境中。现有方法通常独立地应用蒸馏和量化，导致次优的压缩效果，因为蒸馏过程忽略了量化约束。本文提出了QUADS，一个统一的框架，通过预调模型的多阶段训练来优化蒸馏和量化，从而增强了模型在低比特率下的适应性，同时保持了准确性。QUADS在SLURP数据集上实现了71.13%的准确率，在FSC数据集上实现了99.20%的准确率，与最先进的模型相比，性能仅下降了最多5.56%。此外，它将计算复杂度降低了60-73倍（GMACs），模型大小降低了83-700倍，展示了在极端量化下的强大鲁棒性。这些结果表明QUADS是实际资源受限的SLU应用的高效解决方案。

🔬 方法详解

问题定义：论文旨在解决口语理解（SLU）模型在资源受限设备上的部署问题。现有方法通常先进行知识蒸馏，再进行模型量化，这两个过程是分离的，导致蒸馏后的模型没有充分考虑到量化带来的影响，最终压缩效果不佳，性能损失较大。

核心思路：论文的核心思路是将知识蒸馏和模型量化进行统一优化，通过一个多阶段的训练框架，使得蒸馏过程能够感知量化的存在，从而生成更适合量化的模型。这样可以避免量化带来的性能损失，并实现更高的压缩率。

技术框架：QUADS框架包含以下几个主要阶段：1) 预训练一个高性能的教师模型；2) 使用教师模型指导学生模型进行知识蒸馏；3) 对学生模型进行量化感知训练，即在训练过程中模拟量化的过程，使得模型能够适应量化的影响；4) 对量化后的模型进行微调，进一步提升性能。

关键创新：QUADS的关键创新在于将知识蒸馏和量化感知训练进行统一优化。传统的知识蒸馏方法只关注如何让学生模型模仿教师模型的输出，而忽略了量化带来的影响。QUADS通过在训练过程中模拟量化的过程，使得学生模型能够更好地适应量化，从而避免了量化带来的性能损失。

关键设计：QUADS框架的关键设计包括：1) 使用多阶段训练，逐步优化模型；2) 在量化感知训练阶段，使用Straight-Through Estimator (STE)来模拟量化的过程，使得梯度能够顺利传递；3) 使用合适的损失函数来指导模型的训练，例如，可以使用KL散度来衡量学生模型和教师模型输出的相似度，同时可以使用一些正则化项来防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QUADS框架在SLURP和FSC数据集上取得了显著的性能提升。在SLURP数据集上，QUADS实现了71.13%的准确率，在FSC数据集上实现了99.20%的准确率，与最先进的模型相比，性能仅下降了最多5.56%。同时，QUADS将计算复杂度降低了60-73倍（GMACs），模型大小降低了83-700倍，展示了在极端量化下的强大鲁棒性。

🎯 应用场景

该研究成果可应用于各种资源受限的口语理解场景，例如智能手机、嵌入式设备和物联网设备。通过减小模型大小和降低计算复杂度，QUADS框架使得SLU模型能够在这些设备上高效运行，从而实现语音助手、智能家居控制等功能。此外，该方法还可以推广到其他自然语言处理任务和深度学习模型中。

📄 摘要（原文）

Spoken Language Understanding (SLU) systems must balance performance and efficiency, particularly in resource-constrained environments. Existing methods apply distillation and quantization separately, leading to suboptimal compression as distillation ignores quantization constraints. We propose QUADS, a unified framework that optimizes both through multi-stage training with a pre-tuned model, enhancing adaptability to low-bit regimes while maintaining accuracy. QUADS achieves 71.13\% accuracy on SLURP and 99.20\% on FSC, with only minor degradations of up to 5.56\% compared to state-of-the-art models. Additionally, it reduces computational complexity by 60--73$\times$ (GMACs) and model size by 83--700$\times$, demonstrating strong robustness under extreme quantization. These results establish QUADS as a highly efficient solution for real-world, resource-constrained SLU applications.