Guiding Frame-Level CTC Alignments Using Self-knowledge Distillation

📄 arXiv: 2406.07909v1 📥 PDF

作者: Eungbeom Kim, Hantae Kim, Kyogu Lee

分类: eess.AS, cs.CL, cs.SD, stat.ML

发布日期: 2024-06-12

备注: Accepted by Interspeech 2024

💡 一句话要点

提出一种基于自知识蒸馏的CTC对齐引导方法，提升语音识别性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音识别 知识蒸馏 自知识蒸馏 连接时序分类 帧级别对齐

📋 核心要点

  1. 传统ASR知识蒸馏面临教师-学生模型帧级别对齐不一致的挑战，影响学生模型性能。
  2. 提出自知识蒸馏方法，通过共享编码器层，利用子模型作为学生模型，引导帧级别对齐。
  3. 实验表明，该方法在提升性能的同时，提高了资源利用率，并有效减少了对齐不一致性。

📝 摘要（中文）

本文提出了一种基于连接时序分类(CTC)框架的Transformer编码器语音识别(ASR)自知识蒸馏(SKD)方法，旨在解决传统知识蒸馏中教师-学生模型在帧级别对齐上的不一致问题，该问题会阻碍学生模型性能的提升。与使用独立教师和学生模型的传统方法不同，本研究提出了一种简单有效的方法，通过共享编码器层并将子模型作为学生模型。实验结果表明，该方法能够有效提高资源利用率和性能。此外，我们还对spike timings进行了实验分析，结果表明该方法通过减少对齐不一致性来提高性能。

🔬 方法详解

问题定义：现有的基于知识蒸馏的语音识别模型，在训练过程中，教师模型和学生模型在帧级别的对齐上存在差异。这种对齐差异会阻碍知识从教师模型有效地传递到学生模型，从而限制了学生模型性能的提升。尤其是在CTC框架下，帧级别的对齐至关重要。

核心思路：本文的核心思路是利用自知识蒸馏（SKD）来解决帧级别对齐不一致的问题。通过让模型自身学习对齐方式，减少对外部教师模型的依赖，从而提高学生模型的性能。具体来说，通过共享编码器层，使得学生模型能够从自身学习到更一致的对齐信息。

技术框架：该方法基于Transformer编码器和CTC框架。整体架构包含一个共享的Transformer编码器，以及两个不同的CTC输出层，分别对应于教师模型和学生模型。在训练过程中，教师模型的输出用于指导学生模型的训练，从而实现知识蒸馏。关键在于编码器是共享的，这保证了学生模型能够学习到与教师模型更一致的特征表示。

关键创新：该方法最重要的创新点在于使用自知识蒸馏来引导帧级别对齐。与传统的知识蒸馏方法不同，该方法不需要独立的教师模型，而是利用模型自身来生成教师信号。这种方法可以有效地减少对齐不一致的问题，并提高学生模型的性能。此外，共享编码器层也提高了资源利用率。

关键设计：关键设计包括：1) 共享Transformer编码器层，保证学生模型和教师模型共享相同的特征提取能力；2) 使用CTC损失函数进行训练，同时优化教师模型和学生模型的输出；3) 通过调整教师模型和学生模型的损失权重，控制知识蒸馏的强度；4) spike timings分析，用于评估对齐一致性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，提出的自知识蒸馏方法能够有效提高语音识别性能。通过spike timings分析，验证了该方法能够减少帧级别对齐的不一致性。具体性能提升数据在论文中给出，与传统知识蒸馏方法相比，该方法在资源效率和性能上均有优势。

🎯 应用场景

该研究成果可应用于各种语音识别场景，尤其是在资源受限的情况下，例如移动设备上的语音助手、嵌入式语音识别系统等。通过提高语音识别的准确性和效率，可以改善用户体验，并为更广泛的语音交互应用提供技术支持。未来，该方法还可以扩展到其他序列标注任务中。

📄 摘要（原文）

Transformer encoder with connectionist temporal classification (CTC) framework is widely used for automatic speech recognition (ASR). However, knowledge distillation (KD) for ASR displays a problem of disagreement between teacher-student models in frame-level alignment which ultimately hinders it from improving the student model's performance. In order to resolve this problem, this paper introduces a self-knowledge distillation (SKD) method that guides the frame-level alignment during the training time. In contrast to the conventional method using separate teacher and student models, this study introduces a simple and effective method sharing encoder layers and applying the sub-model as the student model. Overall, our approach is effective in improving both the resource efficiency as well as performance. We also conducted an experimental analysis of the spike timings to illustrate that the proposed method improves performance by reducing the alignment disagreement.