I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for Zero-Shot Cross-Lingual Spoken Language Understanding

📄 arXiv: 2310.02594v1 📥 PDF

作者: Tianjun Mao, Chenghong Zhang

分类: cs.CL

发布日期: 2023-10-04

备注: 12 pages,2 figures

💡 一句话要点

提出I$^2$KD-SLU框架以解决零样本跨语言口语理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 零样本学习 跨语言理解 知识蒸馏 口语理解 意图检测 槽位填充

📋 核心要点

  1. 现有的零样本跨语言口语理解模型未能有效实现意图与槽位之间的相互指导，导致性能不足。
  2. 本文提出的I$^2$KD-SLU框架通过内部和外部知识蒸馏建模意图与槽位的相互指导，提升了模型的理解能力。
  3. 实验结果显示，所提框架在MultiATIS++数据集上显著提高了整体准确率，超越了强基线，达到了新的最先进水平。

📝 摘要（中文）

口语理解（SLU）通常包括意图检测和槽位填充两个子任务。在高资源语言中，SLU已取得显著成功，但在低资源语言中，由于标注训练数据的稀缺，仍然面临挑战。因此，零样本跨语言SLU引起了越来越多的关注。尽管现有的零样本跨语言SLU模型取得了一定成功，但大多数模型未能实现意图与槽位之间的相互指导。为了解决这一问题，本文提出了一种用于零样本跨语言口语理解的内部-外部知识蒸馏框架（I$^2$KD-SLU），以建模这种相互指导。具体而言，我们不仅在不同语言中对同一话语的意图预测或槽位预测进行内部知识蒸馏，还对同一话语的意图预测和槽位预测进行外部知识蒸馏。实验结果表明，所提框架显著提高了性能，并在MultiATIS++数据集上达到了新的最先进性能，整体准确率较之前最佳模型有显著提升。

🔬 方法详解

问题定义：本文旨在解决零样本跨语言口语理解中意图与槽位之间缺乏相互指导的问题。现有方法在处理低资源语言时，往往忽视了这两者之间的关系，导致理解效果不佳。

核心思路：本文提出的I$^2$KD-SLU框架通过内部知识蒸馏和外部知识蒸馏的结合，旨在实现意图和槽位之间的相互促进，从而提升模型的整体性能。

技术框架：该框架主要包括两个阶段：第一阶段是内部知识蒸馏，针对同一话语在不同语言中的意图和槽位预测进行蒸馏；第二阶段是外部知识蒸馏，针对同一话语的意图和槽位预测进行相互蒸馏。

关键创新：最重要的创新点在于同时引入内部和外部知识蒸馏机制，形成了一种新的相互指导方式，这与现有方法单一的蒸馏策略形成了鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来平衡内部和外部蒸馏的影响，并通过实验验证了不同参数设置对模型性能的影响，确保了框架的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在MultiATIS++数据集上的实验结果显示，I$^2$KD-SLU框架在整体准确率上显著超过了强基线，达到了新的最先进性能，具体提升幅度未知。该框架的设计有效地实现了意图与槽位之间的相互指导，展现了良好的应用前景。

🎯 应用场景

该研究的潜在应用领域包括多语言客服系统、跨语言信息检索和智能助手等。通过提升低资源语言的口语理解能力，能够更好地服务于全球用户，促进语言技术的普及与应用。未来，该框架有望在更多语言和场景中得到推广，进一步推动跨语言理解的研究与应用。

📄 摘要（原文）

Spoken language understanding (SLU) typically includes two subtasks: intent detection and slot filling. Currently, it has achieved great success in high-resource languages, but it still remains challenging in low-resource languages due to the scarcity of labeled training data. Hence, there is a growing interest in zero-shot cross-lingual SLU. Despite of the success of existing zero-shot cross-lingual SLU models, most of them neglect to achieve the mutual guidance between intent and slots. To address this issue, we propose an Intra-Inter Knowledge Distillation framework for zero-shot cross-lingual Spoken Language Understanding (I$^2$KD-SLU) to model the mutual guidance. Specifically, we not only apply intra-knowledge distillation between intent predictions or slot predictions of the same utterance in different languages, but also apply inter-knowledge distillation between intent predictions and slot predictions of the same utterance. Our experimental results demonstrate that our proposed framework significantly improves the performance compared with the strong baselines and achieves the new state-of-the-art performance on the MultiATIS++ dataset, obtaining a significant improvement over the previous best model in overall accuracy.