MIDAS: Multi-level Intent, Domain, And Slot Knowledge Distillation for Multi-turn NLU

📄 arXiv: 2408.08144v3 📥 PDF

作者: Yan Li, So-Eon Kim, Seong-Bae Park, Soyeon Caren Han

分类: cs.CL

发布日期: 2024-08-15 (更新: 2025-05-30)

备注: Accepted by NAACL 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出MIDAS，利用多层次知识蒸馏提升多轮对话NLU性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮对话理解 自然语言理解 知识蒸馏 意图识别 槽位填充 领域分类 多教师学习

📋 核心要点

  1. 现有NLU模型难以有效处理复杂的多轮对话场景，无法充分理解对话历史中的上下文信息。
  2. MIDAS方法通过多层次知识蒸馏，将句子意图、词槽填充和对话领域知识从多个教师模型迁移到学生模型。
  3. 实验结果表明，MIDAS模型能够有效提升多轮对话理解能力，证明了多层次知识蒸馏在NLU中的潜力。

📝 摘要（中文）

大型语言模型(LLMs)虽然能生成连贯的文本，但通常难以识别查询背后的用户意图。相比之下，自然语言理解(NLU)模型能够解释用户输入的意图和关键信息，从而实现响应式交互。现有的NLU模型通常将语句映射到双层语义框架，包括句子级意图(SI)和词级槽位(WS)标签。然而，实际对话主要由多轮对话组成，需要解释复杂和扩展的交流。研究人员在用统一的NLU模型处理多轮对话的所有方面时面临挑战。本文介绍了一种新方法MIDAS，它利用多层次的意图、领域和槽位知识蒸馏来进行多轮NLU。我们为SI检测、WS填充和对话级领域(CD)分类构建了不同的教师模型，每个模型都针对特定知识进行了微调。提出了一种多教师损失，以促进这些教师模型的集成，从而指导学生模型完成多轮对话任务。结果表明，我们的模型在提高多轮对话理解方面是有效的，展示了通过多层次对话知识蒸馏改进NLU的潜力。我们的实现已在https://github.com/adlnlp/Midas上开源。

🔬 方法详解

问题定义：现有的自然语言理解（NLU）模型在处理多轮对话时面临挑战。这些模型通常难以捕捉对话历史中的复杂依赖关系，导致意图识别和槽位填充的准确率下降。此外，现有模型通常将句子意图和词槽填充作为独立任务处理，忽略了它们之间的相互影响。

核心思路：MIDAS的核心思路是利用知识蒸馏技术，将多个专门训练的“教师”模型的知识迁移到一个“学生”模型中。每个教师模型专注于不同的任务：句子意图检测、词槽填充和对话领域分类。通过这种方式，学生模型可以学习到更全面、更细粒度的对话理解能力。

技术框架：MIDAS框架包含三个主要的教师模型和一个学生模型。每个教师模型都针对特定的任务（SI检测、WS填充、CD分类）进行微调。学生模型接收来自所有教师模型的知识，并通过多教师损失函数进行训练。该损失函数旨在最小化学生模型和每个教师模型之间的预测差异。整体流程是先训练好各个教师模型，然后利用这些教师模型指导学生模型的训练。

关键创新：MIDAS的关键创新在于其多层次知识蒸馏策略。它不是简单地将所有知识一股脑地迁移到学生模型中，而是将知识分解为意图、领域和槽位三个层次，并为每个层次构建专门的教师模型。这种方法可以更有效地利用教师模型的知识，并帮助学生模型学习到更细粒度的对话理解能力。

关键设计：MIDAS的关键设计包括：1) 为每个任务选择合适的预训练模型作为教师模型的基础；2) 设计多教师损失函数，平衡不同教师模型的影响；3) 探索不同的知识迁移策略，例如logits匹配和特征匹配；4) 仔细调整训练参数，以确保学生模型能够充分学习教师模型的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文实验结果表明，MIDAS模型在多轮对话NLU任务上取得了显著的性能提升。具体来说，MIDAS在多个基准数据集上超越了现有的SOTA模型，在句子意图识别、词槽填充和对话领域分类等指标上均有提升。例如，在某个数据集上，MIDAS的联合准确率（Joint Accuracy）比最佳基线模型提高了超过3个百分点。

🎯 应用场景

MIDAS模型可应用于各种多轮对话系统，例如智能客服、虚拟助手和任务型对话系统。通过提升多轮对话理解能力，MIDAS可以帮助这些系统更准确地理解用户意图，提供更个性化、更有效的服务。该研究的成果也有助于推动人机交互技术的进步，使机器能够更好地理解和响应人类的自然语言。

📄 摘要（原文）

Although Large Language Models (LLMs) can generate coherent text, they often struggle to recognise user intent behind queries. In contrast, Natural Language Understanding (NLU) models interpret the purpose and key information of user input for responsive interactions. Existing NLU models typically map utterances to a dual-level semantic frame, involving sentence-level intent (SI) and word-level slot (WS) labels. However, real-life conversations primarily consist of multi-turn dialogues, requiring the interpretation of complex and extended exchanges. Researchers encounter challenges in addressing all facets of multi-turn dialogue using a unified NLU model. This paper introduces MIDAS, a novel approach leveraging multi-level intent, domain, and slot knowledge distillation for multi-turn NLU. We construct distinct teachers for SI detection, WS filling, and conversation-level domain (CD) classification, each fine-tuned for specific knowledge. A multi-teacher loss is proposed to facilitate the integration of these teachers, guiding a student model in multi-turn dialogue tasks. Results demonstrate the efficacy of our model in improving multi-turn conversation understanding, showcasing the potential for advancements in NLU through multi-level dialogue knowledge distillation. Our implementation is open-sourced on https://github.com/adlnlp/Midas.