Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs

📄 arXiv: 2503.17336v1 📥 PDF

作者: Reem Gody, Mohamed Abdelghaffar, Mohammed Jabreel, Ahmed Tawfik

分类: cs.CL, cs.AI

发布日期: 2025-03-21

💡 一句话要点

提出基于知识蒸馏的意图过滤方法，用于降低LLM在多方对话中的计算成本

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 意图分类 多方对话 大型语言模型 计算效率 MobileBERT

📋 核心要点

  1. 现有LLM在对话AI中表现出色，但计算资源需求高昂，限制了其在资源受限环境中的应用。
  2. 提出一种基于知识蒸馏的意图过滤方法，利用轻量级模型过滤掉不相关的对话片段，降低LLM的计算负担。
  3. 实验表明，该方法在降低计算成本的同时，保持了较高的意图识别准确率，实现了效率与性能的平衡。

📝 摘要（中文）

大型语言模型(LLM)在对话AI领域展现了卓越的能力，能够实现聊天机器人的开放领域回复，以及对话的高级处理，如摘要、意图分类和洞察生成。然而，这些模型是资源密集型的，需要大量的内存和计算能力。为了解决这个问题，我们提出了一种经济高效的解决方案，该方案针对目标下游应用过滤LLM处理的感兴趣的对话片段，而不是处理每个片段。在这项工作中，我们介绍了一种创新的方法，该方法利用来自LLM的知识蒸馏来开发用于多方对话的基于意图的过滤器，该过滤器针对计算能力受限的环境进行了优化。我们的方法结合了不同的策略来创建多样化的多方对话数据集，该数据集使用目标意图进行注释，然后用于微调MobileBERT模型以进行多标签意图分类。该模型在效率和性能之间取得了平衡，可以根据对话片段的意图有效地过滤对话片段。通过仅将相关的片段传递给LLM以进行进一步处理，我们的方法根据意图和数据分布显着降低了总体运营成本，正如我们的实验所证明的那样。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）虽然在对话理解和生成方面表现出色，但其高昂的计算成本限制了它们在资源受限环境中的应用。直接对所有对话片段进行LLM处理是不经济的。因此，需要一种方法来过滤掉不相关的对话片段，只将重要的片段交给LLM处理，从而降低总体计算成本。

核心思路：本论文的核心思路是利用知识蒸馏技术，将大型LLM的知识迁移到一个轻量级的模型（MobileBERT）上。具体来说，首先使用LLM对多方对话数据进行意图标注，然后使用这些标注数据来训练MobileBERT模型，使其能够快速准确地识别对话片段的意图。这样，MobileBERT就可以作为一个过滤器，过滤掉不包含目标意图的对话片段。

技术框架：整体框架包含以下几个主要步骤：1) 数据收集与标注：收集多方对话数据，并使用LLM对每个对话片段进行意图标注。2) 模型训练：使用标注后的数据微调MobileBERT模型，使其能够进行多标签意图分类。3) 意图过滤：使用训练好的MobileBERT模型对新的对话数据进行意图预测，只将包含目标意图的片段传递给LLM进行后续处理。

关键创新：该方法的主要创新在于利用知识蒸馏技术，将大型LLM的知识迁移到轻量级模型上，从而实现高效的意图过滤。与直接使用LLM进行意图识别相比，该方法大大降低了计算成本。与传统的基于规则或关键词的过滤方法相比，该方法能够更准确地识别对话片段的意图。

关键设计：在数据标注阶段，使用了多种策略来生成多样化的多方对话数据集，以提高模型的泛化能力。在模型训练阶段，使用了多标签分类损失函数，以处理一个对话片段包含多个意图的情况。MobileBERT模型的选择是基于其在计算效率和性能之间的良好平衡。

🖼️ 关键图片

fig_0

📊 实验亮点

该研究通过实验验证了所提出的意图过滤方法的有效性。实验结果表明，该方法能够在保持较高意图识别准确率的同时，显著降低LLM的计算成本。具体的性能数据（例如，计算成本降低的百分比、意图识别准确率的提升）在摘要中未明确给出，需要在论文正文中查找。

🎯 应用场景

该研究成果可应用于各种需要处理多方对话的场景，例如智能客服、会议记录分析、社交媒体监控等。通过过滤掉不相关的对话片段，可以显著降低LLM的计算成本，使其能够在资源受限的环境中部署。此外，该方法还可以提高对话处理的效率，加快信息提取和分析的速度，具有重要的实际应用价值。

📄 摘要（原文）

Large language models (LLMs) have showcased remarkable capabilities in conversational AI, enabling open-domain responses in chat-bots, as well as advanced processing of conversations like summarization, intent classification, and insights generation. However, these models are resource-intensive, demanding substantial memory and computational power. To address this, we propose a cost-effective solution that filters conversational snippets of interest for LLM processing, tailored to the target downstream application, rather than processing every snippet. In this work, we introduce an innovative approach that leverages knowledge distillation from LLMs to develop an intent-based filter for multi-party conversations, optimized for compute power constrained environments. Our method combines different strategies to create a diverse multi-party conversational dataset, that is annotated with the target intents and is then used to fine-tune the MobileBERT model for multi-label intent classification. This model achieves a balance between efficiency and performance, effectively filtering conversation snippets based on their intents. By passing only the relevant snippets to the LLM for further processing, our approach significantly reduces overall operational costs depending on the intents and the data distribution as demonstrated in our experiments.