LANID: LLM-assisted New Intent Discovery

📄 arXiv: 2503.23740v1 📥 PDF

作者: Lu Fan, Jiashu Pu, Rongsheng Zhang, Xiao-Ming Wu

分类: cs.CL, cs.AI

发布日期: 2025-03-31

备注: Published in LREC-COLING 2024

🔗 代码/项目: GITHUB

💡 一句话要点

LANID：利用LLM辅助轻量级编码器进行新意图发现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新意图发现 大型语言模型 对比学习 任务型对话系统 语义表示

📋 核心要点

  1. 现有新意图发现方法在语义表示能力上存在不足，或过度依赖外部知识，限制了其在实际场景中的应用。
  2. LANID框架利用LLM的强大语义理解能力，指导轻量级编码器学习更有效的语义表示，从而提升新意图发现的性能。
  3. 实验结果表明，LANID在多个NID数据集上超越了现有基线方法，证明了其有效性，尤其是在无监督和半监督场景下。

📝 摘要（中文）

面向任务型对话系统(TODS)经常面临新意图识别的挑战。新意图发现(NID)旨在识别这些新意图，同时保持识别现有意图的能力。以往的方法在语义表示方面不足或依赖外部知识，缺乏可扩展性和灵活性。最近，大型语言模型(LLM)展现了强大的零样本能力，但其规模对于涉及大量查询的实际应用来说并不实用。为了利用LLM克服现有NID方法的局限性，我们提出了LANID，一个利用LLM指导来增强轻量级NID编码器语义表示的框架。具体来说，LANID采用K近邻和基于密度的噪声应用空间聚类(DBSCAN)算法从训练集中选择性地采样话语对。然后，它查询LLM以确定这些对之间的关系。从这个过程中产生的数据被用于设计对比微调任务，然后用于训练具有对比三元组损失的小型编码器。实验结果表明，该方法在三个不同的NID数据集上有效，在无监督和半监督设置中均优于强大的基线。

🔬 方法详解

问题定义：新意图发现（NID）旨在识别对话系统中出现的新意图，同时保持对已知意图的识别能力。现有方法的痛点在于，要么语义表示能力不足，无法有效区分新旧意图；要么依赖外部知识库，导致可扩展性和灵活性受限。此外，直接使用大型语言模型（LLM）进行NID，计算成本过高，难以在实际应用中部署。

核心思路：LANID的核心思路是利用LLM的强大语义理解能力，指导轻量级编码器学习更有效的语义表示。具体来说，通过LLM对少量精选的样本对进行关系判断，生成高质量的对比学习数据，从而提升轻量级编码器的泛化能力，使其能够更好地识别新意图。

技术框架：LANID框架主要包含以下几个阶段：1) 样本选择：使用K近邻和DBSCAN算法从训练集中选择具有代表性的 utterance 对。2) LLM标注：将选择的 utterance 对输入 LLM，让 LLM 判断它们之间的语义关系（例如，是否属于同一意图）。3) 对比学习：利用 LLM 标注的数据，设计对比学习任务，训练轻量级编码器。4) 意图发现：使用训练好的编码器，对新的 utterance 进行编码，并使用聚类算法发现新的意图。

关键创新：LANID的关键创新在于利用LLM作为知识源，指导轻量级编码器进行对比学习。与直接使用LLM进行意图发现相比，LANID降低了计算成本，更易于部署。与传统的对比学习方法相比，LANID利用LLM生成高质量的对比学习数据，提升了编码器的泛化能力。

关键设计：在样本选择阶段，K近邻用于选择与查询 utterance 相似的样本，DBSCAN用于发现潜在的新意图簇。在对比学习阶段，使用对比三元组损失函数，鼓励编码器将相似的 utterance 拉近，将不相似的 utterance 推远。LLM的选择和prompt的设计也会影响最终的性能，论文中具体使用的LLM和prompt未知。

🖼️ 关键图片

fig_0

📊 实验亮点

LANID在三个不同的NID数据集上进行了评估，实验结果表明，LANID在无监督和半监督设置下均优于现有的基线方法。具体的性能提升幅度未知，但论文强调LANID能够有效地利用LLM的知识，提升轻量级编码器的语义表示能力，从而实现更好的新意图发现效果。

🎯 应用场景

LANID可应用于各种面向任务的对话系统，例如智能客服、语音助手等。通过自动发现新的用户意图，系统可以不断学习和适应用户的需求，提升用户体验。此外，LANID还可以用于构建更加智能和个性化的对话系统，例如根据用户的历史行为和偏好，预测用户可能的新意图。

📄 摘要（原文）

Task-oriented Dialogue Systems (TODS) often face the challenge of encountering new intents. New Intent Discovery (NID) is a crucial task that aims to identify these novel intents while maintaining the capability to recognize existing ones. Previous efforts to adapt TODS to new intents have struggled with inadequate semantic representation or have depended on external knowledge, which is often not scalable or flexible. Recently, Large Language Models (LLMs) have demonstrated strong zero-shot capabilities; however, their scale can be impractical for real-world applications that involve extensive queries. To address the limitations of existing NID methods by leveraging LLMs, we propose LANID, a framework that enhances the semantic representation of lightweight NID encoders with the guidance of LLMs. Specifically, LANID employs the $K$-nearest neighbors and Density-Based Spatial Clustering of Applications with Noise (DBSCAN) algorithms to sample selective utterance pairs from the training set. It then queries an LLM to ascertain the relationships between these pairs. The data produced from this process is utilized to design a contrastive fine-tuning task, which is then used to train a small encoder with a contrastive triplet loss. Our experimental results demonstrate the efficacy of the proposed method across three distinct NID datasets, surpassing strong baselines in both unsupervised and semi-supervised settings. Our code is available at https://github.com/floatSDSDS/LANID.