IntenDD: A Unified Contrastive Learning Approach for Intent Detection and Discovery

📄 arXiv: 2310.16761v1 📥 PDF

作者: Bhavuk Singhal, Ashim Gupta, Shivasankaran V P, Amrith Krishna

分类: cs.CL

发布日期: 2023-10-25

备注: EMNLP 2023 Findings

💡 一句话要点

提出IntenDD以统一解决意图检测与发现问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 意图检测 对比学习 无监督学习 自然语言处理 任务导向对话系统

📋 核心要点

  1. 现有方法通常将意图检测和发现任务分开处理，缺乏统一的解决方案，导致效率低下。
  2. IntenDD通过共享的语句编码和无监督的对比学习策略，生成伪标签并进行意图分类和发现。
  3. 在多个基准数据集上，IntenDD在少样本多类、少样本多标签和意图发现任务中均表现出显著的性能提升。

📝 摘要（中文）

从对话语句中识别意图是任务导向对话系统的重要组成部分。意图相关任务通常被视为分类任务或聚类任务。本文提出了IntenDD，一个统一的方法，利用共享的语句编码基础架构，采用完全无监督的对比学习策略进行表示学习。通过基于词汇特征生成伪标签，并引入两步后处理设置，IntenDD在多个基准数据集上进行了广泛评估，结果显示其在少样本多类、少样本多标签和意图发现任务中均优于竞争基线，平均提升分别为2.32%、1.26%和1.52%。

🔬 方法详解

问题定义：本文旨在解决意图检测与发现任务的统一建模问题。现有方法通常将这两者分开处理，导致信息利用不充分，且在新意图类别的发现上存在局限性。

核心思路：IntenDD提出了一种统一的方法，通过共享的语句编码基础架构和无监督的对比学习策略来进行意图的检测与发现。该方法通过生成伪标签来增强无标签数据的利用效率。

技术框架：IntenDD的整体架构包括一个共享的编码器用于语句表示学习，接着通过对比学习生成伪标签，最后采用两步后处理机制来优化分类任务。

关键创新：最重要的创新在于将意图检测和发现任务整合为一个统一的框架，利用无监督学习策略来生成伪标签，从而提高了模型在新意图类别上的适应能力。

关键设计：在模型设计中，采用了对比损失函数以增强语句表示的区分性，同时在后处理阶段通过修改的吸附算法来平滑标签，确保训练数据的残差被有效传播。

🖼️ 关键图片

img_0

📊 实验亮点

在实验中，IntenDD在少样本多类、少样本多标签和意图发现任务上分别实现了2.32%、1.26%和1.52%的性能提升，超越了多个竞争基线，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、语音助手和其他任务导向的对话系统。通过提高意图检测和发现的准确性，IntenDD能够显著提升用户交互体验，推动自然语言处理技术的进一步发展。未来，该方法也可能扩展到其他领域，如情感分析和主题建模等。

📄 摘要（原文）

Identifying intents from dialogue utterances forms an integral component of task-oriented dialogue systems. Intent-related tasks are typically formulated either as a classification task, where the utterances are classified into predefined categories or as a clustering task when new and previously unknown intent categories need to be discovered from these utterances. Further, the intent classification may be modeled in a multiclass (MC) or multilabel (ML) setup. While typically these tasks are modeled as separate tasks, we propose IntenDD, a unified approach leveraging a shared utterance encoding backbone. IntenDD uses an entirely unsupervised contrastive learning strategy for representation learning, where pseudo-labels for the unlabeled utterances are generated based on their lexical features. Additionally, we introduce a two-step post-processing setup for the classification tasks using modified adsorption. Here, first, the residuals in the training data are propagated followed by smoothing the labels both modeled in a transductive setting. Through extensive evaluations on various benchmark datasets, we find that our approach consistently outperforms competitive baselines across all three tasks. On average, IntenDD reports percentage improvements of 2.32%, 1.26%, and 1.52% in their respective metrics for few-shot MC, few-shot ML, and the intent discovery tasks respectively.