Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
作者: Mrinal Rawat, Hithesh Sankararaman, Victor Barres
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-10-18
备注: Accepted in IJCNLP'23
💡 一句话要点
提出CDI框架，通过半监督对比学习实现可控的意图发现
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 意图发现 对比学习 半监督学习 持续学习 人机交互 深度聚类 对话系统
📋 核心要点
- 现有无监督意图发现方法难以整合约束，对结果控制有限，半监督方法缺乏人工反馈机制。
- CDI框架通过无监督对比学习、微调和迭代优化，结合持续学习防止灾难性遗忘，实现可控意图发现。
- 在CLINC和BANKING数据集上，CDI显著优于现有方法，分别提升了10.26%和11.72%。
📝 摘要（中文）
从对话式AI系统中获取价值取决于用户将先验知识转化为配置的能力。在大多数情况下，发现相关的轮次级别说话者意图集合是关键步骤之一。纯粹的无监督算法提供了一种解决发现问题的自然方法，但难以整合约束，并且对结果的控制非常有限。先前的工作表明，半监督（深度）聚类技术可以允许系统在意图发现过程中整合先验知识和约束。但是，他们没有解决如何通过人工反馈来实现控制。在我们的可控意图发现（CDI）框架中，领域和先验知识通过对未标记数据进行一系列无监督对比学习，然后对部分标记数据进行微调，最后通过重复聚类和伪标签微调来迭代改进聚类和表示来整合。此外，我们借鉴了持续学习文献，并使用无遗忘学习来防止这些训练阶段中的灾难性遗忘。最后，我们展示了这种深度聚类过程如何成为人机循环的增量发现策略的一部分。我们在CLINC和BANKING数据集上报告了结果。CDI的性能明显优于以前的工作：分别提高了10.26％和11.72％。
🔬 方法详解
问题定义：论文旨在解决对话系统中意图发现的问题，即如何从对话数据中自动识别用户的意图。现有方法，特别是纯无监督方法，无法有效利用先验知识和人工反馈，导致意图发现的准确性和可控性不足。半监督方法虽然可以利用少量标注数据，但缺乏有效的人工干预和迭代优化机制，难以适应不断变化的用户需求。
核心思路：论文的核心思路是结合对比学习、半监督学习和持续学习，构建一个可控的意图发现框架。通过对比学习，模型能够学习到更鲁棒的意图表示；通过半监督学习，模型可以利用少量标注数据进行微调；通过持续学习，模型可以避免在迭代优化过程中遗忘先前学习到的知识。此外，该框架还引入了人工反馈机制，允许用户在迭代过程中对意图发现结果进行干预和修正，从而提高意图发现的准确性和可控性。
技术框架：CDI框架包含三个主要阶段：1) 无监督对比学习：利用未标注数据学习意图的初始表示；2) 半监督微调：利用少量标注数据对意图表示进行微调；3) 迭代优化：通过重复聚类和伪标签微调，不断改进意图表示和聚类结果。在迭代优化过程中，引入人工反馈机制，允许用户对聚类结果进行修正。此外，为了防止灾难性遗忘，采用了learning-without-forgetting策略。
关键创新：CDI框架的关键创新在于：1) 结合对比学习、半监督学习和持续学习，构建了一个完整的可控意图发现框架；2) 引入了人工反馈机制，允许用户在迭代过程中对意图发现结果进行干预和修正；3) 采用了learning-without-forgetting策略，有效防止了灾难性遗忘。与现有方法相比，CDI框架能够更有效地利用先验知识和人工反馈，从而提高意图发现的准确性和可控性。
关键设计：在无监督对比学习阶段，采用了InfoNCE损失函数来最大化相同意图样本之间的相似性，并最小化不同意图样本之间的相似性。在半监督微调阶段，采用了交叉熵损失函数来优化意图分类器。在迭代优化阶段，采用了K-means聚类算法对意图表示进行聚类，并利用聚类结果生成伪标签，用于进一步微调意图表示。learning-without-forgetting策略通过保留先前模型的参数，并引入正则化项来限制新模型的参数变化，从而防止灾难性遗忘。
🖼️ 关键图片
📊 实验亮点
CDI框架在CLINC和BANKING数据集上取得了显著的性能提升，分别达到了10.26%和11.72%。这些结果表明，CDI框架能够有效地利用先验知识和人工反馈，提高意图发现的准确性和可控性，优于现有的意图发现方法。
🎯 应用场景
该研究成果可应用于各种对话式AI系统，例如智能客服、语音助手等。通过可控的意图发现，系统能够更准确地理解用户意图，提供更个性化的服务。此外，该方法还可以应用于其他聚类任务，例如文档聚类、图像聚类等，具有广泛的应用前景。
📄 摘要（原文）
Deriving value from a conversational AI system depends on the capacity of a user to translate the prior knowledge into a configuration. In most cases, discovering the set of relevant turn-level speaker intents is often one of the key steps. Purely unsupervised algorithms provide a natural way to tackle discovery problems but make it difficult to incorporate constraints and only offer very limited control over the outcomes. Previous work has shown that semi-supervised (deep) clustering techniques can allow the system to incorporate prior knowledge and constraints in the intent discovery process. However they did not address how to allow for control through human feedback. In our Controllable Discovery of Intents (CDI) framework domain and prior knowledge are incorporated using a sequence of unsupervised contrastive learning on unlabeled data followed by fine-tuning on partially labeled data, and finally iterative refinement of clustering and representations through repeated clustering and pseudo-label fine-tuning. In addition, we draw from continual learning literature and use learning-without-forgetting to prevent catastrophic forgetting across those training stages. Finally, we show how this deep-clustering process can become part of an incremental discovery strategy with human-in-the-loop. We report results on both CLINC and BANKING datasets. CDI outperforms previous works by a significant margin: 10.26% and 11.72% respectively.