A New Dialogue Response Generation Agent for Large Language Models by Asking Questions to Detect User's Intentions

📄 arXiv: 2310.03293v1 📥 PDF

作者: Siwei Wu, Xiangqing Shen, Rui Xia

分类: cs.CL

发布日期: 2023-10-05

💡 一句话要点

提出EDIT框架以解决对话生成中的用户意图识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话生成 用户意图识别 开放性问题 知识库查询 大型语言模型

📋 核心要点

  1. 现有对话生成方法常常忽视用户的隐含意图，导致生成的响应无法满足用户需求。
  2. 本文提出EDIT框架，通过生成开放性问题来识别用户意图，并结合LLMs与知识库进行响应生成。
  3. 在实验中，EDIT在两个任务导向的对话任务上超越了其他LLMs，显示出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）如ChatGPT因其开放域生成能力被广泛应用于各种自然语言处理任务。然而，在对话任务中，LLMs面临两个主要问题：用户的隐含意图可能被忽视，导致生成的响应与用户意图不一致；LLMs在特定领域的知识可能不完整，且无法实时更新。为了解决这些问题，本文提出了一种框架——EDIT，通过生成开放性问题来检测用户的隐含意图，并结合领域特定知识库与LLMs的交互，增强对话响应生成。在两个任务导向的对话任务（Wizard of Wikipedia和Holl-E）中，EDIT表现优于其他LLMs。

🔬 方法详解

问题定义：本文旨在解决对话生成中用户隐含意图识别不足的问题。现有方法往往无法全面理解用户的需求，导致生成的响应不够准确和相关。

核心思路：EDIT框架的核心思想是通过生成开放性问题来探测用户的隐含意图，从而增强对话生成的准确性。通过与LLMs的交互以及查询领域特定知识库，EDIT能够获取额外的知识来支持响应生成。

技术框架：EDIT的整体架构包括三个主要模块：首先生成与对话上下文相关的开放性问题；其次，通过与LLMs的交互和查询知识库来回答这些问题；最后，整合这些额外知识以增强响应生成。

关键创新：EDIT的主要创新在于其开放性问题生成能力，突破了以往仅关注上下文中已有答案的问题生成方法。这种方法使得对话系统能够更好地理解用户的真实意图。

关键设计：在设计上，EDIT构建了一个上下文开放问题（COQ）数据集，以支持开放性问题的生成。同时，使用特定的损失函数和网络结构来优化问题生成和响应生成的过程。通过这些设计，EDIT能够有效提升对话生成的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EDIT在Wizard of Wikipedia和Holl-E两个任务导向的对话任务上表现出色，超越了其他LLMs，具体性能提升幅度未知，显示出其在对话生成领域的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和教育领域等。通过更好地理解用户意图，EDIT能够提升对话系统的响应质量，增强用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large Language Models (LLMs), such as ChatGPT, have recently been applied to various NLP tasks due to its open-domain generation capabilities. However, there are two issues with applying LLMs to dialogue tasks. 1. During the dialogue process, users may have implicit intentions that might be overlooked by LLMs. Consequently, generated responses couldn't align with the user's intentions. 2. It is unlikely for LLMs to encompass all fields comprehensively. In certain specific domains, their knowledge may be incomplete, and LLMs cannot update the latest knowledge in real-time. To tackle these issues, we propose a framework~\emph{using LLM to \textbf{E}nhance dialogue response generation by asking questions to \textbf{D}etect user's \textbf{I}mplicit in\textbf{T}entions} (\textbf{EDIT}). Firstly, EDIT generates open questions related to the dialogue context as the potential user's intention; Then, EDIT answers those questions by interacting with LLMs and searching in domain-specific knowledge bases respectively, and use LLMs to choose the proper answers to questions as extra knowledge; Finally, EDIT enhances response generation by explicitly integrating those extra knowledge. Besides, previous question generation works only focus on asking questions with answers in context. In order to ask open questions, we construct a Context-Open-Question (COQ) dataset. On two task-oriented dialogue tasks (Wizard of Wikipedia and Holl-E), EDIT outperformed other LLMs.