Redefining Proactivity for Information Seeking Dialogue

📄 arXiv: 2410.15297v2 📥 PDF

作者: Jing Yang Lee, Seokhwan Kim, Kartik Mehta, Jiun-Yu Kao, Yu-Hsiang Lin, Arpit Gupta

分类: cs.CL, cs.AI

发布日期: 2024-10-20 (更新: 2024-11-18)

💡 一句话要点

针对信息检索对话，提出基于新信息注入的主动性增强方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索对话 主动性对话 思维链提示 零样本学习 对话生成

📋 核心要点

  1. 现有信息检索对话代理缺乏主动性，无法有效引导用户进行深入对话。
  2. 论文提出一种新的主动性定义，通过在回复中引入相关新信息来增强对话的主动性。
  3. 实验表明，提出的CoT提示方法显著提升了模型在零样本设置下的主动性，最高提升达90%。

📝 摘要（中文）

信息检索对话（ISD）代理旨在为用户查询提供准确的响应。虽然这些代理在直接解决用户查询方面表现出色，但它们以及通用的大型语言模型（LLM）主要表现出被动行为，缺乏生成主动响应的能力，而主动响应可以积极地让用户参与到持续的对话中。然而，在这种背景下，现有主动对话的定义并没有关注每个响应如何积极地吸引用户并维持对话。因此，我们提出了一个新的主动性定义，该定义侧重于通过引入与初始查询相关的新信息来增强每个生成响应的“主动性”。为此，我们构建了一个包含2000个单轮对话的主动对话数据集，并引入了几个自动指标来评估响应的“主动性”，这些指标与人工标注高度相关。此外，我们还引入了两种创新的思维链（CoT）提示，即3步CoT提示和3合1 CoT提示，在零样本设置中，它们始终优于标准提示，提升高达90%。

🔬 方法详解

问题定义：现有信息检索对话系统主要关注对用户查询的准确回复，缺乏主动引导用户进行更深入对话的能力。现有方法生成的回复通常是被动的，无法主动提供相关信息以激发用户的进一步提问和探索，导致对话难以持续。

核心思路：论文的核心思路是重新定义对话系统的主动性，将其定义为在回复中主动提供与用户初始查询相关的新信息。通过这种方式，系统可以激发用户的兴趣，引导用户提出更深入的问题，从而实现更具吸引力和持续性的对话。

技术框架：论文主要包含以下几个部分：1) 提出了一个新的主动性定义，强调回复中新信息的引入；2) 构建了一个包含2000个单轮对话的主动对话数据集，用于训练和评估模型；3) 提出了几个自动评估指标，用于衡量回复的主动性；4) 提出了两种新的CoT提示方法（3步CoT和3合1 CoT），用于提升模型的主动性。

关键创新：论文的关键创新在于对主动性的重新定义，以及基于此提出的CoT提示方法。与以往关注回复准确性的方法不同，该论文强调回复中新信息的引入，从而更有效地引导用户进行对话。提出的CoT提示方法能够显著提升模型在零样本设置下的主动性，无需额外的训练数据。

关键设计：论文提出了两种CoT提示方法：3步CoT提示和3合1 CoT提示。3步CoT提示将生成过程分解为三个步骤：1) 识别用户查询中的关键信息；2) 查找与关键信息相关的新信息；3) 将新信息融入到回复中。3合1 CoT提示则将这三个步骤合并为一个步骤，通过更紧凑的提示来引导模型生成主动回复。论文还设计了多个自动评估指标，包括新信息覆盖率、相关性等，用于衡量回复的主动性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的3步CoT和3合1 CoT提示方法在零样本设置下，能够显著提升模型的主动性，最高提升幅度达到90%。自动评估指标与人工标注具有高度相关性，验证了该方法的有效性。此外，构建的包含2000个单轮对话的主动对话数据集，为后续研究提供了宝贵资源。

🎯 应用场景

该研究成果可应用于智能客服、虚拟助手、教育机器人等领域，提升对话系统的用户体验和交互深度。通过主动提供相关信息，系统可以更好地引导用户解决问题、学习知识，并建立更长久的关系。未来，该方法有望扩展到更复杂的对话场景，例如多轮对话和个性化推荐。

📄 摘要（原文）

Information-Seeking Dialogue (ISD) agents aim to provide accurate responses to user queries. While proficient in directly addressing user queries, these agents, as well as LLMs in general, predominantly exhibit reactive behavior, lacking the ability to generate proactive responses that actively engage users in sustained conversations. However, existing definitions of proactive dialogue in this context do not focus on how each response actively engages the user and sustains the conversation. Hence, we present a new definition of proactivity that focuses on enhancing the proactiveness' of each generated response via the introduction of new information related to the initial query. To this end, we construct a proactive dialogue dataset comprising 2,000 single-turn conversations, and introduce several automatic metrics to evaluate responseproactiveness' which achieved high correlation with human annotation. Additionally, we introduce two innovative Chain-of-Thought (CoT) prompts, the 3-step CoT and the 3-in-1 CoT prompts, which consistently outperform standard prompts by up to 90% in the zero-shot setting.