Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action

📄 arXiv: 2405.17822v1 📥 PDF

作者: Zhenyu Pan, Haozheng Luo, Manling Li, Han Liu

分类: cs.CL, cs.AI

发布日期: 2024-05-28

💡 一句话要点

提出Conv-CoA框架，通过对话式行动链提升大语言模型在开放域问答中的表现。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放域问答 对话式问答 行动链 信息检索 Hopfield网络

📋 核心要点

  1. 现有开放域对话问答模型存在幻觉、推理能力弱和信息检索效果差等问题。
  2. Conv-CoA框架通过动态推理-检索机制，将问题分解为行动链，并利用Hopfield检索器提升检索效率。
  3. 实验结果表明，Conv-CoA在准确性和效率上均优于现有方法，并在多个基准测试中取得了显著提升。

📝 摘要（中文）

本文提出了一种用于开放域对话式问答(OCQA)的对话式行动链(Conv-CoA)框架。相较于现有方法，Conv-CoA解决了三个主要挑战：(i)与实时或领域事实不一致的虚假幻觉，(ii)对话场景中较弱的推理性能，以及(iii)对话式信息检索中不令人满意的性能。我们的主要贡献是一种动态推理-检索机制，该机制提取问题的意图，并将其分解为推理链，通过系统提示、预先设计的动作、更新上下文知识集(CKS)和一个新的基于Hopfield的检索器来解决。在方法论上，我们提出了一种资源高效的Hopfield检索器，以提高动作中对话式信息检索的效率和准确性。此外，我们提出了一种对话式多参考置信度分数(Conv-MRFS)，以验证和解决对话中检索到的知识和答案之间的冲突。在实验上，我们对我们的框架和来自五个不同研究方向的23种最先进的方法进行了比较，使用了两个公共基准。这些比较表明，我们的Conv-CoA在准确性和效率方面都优于其他方法。

🔬 方法详解

问题定义：开放域对话式问答（OCQA）旨在让模型能够根据对话历史和外部知识回答用户提出的问题。现有方法的痛点在于容易产生与事实不符的幻觉，在多轮对话中推理能力不足，以及在对话上下文中进行信息检索的效率和准确性较低。

核心思路：Conv-CoA的核心思路是将复杂问题分解为一系列可执行的“行动链”，每个行动都旨在解决问题的一个子部分。通过动态地进行推理和检索，模型能够逐步构建答案，并利用上下文信息来提高检索的准确性。这种分解和逐步解决问题的方式有助于减少幻觉，并提高推理的深度和广度。

技术框架：Conv-CoA框架包含以下主要模块：1) 问题意图提取：分析用户问题，提取关键信息和意图。2) 行动链分解：将问题分解为一系列预定义的行动，例如信息检索、知识推理等。3) 上下文知识集（CKS）更新：维护一个动态更新的知识集，包含对话历史和检索到的相关信息。4) Hopfield检索器：利用Hopfield网络进行高效的对话式信息检索。5) 答案生成：根据行动链的结果和CKS生成最终答案。6) 对话式多参考置信度分数（Conv-MRFS）：用于验证和解决检索到的知识和答案之间的冲突。

关键创新：Conv-CoA的关键创新在于其动态推理-检索机制和Hopfield检索器的应用。动态推理-检索机制允许模型根据对话的进展和检索到的信息，灵活地调整行动链。Hopfield检索器则利用Hopfield网络的联想记忆能力，提高了对话式信息检索的效率和准确性。此外，Conv-MRFS的引入，增强了模型对检索知识的置信度评估，减少了幻觉的产生。

关键设计：Hopfield检索器使用Hopfield网络存储和检索知识表示。Conv-MRFS通过比较多个参考答案和检索到的知识，计算置信度分数，用于判断检索到的知识是否与对话上下文一致。行动链中的每个行动都通过精心设计的提示（prompting）来指导大语言模型执行特定的任务。CKS的更新策略包括添加新的知识和删除过时的信息，以保持知识集的时效性和相关性。

🖼️ 关键图片

fig_0

📊 实验亮点

Conv-CoA在两个公共基准测试中，与23种最先进的方法进行了比较，结果表明Conv-CoA在准确性和效率方面均优于其他方法。具体性能数据（例如准确率提升百分比）在原文中未明确给出，但摘要强调了其优越性。

🎯 应用场景

Conv-CoA框架可应用于智能客服、在线教育、知识问答等领域。通过提供更准确、可靠的答案，Conv-CoA能够提升用户体验，并为用户提供更高效的信息服务。未来，该框架有望扩展到更复杂的对话场景，例如多轮对话推理、个性化推荐等。

📄 摘要（原文）

We present a Conversational Chain-of-Action (Conv-CoA) framework for Open-domain Conversational Question Answering (OCQA). Compared with literature, Conv-CoA addresses three major challenges: (i) unfaithful hallucination that is inconsistent with real-time or domain facts, (ii) weak reasoning performance in conversational scenarios, and (iii) unsatisfying performance in conversational information retrieval. Our key contribution is a dynamic reasoning-retrieval mechanism that extracts the intent of the question and decomposes it into a reasoning chain to be solved via systematic prompting, pre-designed actions, updating the Contextual Knowledge Set (CKS), and a novel Hopfield-based retriever. Methodologically, we propose a resource-efficiency Hopfield retriever to enhance the efficiency and accuracy of conversational information retrieval within our actions. Additionally, we propose a conversational-multi-reference faith score (Conv-MRFS) to verify and resolve conflicts between retrieved knowledge and answers in conversations. Empirically, we conduct comparisons between our framework and 23 state-of-the-art methods across five different research directions and two public benchmarks. These comparisons demonstrate that our Conv-CoA outperforms other methods in both the accuracy and efficiency dimensions.