Beyond-RAG: Question Identification and Answer Generation in Real-Time Conversations

📄 arXiv: 2410.10136v1 📥 PDF

作者: Garima Agrawal, Sashank Gummuluri, Cosimo Spera

分类: cs.CL, cs.AI

发布日期: 2024-10-14

💡 一句话要点

提出超越RAG的实时对话问答系统，提升客服效率并降低运营成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 实时对话 问题识别 客户服务 大型语言模型

📋 核心要点

  1. 现有RAG系统在实时对话中存在查询不准确和重复检索FAQ的问题，影响客服效率。
  2. 该论文提出一种决策支持系统，首先识别客户问题，再选择直接检索FAQ或使用RAG生成答案。
  3. 该系统部署在实际客服场景中，显著提高了效率，降低了平均处理时间和运营成本。

📝 摘要（中文）

在客户联络中心，人工客服经常需要手动解析问题并检索相关知识库文章，导致平均处理时间（AHT）过长。虽然使用大型语言模型（LLM）的检索增强生成（RAG）系统已广泛应用于辅助此类任务，但RAG在实时对话中面临挑战，例如不准确的查询构建和频繁重复检索常见问题解答（FAQ）。为了解决这些限制，我们提出了一种决策支持系统，该系统可以通过首先实时识别客户问题来超越RAG。如果查询与FAQ匹配，系统直接从FAQ数据库检索答案；否则，通过RAG生成答案。我们的方法减少了对人工查询的依赖，并在2秒内向客服提供响应。该系统部署在Minerva CQ的AI驱动的人工客服辅助解决方案中，提高了效率，降低了AHT，并降低了运营成本。我们还引入了一种自动化的LLM-agentic工作流程，用于在没有预定义FAQ时从历史记录中识别FAQ。

🔬 方法详解

问题定义：论文旨在解决客户联络中心人工客服平均处理时间（AHT）过长的问题。现有基于RAG的系统在实时对话中存在查询构建不准确，以及对常见问题（FAQ）的重复检索等痛点，导致效率低下。

核心思路：论文的核心思路是结合问题识别与RAG。首先判断用户提问是否属于FAQ，如果是，则直接从FAQ数据库检索答案；如果不是，则使用RAG生成答案。这种方法旨在减少对RAG的过度依赖，避免不必要的计算和检索，从而提高响应速度和准确性。

技术框架：整体架构包含以下几个主要模块：1) 实时问题识别模块：用于判断用户提问是否属于FAQ；2) FAQ数据库：存储预定义的常见问题及其答案；3) RAG模块：用于生成非FAQ问题的答案，包含检索和生成两个阶段；4) 决策模块：根据问题识别结果，选择从FAQ数据库检索或使用RAG生成答案。此外，还包含一个自动化的LLM-agentic工作流程，用于从历史记录中识别FAQ，以构建或扩充FAQ数据库。

关键创新：最重要的技术创新点在于将问题识别与RAG相结合，形成一种超越传统RAG的问答系统。与现有方法相比，该方法能够更智能地选择合适的答案来源，避免了对RAG的盲目使用，从而提高了效率和准确性。此外，自动化的FAQ识别流程也降低了人工维护FAQ数据库的成本。

关键设计：问题识别模块的具体实现方式未知，但可以推测可能使用了文本分类或相似度匹配等技术。RAG模块的具体实现细节也未知，但可以推测使用了常见的检索模型（如BM25或向量检索）和生成模型（如T5或GPT）。自动化的LLM-agentic工作流程的具体实现细节也未知，但可以推测使用了LLM进行文本摘要、关键词提取和问题聚类等操作。

🖼️ 关键图片

fig_0

📊 实验亮点

该系统部署在Minerva CQ的AI驱动的人工客服辅助解决方案中，提高了效率，降低了AHT，并降低了运营成本。论文中提到该系统能够在2秒内向客服提供响应，但没有提供具体的性能数据和对比基线，以及具体的提升幅度。

🎯 应用场景

该研究成果可广泛应用于各种需要实时对话问答的场景，例如客户服务、在线咨询、智能助手等。通过提高响应速度和准确性，可以显著提升用户体验，降低运营成本，并提高客服人员的工作效率。未来，该技术还可以扩展到其他领域，例如教育、医疗等。

📄 摘要（原文）

In customer contact centers, human agents often struggle with long average handling times (AHT) due to the need to manually interpret queries and retrieve relevant knowledge base (KB) articles. While retrieval augmented generation (RAG) systems using large language models (LLMs) have been widely adopted in industry to assist with such tasks, RAG faces challenges in real-time conversations, such as inaccurate query formulation and redundant retrieval of frequently asked questions (FAQs). To address these limitations, we propose a decision support system that can look beyond RAG by first identifying customer questions in real time. If the query matches an FAQ, the system retrieves the answer directly from the FAQ database; otherwise, it generates answers via RAG. Our approach reduces reliance on manual queries, providing responses to agents within 2 seconds. Deployed in AI-powered human-agent assist solution at Minerva CQ, this system improves efficiency, reduces AHT, and lowers operational costs. We also introduce an automated LLM-agentic workflow to identify FAQs from historical transcripts when no predefined FAQs exist.