QCG-Rerank: Chunks Graph Rerank with Query Expansion in Retrieval-Augmented LLMs for Tourism Domain

📄 arXiv: 2411.08724v1 📥 PDF

作者: Qikai Wei, Mingzhi Yang, Chunlong Han, Jingfu Wei, Minghao Zhang, Feifei Shi, Huansheng Ning

分类: cs.CL, cs.AI

发布日期: 2024-11-04

💡 一句话要点

QCG-Rerank：面向旅游领域的检索增强LLM的块图重排序与查询扩展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 查询扩展 块图重排序 旅游领域 大型语言模型

📋 核心要点

  1. 现有RAG方法在旅游领域面临挑战，因为用户查询通常简短，而数据库内容多样，导致检索结果包含大量无关信息。
  2. QCG-Rerank模型通过查询扩展增强语义，并构建块图进行重排序，从而选择更相关的上下文信息。
  3. 实验结果表明，QCG-Rerank在多个数据集上优于现有方法，证明了其在检索增强生成任务中的有效性。

📝 摘要（中文）

检索增强生成(RAG)通过整合信息检索技术，缓解了大型语言模型(LLM)中的幻觉问题。然而，在旅游领域，由于查询通常很简短，并且数据库中的内容多种多样，现有的RAG在检索后可能包含大量不相关或矛盾的信息内容。为了应对这一挑战，我们提出了QCG-Rerank模型。该模型首先执行初始检索以获得候选块，然后通过提取关键信息来增强语义，从而扩展原始查询。接下来，我们利用扩展后的查询和候选块来计算相似度得分作为初始转移概率，并构建块图。随后，我们基于初始估计迭代地计算转移概率，直到收敛。选择得分最高的块并将其输入到LLM中以生成响应。我们在Cultour、IIRC、StrategyQA、HotpotQA、SQuAD和MuSiQue数据集上评估了该模型。实验结果证明了QCG-Rerank方法的有效性和优越性。

🔬 方法详解

问题定义：论文旨在解决旅游领域中，检索增强生成（RAG）模型由于查询简短和数据库内容多样性而导致的检索结果包含大量不相关或矛盾信息的问题。现有方法难以准确捕捉用户意图，导致LLM生成不准确或不相关的回复。

核心思路：论文的核心思路是通过查询扩展来增强原始查询的语义表达能力，并利用块图结构对检索到的候选块进行重排序，从而选择最相关的上下文信息。通过迭代计算块之间的转移概率，突出与扩展查询最相关的块。

技术框架：QCG-Rerank模型包含以下主要阶段：1) 初始检索：使用原始查询检索候选块；2) 查询扩展：提取关键信息以扩展原始查询；3) 块图构建：基于扩展查询和候选块之间的相似度构建块图，相似度作为初始转移概率；4) 迭代重排序：迭代计算块之间的转移概率，直到收敛；5) 块选择：选择得分最高的块作为LLM的输入。

关键创新：该方法的主要创新在于结合了查询扩展和块图重排序，利用扩展后的查询来更准确地评估候选块的相关性，并通过块图结构来捕捉块之间的关系，从而提高检索的准确性。与传统RAG方法相比，QCG-Rerank能够更好地处理旅游领域中查询简短和信息多样性的挑战。

关键设计：查询扩展模块的具体实现方式未知，但推测可能使用了关键词提取、实体识别等技术。块图的构建基于扩展查询和候选块之间的相似度计算，可以使用余弦相似度等方法。迭代重排序过程中的转移概率计算公式未知，但可能涉及到PageRank算法或其变体。收敛条件也未知，但可能是指块的得分变化小于某个阈值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在Cultour、IIRC、StrategyQA、HotpotQA、SQuAD和MuSiQue等多个数据集上进行了评估，实验结果表明QCG-Rerank模型优于现有方法，证明了其有效性。虽然论文中没有给出具体的性能数据和提升幅度，但强调了该方法在处理旅游领域特定挑战方面的优势。

🎯 应用场景

该研究成果可应用于旅游领域的智能问答系统、旅游推荐系统、旅游信息检索等场景。通过提高检索增强生成模型的准确性和相关性，可以为用户提供更优质的旅游信息服务，提升用户体验，并促进旅游产业的发展。该方法也可推广到其他领域，例如医疗、金融等，只要这些领域存在查询简短和信息多样性的挑战。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) mitigates the issue of hallucination in Large Language Models (LLMs) by integrating information retrieval techniques. However, in the tourism domain, since the query is usually brief and the content in the database is diverse, existing RAG may contain a significant amount of irrelevant or contradictory information contents after retrieval. To address this challenge, we propose the QCG-Rerank model. This model first performs an initial retrieval to obtain candidate chunks and then enhances semantics by extracting critical information to expand the original query. Next, we utilize the expanded query and candidate chunks to calculate similarity scores as the initial transition probability and construct the chunks graph. Subsequently, We iteratively compute the transition probabilities based on an initial estimate until convergence. The chunks with the highest score are selected and input into the LLMs to generate responses. We evaluate the model on Cultour, IIRC, StrategyQA, HotpotQA, SQuAD, and MuSiQue datasets. The experimental results demonstrate the effectiveness and superiority of the QCG-Rerank method.