Empowering Large Language Models to Set up a Knowledge Retrieval Indexer via Self-Learning

📄 arXiv: 2405.16933v1 📥 PDF

作者: Xun Liang, Simin Niu, Zhiyu li, Sensen Zhang, Shichao Song, Hanyu Wang, Jiawei Yang, Feiyu Xiong, Bo Tang, Chenyang Xi

分类: cs.CL, cs.IR

发布日期: 2024-05-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出PG-RAG，利用LLM自学习构建知识检索索引，提升RAG性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 知识检索 自学习 伪图 问答系统 知识库构建

📋 核心要点

  1. 现有RAG方法构建高质量知识库成本高昂，需要大量人工干预。
  2. PG-RAG利用LLM自主阅读构建伪图索引，模拟人类笔记，提升检索效率。
  3. 实验表明，PG-RAG在单文档和多文档问答任务中均显著优于现有基线。

📝 摘要（中文）

检索增强生成(RAG)为大型语言模型(LLM)注入实时知识提供了一种经济有效的方法。然而，构建和验证高质量的知识库需要大量的努力。我们提出了一种名为伪图检索增强生成(PG-RAG)的预检索框架，该框架将LLM概念化为学生，通过向其提供丰富的原始阅读材料，并鼓励他们参与自主阅读，用自己的话记录事实信息。由此产生的简洁、组织良好的心理索引通过共同的主题或互补的事实相互连接，形成一个伪图数据库。在检索阶段，PG-RAG模仿人类翻阅笔记的行为，识别事实路径，并随后探索相关的上下文。遵循“多人走过的路是最好的”原则，它整合了高度确证的事实路径，以提供一个结构化和精炼的子图来辅助LLM。我们在三个专门的问答数据集上验证了PG-RAG。在单文档任务中，PG-RAG在所有关键评估指标上都显著优于当前最佳基线KGP-LLaMA，平均整体性能提高了11.6%。具体而言，其BLEU得分提高了约14.3%，QE-F1指标提高了23.7%。在多文档场景中，PG-RAG的平均指标至少比最佳基线高2.35%。值得注意的是，BLEU得分和QE-F1指标分别稳定提高了约7.55%和12.75%。

🔬 方法详解

问题定义：现有RAG方法在构建知识库时面临挑战，需要大量的人工标注和整理，成本高昂且效率低下。此外，传统方法难以有效利用文档间的关联信息，导致检索结果不够准确和全面。现有方法的痛点在于知识库构建的效率和质量，以及对文档间关系建模的不足。

核心思路：PG-RAG的核心思路是让LLM通过自主学习的方式构建知识索引，模拟人类阅读和整理笔记的过程。LLM被视为学生，通过阅读大量原始材料，用自己的语言记录事实信息，形成简洁、组织良好的“心理索引”。这些索引通过主题或事实关联形成伪图，从而实现知识的有效组织和检索。这种方法旨在降低人工成本，并提升知识库的质量和检索效率。

技术框架：PG-RAG包含两个主要阶段：索引构建阶段和检索阶段。在索引构建阶段，LLM阅读原始文档，提取关键信息并构建伪图索引。伪图中的节点代表事实信息，边代表事实之间的关联。在检索阶段，PG-RAG模拟人类翻阅笔记的行为，通过识别事实路径来探索相关上下文。它整合高度确证的事实路径，形成结构化的子图，为LLM提供辅助信息。

关键创新：PG-RAG的关键创新在于利用LLM的自学习能力构建知识索引，避免了大量的人工标注工作。通过构建伪图，PG-RAG能够有效地建模文档间的关联信息，从而提升检索的准确性和全面性。此外，PG-RAG模拟人类的认知过程，通过识别事实路径来探索相关上下文，进一步提升了检索的效率。

关键设计：PG-RAG的关键设计包括：1) 使用LLM进行信息抽取和知识表示；2) 构建伪图来建模文档间的关联信息；3) 设计事实路径识别算法来探索相关上下文；4) 采用“多人走过的路是最好的”原则，整合高度确证的事实路径。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PG-RAG在单文档问答任务中，相比KGP-LLaMA，平均整体性能提升11.6%，BLEU得分提高约14.3%，QE-F1指标提高23.7%。在多文档场景中，PG-RAG的平均指标至少比最佳基线高2.35%，BLEU得分和QE-F1指标分别稳定提高了约7.55%和12.75%。实验结果表明，PG-RAG能够显著提升RAG的性能。

🎯 应用场景

PG-RAG可应用于各种需要知识检索和问答的场景，例如智能客服、知识图谱构建、教育辅助、企业知识管理等。该方法能够降低知识库构建成本，提升检索效率和准确性，从而提高相关应用的性能和用户体验。未来，PG-RAG有望在更多领域得到应用，并推动RAG技术的发展。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) offers a cost-effective approach to injecting real-time knowledge into large language models (LLMs). Nevertheless, constructing and validating high-quality knowledge repositories require considerable effort. We propose a pre-retrieval framework named Pseudo-Graph Retrieval-Augmented Generation (PG-RAG), which conceptualizes LLMs as students by providing them with abundant raw reading materials and encouraging them to engage in autonomous reading to record factual information in their own words. The resulting concise, well-organized mental indices are interconnected through common topics or complementary facts to form a pseudo-graph database. During the retrieval phase, PG-RAG mimics the human behavior in flipping through notes, identifying fact paths and subsequently exploring the related contexts. Adhering to the principle of the path taken by many is the best, it integrates highly corroborated fact paths to provide a structured and refined sub-graph assisting LLMs. We validated PG-RAG on three specialized question-answering datasets. In single-document tasks, PG-RAG significantly outperformed the current best baseline, KGP-LLaMA, across all key evaluation metrics, with an average overall performance improvement of 11.6%. Specifically, its BLEU score increased by approximately 14.3%, and the QE-F1 metric improved by 23.7%. In multi-document scenarios, the average metrics of PG-RAG were at least 2.35% higher than the best baseline. Notably, the BLEU score and QE-F1 metric showed stable improvements of around 7.55% and 12.75%, respectively. Our code: https://github.com/IAAR-Shanghai/PGRAG.