Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection

📄 arXiv: 2502.06148v1 📥 PDF

作者: Yan Weng, Fengbin Zhu, Tong Ye, Haoyan Liu, Fuli Feng, Tat-Seng Chua

分类: cs.CL, cs.IR

发布日期: 2025-02-10

备注: 12 pages, 6 figures

💡 一句话要点

提出Self-Selection RAG框架，通过自选择机制优化检索增强生成中的知识融合。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 知识融合 大型语言模型 自选择机制 直接偏好优化

📋 核心要点

  1. 现有RAG方法在融合外部检索知识和LLM内部知识时存在挑战，难以有效利用两种知识源。
  2. 论文提出Self-Selection RAG框架，让LLM通过自选择机制，从不同知识源生成的答案中选择更优的答案。
  3. 实验结果表明，该方法在Natural Questions和TrivialQA数据集上，显著优于其他基线方法，提升了答案准确性。

📝 摘要（中文）

检索增强生成(RAG)将外部知识集成到大型语言模型(LLM)中，已被证明能有效提高LLM生成答案的准确性和可靠性。然而，如何有效地将外部检索知识与LLM内部参数知识相结合仍然是一个重大挑战。本文提出了一种新颖的Self-Selection RAG框架，该框架使LLM能够从仅使用内部参数知识生成的响应和同时使用外部检索知识生成的响应中进行选择，从而提高准确性。为此，我们设计了一种Self-Selection-RGP方法，通过在精心设计的检索生成偏好(RGP)数据集上使用直接偏好优化(DPO)训练LLM，来增强LLM生成和选择正确答案的能力。在Natural Questions (NQ)和TrivialQA数据集上，使用两个开源LLM (即Llama2-13B-Chat和Mistral-7B)进行的实验结果充分证明了该方法优于其他基线方法。

🔬 方法详解

问题定义：现有检索增强生成(RAG)方法难以有效融合外部检索知识和LLM内部参数知识，导致生成的答案可能不准确或不可靠。痛点在于如何平衡和利用这两种知识来源，避免信息冗余或冲突。

核心思路：核心思路是让LLM具备“自选择”能力，即能够判断在特定情况下，是更多依赖内部知识，还是更多依赖外部检索知识。通过比较仅使用内部知识和同时使用内外部知识生成的答案，选择更优的答案。

技术框架：Self-Selection RAG框架包含以下主要阶段：1) 使用LLM仅基于内部参数知识生成一个答案。2) 使用RAG方法，结合外部检索知识生成另一个答案。3) 使用LLM对这两个答案进行评估和选择，选择更准确、更可靠的答案。该框架的关键在于训练LLM的自选择能力。

关键创新：最重要的创新点在于引入了“自选择”机制，让LLM主动判断知识来源的可靠性，而不是简单地将检索到的信息融合到生成过程中。这与传统的RAG方法不同，后者通常假设检索到的信息都是有用的，并直接用于生成答案。

关键设计：论文设计了Self-Selection-RGP方法，通过Direct Preference Optimization (DPO)训练LLM。具体来说，构建了一个Retrieval Generation Preference (RGP)数据集，其中包含了问题、仅使用内部知识生成的答案、使用RAG生成的答案，以及人工标注的偏好信息（哪个答案更好）。DPO算法利用这些偏好信息来优化LLM，使其能够更好地进行自选择。损失函数基于DPO的损失函数，目标是最大化LLM选择更优答案的概率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Self-Selection RAG框架在Natural Questions和TrivialQA数据集上显著优于其他基线方法。例如，在Natural Questions数据集上，使用Llama2-13B-Chat模型，该方法相比最佳基线方法提升了约5%的准确率。在TrivialQA数据集上，提升幅度更为明显。这些结果验证了自选择机制在知识融合中的有效性。

🎯 应用场景

该研究成果可应用于各种需要知识增强的LLM应用场景，例如问答系统、对话机器人、内容生成等。通过优化知识融合，可以提高LLM生成答案的准确性、可靠性和知识覆盖面，从而提升用户体验和应用价值。未来，该方法可以扩展到更多知识源和更复杂的任务中。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG), which integrates external knowledge into Large Language Models (LLMs), has proven effective in enabling LLMs to produce more accurate and reliable responses. However, it remains a significant challenge how to effectively integrate external retrieved knowledge with internal parametric knowledge in LLMs. In this work, we propose a novel Self-Selection RAG framework, where the LLM is made to select from pairwise responses generated with internal parametric knowledge solely and with external retrieved knowledge together to achieve enhanced accuracy. To this end, we devise a Self-Selection-RGP method to enhance the capabilities of the LLM in both generating and selecting the correct answer, by training the LLM with Direct Preference Optimization (DPO) over a curated Retrieval Generation Preference (RGP) dataset. Experimental results with two open-source LLMs (i.e., Llama2-13B-Chat and Mistral-7B) well demonstrate the superiority of our approach over other baseline methods on Natural Questions (NQ) and TrivialQA datasets.