After Retrieval, Before Generation: Enhancing the Trustworthiness of Large Language Models in Retrieval-Augmented Generation

📄 arXiv: 2505.17118v2 📥 PDF

作者: Xinbang Dai, Huikang Hu, Yuncheng Hua, Jiaqi Li, Yongrui Chen, Rihui Jin, Nan Hu, Guilin Qi

分类: cs.CL

发布日期: 2025-05-21 (更新: 2026-01-07)

备注: 22 pages, 8 figures

💡 一句话要点

BRIDGE框架提升RAG中大语言模型在知识冲突场景下的可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 可信度 知识冲突 大语言模型 软偏差 决策树 RAG 知识融合

📋 核心要点

  1. 现有RAG方法在处理内部知识与外部知识冲突时，缺乏统一框架，无法有效平衡不同知识来源的可信度。
  2. BRIDGE框架通过自适应加权机制和最大软偏差决策树，动态选择最佳响应策略，提升模型在知识冲突场景下的可信度。
  3. 实验结果表明，BRIDGE框架在准确率上优于现有基线方法5-15%，并在不同场景下保持了性能的平衡。

📝 摘要（中文）

检索增强生成(RAG)是一种很有前景的范式，但其可信度仍然是一个关键问题。一个主要的脆弱性出现在生成之前：模型通常无法平衡参数化（内部）和检索（外部）知识，尤其是在这两个来源冲突或不可靠时。为了全面分析这些场景，我们构建了包含36,266个问题的可信度响应数据集(TRD)，涵盖四种RAG设置。我们发现，现有方法解决了孤立的场景——优先考虑一个知识来源，天真地合并两者，或者拒绝回答——但缺乏一个统一的框架来同时处理不同的真实世界条件。因此，我们提出了BRIDGE框架，该框架动态地确定大语言模型(LLM)的综合响应策略。BRIDGE利用一种名为软偏差的自适应加权机制来指导知识收集，然后使用最大软偏差决策树来评估知识并选择最佳响应策略（信任内部/外部知识，或拒绝）。实验表明，BRIDGE在准确率方面优于基线5-15%，同时在所有场景中保持平衡的性能。我们的工作为LLM在真实世界RAG应用中的可信响应提供了一个有效的解决方案。

🔬 方法详解

问题定义：现有RAG模型在面对内部知识（模型自身参数）和外部知识（检索到的信息）冲突时，难以判断哪个知识来源更可靠。现有的方法要么倾向于内部知识，要么倾向于外部知识，要么直接拒绝回答，缺乏一种能够根据不同情况动态调整的策略。这种不确定性导致RAG模型在实际应用中产生不可信的回答。

核心思路：BRIDGE框架的核心思路是让模型能够根据上下文和知识来源的可靠性，动态地调整对内部知识和外部知识的信任程度。通过引入“软偏差”的概念，模型可以自适应地调整知识收集过程，并利用决策树来评估知识并选择最佳的响应策略，从而提高回答的可信度。

技术框架：BRIDGE框架主要包含两个阶段：知识收集阶段和决策阶段。在知识收集阶段，框架使用一个自适应加权机制（软偏差）来控制从内部知识和外部知识中收集信息的比例。在决策阶段，框架使用一个最大软偏差决策树来评估收集到的知识，并选择最佳的响应策略，包括信任内部知识、信任外部知识或拒绝回答。

关键创新：BRIDGE框架的关键创新在于其动态调整知识来源信任程度的能力。传统的RAG方法通常采用固定的策略，无法适应不同场景下的知识冲突。而BRIDGE框架通过软偏差和决策树，能够根据具体情况选择最合适的响应策略，从而提高回答的可信度。

关键设计：软偏差是一个可学习的参数，用于控制知识收集过程中内部知识和外部知识的权重。最大软偏差决策树是一个基于软偏差值构建的决策树，用于评估知识并选择最佳的响应策略。决策树的训练目标是最大化模型在不同场景下的准确率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BRIDGE框架在TRD数据集上优于现有的基线方法，准确率提升了5-15%。此外，BRIDGE框架在不同类型的知识冲突场景下都表现出良好的性能，表明其具有较强的泛化能力。这些结果验证了BRIDGE框架在提高RAG模型可信度方面的有效性。

🎯 应用场景

BRIDGE框架可以应用于各种需要可信知识的RAG应用场景，例如问答系统、对话机器人、智能助手等。通过提高模型在知识冲突场景下的可信度，可以减少错误信息的传播，提高用户满意度，并增强用户对AI系统的信任。该研究对于构建更可靠、更值得信赖的AI系统具有重要意义。

📄 摘要（原文）

Retrieval-augmented generation (RAG) is a promising paradigm, yet its trustworthiness remains a critical concern. A major vulnerability arises prior to generation: models often fail to balance parametric (internal) and retrieved (external) knowledge, particularly when the two sources conflict or are unreliable. To analyze these scenarios comprehensively, we construct the Trustworthiness Response Dataset (TRD) with 36,266 questions spanning four RAG settings. We reveal that existing approaches address isolated scenarios-prioritizing one knowledge source, naively merging both, or refusing answers-but lack a unified framework to handle different real-world conditions simultaneously. Therefore, we propose the BRIDGE framework, which dynamically determines a comprehensive response strategy of large language models (LLMs). BRIDGE leverages an adaptive weighting mechanism named soft bias to guide knowledge collection, followed by a Maximum Soft-bias Decision Tree to evaluate knowledge and select optimal response strategies (trust internal/external knowledge, or refuse). Experiments show BRIDGE outperforms baselines by 5-15% in accuracy while maintaining balanced performance across all scenarios. Our work provides an effective solution for LLMs' trustworthy responses in real-world RAG applications.