Parameters vs. Context: Fine-Grained Control of Knowledge Reliance in Language Models

📄 arXiv: 2503.15888v1 📥 PDF

作者: Baolong Bi, Shenghua Liu, Yiwei Wang, Yilong Xu, Junfeng Fang, Lingrui Mei, Xueqi Cheng

分类: cs.CL, cs.AI

发布日期: 2025-03-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出CK-PLUG以解决语言模型知识依赖控制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识依赖 检索增强生成 置信增益 大型语言模型 知识一致性

📋 核心要点

  1. 现有的RAG方法在处理不可靠的检索信息时，LLMs难以判断是依赖自身参数还是外部上下文，导致知识冲突问题。
  2. 本文提出CK-PLUG，通过引入置信增益度量，检测知识冲突并调整标记的概率分布，从而实现对知识依赖的细粒度控制。
  3. 实验结果显示，CK-PLUG在Llama3-8B模型上，记忆回忆率（MR）可调范围为9.9%-71.9%，相比基线42.1%有显著提升。

📝 摘要（中文）

检索增强生成（RAG）通过整合外部知识来减轻大型语言模型（LLMs）的幻觉现象。然而，当检索信息不可靠或模型内部知识过时时，参数知识与检索上下文之间的冲突会带来挑战。为此，本文提出了CK-PLUG，一种可插拔的方法，用于控制LLMs对参数知识和上下文知识的依赖。我们引入了一种新的知识一致性度量——置信增益，通过测量上下文插入后标记概率分布的熵变化来检测知识冲突。CK-PLUG能够通过单一调节参数，细粒度地控制知识偏好。实验表明，CK-PLUG在反事实RAG场景中显著调节知识依赖，同时保持生成流畅性和知识准确性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对不可靠检索信息时，如何有效判断依赖自身参数还是外部上下文的问题。现有方法在知识冲突时表现不佳，导致生成内容的准确性下降。

核心思路：CK-PLUG通过引入置信增益这一新度量，评估知识冲突的程度，并通过调整标记的概率分布来实现对知识依赖的精细控制。这样的设计使得模型能够在不同情况下灵活选择知识来源。

技术框架：CK-PLUG的整体架构包括知识冲突检测模块和知识依赖调整模块。首先，通过置信增益度量检测知识冲突，然后根据检测结果调整模型的输出概率分布。

关键创新：CK-PLUG的核心创新在于引入了置信增益这一度量，能够量化知识冲突，并通过单一调节参数实现对知识依赖的细粒度控制。这与现有方法的粗糙控制方式形成了鲜明对比。

关键设计：在CK-PLUG中，置信增益的计算涉及熵变化的测量，调整过程通过简单的参数调节实现，确保了模型在生成时的流畅性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CK-PLUG在实验中表现出色，尤其是在Llama3-8B模型上，记忆回忆率（MR）可调范围为9.9%-71.9%，相比基线42.1%有显著提升，展示了其在反事实RAG场景中的有效性和灵活性。

🎯 应用场景

CK-PLUG的研究成果在多个领域具有广泛的应用潜力，包括智能问答系统、对话生成、信息检索等。通过提高模型对知识的可靠性和准确性，能够显著提升用户体验和信息获取效率，未来可能推动更智能的交互系统的发展。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) mitigates hallucinations in Large Language Models (LLMs) by integrating external knowledge. However, conflicts between parametric knowledge and retrieved context pose challenges, particularly when retrieved information is unreliable or the model's internal knowledge is outdated. In such cases, LLMs struggle to determine whether to rely more on their own parameters or the conflicted context. To address this, we propose CK-PLUG, a plug-and-play method for controlling LLMs' reliance on parametric and contextual knowledge. We introduce a novel knowledge consistency metric, Confidence Gain, which detects knowledge conflicts by measuring entropy shifts in token probability distributions after context insertion. CK-PLUG then enables fine-grained control over knowledge preference by adjusting the probability distribution of tokens with negative confidence gain through a single tuning parameter. Experiments demonstrate CK-PLUG's ability to significantly regulate knowledge reliance in counterfactual RAG scenarios while maintaining generation fluency and knowledge accuracy. For instance, on Llama3-8B, memory recall (MR) of RAG response can be adjusted within a broad range (9.9%-71.9%), compared to the baseline of 42.1%. Moreover, CK-PLUG supports adaptive control based on the model's confidence in both internal and external knowledge, achieving consistent performance improvements across various general RAG tasks. Our code is available at: $\href{https://github.com/byronBBL/CK-PLUG}{\text{this https URL}}$.