ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation

📄 arXiv: 2502.15543v3 📥 PDF

作者: Pengcheng Huang, Zhenghao Liu, Yukun Yan, Haiyan Zhao, Xiaoyuan Yi, Hao Chen, Zhiyuan Liu, Maosong Sun, Tong Xiao, Ge Yu, Chenyan Xiong

分类: cs.CL, cs.AI

发布日期: 2025-02-21 (更新: 2025-06-21)

备注: 22 pages, 7 figures, 7 tables

🔗 代码/项目: GITHUB

💡 一句话要点

ParamMute：抑制知识关键FFN，提升检索增强生成的事实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG 大型语言模型 LLM 事实性 忠实性 前馈网络 知识抑制

📋 核心要点

  1. RAG模型在生成过程中易受内部参数知识干扰，导致输出与检索到的外部证据相矛盾，产生不忠实内容。
  2. ParamMute通过抑制与不忠实性相关的FFN激活，并校准模型以更好地利用检索到的知识，从而提高生成内容的忠实性。
  3. 实验表明，ParamMute在CoFaithfulQA和ConFiQA基准测试中显著提升了模型的事实性，并降低了对内部参数记忆的依赖。

📝 摘要（中文）

检索增强生成（RAG）与大型语言模型（LLM）的结合，通过外部证据 grounding 输出，提高了事实性。然而，它们仍然容易产生不忠实生成，即输出与检索到的上下文相矛盾，尽管上下文是相关的和准确的。现有旨在提高忠实性的方法主要集中在增强外部上下文的利用，但往往忽略了生成过程中内部参数知识的持续影响。本文研究了不忠实生成背后的内部机制，并识别出在这种情况下不成比例地激活的中间到深层前馈网络（FFN）的子集。在此基础上，我们提出了通过FFN抑制的参数知识静音（ParamMute）框架，该框架通过抑制与不忠实性相关的FFN的激活并将模型校准到检索到的知识来提高上下文忠实性。为了评估我们的方法，我们引入了CoFaithfulQA，这是一个专门用于评估内部知识与准确的外部证据相冲突的情况下忠实性的基准。实验结果表明，ParamMute显著提高了CoFaithfulQA和已建立的ConFiQA基准上的忠实性，实现了对参数记忆依赖的显著降低。这些发现强调了减轻内部知识主导地位的重要性，并为提高RAG中LLM的可信度提供了一个新的方向。所有代码都可以在https://github.com/OpenBMB/ParamMute上找到。

🔬 方法详解

问题定义：现有检索增强生成（RAG）模型在生成答案时，虽然依赖于外部检索到的知识，但仍然会受到模型内部参数化知识的影响，导致生成的内容与检索到的上下文不一致，产生不忠实的回答。现有方法主要集中于如何更好地利用检索到的上下文，而忽略了内部知识的干扰。

核心思路：论文的核心思路是识别并抑制那些导致模型产生不忠实回答的内部知识来源。具体来说，作者发现一部分前馈网络（FFN）在生成不忠实回答时会被过度激活，因此通过抑制这些FFN的激活，可以减少内部知识的干扰，从而提高生成内容的忠实性。

技术框架：ParamMute框架主要包含两个阶段：1) FFN识别阶段：通过分析模型在生成忠实和不忠实回答时的FFN激活模式，识别出与不忠实性相关的FFN子集。2) FFN抑制阶段：在生成过程中，对识别出的不忠实性相关的FFN进行激活抑制，从而减少内部知识的干扰，并引导模型更多地依赖检索到的外部知识。

关键创新：该论文的关键创新在于发现了FFN在RAG模型不忠实生成中的作用，并提出了通过抑制特定FFN来提高模型忠实性的方法。与现有方法只关注如何更好地利用检索到的上下文不同，该论文从抑制内部知识干扰的角度出发，为提高RAG模型的忠实性提供了一个新的思路。

关键设计：在FFN识别阶段，作者使用了一种基于激活差异的指标来衡量每个FFN与不忠实性之间的关联程度。在FFN抑制阶段，作者采用了一种简单的激活抑制策略，即在生成过程中将识别出的FFN的激活值设置为零。此外，作者还设计了一个新的基准测试CoFaithfulQA，用于评估模型在内部知识与外部知识冲突情况下的忠实性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ParamMute在CoFaithfulQA和ConFiQA基准测试中均取得了显著的性能提升。在CoFaithfulQA上，ParamMute将模型的忠实性提高了超过10个百分点，并且显著降低了模型对参数记忆的依赖。这些结果表明，ParamMute能够有效地抑制内部知识的干扰，并提高RAG模型的事实性。

🎯 应用场景

ParamMute技术可应用于各种需要高可信度和事实性的自然语言生成任务，例如问答系统、对话系统、新闻生成等。通过减少模型对内部知识的依赖，并增强对外部知识的利用，可以提高生成内容的准确性和可靠性，从而提升用户体验和信任度。该研究对于构建更值得信赖的AI系统具有重要意义。

📄 摘要（原文）

Large language models (LLMs) integrated with retrieval-augmented generation (RAG) have improved factuality by grounding outputs in external evidence. However, they remain susceptible to unfaithful generation, where outputs contradict retrieved context despite its relevance and accuracy. Existing approaches aiming to improve faithfulness primarily focus on enhancing the utilization of external context, but often overlook the persistent influence of internal parametric knowledge during generation. In this work, we investigate the internal mechanisms behind unfaithful generation and identify a subset of mid-to-deep feed-forward networks (FFNs) that are disproportionately activated in such cases. Building on this insight, we propose Parametric Knowledge Muting through FFN Suppression (ParamMute), a framework that improves contextual faithfulness by suppressing the activation of unfaithfulness-associated FFNs and calibrating the model toward retrieved knowledge. To evaluate our approach, we introduce CoFaithfulQA, a benchmark specifically designed to evaluate faithfulness in scenarios where internal knowledge conflicts with accurate external evidence. Experimental results show that ParamMute significantly enhances faithfulness across both CoFaithfulQA and the established ConFiQA benchmark, achieving substantial reductions in reliance on parametric memory. These findings underscore the importance of mitigating internal knowledge dominance and provide a new direction for improving LLM trustworthiness in RAG. All codes are available at https://github.com/OpenBMB/ParamMute.