Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization

📄 arXiv: 2501.13573v1 📥 PDF

作者: Lei Huang, Xiaocheng Feng, Weitao Ma, Yuchun Fan, Xiachong Feng, Yangfan Ye, Weihong Zhong, Yuxuan Gu, Baoxin Wang, Dayong Wu, Guoping Hu, Bing Qin

分类: cs.CL

发布日期: 2025-01-23

备注: Submitted to ARR October 2024

💡 一句话要点

提出RHIO框架，通过检索头优化提升大语言模型在长文本问答中的上下文忠实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强 大语言模型 上下文忠实性 长文本问答 检索头优化

📋 核心要点

  1. 现有检索增强大语言模型在长文本问答中存在上下文忠实性问题，影响了信息检索系统的可信度。
  2. RHIO框架通过识别并优化负责检索信息的检索头，使模型能够区分忠实和不忠实的生成结果。
  3. 实验表明，RHIO在GroundBench基准测试中显著提升了上下文忠实性，甚至超越了GPT-4o的表现。

📝 摘要（中文）

本文旨在提升检索增强大语言模型（LLMs）的上下文忠实性，这对于构建可信赖的信息检索系统至关重要，尤其是在长文本问答（LFQA）场景中。研究发现LFQA的忠实性与检索头（负责检索上下文信息的注意力头）之间存在显著相关性。基于此，提出了RHIO框架，旨在训练LLMs明确区分忠实和不忠实的生成结果。RHIO首先通过选择性地屏蔽检索头来扩充不忠实样本，模拟真实的模型内部错误。然后，将这些样本纳入联合训练，使模型能够区分在控制令牌条件下忠实和不忠实的输出。此外，利用这些控制令牌自诱导对比输出，并通过对比解码放大它们之间的差异。为了方便评估上下文忠实性，还引入了GroundBench，这是一个由五个现有LFQA数据集组成的综合基准。在GroundBench上的大量实验结果表明，RHIO显著提高了忠实性，甚至优于GPT-4o。

🔬 方法详解

问题定义：论文旨在解决检索增强大语言模型在长文本问答（LFQA）任务中存在的上下文忠实性问题。现有方法难以保证生成内容与检索到的上下文信息一致，导致模型产生不准确或捏造的答案，降低了用户信任度。

核心思路：论文的核心思路是利用检索头（Retrieval Heads）与上下文忠实性之间的相关性。通过操纵检索头，人为制造不忠实样本，并训练模型区分忠实和不忠实的生成结果。这种方法旨在让模型学习到哪些检索头对于生成忠实答案至关重要，并优化这些检索头的功能。

技术框架：RHIO框架包含以下几个主要步骤：1) 不忠实样本增强：通过选择性地屏蔽检索头，生成模拟模型内部错误的不忠实样本。2) 联合训练：将增强后的不忠实样本与原始数据一起用于训练模型，并引入控制令牌（Control Tokens）来区分忠实和不忠实样本。3) 对比解码：利用控制令牌自诱导对比输出，并通过对比解码放大忠实和不忠实输出之间的差异。4) 评估基准：构建GroundBench基准，用于全面评估模型的上下文忠实性。

关键创新：该论文的关键创新在于：1) 发现了检索头与上下文忠实性之间的相关性，并将其作为优化模型忠实性的关键。2) 提出了一种基于检索头屏蔽的不忠实样本增强方法，能够有效地模拟模型内部错误。3) 引入控制令牌和对比解码，进一步提升了模型区分忠实和不忠实输出的能力。

关键设计：在不忠实样本增强阶段，需要确定哪些检索头应该被屏蔽。论文可能采用了一些策略来选择需要屏蔽的检索头，例如基于注意力权重或梯度信息。在联合训练阶段，损失函数可能包含一个对比损失项，用于鼓励模型区分忠实和不忠实输出。对比解码的具体实现方式（例如，如何生成对比样本，如何计算对比损失）也是一个关键设计细节。具体的参数设置和超参数选择未知，需要在论文中查找。

🖼️ 关键图片

fig_0

📊 实验亮点

RHIO框架在GroundBench基准测试中表现出色，显著提高了大语言模型的上下文忠实性，甚至超越了GPT-4o。具体的性能提升数据未知，需要在论文中查找。该结果表明，通过优化检索头，可以有效地提升大语言模型在长文本问答任务中的表现。

🎯 应用场景

该研究成果可应用于各种需要高度上下文忠实性的信息检索和问答系统，例如医疗诊断辅助、法律咨询、金融分析等领域。通过提升大语言模型的上下文忠实性，可以提高这些系统的可靠性和实用性，减少错误信息带来的风险，并最终提升用户体验。

📄 摘要（原文）

Ensuring contextual faithfulness in retrieval-augmented large language models (LLMs) is crucial for building trustworthy information-seeking systems, particularly in long-form question-answering (LFQA) scenarios. In this work, we identify a salient correlation between LFQA faithfulness and retrieval heads, a set of attention heads responsible for retrieving contextual information. Leveraging this insight, we propose RHIO, a framework designed to teach LLMs to explicitly discriminate between faithful and unfaithful generations. RHIO first augments unfaithful samples that simulate realistic model-intrinsic errors by selectively masking retrieval heads. Then, these samples are incorporated into joint training, enabling the model to distinguish unfaithful outputs from faithful ones conditioned on control tokens. Furthermore, these control tokens are leveraged to self-induce contrastive outputs, amplifying their difference through contrastive decoding. Additionally, to facilitate the evaluation of contextual faithfulness, we also introduce GroundBench, a comprehensive benchmark compiled from five existing LFQA datasets. Extensive experimental results on GroundBench demonstrate that RHIO significantly improves faithfulness, even outperforming GPT-4o.