Context-DPO: Aligning Language Models for Context-Faithfulness

📄 arXiv: 2412.15280v1 📥 PDF

作者: Baolong Bi, Shaohan Huang, Yiwei Wang, Tianchi Yang, Zihan Zhang, Haizhen Huang, Lingrui Mei, Junfeng Fang, Zehao Li, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Shenghua Liu

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-12-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出Context-DPO，提升大语言模型在检索增强生成中的上下文忠实度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文忠实度 检索增强生成 直接偏好优化 大语言模型对齐 ConFiQA基准

📋 核心要点

  1. 现有大语言模型在检索增强生成中，难以保证生成内容与检索到的上下文信息保持一致，即上下文忠实度不足。
  2. Context-DPO通过直接偏好优化，利用ConFiQA基准中提供的忠实和顽固响应，对大语言模型进行对齐，提升上下文忠实度。
  3. 实验表明，Context-DPO在多个开源模型上显著提升了上下文忠实度，最高提升幅度达到280%，同时保留了模型的生成能力。

📝 摘要（中文）

大型语言模型（LLMs）的可靠响应需要遵守用户指令和检索到的信息。虽然对齐技术有助于LLMs与人类意图和价值观保持一致，但通过对齐来提高上下文忠实度仍未得到充分探索。为了解决这个问题，我们提出了Context-DPO，这是第一个专门为增强LLMs上下文忠实度而设计的对齐方法。我们引入了ConFiQA，这是一个模拟检索增强生成（RAG）场景的基准，其中包含知识冲突，用于评估上下文忠实度。通过利用ConFiQA中对问题的忠实和顽固响应，我们的Context-DPO通过直接偏好优化来对齐LLMs。大量的实验表明，我们的Context-DPO显著提高了上下文忠实度，在流行的开源模型上实现了35%到280%的改进。进一步的分析表明，Context-DPO保留了LLMs的生成能力，同时提供了对上下文利用的可解释的见解。我们的代码和数据已在https://github.com/byronBBL/Context-DPO上发布。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在检索增强生成（RAG）场景中，生成内容与提供的上下文信息不一致的问题，即上下文忠实度不足。现有方法主要集中在通用对齐上，缺乏针对上下文忠实度的专门优化，导致模型容易忽略或错误利用检索到的信息，产生与上下文冲突的回复。

核心思路：Context-DPO的核心思路是利用直接偏好优化（DPO）算法，通过ConFiQA基准提供的上下文忠实和不忠实的回复样本，直接优化语言模型的策略，使其更倾向于生成与上下文一致的答案。这种方法避免了复杂的奖励函数设计，直接从数据中学习偏好。

技术框架：Context-DPO的整体框架包括以下几个主要步骤：1) 构建ConFiQA基准，该基准包含带有知识冲突的RAG场景；2) 收集ConFiQA基准上，对于相同问题的上下文忠实和不忠实的回复样本；3) 使用DPO算法，以忠实回复为优选，不忠实回复为劣选，对语言模型进行微调；4) 在测试集上评估模型的上下文忠实度。

关键创新：Context-DPO的关键创新在于：1) 首次提出针对上下文忠实度的对齐方法；2) 构建了ConFiQA基准，用于评估和提升模型的上下文忠实度；3) 利用DPO算法，直接从偏好数据中学习，避免了复杂的奖励函数设计。与现有方法的本质区别在于，Context-DPO专注于上下文忠实度这一特定目标，并为此设计了专门的基准和优化方法。

关键设计：Context-DPO的关键设计包括：1) ConFiQA基准的设计，需要精心构造包含知识冲突的RAG场景，以区分模型的上下文忠实度；2) DPO算法的参数设置，例如学习率、batch size等，需要根据具体模型和数据集进行调整；3) 损失函数的设计，DPO使用hinge loss来最大化优选回复的概率，同时最小化劣选回复的概率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Context-DPO在多个流行的开源模型上取得了显著的性能提升。例如，在Llama2-7B模型上，Context-DPO将上下文忠实度提高了35%；在Mistral-7B模型上，提升幅度更是高达280%。这些结果表明，Context-DPO是一种有效且通用的上下文忠实度对齐方法，能够显著改善现有大语言模型的性能。

🎯 应用场景

Context-DPO可广泛应用于需要检索增强生成的大语言模型应用中，例如智能问答系统、知识库检索、文档摘要等。通过提高上下文忠实度，可以显著提升这些应用的可靠性和准确性，减少模型产生幻觉和错误信息的风险。该研究对于构建更值得信赖和实用的AI系统具有重要价值。

📄 摘要（原文）

Reliable responses from large language models (LLMs) require adherence to user instructions and retrieved information. While alignment techniques help LLMs align with human intentions and values, improving context-faithfulness through alignment remains underexplored. To address this, we propose $\textbf{Context-DPO}$, the first alignment method specifically designed to enhance LLMs' context-faithfulness. We introduce $\textbf{ConFiQA}$, a benchmark that simulates Retrieval-Augmented Generation (RAG) scenarios with knowledge conflicts to evaluate context-faithfulness. By leveraging faithful and stubborn responses to questions with provided context from ConFiQA, our Context-DPO aligns LLMs through direct preference optimization. Extensive experiments demonstrate that our Context-DPO significantly improves context-faithfulness, achieving 35% to 280% improvements on popular open-source models. Further analysis demonstrates that Context-DPO preserves LLMs' generative capabilities while providing interpretable insights into context utilization. Our code and data are released at https://github.com/byronBBL/Context-DPO