Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation

📄 arXiv: 2406.18676v2 📥 PDF

作者: Guanting Dong, Yutao Zhu, Chenghao Zhang, Zechen Wang, Zhicheng Dou, Ji-Rong Wen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-06-26 (更新: 2024-07-18)

备注: Work in progress

🔗 代码/项目: GITHUB

💡 一句话要点

DPA-RAG：通过双重偏好对齐增强检索增强生成，缓解大语言模型的幻觉问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 偏好对齐 大语言模型 知识密集型问答 重排序 查询增强 监督微调

📋 核心要点

  1. 现有RAG系统难以将检索器与不同LLM的知识偏好对齐，导致RAG系统可靠性面临挑战。
  2. DPA-RAG框架通过构建偏好知识，并进行外部（检索器）和内部（LLM）的双重偏好对齐来解决该问题。
  3. 实验结果表明，DPA-RAG在知识密集型问答任务上优于现有基线，并能与不同类型的LLM集成。

📝 摘要（中文）

检索增强生成（RAG）已证明能有效缓解大语言模型（LLM）的幻觉问题。然而，检索器与不同LLM的知识偏好对齐的难度，不可避免地给开发可靠的RAG系统带来了挑战。为了解决这个问题，我们提出了DPA-RAG，一个旨在对齐RAG系统中不同知识偏好的通用框架。具体来说，我们首先引入了一个偏好知识构建流程，并结合了五种新颖的查询增强策略，以缓解偏好数据稀缺的问题。基于偏好数据，DPA-RAG实现了外部和内部偏好对齐：1) 它将成对、逐点和对比偏好对齐能力联合集成到重排序器中，实现了RAG组件之间的外部偏好对齐。2) 它进一步在普通的监督微调（SFT）之前引入了一个预对齐阶段，使LLM能够隐式地捕获与其推理偏好对齐的知识，从而实现LLM的内部对齐。在四个知识密集型问答数据集上的实验结果表明，DPA-RAG优于所有基线，并能无缝集成黑盒和开源LLM阅读器。进一步的定性分析和讨论也为实现可靠的RAG系统提供了经验指导。我们的代码已公开发布在https://github.com/dongguanting/DPA-RAG。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）系统中，检索器与不同大语言模型（LLM）的知识偏好不对齐的问题。现有的RAG方法通常假设所有LLM具有相同的知识偏好，这导致检索到的文档可能不符合特定LLM的推理习惯，从而影响生成结果的质量和可靠性。

核心思路：论文的核心思路是进行“双重偏好对齐”。一方面，通过对重排序器进行训练，使其能够根据LLM的偏好对检索到的文档进行排序，实现外部偏好对齐。另一方面，通过在监督微调（SFT）之前引入一个预对齐阶段，使LLM能够学习与其推理偏好相符的知识，实现内部偏好对齐。这样设计的目的是使检索器和LLM在知识选择上保持一致，从而提高RAG系统的整体性能。

技术框架：DPA-RAG框架主要包含以下几个阶段：1) 偏好知识构建：通过查询增强策略生成偏好数据，缓解数据稀缺问题。2) 外部偏好对齐：训练重排序器，使其能够根据LLM的偏好对检索到的文档进行排序。重排序器的训练目标包括成对、逐点和对比损失。3) 内部偏好对齐：在SFT之前，使用偏好数据对LLM进行预对齐，使其能够学习与其推理偏好相符的知识。4) 监督微调（SFT）：使用标准SFT方法对LLM进行微调，使其能够更好地完成下游任务。

关键创新：论文的关键创新在于提出了双重偏好对齐的概念，并设计了相应的实现方法。具体来说，通过联合集成pair-wise, point-wise, 和 contrastive 偏好对齐能力到 reranker 中，实现了外部偏好对齐；通过在SFT之前引入预对齐阶段，实现了LLM的内部偏好对齐。与现有方法相比，DPA-RAG能够更好地适应不同LLM的知识偏好，从而提高RAG系统的性能。

关键设计：在偏好知识构建阶段，论文提出了五种查询增强策略，以缓解偏好数据稀缺的问题。在外部偏好对齐阶段，重排序器的训练目标包括成对、逐点和对比损失，这些损失函数的设计旨在使重排序器能够更好地学习LLM的偏好。在内部偏好对齐阶段，预对齐阶段的具体实现方式未知，论文中没有详细描述。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，DPA-RAG在四个知识密集型问答数据集上均优于所有基线方法。DPA-RAG能够无缝集成黑盒和开源LLM阅读器，表明其具有良好的通用性和可扩展性。具体的性能提升数据未知，论文中没有给出详细的数值比较。

🎯 应用场景

DPA-RAG框架可应用于各种知识密集型问答、对话系统和内容生成等领域。通过对齐检索器和LLM的知识偏好，可以提高生成内容的准确性、相关性和可靠性，从而提升用户体验。该研究对于构建更可靠、更智能的RAG系统具有重要的实际价值和潜在影响。

📄 摘要（原文）

Retrieval-augmented generation (RAG) has demonstrated effectiveness in mitigating the hallucination problem of large language models (LLMs). However, the difficulty of aligning the retriever with the diverse LLMs' knowledge preferences inevitably poses an inevitable challenge in developing a reliable RAG system. To address this issue, we propose DPA-RAG, a universal framework designed to align diverse knowledge preferences within RAG systems. Specifically, we initially introduce a preference knowledge construction pipline and incorporate five novel query augmentation strategies to alleviate preference data scarcity. Based on preference data, DPA-RAG accomplishes both external and internal preference alignment: 1) It jointly integrate pair-wise, point-wise, and contrastive preference alignment abilities into the reranker, achieving external preference alignment among RAG components. 2) It further introduces a pre-aligned stage before vanilla Supervised Fine-tuning (SFT), enabling LLMs to implicitly capture knowledge aligned with their reasoning preferences, achieving LLMs' internal alignment. Experimental results across four knowledge-intensive QA datasets demonstrate that DPA-RAG outperforms all baselines and seamlessly integrates both black-box and open-sourced LLM readers. Further qualitative analysis and discussions also provide empirical guidance for achieving reliable RAG systems. Our code is publicly available at https://github.com/dongguanting/DPA-RAG.