KnowPO: Knowledge-aware Preference Optimization for Controllable Knowledge Selection in Retrieval-Augmented Language Models

📄 arXiv: 2408.03297v2 📥 PDF

作者: Ruizhe Zhang, Yongxin Xu, Yuzhen Xiao, Runchuan Zhu, Xinke Jiang, Xu Chu, Junfeng Zhao, Yasha Wang

分类: cs.CL, cs.AI

发布日期: 2024-08-06 (更新: 2024-08-19)

💡 一句话要点

提出KnowPO，通过知识偏好优化解决RAG中可控知识选择问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 知识选择 偏好优化 知识冲突 大型语言模型

📋 核心要点

  1. RAG模型在知识密集型任务中易受知识冲突影响，导致模型输出混乱。
  2. KnowPO通过知识偏好优化，使模型能根据上下文自适应地选择知识。
  3. 实验表明，KnowPO在解决知识冲突方面优于现有方法，提升超过37%。

📝 摘要（中文）

检索增强生成(RAG)通过整合外部知识，已成为缓解大型语言模型(LLM)在知识密集型任务中幻觉问题的有效策略。然而，在整合外部非参数支持证据与内部参数知识的过程中，不可避免地会出现知识冲突，导致模型响应混乱。为了增强LLM在各种上下文中的知识选择能力，一些研究集中于通过指令调优来改进其行为模式。然而，由于缺乏明确的负面信号和比较目标，以这种方式微调的模型可能仍然表现出不希望的行为，例如上下文忽略和上下文过度包含。为此，我们提出了一种知识感知的偏好优化策略，称为KnowPO，旨在实现基于真实检索场景中上下文相关性的自适应知识选择。具体来说，我们提出了一种构建知识冲突数据集的通用范式，该数据集全面覆盖各种错误类型，并通过偏好优化方法学习如何避免这些负面信号。同时，我们提出了一种重写策略和数据比例优化策略来解决偏好不平衡问题。实验结果表明，KnowPO在处理知识冲突方面优于以往的方法37%以上，同时在各种分布外数据集上表现出强大的泛化能力。

🔬 方法详解

问题定义：RAG模型在整合外部知识时，会与模型自身已有的知识产生冲突，导致模型在生成答案时出现混淆，无法准确选择合适的知识。现有方法，如指令微调，缺乏明确的负面信号和比较目标，难以有效解决知识冲突问题，容易出现上下文忽略或过度包含的情况。

核心思路：KnowPO的核心思路是通过偏好优化，让模型学习区分不同知识来源的优劣，从而在生成答案时优先选择更相关的知识。通过构建包含知识冲突的数据集，并利用偏好学习的方法，使模型能够识别并避免知识冲突，从而提高知识选择的准确性。

技术框架：KnowPO包含以下几个主要步骤：1) 构建知识冲突数据集，该数据集包含各种类型的知识冲突案例。2) 使用重写策略对数据集进行增强，以解决偏好不平衡问题。3) 使用偏好优化算法（如Direct Preference Optimization, DPO）训练模型，使其能够区分不同知识来源的优劣。4) 使用数据比例优化策略，进一步平衡不同类型知识冲突样本的权重。

关键创新：KnowPO的关键创新在于：1) 提出了一种通用的知识冲突数据集构建范式，可以覆盖各种类型的知识冲突。2) 引入了偏好优化方法，使模型能够直接学习知识选择的偏好，而无需依赖复杂的奖励函数设计。3) 提出了重写策略和数据比例优化策略，解决了偏好不平衡问题，提高了模型的训练效果。

关键设计：KnowPO使用DPO作为偏好优化算法，目标是最大化模型对更优知识的偏好概率。数据集构建过程中，需要仔细设计各种知识冲突的类型，例如事实冲突、逻辑冲突等。重写策略通过生成更多包含负面知识的样本，平衡数据集中的偏好分布。数据比例优化策略则根据不同类型知识冲突样本的难度，调整其在训练过程中的权重。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，KnowPO在处理知识冲突方面显著优于现有方法，性能提升超过37%。此外，KnowPO在各种分布外数据集上表现出强大的泛化能力，表明其具有良好的鲁棒性和实用性。这些结果验证了KnowPO在解决RAG模型知识选择问题上的有效性。

🎯 应用场景

KnowPO可应用于各种需要检索增强生成技术的场景，例如问答系统、对话系统、知识图谱推理等。通过提高模型知识选择的准确性，可以有效缓解幻觉问题，提高生成答案的可靠性和可信度。该研究对于提升LLM在知识密集型任务中的表现具有重要意义。

📄 摘要（原文）

By integrating external knowledge, Retrieval-Augmented Generation (RAG) has become an effective strategy for mitigating the hallucination problems that large language models (LLMs) encounter when dealing with knowledge-intensive tasks. However, in the process of integrating external non-parametric supporting evidence with internal parametric knowledge, inevitable knowledge conflicts may arise, leading to confusion in the model's responses. To enhance the knowledge selection of LLMs in various contexts, some research has focused on refining their behavior patterns through instruction-tuning. Nonetheless, due to the absence of explicit negative signals and comparative objectives, models fine-tuned in this manner may still exhibit undesirable behaviors such as contextual ignorance and contextual overinclusion. To this end, we propose a Knowledge-aware Preference Optimization strategy, dubbed KnowPO, aimed at achieving adaptive knowledge selection based on contextual relevance in real retrieval scenarios. Concretely, we proposed a general paradigm for constructing knowledge conflict datasets, which comprehensively cover various error types and learn how to avoid these negative signals through preference optimization methods. Simultaneously, we proposed a rewriting strategy and data ratio optimization strategy to address preference imbalances. Experimental results show that KnowPO outperforms previous methods for handling knowledge conflicts by over 37\%, while also exhibiting robust generalization across various out-of-distribution datasets.