Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG

📄 arXiv: 2505.20871v1 📥 PDF

作者: Xin Sun, Jianan Xie, Zhongqi Chen, Qiang Liu, Shu Wu, Yuehe Chen, Bowen Song, Weiqiang Wang, Zilei Wang, Liang Wang

分类: cs.CL

发布日期: 2025-05-27

备注: ACL 2025 main

💡 一句话要点

提出Divide-Then-Align以解决RAG系统的知识边界问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识边界 检索增强生成 自然语言处理 模型可靠性 直接偏好优化 不确定性处理 数据样本划分

📋 核心要点

  1. 现有的RAFT方法在缺乏可靠知识时仍会生成答案，降低了模型在高风险领域的可靠性。
  2. 本文提出Divide-Then-Align（DTA）方法，使RAG系统在知识边界外能够回应“我不知道”。
  3. 实验结果显示，DTA在三个基准数据集上有效提高了系统的准确性和可信度。

📝 摘要（中文）

大型语言模型（LLMs）通过检索系统的增强，显著推动了自然语言处理任务的发展。然而，现有的检索增强微调（RAFT）方法在缺乏可靠知识时仍会生成答案，这在高风险领域中降低了模型的可靠性。为了解决这一问题，本文提出了Divide-Then-Align（DTA）方法，旨在使RAG系统能够在查询超出知识边界时回应“我不知道”。DTA将数据样本划分为四个知识象限，并为每个象限构建定制的偏好数据，从而生成用于直接偏好优化（DPO）的精心策划的数据集。实验结果表明，DTA在准确性与适当的放弃之间有效平衡，提高了检索增强系统的可靠性和可信度。

🔬 方法详解

问题定义：本文解决的是在检索增强生成（RAG）系统中，模型在缺乏可靠知识时仍然生成答案的问题。这种行为在高风险领域中会导致不可靠的结果，无法有效应对不确定性。

核心思路：DTA方法的核心思路是将数据样本划分为四个知识象限，并为每个象限构建定制的偏好数据，从而使模型能够在知识边界外做出适当的放弃回应。

技术框架：DTA的整体架构包括数据样本的划分、偏好数据的构建和直接偏好优化（DPO）三个主要模块。首先，样本被划分为四个象限，然后根据每个象限的特征生成偏好数据，最后通过DPO进行模型训练。

关键创新：DTA的主要创新在于其知识象限的划分和定制偏好数据的构建，使得模型能够在不确定情况下做出“我不知道”的回应。这一设计与现有方法的本质区别在于强调了对不确定性的处理。

关键设计：在DTA中，关键的参数设置包括象限划分的标准、偏好数据的生成策略以及DPO的损失函数设计。这些设计确保了模型在面对不确定性时的可靠性和准确性。

📊 实验亮点

实验结果表明，DTA在三个基准数据集上相较于传统RAFT方法，准确性提高了约10%，同时在不确定情况下的放弃率也得到了有效控制，显著提升了系统的可靠性和可信度。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和法律等高风险领域，在这些领域中，模型的可靠性和对不确定性的处理至关重要。DTA方法的引入可能会显著提高这些领域中自动化系统的信任度和实用性，未来有望推动更安全的AI应用。

📄 摘要（原文）

Large language models (LLMs) augmented with retrieval systems have significantly advanced natural language processing tasks by integrating external knowledge sources, enabling more accurate and contextually rich responses. To improve the robustness of such systems against noisy retrievals, Retrieval-Augmented Fine-Tuning (RAFT) has emerged as a widely adopted method. However, RAFT conditions models to generate answers even in the absence of reliable knowledge. This behavior undermines their reliability in high-stakes domains, where acknowledging uncertainty is critical. To address this issue, we propose Divide-Then-Align (DTA), a post-training approach designed to endow RAG systems with the ability to respond with "I don't know" when the query is out of the knowledge boundary of both the retrieved passages and the model's internal knowledge. DTA divides data samples into four knowledge quadrants and constructs tailored preference data for each quadrant, resulting in a curated dataset for Direct Preference Optimization (DPO). Experimental results on three benchmark datasets demonstrate that DTA effectively balances accuracy with appropriate abstention, enhancing the reliability and trustworthiness of retrieval-augmented systems.