RAC: Efficient LLM Factuality Correction with Retrieval Augmentation

📄 arXiv: 2410.15667v1 📥 PDF

作者: Changmao Li, Jeffrey Flanigan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-10-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出检索增强校正(RAC)方法，高效提升大语言模型的事实性准确度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 事实性校正 检索增强 知识检索 自然语言处理

📋 核心要点

  1. 大型语言模型虽然强大，但常出现事实性错误，影响其可靠性。
  2. RAC方法通过检索增强，对LLM输出进行细粒度的验证和校正，提升事实准确性。
  3. 实验表明，RAC在多个数据集上显著提升了LLM的事实性，且延迟较低。

📝 摘要（中文）

大型语言模型(LLMs)在各种自然语言处理(NLP)任务中表现出令人印象深刻的结果，但它们经常产生事实不正确的输出。本文介绍了一种简单但有效的低延迟后校正方法，即 extbf{检索增强校正(RAC)}，旨在提高LLM的事实性性能，而无需额外的微调。我们的方法是通用的，可以与任何指令调优的LLM一起使用，并且与先前的方法相比大大降低了延迟。RAC将LLM的输出分解为原子事实，并应用细粒度的验证和校正过程，利用检索到的内容来验证和校正LLM生成的输出。我们广泛的实验表明，RAC在两个流行的事实性评估数据集上产生了高达30%的改进，验证了其在有和没有检索增强生成(RAG)集成的情况下，跨不同LLM的有效性和鲁棒性。

🔬 方法详解

问题定义：大型语言模型（LLMs）在生成文本时，经常会产生与事实不符的内容，这限制了它们在需要高度可靠性的应用场景中的使用。现有的纠正方法，例如微调或复杂的推理时干预，通常计算成本高昂，延迟较大，难以满足实时性要求。

核心思路：RAC的核心思想是利用外部知识来验证和修正LLM的输出。具体来说，它将LLM的输出分解为更小的、可验证的“原子事实”，然后使用检索到的相关信息来独立地验证每个事实。如果发现某个事实不正确，则使用检索到的信息进行修正。这种细粒度的验证和校正过程能够更准确地识别和纠正错误，同时避免了对整个输出进行全局修改，从而降低了计算成本。

技术框架：RAC方法主要包含以下几个阶段： 1. 原子事实分解：将LLM生成的文本分解为多个独立的、可验证的原子事实。 2. 信息检索：对于每个原子事实，使用检索模型（例如，基于向量相似度的检索）从外部知识库中检索相关信息。 3. 事实验证：使用检索到的信息来验证每个原子事实的正确性。这可以通过多种方式实现，例如，使用LLM进行自然语言推理，或者使用预训练的知识图谱完成。 4. 事实校正：如果某个原子事实被判定为不正确，则使用检索到的信息来修正该事实。这可以通过生成新的文本或修改现有文本来实现。

关键创新：RAC的关键创新在于其细粒度的验证和校正过程。与传统的全局校正方法相比，RAC能够更准确地识别和纠正错误，同时降低了计算成本。此外，RAC方法是通用的，可以与任何指令调优的LLM一起使用，并且可以很容易地集成到现有的检索增强生成（RAG）系统中。

关键设计：RAC的关键设计包括： 1. 原子事实分解策略：如何将LLM的输出分解为有意义的原子事实，这直接影响了验证和校正的准确性。 2. 检索模型的选择：选择合适的检索模型对于检索到相关信息至关重要。 3. 事实验证方法：如何使用检索到的信息来准确地验证原子事实的正确性。 4. 事实校正策略：如何使用检索到的信息来有效地修正不正确的原子事实。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，RAC方法在两个流行的事实性评估数据集上取得了显著的性能提升，最高可达30%。与现有的最先进基线方法相比，RAC在保持较低延迟的同时，显著提高了LLM的事实准确性。此外，实验还验证了RAC在有和没有检索增强生成(RAG)集成的情况下，跨不同LLM的有效性和鲁棒性。

🎯 应用场景

RAC方法可广泛应用于需要高可信度的大语言模型应用场景，例如：智能客服、新闻摘要、医疗诊断辅助等。通过提升LLM的事实准确性，RAC能够增强用户对AI系统的信任，并减少错误信息带来的潜在风险。未来，RAC可以与其他技术结合，例如知识图谱和因果推理，进一步提升LLM的可靠性和智能化水平。

📄 摘要（原文）

Large Language Models (LLMs) exhibit impressive results across a wide range of natural language processing (NLP) tasks, yet they can often produce factually incorrect outputs. This paper introduces a simple but effective low-latency post-correction method, \textbf{Retrieval Augmented Correction (RAC)}, aimed at enhancing the factual performance of LLMs without requiring additional fine-tuning. Our method is general and can be used with any instruction-tuned LLM, and has greatly reduced latency compared to prior approaches. RAC decomposes the LLM's output into atomic facts and applies a fine-grained verification and correction process with retrieved content to verify and correct the LLM-generated output. Our extensive experiments show that RAC yields up to 30\% improvements over state-of-the-art baselines across two popular factuality evaluation datasets, validating its efficacy and robustness in both with and without the integration of Retrieval-Augmented Generation (RAG) across different LLMs.\footnote{Our code is at \url{https://github.com/jlab-nlp/Retrieval-Augmented-Correction}}