LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models

📄 arXiv: 2410.23526v1 📥 PDF

作者: Hieu Tran, Junda Wang, Yujan Ting, Weijing Huang, Terrence Chen

分类: cs.CL, cs.AI

发布日期: 2024-10-31

备注: 22 pages, 9 figures

💡 一句话要点

LEAF：通过事实核查增强学习与评估，提升大型语言模型的事实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实核查 检索增强生成 自训练 医学问答 知识密集型任务 信息准确性

📋 核心要点

  1. 大型语言模型在知识密集型领域，如医疗问答中，面临事实准确性的挑战。
  2. LEAF方法通过事实核查增强检索增强生成（RAG）和自训练，提升模型的事实可靠性。
  3. 实验表明，整合事实核查后的响应能有效提高LLM输出的事实正确性。

📝 摘要（中文）

大型语言模型（LLMs）在各种自然语言处理任务中表现出卓越的能力，但它们在保持事实准确性方面常常遇到困难，尤其是在医疗保健等知识密集型领域。本研究介绍了一种名为LEAF（Learning and Evaluation Augmented by Fact-Checking）的新方法，旨在提高LLMs的事实可靠性，重点是医学问答（QA）。LEAF采用双重策略来增强Llama 3 70B Instruct和Llama 3 8B Instruct等模型的事实准确性。第一种策略是Fact-Check-Then-RAG，通过整合事实核查结果来指导检索过程，从而改进检索增强生成（RAG），而无需更新模型参数。第二种策略是通过自训练从事实核查中学习，包括对事实核查后的响应进行监督微调（SFT），或应用以事实核查作为排名机制的简单偏好优化（SimPO），这两种方法都通过监督更新LLM参数。这些发现表明，无论是通过RAG增强还是自训练，整合事实核查后的响应都能提高LLM输出的可靠性和事实正确性，为信息准确性至关重要的应用提供了一种有前景的解决方案。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在知识密集型任务（如医疗问答）中事实准确性不足的问题。现有方法，如直接使用LLM或简单的检索增强生成（RAG），容易产生不准确或与事实不符的答案，尤其是在需要专业知识的领域。

核心思路：LEAF的核心思路是通过引入事实核查机制来指导LLM的学习和推理过程。具体来说，它利用事实核查的结果来改进RAG的检索效果，并使用事实核查后的数据进行自训练，从而使模型能够生成更准确、更可靠的答案。

技术框架：LEAF包含两个主要策略：Fact-Check-Then-RAG和Learning from Fact-Checks via Self-Training。Fact-Check-Then-RAG首先对检索到的文档进行事实核查，然后根据核查结果调整检索策略，选择更可靠的文档。Learning from Fact-Checks via Self-Training则使用事实核查后的响应进行监督微调（SFT）或简单偏好优化（SimPO），从而直接更新LLM的参数。

关键创新：LEAF的关键创新在于将事实核查融入到LLM的学习和推理流程中。与传统的RAG方法不同，LEAF不仅仅依赖于检索到的文档，而是通过事实核查来验证文档的可靠性。此外，LEAF还利用事实核查后的数据进行自训练，从而使模型能够更好地学习到事实知识。

关键设计：在Fact-Check-Then-RAG中，关键设计在于如何有效地利用事实核查结果来指导检索过程。这可能涉及到对检索结果进行排序、过滤或加权等操作。在Learning from Fact-Checks via Self-Training中，关键设计在于如何选择合适的自训练方法（SFT或SimPO）以及如何构建高质量的事实核查数据集。具体的参数设置和损失函数选择取决于具体的实验设置和数据集。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过实验验证了LEAF方法的有效性。实验结果表明，与传统的RAG方法相比，LEAF能够显著提高LLM在医学问答任务中的事实准确性。具体的数据提升幅度未知，但摘要强调了其在提高可靠性和事实正确性方面的潜力。

🎯 应用场景

LEAF方法具有广泛的应用前景，尤其是在需要高度信息准确性的领域，如医疗健康、金融、法律等。它可以用于构建更可靠的智能问答系统、知识图谱和信息检索系统。通过提高LLM的事实准确性，LEAF可以帮助用户更好地获取和利用信息，从而做出更明智的决策。

📄 摘要（原文）

Large language models (LLMs) have shown remarkable capabilities in various natural language processing tasks, yet they often struggle with maintaining factual accuracy, particularly in knowledge-intensive domains like healthcare. This study introduces LEAF: Learning and Evaluation Augmented by Fact-Checking, a novel approach designed to enhance the factual reliability of LLMs, with a focus on medical question answering (QA). LEAF utilizes a dual strategy to enhance the factual accuracy of responses from models such as Llama 3 70B Instruct and Llama 3 8B Instruct. The first strategy, Fact-Check-Then-RAG, improves Retrieval-Augmented Generation (RAG) by incorporating fact-checking results to guide the retrieval process without updating model parameters. The second strategy, Learning from Fact-Checks via Self-Training, involves supervised fine-tuning (SFT) on fact-checked responses or applying Simple Preference Optimization (SimPO) with fact-checking as a ranking mechanism, both updating LLM parameters from supervision. These findings suggest that integrating fact-checked responses whether through RAG enhancement or self-training enhances the reliability and factual correctness of LLM outputs, offering a promising solution for applications where information accuracy is crucial.