FactReasoner: A Probabilistic Approach to Long-Form Factuality Assessment for Large Language Models

📄 arXiv: 2502.18573v3 📥 PDF

作者: Radu Marinescu, Debarun Bhattacharjya, Junkyu Lee, Tigran Tchrakian, Javier Carnerero Cano, Yufang Hou, Elizabeth Daly, Alessandra Pascale

分类: cs.CL, cs.AI

发布日期: 2025-02-25 (更新: 2025-11-12)

🔗 代码/项目: GITHUB

💡 一句话要点

FactReasoner：一种用于评估大型语言模型生成长文本事实性的概率方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实性评估 大型语言模型 神经符号推理 概率推理 知识检索 长文本生成 自然语言处理

📋 核心要点

  1. 大型语言模型在生成任务中表现出色，但事实准确性不足，限制了其在需要高可靠性场景的应用。
  2. FactReasoner通过神经符号方法，将长文本分解为原子单元，并结合外部知识进行概率推理，评估真实性。
  3. 实验结果表明，FactReasoner在事实精确度和召回率方面优于现有基于提示的方法，提升了长文本生成质量。

📝 摘要（中文）

大型语言模型（LLMs）在生成任务中取得了显著成功，但它们在确保输出的事实准确性方面常常不足，这限制了它们在正确性至关重要的实际应用中的可靠性。本文提出了FactReasoner，一种新颖的基于神经符号的真实性评估框架，它采用概率推理来评估生成长文本响应的真实性。FactReasoner将响应分解为原子单元，从外部知识源检索相关的上下文信息，并使用概率编码对这些单元及其上下文之间的逻辑关系（例如，蕴含、矛盾）进行建模。然后，它估计每个原子单元被检索到的证据支持的后验概率。在标记和未标记的基准数据集上的实验表明，FactReasoner在事实精确度和召回率方面通常优于最先进的基于提示的方法。我们的开源实现在https://github.com/IBM/FactReasoner上公开提供。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）生成长文本时的事实性问题。现有方法，特别是基于prompt的方法，在保证生成内容的事实准确性方面存在不足，容易产生与事实相悖的内容，限制了LLMs在需要高度可靠性的实际应用中的应用。

核心思路：FactReasoner的核心思路是将长文本的事实性评估问题转化为一个概率推理问题。通过将长文本分解为更小的、可验证的原子单元，并结合外部知识源提供的证据，计算每个原子单元被证据支持的后验概率，从而评估整个长文本的事实性。这种方法避免了直接评估整个长文本的复杂性，提高了评估的准确性和效率。

技术框架：FactReasoner的整体框架包含以下几个主要模块：1) 原子单元分解：将生成的长文本响应分解为独立的、可验证的原子单元。2) 知识检索：从外部知识源（如维基百科）检索与每个原子单元相关的上下文信息。3) 关系建模：使用概率编码对原子单元和检索到的上下文信息之间的逻辑关系（如蕴含、矛盾）进行建模。4) 概率推理：基于建模的逻辑关系，计算每个原子单元被检索到的证据支持的后验概率。5) 事实性评估：基于原子单元的后验概率，评估整个长文本的事实性。

关键创新：FactReasoner的关键创新在于其将神经符号方法与概率推理相结合，用于长文本的事实性评估。与传统的基于prompt的方法相比，FactReasoner能够更细粒度地评估长文本的事实性，并利用外部知识源提供的证据进行验证。此外，FactReasoner使用概率编码对原子单元和上下文信息之间的逻辑关系进行建模，能够更准确地捕捉它们之间的复杂关系。

关键设计：FactReasoner的关键设计包括：1) 原子单元分解策略：如何有效地将长文本分解为可验证的原子单元。2) 知识检索策略：如何从外部知识源检索到与原子单元最相关的上下文信息。3) 概率编码方法：如何使用概率编码对原子单元和上下文信息之间的逻辑关系进行建模，例如使用预训练语言模型进行关系分类。4) 后验概率计算方法：如何基于建模的逻辑关系，计算每个原子单元被检索到的证据支持的后验概率，例如使用贝叶斯网络进行推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FactReasoner在多个基准数据集上进行了评估，实验结果表明，FactReasoner在事实精确度和召回率方面通常优于最先进的基于prompt的方法。例如，在某些数据集上，FactReasoner的事实精确度提高了5-10个百分点，召回率提高了3-7个百分点。这些结果表明，FactReasoner能够更有效地评估长文本的事实性，并提高生成内容的质量。

🎯 应用场景

FactReasoner可应用于各种需要保证生成内容事实准确性的场景，例如：新闻报道生成、医学报告生成、法律文件生成等。通过提高生成内容的可靠性，FactReasoner可以增强用户对大型语言模型的信任，并促进其在更多实际应用中的应用。未来，FactReasoner可以进一步扩展到其他类型的生成任务，例如图像生成和视频生成。

📄 摘要（原文）

Large language models (LLMs) have achieved remarkable success in generative tasks, yet they often fall short in ensuring the factual accuracy of their outputs, thus limiting their reliability in real-world applications where correctness is critical. In this paper, we present FactReasoner, a novel neuro-symbolic based factuality assessment framework that employs probabilistic reasoning to evaluate the truthfulness of long-form generated responses. FactReasoner decomposes a response into atomic units, retrieves relevant contextual information from external knowledge sources, and models the logical relationships (e.g., entailment, contradiction) between these units and their contexts using probabilistic encodings. It then estimates the posterior probability that each atomic unit is supported by the retrieved evidence. Our experiments on both labeled and unlabeled benchmark datasets demonstrate that FactReasoner often outperforms state-of-the-art prompt-based methods in terms of factual precision and recall. Our open-source implementation is publicly available at: https://github.com/IBM/FactReasoner.