Retrieve-Refine-Calibrate: A Framework for Complex Claim Fact-Checking

📄 arXiv: 2601.16555v1 📥 PDF

作者: Mingwei Sun, Qianlong Wang, Ruifeng Xu

分类: cs.CL

发布日期: 2026-01-23

备注: 9 pages, 4 figures. This is an original work by the authors. Any unauthorized submission, reproduction, or commercial use by third parties is prohibited

💡 一句话要点

提出Retrieve-Refine-Calibrate框架，提升复杂声明事实核查的准确性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实核查 大型语言模型 信息检索 证据提炼 置信度校准

📋 核心要点

  1. 现有事实核查方法分解声明易引入噪声，降低验证准确性。
  2. RRC框架通过检索、提炼和校准证据，减少无关信息干扰。
  3. 实验表明，RRC框架在HOVER和FEVEROUS-S数据集上优于基线。

📝 摘要（中文）

本文提出了一种基于大型语言模型（LLMs）的Retrieve-Refine-Calibrate（RRC）框架，用于事实核查任务。现有方法通常采用分解范式，将声明分解为子声明并单独验证，但这种方法容易引入不相关的实体或证据，从而降低验证准确性。RRC框架首先识别声明中提到的实体，并检索与这些实体相关的证据。然后，它基于声明提炼检索到的证据，以减少不相关的信息。最后，通过重新评估低置信度的预测来校准验证过程。在两个流行的事实核查数据集（HOVER和FEVEROUS-S）上的实验表明，与具有竞争力的基线方法相比，我们的框架取得了优异的性能。

🔬 方法详解

问题定义：论文旨在解决复杂声明的事实核查问题。现有方法，特别是基于分解范式的方法，容易受到不相关实体和证据的干扰，导致验证准确率下降。这些方法将一个复杂的声明分解成多个子声明，然后分别验证每个子声明。然而，在分解和验证的过程中，可能会引入与原始声明无关的信息，从而影响最终的判断。

核心思路：论文的核心思路是通过一个Retrieve-Refine-Calibrate (RRC) 框架来解决上述问题。该框架首先检索与声明相关的证据，然后对检索到的证据进行提炼，去除不相关的信息，最后通过校准机制来提高验证的可靠性。这种方法避免了分解范式可能引入的噪声，并专注于与声明直接相关的证据。

技术框架：RRC框架包含三个主要阶段： 1. 检索（Retrieve）：识别声明中提到的实体，并检索与这些实体相关的证据。 2. 提炼（Refine）：基于原始声明，对检索到的证据进行提炼，去除与声明无关的信息。这一步旨在减少噪声，提高证据的质量。 3. 校准（Calibrate）：对验证过程进行校准，特别是重新评估低置信度的预测，以提高整体的准确性。

关键创新：RRC框架的关键创新在于其整体的流程设计，它避免了传统分解范式可能引入的噪声，并通过提炼和校准机制来提高验证的准确性。与现有方法相比，RRC框架更加关注与原始声明直接相关的证据，从而减少了不相关信息的干扰。此外，校准机制能够有效地处理低置信度的预测，进一步提高验证的可靠性。

关键设计：论文中使用了大型语言模型（LLMs）来实现各个阶段的功能。具体的LLM选择和参数设置在论文中可能有所描述，但摘要中未明确指出。提炼阶段可能涉及到一些文本摘要或信息抽取的技术，以去除不相关的信息。校准阶段可能使用一些置信度评估和重新评估的策略，以提高验证的可靠性。具体的损失函数和网络结构等技术细节需要在阅读完整论文后才能确定。

📊 实验亮点

RRC框架在HOVER和FEVEROUS-S两个数据集上进行了实验，结果表明该框架优于现有的基线方法。具体的性能提升数据需要在阅读完整论文后才能确定，但摘要明确指出RRC框架取得了“superior performance”。

🎯 应用场景

该研究成果可应用于新闻事实核查、社交媒体内容审核、学术论文验证等领域，有助于提高信息的可信度和可靠性，减少虚假信息的传播。未来，该框架可以进一步扩展到处理更复杂的声明和证据，并与其他信息检索和自然语言处理技术相结合，以实现更高效和准确的事实核查。

📄 摘要（原文）

Fact-checking aims to verify the truthfulness of a claim based on the retrieved evidence. Existing methods typically follow a decomposition paradigm, in which a claim is broken down into sub-claims that are individually verified. However, the decomposition paradigm may introduce noise to the verification process due to irrelevant entities or evidence, ultimately degrading verification accuracy. To address this problem, we propose a Retrieve-Refine-Calibrate (RRC) framework based on large language models (LLMs). Specifically, the framework first identifies the entities mentioned in the claim and retrieves evidence relevant to them. Then, it refines the retrieved evidence based on the claim to reduce irrelevant information. Finally, it calibrates the verification process by re-evaluating low-confidence predictions. Experiments on two popular fact-checking datasets (HOVER and FEVEROUS-S) demonstrate that our framework achieves superior performance compared with competitive baselines.