From Articles to Premises: Building PrimeFacts, an Extraction Methodology and Resource for Fact-Checking Evidence

📄 arXiv: 2605.06006v1 📥 PDF

作者: Premtim Sahitaj, Jawan Kolanowski, Ariana Sahitaj, Veronika Solopova, Max Upravitelev, Daniel Röder, Iffat Maab, Junichi Yamagishi, Sebastian Möller, Vera Schmitt

分类: cs.CL

发布日期: 2026-05-07

备注: Accepted at LREC 2026. To appear in the conference proceedings

💡 一句话要点

提出PrimeFacts数据集与提取框架，通过LLM去语境化重写事实核查证据以提升自动验证性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实核查 大语言模型 证据检索 自然语言处理 去语境化 信息抽取

📋 核心要点

  1. 现有事实核查文章多为非结构化文本，导致自动验证系统难以直接提取和利用其中的关键证据。
  2. 提出PrimeFacts框架，利用超链接作为锚点，通过大语言模型将证据重写为独立的前提（Premises）。
  3. 实验表明，去语境化证据在检索和验证任务中表现优异，MRR提升达30%，Macro-F1提升10-20个百分点。

📝 摘要（中文）

事实核查文章蕴含丰富的证据与推理逻辑，但由于其非结构化的呈现方式，自动验证系统难以有效利用。本文提出了PrimeFacts，一套从完整事实核查文章中提取细粒度证据的方法论与资源库。研究团队整理了13,106篇PolitiFact文章，包含声明、裁决及所有引用来源，并识别出49,718个超链接作为定位关键证据的自然锚点。该框架利用大语言模型（LLMs）将锚点句子重写为独立、无语境依赖的“前提”（premises），并探索了隐式证据的提取。在跨文章证据检索与声明验证任务的评估中，提取出的前提显著提升了模型性能。去语境化的证据具有更高的可检索性，其平均倒数排名（MRR）较原文句子提升高达30%，且在裁决预测任务中，Macro-F1值较基线提升了10-20个百分点。定性分析表明，去语境化的前提忠实于原始来源。本研究展示了复用事实核查证据进行自动化的潜力，并提供了大规模结构化证据资源。

🔬 方法详解

问题定义：事实核查文章中包含大量支持性证据，但这些证据往往嵌入在复杂的叙述语境中，缺乏独立性，导致下游自动验证模型难以精准定位和利用这些证据进行推理。

核心思路：利用文章中指向外部来源的超链接作为“锚点”，定位关键证据片段。通过大语言模型（LLM）的语义重写能力，将这些依赖上下文的片段转化为独立、自包含的“前提”（Premises），从而消除语境依赖，提升检索与推理效率。

技术框架：首先进行数据清洗与锚点识别，提取包含证据的句子；随后利用LLM对锚点句子进行去语境化重写，生成独立前提；最后构建证据检索与裁决预测模块，验证提取出的前提在下游任务中的有效性。

关键创新：将事实核查文章中的超链接作为结构化证据的自然锚点，并引入LLM作为“去语境化”工具，实现了从非结构化文本到结构化证据库的自动化转换，解决了证据检索中的语境噪声问题。

关键设计：采用了基于LLM的提示工程（Prompt Engineering）进行文本重写，确保重写后的前提在保持语义忠实度的同时，具备独立于原文的完整性。在评估中，对比了不同裁决粒度（2-class vs 5-class）下的模型表现，验证了方法的鲁棒性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，去语境化前提在证据检索任务中表现卓越，MRR指标较原文句子提升高达30%。在裁决预测任务中，使用该方法提取的证据使Macro-F1值提升了10-20个百分点，且在不同模型架构和裁决粒度下均表现出一致的性能增益，证明了该资源在事实核查领域的实用价值。

🎯 应用场景

该研究可广泛应用于自动化事实核查系统、智能新闻辅助写作及舆情监测平台。通过构建高质量的结构化证据库，能够显著提升AI模型在虚假信息检测、新闻真实性评估及复杂逻辑推理任务中的准确性与可解释性。

📄 摘要（原文）

Fact-checking articles encode rich supporting evidence and reasoning, yet this evidence remains largely inaccessible to automated verification systems due to unstructured presentation. We introduce PrimeFacts, a methodology and resource for extracting fine-grained evidence from full fact-checking articles. We compile 13,106 PolitiFact articles with claims, verdicts, and all referenced sources, and we identify 49,718 in-article hyperlinks as natural anchors to pinpoint key evidence. Our framework leverages large language models (LLMs) to rewrite these anchor sentences into stand-alone, context-independent premises and investigates the extraction of additional implicit evidence. In evaluations on cross-article evidence retrieval and claim verification, the extracted premises substantially improve performance. Decontextualized evidence yields higher retrievability, achieving up to a 30 percent relative gain in Mean Reciprocal Rank over verbatim sentences, and using the evidence for verdict prediction raises Macro-F1 by 10-20 points over the baseline. These gains are consistent across different verdict granularities (2-class vs. 5-class) and model architectures. A qualitative analysis indicates that the decontextualized premises remain faithful to the original sources. Our work highlights the promise of reusing fact-checkers' evidence for automation and provides a large-scale resource of structured evidence from real-world fact-checks.