From Articles to Premises: Building PrimeFacts, an Extraction Methodology and Resource for Fact-Checking Evidence
作者: Premtim Sahitaj, Jawan Kolanowski, Ariana Sahitaj, Veronika Solopova, Max Upravitelev, Daniel Röder, Iffat Maab, Junichi Yamagishi, Sebastian Möller, Vera Schmitt
分类: cs.CL
发布日期: 2026-07-20
💡 一句话要点
提出PrimeFacts以解决事实核查证据提取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 事实核查 证据提取 大型语言模型 自动化验证 信息检索 数据结构化 推理能力
📋 核心要点
- 现有的事实核查方法在提取和利用证据时面临结构化不足的问题，导致自动化系统难以有效验证信息。
- 本文提出的PrimeFacts方法通过提取和重写事实核查文章中的证据，旨在提高证据的可访问性和可用性。
- 实验结果表明，提取的去上下文化前提在证据检索和判决预测中显著提升了性能，Macro-F1分数提高了10-20点。
📝 摘要（中文）
事实核查文章中包含丰富的支持证据和推理，但由于其非结构化的呈现方式，这些证据对自动化验证系统来说大多不可访问。本文介绍了PrimeFacts，一种从完整事实核查文章中提取细粒度证据的方法论和资源。我们编译了13,106篇PolitiFact文章，识别出49,718个文内超链接作为关键证据的自然锚点。我们的框架利用大型语言模型将这些锚句重写为独立的前提，并探讨了隐含证据的提取。在跨文章证据检索和声明验证的评估中，提取的前提显著提高了性能。去上下文化的证据提高了可检索性，相较于逐字句子，平均倒数排名提升了30%。
🔬 方法详解
问题定义：本文旨在解决事实核查文章中证据提取的非结构化问题，现有方法难以有效利用这些证据进行自动化验证。
核心思路：通过识别文内超链接作为证据锚点，利用大型语言模型将这些锚句重写为独立前提，从而提高证据的可检索性和可用性。
技术框架：整体流程包括数据收集、锚点识别、前提重写和隐含证据提取，主要模块包括数据处理、模型训练和评估。
关键创新：最重要的创新在于将去上下文化的证据提取与大型语言模型结合，显著提升了证据的检索性能，与传统逐字提取方法相比具有本质区别。
关键设计：在模型训练中，采用特定的损失函数以优化前提的生成质量，并通过多种模型架构进行实验验证，确保结果的稳健性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提取的去上下文化前提在证据检索中相较于逐字句子提升了30%的平均倒数排名，且在判决预测中Macro-F1分数提高了10-20点。这些提升在不同的判决粒度和模型架构中均保持一致，表明方法的广泛适用性和有效性。
🎯 应用场景
该研究的潜在应用领域包括自动化事实核查、信息验证和新闻报道的真实性评估。通过提供结构化的证据资源，PrimeFacts能够帮助开发更高效的自动化验证工具，提升信息传播的透明度和可信度。未来，该方法还可能扩展到其他领域，如法律文书分析和科学研究验证。
📄 摘要（原文）
Fact-checking articles encode rich supporting evidence and reasoning, yet this evidence remains largely inaccessible to automated verification systems due to unstructured presentation. We introduce PrimeFacts, a methodology and resource for extracting fine-grained evidence from full fact-checking articles. We compile 13,106 PolitiFact articles with claims, verdicts, and all referenced sources, and we identify 49,718 in-article hyperlinks as natural anchors to pinpoint key evidence. Our framework leverages large language models (LLMs) to rewrite these anchor sentences into stand-alone, context-independent premises and investigates the extraction of additional implicit evidence. In evaluations on cross-article evidence retrieval and claim verification, the extracted premises substantially improve performance. Decontextualized evidence yields higher retrievability, achieving up to a 30 percent relative gain in Mean Reciprocal Rank over verbatim sentences, and using the evidence for verdict prediction raises Macro-F1 by 10-20 points over the baseline. These gains are consistent across different verdict granularities (2-class vs. 5-class) and model architectures. A qualitative analysis indicates that the decontextualized premises remain faithful to the original sources. Our work highlights the promise of reusing fact-checkers' evidence for automation and provides a large-scale resource of structured evidence from real-world fact-checks.