VeriTaS: The First Dynamic Benchmark for Multimodal Automated Fact-Checking

📄 arXiv: 2601.08611v1 📥 PDF

作者: Mark Rothermel, Marcus Kornmann, Marcus Rohrbach, Anna Rohrbach

分类: cs.IR, cs.AI, cs.CV, cs.MM

发布日期: 2026-01-13

备注: Preprint under review

💡 一句话要点

提出VeriTaS：首个多模态自动事实核查动态基准，应对LLM预训练带来的数据泄露问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动事实核查 多模态学习 动态基准 数据泄露 自然语言处理

📋 核心要点

  1. 现有自动事实核查基准存在静态性问题，易受大型语言模型预训练导致的数据泄露影响，无法真实反映模型性能。
  2. VeriTaS通过动态更新基准数据，并采用自动化流程处理多语言、多模态的真实世界声明，构建抗泄露的评估体系。
  3. 人工评估表明，VeriTaS的自动化标注与人工判断高度一致，证明了其标注质量，为AFC系统提供可靠的评估依据。

📝 摘要（中文）

在线错误信息的日益增长迫切需要自动事实核查（AFC）技术。然而，现有的AFC系统评估基准在任务范围、模态、领域、语言多样性、真实性或错误信息类型覆盖方面存在诸多限制。更关键的是，它们是静态的，因此容易受到数据泄露的影响，因为其中的声明会进入LLM的预训练语料库。这导致基准性能不再可靠地反映验证声明的实际能力。我们推出了Verified Theses and Statements (VeriTaS)，这是首个多模态AFC动态基准，旨在保持在大型基础模型持续预训练下的鲁棒性。VeriTaS目前包含来自54种语言的108个专业事实核查组织的24,000个真实世界声明，涵盖文本和视听内容。声明通过一个完全自动化的七阶段流程按季度添加，该流程规范化声明公式，检索原始媒体，并将异构的专家判断映射到一个新的、标准化的和解耦的评分方案，并附有文本理由。通过人工评估，我们证明了自动注释与人工判断非常吻合。我们承诺在未来更新VeriTaS，建立一个抗泄露的基准，支持在快速发展的基础模型时代进行有意义的AFC评估。我们将公开代码和数据。

🔬 方法详解

问题定义：现有自动事实核查（AFC）基准是静态的，这意味着它们包含的数据会被大型语言模型（LLM）在预训练阶段学习到，导致模型在这些基准上的表现虚高，无法真实反映其事实核查能力。现有基准在任务范围、模态、领域、语言多样性等方面也存在局限性。

核心思路：VeriTaS的核心思路是构建一个动态的、抗数据泄露的AFC基准。通过定期更新基准数据，避免LLM在预训练阶段接触到这些数据，从而保证评估的公平性和有效性。同时，VeriTaS覆盖多语言、多模态数据，更贴近真实世界场景。

技术框架：VeriTaS的构建包含一个七阶段的自动化流程：1) 数据收集：从108个专业事实核查组织收集声明。2) 语言检测：自动检测声明的语言。3) 声明规范化：将声明转化为标准化的格式。4) 多模态数据检索：检索与声明相关的文本和视听内容。5) 专家判断映射：将异构的专家判断映射到标准化的评分方案。6) 文本理由生成：为评分提供文本解释。7) 数据发布：按季度更新并发布基准数据。

关键创新：VeriTaS的关键创新在于其动态更新机制，这使得它能够抵抗数据泄露，保证评估的有效性。此外，VeriTaS还提出了一个标准化的、解耦的评分方案，并为每个评分提供文本理由，这有助于提高评估的可解释性。

关键设计：VeriTaS的自动化流程采用了多种自然语言处理技术，例如语言检测、声明规范化等。评分方案的设计考虑了多个维度，例如声明的真实性、重要性等。为了保证标注质量，论文进行了人工评估，验证了自动化标注与人工判断的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VeriTaS包含来自54种语言的24,000个真实世界声明，覆盖文本和视听内容。人工评估表明，VeriTaS的自动化标注与人工判断高度一致，证明了其标注质量。该基准的动态更新机制使其能够抵抗数据泄露，保证评估的有效性。

🎯 应用场景

VeriTaS可用于评估和比较不同的自动事实核查系统，推动相关技术的发展。它能够帮助研究人员开发更鲁棒、更可靠的AFC模型，从而有效应对在线错误信息的传播，维护网络空间的健康和安全。该基准的动态更新机制使其能够适应不断变化的信息环境，具有长期的应用价值。

📄 摘要（原文）

The growing scale of online misinformation urgently demands Automated Fact-Checking (AFC). Existing benchmarks for evaluating AFC systems, however, are largely limited in terms of task scope, modalities, domain, language diversity, realism, or coverage of misinformation types. Critically, they are static, thus subject to data leakage as their claims enter the pretraining corpora of LLMs. As a result, benchmark performance no longer reliably reflects the actual ability to verify claims. We introduce Verified Theses and Statements (VeriTaS), the first dynamic benchmark for multimodal AFC, designed to remain robust under ongoing large-scale pretraining of foundation models. VeriTaS currently comprises 24,000 real-world claims from 108 professional fact-checking organizations across 54 languages, covering textual and audiovisual content. Claims are added quarterly via a fully automated seven-stage pipeline that normalizes claim formulation, retrieves original media, and maps heterogeneous expert verdicts to a novel, standardized, and disentangled scoring scheme with textual justifications. Through human evaluation, we demonstrate that the automated annotations closely match human judgments. We commit to update VeriTaS in the future, establishing a leakage-resistant benchmark, supporting meaningful AFC evaluation in the era of rapidly evolving foundation models. We will make the code and data publicly available.