ARAFA: An LLM-Generated Arabic Fact-Checking Dataset

📄 arXiv: 2609.25833v1 📥 PDF

作者: Christophe Khalil, Shady Elbassuoni, Rida Assaf

分类: cs.CL, cs.IR

发布日期: 2026-09-22

💡 一句话要点

提出ARAFA数据集以解决阿拉伯语事实核查数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿拉伯语处理 事实核查 数据集构建 自动化验证 大型语言模型

📋 核心要点

  1. 阿拉伯语自动化事实核查面临数据集稀缺的问题，现有资源不足以支持相关研究。
  2. 提出ARAFA数据集，通过自动化框架利用大型语言模型生成事实核查数据，包含声明及其证据。
  3. 实验结果表明，ARAFA数据集在支持和反驳声明的自动验证中分别达到了86%和88%的准确率。

📝 摘要（中文）

自动化事实核查在阿拉伯自然语言处理领域面临重大挑战，主要由于数据集和资源的稀缺。本文介绍了ARAFA，一个新的大规模现代标准阿拉伯语事实核查数据集，采用大型语言模型（LLMs）构建。数据集通过三步流程生成：从阿拉伯维基百科页面生成声明及其支持证据、对声明进行变异以生成具有挑战性的反事实声明及其反驳证据、以及自动验证生成的声明是否得到支持或反驳。最终数据集包含181,976对声明-证据，标记为支持、反驳或信息不足。人类评估显示，支持声明的Kappa值为0.89，反驳声明为0.94。基于ARAFA微调的四个开源变换器模型在测试数据上取得了77%的宏F1分数。

🔬 方法详解

问题定义：本文旨在解决阿拉伯语事实核查领域数据稀缺的问题。现有方法缺乏足够的高质量数据集，限制了自动化核查技术的发展。

核心思路：通过构建ARAFA数据集，利用大型语言模型生成声明及其证据，提供丰富的事实核查数据，进而推动阿拉伯语的自动化核查研究。

技术框架：数据集构建分为三个主要阶段：第一步，从阿拉伯维基百科页面生成声明及支持证据；第二步，对声明进行变异，生成反事实声明及其反驳证据；第三步，自动验证生成的声明与证据之间的关系。

关键创新：ARAFA是首个大规模阿拉伯语事实核查数据集，采用自动化生成和验证流程，显著提高了数据集的构建效率和质量。

关键设计：在数据生成过程中，采用了多种文本变异技术，确保生成的反事实声明具有挑战性。同时，验证阶段使用了基于人类评估的标准，确保数据的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ARAFA数据集在支持声明的自动验证中达到了86%的准确率，反驳声明的准确率为88%。基于该数据集微调的模型在测试数据上取得了77%的宏F1分数，展示了其在自动化核查任务中的有效性。

🎯 应用场景

ARAFA数据集可广泛应用于阿拉伯语的自动化事实核查、信息验证和自然语言处理研究。其构建方法也为其他低资源语言的数据集开发提供了可借鉴的框架，具有重要的实际价值和未来影响。

📄 摘要（原文）

Automatic fact-checking poses a significant challenge in Arabic natural language processing due to the scarcity of datasets and resources. In this manuscript, we introduce Arafa, a new large-scale dataset for fact-checking in Modern Standard Arabic, constructed through an automated framework leveraging large language models (LLMs). The dataset was constructed through a three-step pipeline: (1) claim generation from Arabic Wikipedia pages with supporting textual evidence, (2) claim mutation to generate challenging counterfactual claims with refuting evidence, and (3) an automatic validation step to validate that the generated claims are either supported or refuted by their accompanying evidence, or if the evidence does not provide enough information to judge the validity of the claims. The resulting dataset comprises 181,976 claim-evidence pairs labeled as supported, refuted, or not enough information. Human evaluation carried out on a test sample from the dataset demonstrated strong inter-annotator agreement (kappa = 0.89) using Cohen's Kappa for supported claims and (kappa = 0.94) for refuted claims. Automatic validation based on a human-evaluated sample achieved 86% accuracy for supported claims and 88% for refuted ones. To showcase Arafa's value as a resource for automatic Arabic fact-checking, four open-source transformer-based models were fine-tuned using Arafa, with the top-performing model achieving a Macro F1-score of 77% on the test data. In addition to Arafa being the first large-scale dataset for Arabic fact-checking, our framework presents a scalable approach for developing similar resources for other low-resource languages.