M4FC: a Multimodal, Multilingual, Multicultural, Multitask Real-World Fact-Checking Dataset

📄 arXiv: 2510.23508v2 📥 PDF

作者: Jiahui Geng, Jonathan Tonglet, Iryna Gurevych

分类: cs.CL

发布日期: 2025-10-27 (更新: 2026-01-12)

备注: Preprint under review. Code and data available at: https://github.com/UKPLab/M4FC

💡 一句话要点

M4FC：提出一个多模态、多语言、多文化、多任务的真实世界事实核查数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态事实核查 多语言处理 数据集构建 虚假信息检测 图像理解

📋 核心要点

  1. 现有事实核查数据集在规模、语言多样性、任务覆盖和避免证据泄露等方面存在不足。
  2. M4FC数据集通过收集多语言、多文化背景下的图像和声明，并设计多个相关任务来解决上述问题。
  3. 论文提供了M4FC数据集上六个多模态事实核查任务的基线结果，并分析了中间任务对结论预测的影响。

📝 摘要（中文）

现有的多模态事实核查数据集存在诸多局限性：实例数量少，仅关注一到两种语言和任务，存在证据泄露问题，或者依赖外部新闻文章来获取真实声明。为了解决这些缺点，我们推出了M4FC，这是一个新的真实世界数据集，包含4,982张图像和6,980条声明。这些图像由来自22个组织的专业事实核查员验证，代表了广泛的文化和地域背景。每条声明都有十种语言中的一种或两种。M4FC涵盖了六个多模态事实核查任务：视觉声明提取、声明者意图预测、虚假图像检测、图像语境化、位置验证和结论预测。我们为所有任务提供了基线结果，并分析了结合中间任务如何影响结论预测性能。我们公开了数据集和代码。

🔬 方法详解

问题定义：现有的多模态事实核查数据集存在数据量不足、语言种类单一、任务类型有限、以及容易出现证据泄露等问题。这些问题限制了模型在真实世界场景下的泛化能力，阻碍了多模态事实核查技术的发展。

核心思路：M4FC数据集的核心思路是构建一个大规模、多语言、多文化、多任务的数据集，以更全面地模拟真实世界的事实核查场景。通过引入多样化的数据和任务，可以训练出更鲁棒、更可靠的多模态事实核查模型。

技术框架：M4FC数据集的构建流程主要包括以下几个阶段：1) 数据收集：从多个来源收集图像和相关的声明。2) 语言翻译：将声明翻译成多种语言，以支持多语言事实核查。3) 事实核查：由专业的核查员对图像和声明进行验证，确定声明的真伪。4) 任务设计：设计六个多模态事实核查任务，包括视觉声明提取、声明者意图预测、虚假图像检测、图像语境化、位置验证和结论预测。

关键创新：M4FC数据集的关键创新在于其多模态、多语言、多文化和多任务的特性。与现有数据集相比，M4FC数据集更全面地覆盖了真实世界的事实核查场景，可以用于训练更强大的多模态事实核查模型。此外，M4FC数据集还考虑了证据泄露问题，通过精心设计的数据收集和处理流程，避免了模型利用数据集中的偏差进行预测。

关键设计：M4FC数据集包含了4,982张图像和6,980条声明，涵盖了十种语言。数据集中的图像来自不同的文化和地域背景，声明也涉及各种主题。论文提供了六个多模态事实核查任务的基线结果，并分析了结合中间任务对结论预测性能的影响。具体的模型结构、损失函数等技术细节未在摘要中详细描述，需要参考论文全文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提供了M4FC数据集上六个多模态事实核查任务的基线结果，为后续研究提供了参考。通过分析结合中间任务对结论预测性能的影响，发现某些中间任务可以显著提升结论预测的准确性。具体的性能数据和提升幅度需要在论文全文中查找。

🎯 应用场景

该研究成果可应用于自动化事实核查系统、社交媒体内容审核、虚假信息检测等领域。通过利用多模态信息，可以更准确地判断信息的真伪，减少虚假信息传播，维护网络信息安全。未来可进一步扩展到更多语言和文化背景，提升系统的泛化能力。

📄 摘要（原文）

Existing real-world datasets for multimodal fact-checking have multiple limitations: they contain few instances, focus on only one or two languages and tasks, suffer from evidence leakage, or rely on external sets of news articles for sourcing true claims. To address these shortcomings, we introduce M4FC, a new real-world dataset comprising 4,982 images paired with 6,980 claims. The images, verified by professional fact-checkers from 22 organizations, represent a diverse range of cultural and geographic contexts. Each claim is available in one or two out of ten languages. M4FC spans six multimodal fact-checking tasks: visual claim extraction, claimant intent prediction, fake image detection, image contextualization, location verification, and verdict prediction. We provide baseline results for all tasks and analyze how combining intermediate tasks influences verdict prediction performance. We make our dataset and code available.