Large Language Models for Multilingual Previously Fact-Checked Claim Detection

📄 arXiv: 2503.02737v3 📥 PDF

作者: Ivan Vykopal, Matúš Pikuliak, Simon Ostermann, Tatiana Anikina, Michal Gregor, Marián Šimko

分类: cs.CL

发布日期: 2025-03-04 (更新: 2025-09-24)

备注: Accepted for the EMNLP 2025 Findings

💡 一句话要点

评估大型语言模型在多语种已核实声明检测中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多语种 事实核查 声明检测 跨语言 低资源语言 虚假信息

📋 核心要点

  1. 虚假信息跨语言传播，人工核查耗时耗力，亟需自动化的跨语言已核实声明检测方法。
  2. 论文评估了七个大型语言模型在20种语言上的单语和跨语已核实声明检测能力。
  3. 实验表明，LLM在高资源语言上表现良好，但在低资源语言上存在挑战，翻译成英语可提升低资源语言性能。

📝 摘要（中文）

在虚假信息泛滥的时代，人工事实核查员经常面临重复劳动，因为他们需要验证已经在其他国家或语言中处理过的声明。由于虚假信息超越了语言界限，自动检测跨语言的先前已核实声明的能力变得越来越重要。本文首次全面评估了大型语言模型（LLM）在多语种已核实声明检测中的性能。我们在单语和跨语环境下评估了七个LLM在20种语言上的表现。结果表明，LLM在高资源语言上表现良好，但在低资源语言上表现不佳。此外，将原始文本翻译成英语对低资源语言有益。这些发现突出了LLM在多语种已核实声明检测中的潜力，并为进一步研究LLM在这个有前景的应用奠定了基础。

🔬 方法详解

问题定义：论文旨在解决多语言环境下，自动检测先前已被事实核查过的声明的问题。现有方法主要依赖于人工核查，效率低下，且难以应对跨语言的虚假信息传播。因此，如何利用大型语言模型（LLM）自动识别并关联不同语言的已核实声明，是本文要解决的核心问题。

核心思路：论文的核心思路是利用LLM强大的语言理解和生成能力，直接对多语言声明进行编码和比较，判断其是否与已核实的声明相似。通过评估LLM在不同语言上的表现，以及探索翻译策略，来提升低资源语言的检测效果。

技术框架：论文采用直接评估的方式，没有提出新的模型架构。主要流程包括：1) 数据准备：构建包含多语言声明和对应核实结果的数据集；2) 模型选择：选择七个具有代表性的LLM进行评估；3) 实验设置：分别在单语和跨语环境下进行实验，评估模型性能；4) 结果分析：分析不同语言和模型上的表现，并探讨翻译策略的影响。

关键创新：论文的主要创新在于首次对LLM在多语种已核实声明检测任务上的性能进行了全面的评估。之前的研究主要集中在单语环境或特定语言上，缺乏对LLM跨语言能力的系统性分析。此外，论文还探讨了翻译策略对低资源语言性能的影响，为后续研究提供了有价值的参考。

关键设计：论文的关键设计在于实验设置，包括：1) 选择了20种不同资源量的语言，以评估LLM在不同语言上的泛化能力；2) 采用了单语和跨语两种实验设置，以考察LLM的跨语言推理能力；3) 探索了将原始文本翻译成英语的策略，以提升低资源语言的性能。具体的参数设置和损失函数等技术细节，取决于所使用的LLM的默认配置，论文没有进行特别的调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在高资源语言上表现出良好的性能，但在低资源语言上仍存在挑战。将原始文本翻译成英语可以显著提升低资源语言的检测效果。例如，对于某些低资源语言，翻译后的性能提升超过10%。这些发现为后续研究如何提升LLM在低资源语言上的表现提供了重要的启示。

🎯 应用场景

该研究成果可应用于自动化事实核查系统，帮助快速识别和标记已核实的声明，减少人工核查的工作量。这对于打击虚假信息传播、维护网络信息安全具有重要意义。未来，该技术可以集成到社交媒体平台、搜索引擎等应用中，为用户提供更可靠的信息。

📄 摘要（原文）

In our era of widespread false information, human fact-checkers often face the challenge of duplicating efforts when verifying claims that may have already been addressed in other countries or languages. As false information transcends linguistic boundaries, the ability to automatically detect previously fact-checked claims across languages has become an increasingly important task. This paper presents the first comprehensive evaluation of large language models (LLMs) for multilingual previously fact-checked claim detection. We assess seven LLMs across 20 languages in both monolingual and cross-lingual settings. Our results show that while LLMs perform well for high-resource languages, they struggle with low-resource languages. Moreover, translating original texts into English proved to be beneficial for low-resource languages. These findings highlight the potential of LLMs for multilingual previously fact-checked claim detection and provide a foundation for further research on this promising application of LLMs.