Understanding Inequality of LLM Fact-Checking over Geographic Regions with Agent and Retrieval models

📄 arXiv: 2503.22877v2 📥 PDF

作者: Bruno Coelho, Shujaat Mirza, Yuyuan Cui, Christina Pöpper, Damon McCoy

分类: cs.CL, cs.AI, cs.IR

发布日期: 2025-03-28 (更新: 2025-06-01)

💡 一句话要点

揭示LLM事实核查在不同地理区域上的不平等性，并分析Agent和检索模型的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实核查 地域差异 信息公平 检索增强生成

📋 核心要点

  1. 现有LLM事实核查在不同地理区域存在性能差异，尤其是在全球南方地区表现较差，这限制了其在多元文化环境中的应用。
  2. 论文通过对比不同LLM在不同场景下的事实核查表现，揭示了地域差异的根本原因，并分析了知识库质量对结果的影响。
  3. 实验结果表明，即使是强大的LLM如GPT-4，在处理全球南方地区的事实核查时也存在显著不足，凸显了数据集平衡和检索策略的重要性。

📝 摘要（中文）

本文评估了大型语言模型（LLM）在不同地理区域和场景下的事实准确性，旨在研究LLM在事实核查应用中存在的地域性差异。研究使用包含600条事实核查声明的数据集，这些声明在六个全球区域之间保持平衡。实验设置包括三种场景：仅提供声明、使用基于LLM的维基百科Agent、以及使用检索增强生成（RAG）系统提供官方事实核查信息。结果表明，无论使用哪种LLM（包括GPT-4、Claude Sonnet和LLaMA），全球北方地区的声明表现明显优于全球南方地区。更重要的是，对于更实际的基于维基百科Agent的系统，这种差距进一步扩大，表明过于通用的知识库在解决特定区域的细微差别方面能力有限。这些结果强调了迫切需要更好的数据集平衡和更强大的检索策略，以增强LLM的事实核查能力，尤其是在地理上多样化的环境中。

🔬 方法详解

问题定义：论文旨在解决LLM事实核查在不同地理区域表现不均衡的问题。现有方法，特别是依赖通用知识库（如维基百科）的Agent系统，在全球南方地区的事实核查中表现不佳，无法有效处理特定区域的细微差别，导致信息偏差和不准确性。

核心思路：核心思路是通过对比不同场景下的LLM事实核查性能，量化地域差异，并分析知识库质量对结果的影响。通过评估仅提供声明、使用维基百科Agent和使用RAG系统三种场景，揭示通用知识库的局限性，并强调数据集平衡和检索策略的重要性。

技术框架：整体框架包括数据收集、实验设置和结果分析三个主要阶段。首先，构建包含600条事实核查声明的数据集，这些声明在六个全球区域之间保持平衡。然后，在三种实验场景下评估不同LLM（GPT-4、Claude Sonnet和LLaMA）的事实核查性能。最后，分析实验结果，量化地域差异，并探讨知识库质量对结果的影响。

关键创新：关键创新在于系统性地评估了LLM事实核查在不同地理区域的表现差异，并揭示了通用知识库的局限性。与现有研究相比，该论文更关注地域差异，并分析了Agent和RAG系统在不同区域的表现。

关键设计：实验设置包括三种场景：(1) 仅提供声明，评估LLM的固有知识；(2) 使用基于LLM的维基百科Agent，评估通用知识库的影响；(3) 使用RAG系统提供官方事实核查信息，作为最佳情况下的性能参考。数据集包含600条事实核查声明，这些声明在六个全球区域之间保持平衡，以确保评估的公平性。使用的LLM包括GPT-4、Claude Sonnet和LLaMA，涵盖了开源和闭源模型。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，无论使用哪种LLM，全球北方地区的声明表现明显优于全球南方地区。对于基于维基百科Agent的系统，这种差距进一步扩大。即使是GPT-4，在处理全球南方地区的事实核查时也存在显著不足。RAG系统在所有区域的表现均优于其他两种场景，但仍然存在地域差异。

🎯 应用场景

该研究成果可应用于改进LLM事实核查系统，使其更公平、更准确地服务于全球用户。通过优化数据集平衡和检索策略，可以减少地域差异，提高LLM在处理全球南方地区信息时的准确性。这对于打击虚假信息、促进信息公平具有重要意义，并有助于构建更可靠的AI系统。

📄 摘要（原文）

Fact-checking is a potentially useful application of Large Language Models (LLMs) to combat the growing dissemination of disinformation. However, the performance of LLMs varies across geographic regions. In this paper, we evaluate the factual accuracy of open and private models across a diverse set of regions and scenarios. Using a dataset containing 600 fact-checked statements balanced across six global regions we examine three experimental setups of fact-checking a statement: (1) when just the statement is available, (2) when an LLM-based agent with Wikipedia access is utilized, and (3) as a best case scenario when a Retrieval-Augmented Generation (RAG) system provided with the official fact check is employed. Our findings reveal that regardless of the scenario and LLM used, including GPT-4, Claude Sonnet, and LLaMA, statements from the Global North perform substantially better than those from the Global South. Furthermore, this gap is broadened for the more realistic case of a Wikipedia agent-based system, highlighting that overly general knowledge bases have a limited ability to address region-specific nuances. These results underscore the urgent need for better dataset balancing and robust retrieval strategies to enhance LLM fact-checking capabilities, particularly in geographically diverse contexts.