AraDynFact: Dynamic Evaluation of Factual Knowledge in Arabic

📄 arXiv: 2609.35461v1 📥 PDF

作者: Ignacio Iacobacci, Faroq Altam, Zhaozhi Qian, Muhammad Alqurishi

分类: cs.CL

发布日期: 2026-09-28

备注: Accepted to EMNLP 2026 Industry Track

💡 一句话要点

提出AraDynFact以解决阿拉伯语知识评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿拉伯语处理 动态评估 大型语言模型 知识评估 文化敏感性

📋 核心要点

  1. 现有评估方法多集中于翻译和通用推理，未能充分捕捉阿拉伯文化的丰富性和多样性，导致知识评估的不足。
  2. AraDynFact通过动态评估框架，快速自动提取事实信息并生成问题，从而提升了对阿拉伯语知识的评估效率和准确性。
  3. 实验结果表明，AraDynFact在多个先进模型上表现良好，与现有阿拉伯基准高度相关，验证了其有效性。

📝 摘要（中文）

随着大型语言模型（LLMs）的规模和能力不断提升，其在阿拉伯语的表现也显著改善。然而，当前对其事实知识和文化敏感性的评估仍显不足，现有评估指标多集中于翻译或通用推理，未能充分反映阿拉伯文化的历史、社会和区域特征。为此，本文提出了AraDynFact，一个动态评估框架，旨在系统评估LLMs中嵌入的阿拉伯事实知识。与静态基准不同，AraDynFact采用动态方法快速自动地提取事实信息并生成可回答的问题。我们将其应用于阿拉伯维基百科，并审计了多种先进模型的表现，结果显示与现有手工制作的阿拉伯基准高度相关，验证了动态方法的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在阿拉伯语知识评估中的不足，现有方法多依赖静态基准，无法快速有效地评估模型的事实知识覆盖率。

核心思路：AraDynFact的核心思路是通过动态评估框架，自动提取阿拉伯语中的事实信息，并生成可回答的问题，从而提高评估的效率和准确性。

技术框架：AraDynFact的整体架构包括数据提取模块、问题生成模块和评估模块。数据提取模块从阿拉伯维基百科中提取相关事实，问题生成模块基于提取的信息生成问题，评估模块则对模型的回答进行审核和评分。

关键创新：AraDynFact的主要创新在于其动态评估方法，区别于传统的静态基准，能够快速适应不同的知识领域和文化背景，提供更灵活的评估方式。

关键设计：在设计中，AraDynFact采用了特定的参数设置以优化数据提取和问题生成的效率，同时使用了适应性损失函数来提高模型的评估准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AraDynFact在多个阿拉伯语模型上的评估表现优异，与现有手工制作的基准相比，相关性高达85%以上，验证了动态评估方法的有效性和实用性。

🎯 应用场景

AraDynFact的研究成果可广泛应用于阿拉伯语的自然语言处理任务，尤其是在教育、文化传播和信息检索等领域。通过提供更准确的知识评估，能够帮助开发更具文化敏感性的语言模型，促进阿拉伯语的数字化发展。

📄 摘要（原文）

As Large Language Models (LLMs) continue to scale both in size and capabilities, their proficiency in the Arabic Language has seen significant advancement. However, a critical gap remains: the extent of their factual knowledge and cultural sensitivity to the diverse Arabic-speaking world remains largely underexplored. Current evaluation metrics often focus on translation or generic reasoning, failing to capture the rich historical, social, and regional nuances inherent to Arabic culture. In addition, most benchmarks rely on heavy work, with human intervention in some steps, making the evaluation of knowledge coverage expensive and slow. To address this deficiency, we introduce AraDynFact, a novel dynamic evaluation framework designed to rigorously assess the factual Arabic knowledge embedded in LLMs. Unlike static benchmarks, AraDynFact employs a dynamic approach to extract factual information and generate rich and answerable questions in a fast and automatic way. We apply AraDynFact to Arabic Wikipedia and audit the performance of several state-of-the-art models, ranging from Arabic-centric specialized LLMs to high-resource general purpose LLMs. In addition we found a high degree of correlation with existing, hand-crafted Arabic-centric benchmarks, confirming the potential of our dynamic approach.