Benchmarking Arabic Dialects for Math Problems
作者: Noor Abo Mokh, Teresa Lynn, Nizar Habash, Ahmed Elshabrawy, Sara Alhajeri, Alaa Elsetohy, Preslav Nakov, Alham Fikri Aji
分类: cs.CL, cs.AI
发布日期: 2026-10-20
💡 一句话要点
提出DAR-MGSM基准以评估阿拉伯方言数学推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 方言阿拉伯语 数学推理 文化本地化 多语言模型 基准评估
📋 核心要点
- 现有方法在低资源语言的数学推理研究中存在不足，尤其是方言阿拉伯语的应用较少。
- 论文提出DAR-MGSM基准，通过手动策划的数学问题评估方言阿拉伯语的数学推理能力，涵盖多种方言。
- 实验结果表明，模型在本地化版本上的性能下降，反映出文化适应的复杂性，不同模型对本地化的敏感性不同。
📝 摘要（中文）
数学推理在低资源语言中仍然未得到充分探索，包括方言阿拉伯语。为填补这一空白，本文引入了DAR-MGSM（方言阿拉伯语多语言小学数学）基准，这是第一个手动策划的基准，用于评估方言阿拉伯语中的数学推理能力。DAR-MGSM包含需要多步骤推理的数学文字问题，涵盖五种主要阿拉伯方言及现代标准阿拉伯语（MSA）。基准包括两种平行版本：仅翻译和翻译及文化本地化，后者将实体和参考适应于区域变体。我们对十一种以阿拉伯语为中心和多语言的大型语言模型在DAR-MGSM上进行了评估。结果显示，性能在本地化版本上普遍下降，突显了文化适应带来的挑战，但这一影响在不同模型间的幅度有所不同。
🔬 方法详解
问题定义：本文旨在解决低资源语言（如方言阿拉伯语）在数学推理方面的研究不足，现有方法未能有效评估方言的数学能力。
核心思路：通过构建DAR-MGSM基准，提供多步骤推理的数学问题，涵盖不同阿拉伯方言及文化背景，以便更全面地评估数学推理能力。
技术框架：DAR-MGSM基准包括两种版本：仅翻译和翻译及文化本地化，后者针对特定地区的文化背景进行了调整。评估过程中使用了多种大型语言模型，比较其在不同版本上的表现。
关键创新：DAR-MGSM是首个专门针对方言阿拉伯语数学推理的基准，强调了文化适应对模型性能的影响，揭示了不同模型对本地化的敏感性差异。
关键设计：在基准构建中，数学问题经过手动策划，确保其多样性和复杂性；同时，模型评估采用了多种阿拉伯语和多语言模型，以全面分析性能差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在本地化版本上，模型性能普遍下降，强调了文化适应的挑战。不同模型对本地化的敏感性差异显著，部分阿拉伯语模型在处理本地化问题时表现出更高的准确性，具体性能数据尚未公开。
🎯 应用场景
该研究的潜在应用领域包括教育技术、语言处理和人工智能助手，尤其是在阿拉伯国家的教育系统中。通过提升方言阿拉伯语的数学推理能力评估，可以为教育资源的分配和教学方法的改进提供数据支持，未来可能影响多语言教育的研究方向。
📄 摘要（原文）
Mathematical reasoning remains underexplored for low-resource languages, including Dialectal Arabic. To bridge this gap, we introduce the DAR-MGSM (Dialectal Arabic Multilingual Grade School Math) Benchmark, the first manually curated benchmark for evaluating mathematical reasoning in Dialectal Arabic. DAR-MGSM consists of math word problems (MWPs) requiring multi-step reasoning and covers five major Arabic dialects alongside Modern Standard Arabic (MSA). The benchmark comprises two parallel versions: translated-only and translated & culturally localized. The latter version adapts entities and references to regional varieties. We evaluate eleven Arabic-centric and multilingual large language models on DAR-MGSM. The results show that the performance generally declines on the localized version, highlighting the challenges introduced by culturally grounded adaptations. However, the magnitude of this effect varies across models, with Arabic-centric models exhibiting different levels of sensitivity to localization. A mechanistic interpretability analysis shows that translated and localized variants of the same MWPs often induce distinct internal reasoning trajectories, even when aggregate accuracy remains similar. Overall, our results show that mathematical reasoning performance depends on both linguistic variety and cultural context.