PluraMath: Extending Mathematical Reasoning Evaluation Beyond High-Resource Languages
作者: Daryna Dementieva, Nikolay Babakov, Kathy Hämmerl, Ilseyar Alimova, Jindřich Libovický, Shu Okabe, Miras Baisbay, Lukas Edman, Abrorkhon Inomkhujaev, Antonia Karamolegkou, Mateusz Lango, Volkan Özer, Nikola Selic, Subhankar Swain, Tsedeniya Kinfe Temesgen, Galit Bary Weisberg, Alexander Fraser
分类: cs.CL, cs.AI
发布日期: 2026-07-07
💡 一句话要点
提出PluraMath以解决数学推理评估的语言偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数学推理 多语言评估 低资源语言 大型语言模型 数据集构建 人工智能
📋 核心要点
- 现有的数学推理评估基准测试严重偏向高资源语言，导致低资源语言的表现被忽视。
- PluraMath是对PolyMath的扩展，涵盖18种低资源语言，旨在提升多语言数学推理的评估能力。
- 基于PluraMath的实验表明，高资源语言的数学推理表现显著优于低资源语言，且与模型的指令遵循能力相关。
📝 摘要（中文）
数学推理已成为评估和调优推理大型语言模型（LLMs）的核心任务，但现有基准测试严重偏向高资源语言，尤其是英语和中文。尽管最近发布的PolyMath数据集已取得显著进展，但其覆盖范围仍仅限于18种高资源语言。为了解决这一问题，我们推出了PluraMath，扩展了18种来自6个语言家族的低资源语言。通过人类策划的管道构建数据集，确保翻译的准确性。我们使用PluraMath对27个推理LLMs进行基准测试，分析不同语言条件下的多语言数学推理能力，结果显示高资源语言与低资源语言之间的数学推理表现存在显著差距。我们完全开源了数据集、数据获取管道和评估框架，旨在降低低资源社区的多语言基准开发门槛。
🔬 方法详解
问题定义：本论文旨在解决现有数学推理评估基准测试对低资源语言的忽视，现有方法主要集中在高资源语言，导致低资源语言的模型性能评估不足。
核心思路：通过引入PluraMath数据集，扩展PolyMath的覆盖范围，增加18种低资源语言，以便更全面地评估多语言数学推理能力。
技术框架：数据集的构建采用人类策划的管道，确保翻译的准确性和有效性。评估框架则涵盖27个不同规模的推理LLMs，进行系统的性能比较。
关键创新：PluraMath的最大创新在于其对低资源语言的关注，填补了现有数据集的空白，使得多语言数学推理的评估更加全面和公平。
关键设计：在数据集构建中，采用了母语者验证的翻译，确保了数据的质量；评估过程中，使用了不同规模的模型，以探讨模型规模对推理能力的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，27个推理LLMs在高资源语言上的表现明显优于低资源语言，尤其是在指令遵循能力较强的模型中，表现差距更为显著。这一发现强调了在多语言环境中开发和评估模型的重要性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、语言学习和多语言人工智能系统。通过提供更公平的评估基准，PluraMath能够帮助开发更具包容性的数学推理模型，促进低资源语言的研究与应用，推动全球范围内的知识获取与传播。
📄 摘要（原文）
Mathematical reasoning has become a central task for evaluating and tuning reasoning Large Language Models (LLMs), yet existing benchmarks remain heavily biased toward high-resource languages, with English and Chinese dominating both pre-training corpora and evaluation suites. The recently released PolyMath (Wang et al., 2025) dataset represents a significant step forward, yet its coverage is still limited to 18 only high-resource languages. To address this gap, we introduce PluraMath, an extension of PolyMath to 18 additional {underrepresented languages spanning 6 language families -- ranging from mid-resource to extreme low-resource settings. We constructed the dataset through a human-curated pipeline, where native speakers thoroughly validated pre-computed translations. Using PluraMath, we then benchmark 27 reasoning LLMs across four model scales -- small, mid-size, large, and closed-source ensembles -- probing the multilingual mathematical reasoning capabilities of state-of-the-art models under diverse linguistic conditions. Our fine-grained analysis confirms a persistent gap in mathematical reasoning performance between high-resource and underrepresented languages, with stronger results largely associated with better instruction-following ability. We fully open-source our dataset, data acquisition pipeline, and evaluation framework, with the goal of lowering the barrier to multilingual benchmark development for underrepresented communities.