Mathematics Isn't Culture-Free: Probing Cultural Gaps via Entity and Scenario Perturbations

📄 arXiv: 2507.00883v2 📥 PDF

作者: Aditya Tomar, Nihar Ranjan Sahoo, Ashish Mittal, Rudra Murthy, Pushpak Bhattacharyya

分类: cs.CL

发布日期: 2025-07-01 (更新: 2025-10-31)

💡 一句话要点

通过实体和场景扰动探测文化差异对数学问题求解的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化适应性 数学问题求解 大型语言模型 文化差异 提示工程

📋 核心要点

  1. 现有数学问题数据集（如GSM8K）带有西方文化背景，忽略了文化差异对模型性能的影响。
  2. 通过提示工程和人工验证，构建了针对非洲、印度、中国、韩国和日本的文化适应版GSM8K数据集。
  3. 实验表明，大型语言模型在原始数据集上表现更好，但在文化适应数据集上表现下降，推理能力强的模型更具鲁棒性。

📝 摘要（中文）

尽管数学通常被认为是文化中立的，但数学问题的呈现方式可能带有隐含的文化背景。现有的基准测试，如GSM8K，主要植根于西方规范，包括姓名、货币和日常场景。本文针对非洲、印度、中国、韩国和日本五个地区，创建了GSM8K测试集的文化适应变体，使用了基于提示的转换，并进行了人工验证。我们评估了六个大型语言模型（LLMs），参数范围从8B到72B，采用了五种提示策略，以评估它们对数学问题呈现中文化变异的鲁棒性。我们的研究结果揭示了一个一致的性能差距：模型在最初以美国为中心的原始数据集上表现最佳，而在文化适应版本上的表现相对较差。然而，具有推理能力的模型对这些转变更具弹性，这表明更深层次的推理有助于弥合数学任务中文化呈现的差距。

🔬 方法详解

问题定义：论文旨在研究数学问题中隐含的文化背景对大型语言模型（LLMs）性能的影响。现有数学问题数据集（如GSM8K）主要以西方文化为中心，忽略了不同文化背景下问题呈现方式的差异，这可能导致模型在处理非西方文化背景下的数学问题时表现不佳。

核心思路：论文的核心思路是通过对现有数学问题数据集进行文化适应性改造，构建针对不同文化背景的变体，然后评估LLMs在这些变体上的性能，从而揭示文化差异对模型性能的影响。这种方法能够量化文化背景对数学问题求解的影响，并为开发更具文化鲁棒性的模型提供指导。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选择GSM8K数据集作为基础；2) 针对非洲、印度、中国、韩国和日本五个地区，使用基于提示的转换方法生成文化适应的数学问题变体；3) 对生成的变体进行人工验证，确保其质量和文化相关性；4) 选择多个LLMs（参数范围从8B到72B）进行评估，采用不同的提示策略；5) 分析模型在原始数据集和文化适应数据集上的性能差异，评估文化差异对模型性能的影响。

关键创新：论文的关键创新在于构建了针对多个文化背景的数学问题数据集变体，并系统地评估了LLMs在这些变体上的性能。这种方法能够量化文化差异对模型性能的影响，并为开发更具文化鲁棒性的模型提供指导。此外，论文还发现具有推理能力的模型对文化差异更具弹性，这为未来的研究提供了新的方向。

关键设计：在生成文化适应的数学问题变体时，论文采用了基于提示的转换方法，例如替换人名、地名、货币单位等。为了保证生成变体的质量，论文进行了人工验证。在评估模型性能时，论文采用了多种提示策略，以减少提示方式对结果的影响。此外，论文还分析了模型在不同类型的文化适应问题上的性能差异，以更深入地了解文化差异对模型性能的影响。

📊 实验亮点

实验结果表明，大型语言模型在原始的美国中心GSM8K数据集上表现最佳，在文化适应的数据集上表现相对较差。例如，在某些文化适应的数据集上，模型的准确率下降了5-10%。然而，具有更强推理能力的模型，如经过微调的模型，对文化差异的鲁棒性更高，表明推理能力有助于弥合文化呈现的差距。

🎯 应用场景

该研究成果可应用于开发更具文化敏感性和鲁棒性的AI系统，尤其是在教育、金融等领域。例如，可以根据不同文化背景的学生定制数学学习材料，提高学习效果。此外，该研究也提醒我们在构建AI系统时，需要考虑文化因素的影响，避免产生文化偏见。

📄 摘要（原文）

Although mathematics is often considered culturally neutral, the way mathematical problems are presented can carry implicit cultural context. Existing benchmarks like GSM8K are predominantly rooted in Western norms, including names, currencies, and everyday scenarios. In this work, we create culturally adapted variants of the GSM8K test set for five regions Africa, India, China, Korea, and Japan using prompt-based transformations followed by manual verification. We evaluate six large language models (LLMs), ranging from 8B to 72B parameters, across five prompting strategies to assess their robustness to cultural variation in math problem presentation. Our findings reveal a consistent performance gap: models perform best on the original US-centric dataset and comparatively worse on culturally adapted versions. However, models with reasoning capabilities are more resilient to these shifts, suggesting that deeper reasoning helps bridge cultural presentation gaps in mathematical tasks