Evaluating Cultural Awareness of LLMs for Haitian Creole

📄 arXiv: 2609.31506v1 📥 PDF

作者: Christelle Clervilsson, Yanzhu Guo

分类: cs.CL, cs.AI

发布日期: 2026-09-25

💡 一句话要点

评估大型语言模型在海地克里奥尔语中的文化意识

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化意识 海地克里奥尔语 低资源语言 文本生成 评估框架 文化多样性

📋 核心要点

  1. 现有大型语言模型在低资源语言（如海地克里奥尔语）中的文化意识严重不足，导致其在任务执行中表现不佳。
  2. 本研究通过建立一个由母语者策划的文化相关提示基准，系统评估LLMs在海地克里奥尔语中的文化意识。
  3. 实验结果显示，海地克里奥尔语的文化意识明显低于法语，且在故事生成中存在刻板印象的表现。

📝 摘要（中文）

大型语言模型（LLMs）在高资源语言和低资源语言之间表现出显著的性能差异。除了任务性能较低外，它们往往无法捕捉到代表性不足社区的文化规范和价值观。本研究首次系统评估了LLMs在海地克里奥尔语中的文化意识，评估维度包括特异性、偏见、多样性和变异性。结果显示，海地克里奥尔语的文化意识明显低于高资源的法语，且在不同领域表现不均，受到法语语言干扰的影响更大。故事生成进一步揭示了海地角色经常被描绘为经历艰难与坚韧，即使是积极的角色刻画也可能编码刻板印象。我们的代码、基准和评估框架均已公开。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在海地克里奥尔语中缺乏文化意识的问题，现有方法未能有效捕捉低资源语言的文化特征和价值观。

核心思路：通过构建一个包含文化相关提示的基准，评估LLMs在海地克里奥尔语中的文化意识，重点关注特异性、偏见、多样性和变异性四个维度。

技术框架：整体流程包括提示的策划、模型的评估和结果的分析。首先，由母语者策划文化相关的提示，然后在文本填充任务中评估模型的表现。

关键创新：本研究首次系统性地评估了LLMs在海地克里奥尔语中的文化意识，填补了该领域的研究空白，并提供了公开的评估框架和基准。

关键设计：在评估过程中，采用了特定的提示设计和多维度评估标准，确保评估结果的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，海地克里奥尔语在文化意识方面的表现明显低于法语，尤其在不同领域的表现不均，受到法语干扰的影响更大。具体而言，海地克里奥尔语的文化意识在某些任务中表现出显著的偏见和刻板印象。

🎯 应用场景

该研究的潜在应用领域包括教育、文化传播和自然语言处理等。通过提升LLMs在低资源语言中的文化意识，可以促进多样性和包容性，帮助更好地服务于代表性不足的社区，推动相关技术的公平发展。

📄 摘要（原文）

Large language models (LLMs) exhibit substantial performance disparities between high- and low-resource languages. Beyond lower task performance, they often fail to capture the cultural norms and values of underrepresented communities. In this work, we present the first systematic evaluation of cultural awareness in LLMs for Haitian Creole, a language spoken by millions but severely underrepresented in digital resources. We assess cultural awareness along four complementary dimensions---specificity, bias, diversity, and variation---using a benchmark of culturally salient prompts curated by native speakers in a text infilling setting. Our results reveal a clear gap between cultural awareness in Haitian Creole and higher-resource French, with Haitian performance being more uneven across domains and more affected by French linguistic interference. Story generation further reveals recurring portrayals of Haitian characters through hardship and resilience, showing that even positive characterizations can encode stereotypical narratives. Our code, benchmark, and evaluation framework are publicly available.