Cultural Authenticity: Comparing LLM Cultural Representations to Native Human Expectations

📄 arXiv: 2604.03493 📥 PDF

作者: Erin MacMurray van Liemt, Aida Davani, Sinchana Kumbale, Neha Dixit, Sunipa Dev

分类: cs.CL

发布日期: 2026-04-07

💡 一句话要点

提出文化对齐评估框架，揭示LLM中存在的西方中心文化偏差。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化对齐 大型语言模型 文化表征 西方中心偏差 文化重要性向量

📋 核心要点

  1. 现有LLM文化表征评估主要关注文化多样性和事实准确性，忽略了生成内容与本地文化期望的对齐程度。
  2. 论文提出一种以人为中心的框架，通过比较LLM的文化表征向量与人类的文化重要性向量来评估文化对齐程度。
  3. 实验结果表明，部分LLM存在西方中心偏差，且在不同模型中存在高度相关的系统性误差特征。

📝 摘要（中文）

本文提出了一种以人为中心的框架，用于评估大型语言模型(LLM)生成内容与本地文化期望的对齐程度。首先，通过对九个国家开放式调查的文化重要方面进行归纳，建立了一个基于人类的文化重要性向量(Cultural Importance Vectors)的真值基线。然后，提出了一种基于句法多样化提示集计算LLM文化表征向量(Cultural Representation Vectors)的方法，并将其应用于三个前沿LLM(Gemini 2.5 Pro, GPT-4o, and Claude 3.5 Haiku)。研究表明，某些模型的文化表征存在西方中心偏差，即与美国文化距离越远的国家，对齐程度越低。此外，还在所有模型中识别出高度相关的系统性误差特征($\rho > 0.97$)，这些误差特征过度索引某些文化标记，而忽略了用户深层的社会和基于价值的优先级。该方法超越了简单的多样性指标，旨在评估AI生成内容在真实捕捉全球文化细微层级方面的保真度。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在生成内容时，其文化表征的评估主要集中在文化多样性和事实准确性上。然而，一个关键的痛点是缺乏对文化对齐的评估，即生成的内容是否能够准确反映本地人群对其自身文化的认知和重视程度。现有方法无法有效衡量LLM是否真正理解并尊重不同文化的细微差别和价值体系。

核心思路：本文的核心思路是通过构建一个基于人类反馈的文化重要性基线，并将其与LLM生成的文化表征进行比较，从而量化LLM的文化对齐程度。这种方法的核心在于以人为本，确保评估标准来源于目标文化群体自身的认知，而非外部的刻板印象或偏见。

技术框架：该框架包含两个主要阶段：1) 构建人类文化重要性向量（Cultural Importance Vectors）：通过在九个国家进行开放式调查，收集人们对各自文化中重要方面的看法，并将其转化为向量表示。2) 计算LLM文化表征向量（Cultural Representation Vectors）：使用句法多样化的提示集，引导LLM生成与文化相关的内容，并将其转化为向量表示。最后，通过比较这两个向量，评估LLM的文化对齐程度。

关键创新：该研究最重要的创新点在于提出了一个以人为中心的文化对齐评估框架，该框架能够超越简单的多样性指标，深入评估LLM在捕捉不同文化细微层级方面的保真度。与现有方法相比，该框架更加注重文化群体的自身认知，避免了外部视角可能带来的偏差。

关键设计：在构建人类文化重要性向量时，采用了开放式调查的方式，以最大程度地减少先验假设对结果的影响。在计算LLM文化表征向量时，使用了句法多样化的提示集，以确保LLM能够从多个角度表达其对文化的理解。此外，研究还采用了相关性分析等统计方法，以量化LLM的文化对齐程度和识别系统性误差特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，部分LLM存在显著的西方中心偏差，即对与美国文化距离较远的国家，其文化表征的准确性较低。此外，研究还发现所有模型都存在高度相关的系统性误差特征（$\rho > 0.97$），表明这些模型在文化理解上存在共性缺陷，过度强调某些文化标记，而忽略了深层的社会和价值观念。

🎯 应用场景

该研究成果可应用于提升LLM在跨文化交流、内容创作和教育等领域的表现。通过优化LLM的文化表征，可以减少文化误解和冒犯，提高用户满意度，并促进全球范围内的文化理解和尊重。此外，该框架还可用于评估和改进其他AI系统的文化敏感性。

📄 摘要（原文）

Cultural representation in Large Language Model (LLM) outputs has primarily been evaluated through the proxies of cultural diversity and factual accuracy. However, a crucial gap remains in assessing cultural alignment: the degree to which generated content mirrors how native populations perceive and prioritize their own cultural facets. In this paper, we introduce a human-centered framework to evaluate the alignment of LLM generations with local expectations. First, we establish a human-derived ground-truth baseline of importance vectors, called Cultural Importance Vectors based on an induced set of culturally significant facets from open-ended survey responses collected across nine countries. Next, we introduce a method to compute model-derived Cultural Representation Vectors of an LLM based on a syntactically diversified prompt-set and apply it to three frontier LLMs (Gemini 2.5 Pro, GPT-4o, and Claude 3.5 Haiku). Our investigation of the alignment between the human-derived Cultural Importance and model-derived Cultural Representations reveals a Western-centric calibration for some of the models where alignment decreases as a country's cultural distance from the US increases. Furthermore, we identify highly correlated, systemic error signatures ($\rho > 0.97$) across all models, which over-index on some cultural markers while neglecting the deep-seated social and value-based priorities of users. Our approach moves beyond simple diversity metrics toward evaluating the fidelity of AI-generated content in authentically capturing the nuanced hierarchies of global cultures.