Cultural Bias in Large Language Models: Evaluating AI Agents through Moral Questionnaires

📄 arXiv: 2507.10073v2 📥 PDF

作者: Simon Münker

分类: cs.CL, cs.AI

发布日期: 2025-07-14 (更新: 2025-07-31)

备注: 15pages, 1 figure, 2 tables

期刊: Proceedings of 0th Symposium on Moral and Legal AI Alignment of the IACAP/AISB Conference, 2025

💡 一句话要点

揭示大语言模型文化偏见：道德问卷评估AI代理的文化价值观

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 文化偏见 道德价值观 道德基础问卷 AI对齐

📋 核心要点

  1. 现有大型语言模型在道德价值观上存在文化偏见，未能充分代表不同文化背景下的道德直觉。
  2. 论文通过道德基础问卷，对比LLM生成内容与人类在不同文化背景下的道德判断，揭示了LLM的道德同质化现象。
  3. 实验表明，即使增加模型规模，也难以有效提升LLM对不同文化道德价值观的表征能力，对齐方法存在根本局限。

📝 摘要（中文）

本研究揭示了一个令人担忧的现实：大型语言模型(LLMs)虽然具备强大的语言能力，但未能代表多样化的文化道德框架。通过在19种文化背景下应用道德基础问卷，我们发现了AI生成内容与人类道德直觉之间存在显著差距。将多个最先进LLM的输出与人类基线数据进行比较，发现这些模型系统性地同质化了道德多样性。令人惊讶的是，模型规模的增加并没有持续提高文化表征的保真度。我们的发现挑战了将LLM作为社会科学研究中合成人群的日益增长的应用，并突出了当前AI对齐方法的一个根本局限性。如果没有超出提示的数据驱动对齐，这些系统无法捕捉到细微的、特定于文化的道德直觉。我们的结果呼吁更具实际意义的对齐目标和评估指标，以确保AI系统代表多样化的人类价值观，而不是扁平化道德景观。

🔬 方法详解

问题定义：当前的大型语言模型（LLMs）在道德价值观的表征上存在偏差，无法准确反映不同文化背景下人类的道德直觉。现有方法主要依赖于通用数据集的训练和简单的提示工程，缺乏对文化差异的细致考虑，导致模型输出的道德判断趋于同质化，忽略了不同文化间的道德差异。这种偏差会影响LLM在社会科学研究中的应用，并可能导致AI系统在实际应用中产生不符合特定文化价值观的行为。

核心思路：本研究的核心思路是通过对比LLM的输出与人类在不同文化背景下的道德判断，量化LLM的文化偏见。具体而言，研究者使用了道德基础问卷（Moral Foundations Questionnaire）这一成熟的心理学工具，评估LLM在不同文化背景下的道德价值观表征能力。通过分析LLM输出与人类基线数据之间的差异，揭示LLM在道德价值观上的同质化倾向。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择多个代表不同文化背景的地区，共19个文化背景；2) 使用道德基础问卷（MFQ）收集人类在这些文化背景下的道德判断数据，作为基线数据；3) 使用多个最先进的LLM，针对MFQ中的问题生成答案；4) 将LLM生成的答案与人类基线数据进行比较，计算差异性指标，评估LLM的文化偏见程度。

关键创新：本研究的关键创新在于：1) 系统性地评估了LLM在不同文化背景下的道德价值观表征能力，揭示了LLM的文化偏见问题；2) 使用了道德基础问卷这一成熟的心理学工具，为评估LLM的道德价值观提供了一种标准化的方法；3) 发现即使增加模型规模，也难以有效提升LLM对不同文化道德价值观的表征能力，挑战了当前AI对齐方法的有效性。

关键设计：研究中使用了道德基础问卷（MFQ），该问卷包含多个问题，旨在评估个体在五个道德维度上的倾向：关怀/伤害、公平/欺骗、忠诚/背叛、权威/颠覆、圣洁/堕落。研究者将这些问题输入到LLM中，并要求LLM生成答案。然后，研究者将LLM生成的答案与人类基线数据进行比较，计算差异性指标，例如余弦相似度等，以评估LLM的文化偏见程度。研究中还考虑了不同LLM的规模和训练数据来源，以分析这些因素对LLM文化偏见的影响。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM在道德价值观上存在显著的文化偏见，未能准确反映不同文化背景下的道德直觉。具体而言，LLM的输出在不同文化背景下表现出更高的相似性，而人类的道德判断则表现出更大的文化差异。此外，实验还发现，即使增加模型规模，也难以有效提升LLM对不同文化道德价值观的表征能力。

🎯 应用场景

该研究成果可应用于改进AI系统的道德对齐，使其更好地适应不同文化背景下的价值观。例如，可以利用该研究提出的评估方法，开发更具文化敏感性的AI助手、聊天机器人等。此外，该研究也对社会科学研究中将LLM作为合成人群的应用提出了警示，提醒研究者注意LLM的文化偏见，避免产生误导性结论。

📄 摘要（原文）

Are AI systems truly representing human values, or merely averaging across them? Our study suggests a concerning reality: Large Language Models (LLMs) fail to represent diverse cultural moral frameworks despite their linguistic capabilities. We expose significant gaps between AI-generated and human moral intuitions by applying the Moral Foundations Questionnaire across 19 cultural contexts. Comparing multiple state-of-the-art LLMs' origins against human baseline data, we find these models systematically homogenize moral diversity. Surprisingly, increased model size doesn't consistently improve cultural representation fidelity. Our findings challenge the growing use of LLMs as synthetic populations in social science research and highlight a fundamental limitation in current AI alignment approaches. Without data-driven alignment beyond prompting, these systems cannot capture the nuanced, culturally-specific moral intuitions. Our results call for more grounded alignment objectives and evaluation metrics to ensure AI systems represent diverse human values rather than flattening the moral landscape.