From Bytes to Biases: Investigating the Cultural Self-Perception of Large Language Models

📄 arXiv: 2312.17256v1 📥 PDF

作者: Wolfgang Messner, Tatum Greene, Josephine Matalone

分类: cs.CL, cs.AI, cs.HC, cs.IR, cs.LG

发布日期: 2023-12-21

备注: 20 pages, 3 tables, 4 figures; Online Supplement: 10 pages, 5 tables, 3 figures

期刊: Journal of Public Policy & Marketing, 2025

DOI: 10.1177/07439156251319788

💡 一句话要点

研究揭示大型语言模型文化价值观偏向，主要受英语国家和经济发达国家影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化偏见 价值观 GLOBE项目 ChatGPT Bard 人工智能伦理 跨文化研究

📋 核心要点

  1. 大型语言模型存在偏见，这些偏见源于训练数据，并可能被用户内化，从而影响决策。
  2. 该研究使用GLOBE项目中的价值观问题，探究ChatGPT和Bard等LLM的文化自我认知。
  3. 研究发现这些模型的文化价值观与英语国家和经济发达国家最为接近，揭示了潜在的文化偏见。

📝 摘要（中文）

大型语言模型（LLMs）能够与人类进行自然的对话，展现了前所未有的信息检索和自动化决策支持能力。它们颠覆了人机交互和商业运营模式。然而，基于生成式人工智能（GenAI）的技术存在幻觉、错误信息和偏见等问题，这些偏见源于其训练所使用的大规模数据集。现有研究表明，人类可能会无意识地内化这些偏见，即使停止使用这些程序后，偏见仍然存在。本研究通过使用GLOBE项目中的价值观问题提示ChatGPT (OpenAI)和Bard (Google)，探索了LLMs的文化自我认知。研究结果表明，它们的文化自我认知与英语国家和以持续经济竞争力为特征的国家的价值观最为一致。认识到LLMs的文化偏见并理解其工作原理对于社会所有成员至关重要，因为人们不希望人工智能的黑盒永久化人类的偏见，而人类反过来可能会无意中创建和训练出更具偏见的算法。

🔬 方法详解

问题定义：该论文旨在研究大型语言模型（LLMs）中存在的文化偏见问题。现有方法缺乏对LLMs文化价值观的深入分析，无法有效识别和量化这些模型中固有的文化倾向，从而可能导致在实际应用中产生不公平或不准确的结果。

核心思路：论文的核心思路是通过使用源自GLOBE项目的价值观问题来探究LLMs的文化自我认知。GLOBE项目提供了一套标准化的跨文化价值观评估框架，可以用来衡量不同文化群体在价值观上的差异。通过向LLMs提问这些问题，研究人员可以分析LLMs的回答，从而推断出它们所体现的文化价值观倾向。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择目标LLMs，包括ChatGPT和Bard；2) 从GLOBE项目中选取具有代表性的价值观问题；3) 使用这些问题作为提示，向LLMs提问，并记录它们的回答；4) 对LLMs的回答进行分析，评估它们在不同价值观维度上的倾向性；5) 将LLMs的价值观倾向与不同国家和地区的文化价值观进行比较，从而确定LLMs的文化自我认知。

关键创新：该研究的关键创新在于将跨文化研究中的GLOBE项目应用于LLMs的文化偏见分析。这种方法提供了一种系统化的方式来评估LLMs的文化价值观倾向，并将其与真实世界的文化价值观进行比较。此外，该研究还揭示了LLMs的文化自我认知与英语国家和经济发达国家最为一致，这为理解LLMs的偏见来源提供了新的视角。

关键设计：研究的关键设计包括：1) 选取具有代表性的GLOBE价值观问题，确保问题能够有效区分不同文化群体在价值观上的差异；2) 对LLMs的回答进行细致的分析，采用适当的文本分析方法来提取LLMs的价值观倾向；3) 使用适当的统计方法将LLMs的价值观倾向与不同国家和地区的文化价值观进行比较，从而确定LLMs的文化自我认知。

📊 实验亮点

研究发现ChatGPT和Bard的文化自我认知与英语国家和经济发达国家的价值观最为一致。这意味着这些LLMs在生成文本和进行决策时，可能会无意识地偏向这些文化群体的价值观。这一发现强调了在开发和部署LLMs时，需要更加关注文化偏见问题，并采取措施减少这些偏见。

🎯 应用场景

该研究结果可应用于多个领域，例如：改进LLMs的训练数据，减少文化偏见；开发更公平、更具包容性的人工智能系统；帮助用户更好地理解LLMs的局限性，避免在决策过程中过度依赖它们；为跨文化交流和合作提供参考，促进不同文化之间的理解和尊重。

📄 摘要（原文）

Large language models (LLMs) are able to engage in natural-sounding conversations with humans, showcasing unprecedented capabilities for information retrieval and automated decision support. They have disrupted human-technology interaction and the way businesses operate. However, technologies based on generative artificial intelligence (GenAI) are known to hallucinate, misinform, and display biases introduced by the massive datasets on which they are trained. Existing research indicates that humans may unconsciously internalize these biases, which can persist even after they stop using the programs. This study explores the cultural self-perception of LLMs by prompting ChatGPT (OpenAI) and Bard (Google) with value questions derived from the GLOBE project. The findings reveal that their cultural self-perception is most closely aligned with the values of English-speaking countries and countries characterized by sustained economic competitiveness. Recognizing the cultural biases of LLMs and understanding how they work is crucial for all members of society because one does not want the black box of artificial intelligence to perpetuate bias in humans, who might, in turn, inadvertently create and train even more biased algorithms.