Investigating Multi-Cultural Value Selection Biases in LLMs

📄 arXiv: 2610.31199v1 📥 PDF

作者: Siddhesh Pawar, Arnav Arora, Dustin Wright, Dirk Hovy, Isabelle Augenstein

分类: cs.CL

发布日期: 2026-10-22

备注: 27 pages, 13 figures, 18 tables

💡 一句话要点

研究多文化价值选择偏差以优化大型语言模型的文化理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化身份 多文化理解 社会政治生成 价值调查

📋 核心要点

  1. 现有方法通常将文化身份简化为单一标签，忽视了多层次文化身份的复杂性，导致LLMs的输出偏差。
  2. 本研究通过同时使用国家角色和用户身份线索，探讨其对LLMs输出的影响，提出了更细致的文化信号评估方法。
  3. 实验结果显示，语言线索对答案的影响显著，命名国家能有效缩小模型输出的偏差，强调了国家与语言线索的区别。

📝 摘要（中文）

大型语言模型（LLMs）服务于多层次文化身份的用户，但文化评估通常将身份简化为单一标签。本研究探讨了在同时存在的身份线索下，如何通过系统提示中的国家角色和用户转述中的第二身份（通过命名国家或查询语言）来影响LLMs的输出。实验结果表明，语言线索对答案的影响是显著的，且与国家分布的偏离程度较大。命名国家能够缩小模型输出与该国响应之间的差距，显示出国家和语言线索应被视为不同的文化信号而非可互换的代理。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在处理多层次文化身份时的输出偏差问题。现有方法往往忽视文化身份的复杂性，导致模型输出不准确。

核心思路：通过同时引入国家角色和用户身份线索，研究其对模型输出的影响，提出将国家和语言线索视为不同文化信号的观点。

技术框架：研究设计包括两个主要实验：多项选择题的文化价值调查和开放式社会政治生成。通过对比不同线索的影响，分析其对模型输出的作用。

关键创新：本研究的创新在于首次系统性地比较了语言线索与显性国家线索对LLMs输出的影响，揭示了二者在文化信号中的不同作用。

关键设计：实验中使用了世界价值调查（WVS）作为评估工具，分析了1.6百万条开放式响应，重点关注命名国家和语言线索对模型输出的影响。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，语言线索对答案的影响是显著的，答案偏离与国家分布的关系较大。命名国家能够缩小30-44%的模型输出偏差，且显性线索产生的价值变化更为明显，强调了国家与语言线索的区别。

🎯 应用场景

该研究的潜在应用领域包括跨文化交流、国际市场营销和多语言教育等。通过优化LLMs对多文化身份的理解，可以提升其在不同文化背景下的适应性和准确性，促进更有效的沟通与理解。未来，该研究可能影响LLMs在全球化背景下的应用，推动文化敏感性的发展。

📄 摘要（原文）

Large language models (LLMs) serve users whose cultural identities are multi-layered, yet cultural evaluations commonly reduce identity to one label. In this work, we study LLMs under simultaneous identity cues, with a country persona in the system prompt and a second identity signaled in the user turn, either by naming a country (explicit cue) or through the query language (implicit cue). We test World Values Survey (WVS) multiple-choice probing and open-ended sociopolitical generation. In multiple-choice probing, language cues shift answers about three times more than explicit cues but away from the associated country's distribution, and explicit cues do not consistently move answers toward the named country. Across 1.6 million open-ended responses, naming a country closes 30-44% of the gap to the model's own responses for that country, and explicit cues produce more differentiated value changes than language cues. Our results suggest that country and language cues should be evaluated as distinct signals rather than interchangeable proxies for culture.