Cultural (In)Competence: Investigating Culture-Specific Stereotype Detection Capabilities of LLMs

📄 arXiv: 2610.22545v1 📥 PDF

作者: Maximilian Spliethöver, Jannes Lötfering, Dominik Bachmann, Alexander Espig, Willem Zuidema, Katrin Schulz, Henning Wachsmuth

分类: cs.CL

发布日期: 2026-10-15

备注: Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026

💡 一句话要点

探讨LLMs在文化特定刻板印象检测中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 刻板印象检测 文化适应性 指令调优 微调数据集 跨文化研究 自然语言处理

📋 核心要点

  1. 现有的大型语言模型在文化特定刻板印象检测中存在显著的能力差异，尤其是在非英语和非美国文化背景下。
  2. 论文通过系统性实验，探讨了提示语言、指令调优语言和微调数据集大小对刻板印象检测效果的影响。
  3. 实验结果显示，非英语提示改善了文化背景的考虑，且额外的指令调优有效降低了误报率。

📝 摘要（中文）

刻板印象是受文化背景影响的主观构建，因此成功建模需要文化能力。本文系统性地研究了大型语言模型（LLMs）在文化特定刻板印象检测中的有效性，考虑了提示语言、指令调优语言和微调数据集大小等因素。实验结果表明，LLMs未能可靠地考虑文化背景，且在非英语提示下，刻板印象的预测效果有所改善。此外，额外的指令调优降低了误报率，而训练数据大小对检测效果的影响呈非单调性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在文化特定刻板印象检测中的不足，尤其是其对文化背景的考虑不足和刻板印象的过度预测问题。

核心思路：通过系统性实验，研究不同语言和数据集对LLMs在刻板印象检测中的影响，旨在提高模型的文化适应性和检测准确性。

技术框架：研究设计包括三个主要模块：提示语言的选择、指令调优的实施以及微调数据集的规模调整。通过对比不同设置下的模型表现，评估其在不同文化背景下的有效性。

关键创新：论文的创新点在于系统性地分析了提示语言和指令调优对刻板印象检测的影响，揭示了LLMs在不同文化背景下的能力差异，这在现有研究中尚属首次。

关键设计：在实验中，采用了多种语言的提示和指令调优策略，微调数据集的大小也进行了多种设置，以观察其对模型性能的非单调影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，非英语提示显著改善了文化背景的考虑，导致刻板印象预测的有效性提升。此外，额外的指令调优降低了误报率，训练数据集的大小对检测效果的影响呈现非单调性，这些发现为LLMs在文化特定任务中的应用提供了重要见解。

🎯 应用场景

该研究的潜在应用领域包括跨文化交流、社交媒体内容审核和自动化翻译等。通过提高LLMs对文化特定刻板印象的检测能力，可以更好地理解和处理不同文化背景下的语言使用，促进文化间的理解与交流。未来，该研究可能推动更具文化敏感性的AI系统的发展。

📄 摘要（原文）

Stereotypes are subjective constructs that are mediated by the cultural context in which they are viewed. Successfully modeling them thus also requires cultural competence. When using large language models (LLMs) for stereotype-related tasks, such as their detection, it is therefore crucial that models can access relevant cultural knowledge and adjust responses accordingly. Since LLMs have shown disparities in what cultural knowledge is available to them, their capacity regarding stereotypes may also be disparate across languages and cultural contexts (e.g., for non-English languages or for non-US contexts). In this paper, we systematically investigate the effectiveness of LLMs for culture-specific stereotype detection across three factors: (1) the prompting language, (2) the instruction tuning language, and (3) the fine-tuning dataset size. We conduct experiments for US, Dutch, and Chinese cultural contexts. Our results suggest that LLMs do not reliably account for cultural contexts and overpredict the presence of stereotypes. Non-English prompts seem to improve consideration of cultural context and thus lead to more effective predictions. Moreover, we find that additional instruction tuning reduces false-positive rates and that training data size moderates detection effectiveness non-monotonically.