Through the Prism of Culture: Evaluating LLMs' Understanding of Indian Subcultures and Traditions
作者: Garima Chhikara, Abhishek Kumar, Abhijnan Chakraborty
分类: cs.CL
发布日期: 2025-01-28 (更新: 2025-09-07)
💡 一句话要点
评估LLM对印度亚文化理解：揭示文化偏见与提升文化敏感性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 文化偏见 印度亚文化 文化敏感性 提示工程
📋 核心要点
- 现有LLM在文化理解上存在偏见，倾向于主流文化，忽略了印度等地的亚文化。
- 该研究通过案例分析和提示策略，评估LLM对印度亚文化的理解能力，并探索提升文化敏感性的方法。
- 实验表明，LLM虽能表达文化细微差别，但在实际应用中存在困难，提示区域语言或能提升响应质量。
📝 摘要（中文）
大型语言模型（LLM）在展现卓越进步的同时，也引发了对文化偏见的担忧，它们常常反映主流叙事，而忽略了代表性不足的亚文化。本研究评估了LLM识别和准确回应印度社会“小传统”的能力，包括种姓、亲属关系、婚姻和宗教等本土化文化习俗和亚文化。通过一系列案例研究，我们评估了LLM是否能够平衡主导的“大传统”和本土化的“小传统”之间的相互作用。我们探索了各种提示策略，并进一步研究了使用区域语言的提示是否能增强模型的文化敏感性和响应质量。研究结果表明，虽然LLM表现出表达文化细微差别的能力，但它们常常难以在实际的、特定情境的场景中应用这种理解。据我们所知，这是第一项分析LLM与印度亚文化互动的研究，为在AI系统中嵌入文化多样性提供了重要的见解。
🔬 方法详解
问题定义：现有大型语言模型在文化理解方面存在偏差，主要体现在对代表性不足的亚文化的理解不足。具体到印度社会，LLM可能无法准确理解和回应“小传统”，例如种姓制度、亲属关系、地方宗教习俗等，从而导致不准确或带有偏见的输出。现有方法缺乏针对特定文化背景的评估和优化。
核心思路：本研究的核心思路是通过设计一系列针对印度亚文化的案例研究，评估LLM在理解和应用这些文化知识方面的能力。同时，探索不同的提示策略，包括使用区域语言的提示，以提高LLM的文化敏感性和响应质量。研究旨在揭示LLM在处理文化多样性方面的挑战，并为改进AI系统的文化理解能力提供指导。
技术框架：该研究采用案例研究的方法，针对印度社会中的各种亚文化现象，设计了一系列问题和情境。研究人员使用不同的提示策略，包括通用提示和特定于亚文化的提示，以及使用英语和印度区域语言的提示，来引导LLM生成回应。然后，研究人员对LLM生成的回应进行定性分析，评估其准确性、相关性和文化敏感性。整体流程包括：问题设计 -> 提示工程 -> 模型推理 -> 结果分析。
关键创新：本研究的主要创新在于首次系统性地评估了LLM对印度亚文化的理解能力。该研究不仅关注LLM能否识别和描述亚文化现象，更关注其能否在实际情境中应用这些知识。此外，该研究还探索了使用区域语言提示来提高LLM文化敏感性的方法，为解决LLM的文化偏见问题提供了新的思路。
关键设计：研究的关键设计包括：1) 选取具有代表性的印度亚文化作为案例研究对象，例如种姓制度、婚姻习俗等；2) 设计不同类型的提示，包括通用提示、特定于亚文化的提示以及使用英语和印度区域语言的提示；3) 采用定性分析的方法，对LLM生成的回应进行细致的评估，关注其准确性、相关性和文化敏感性。具体的参数设置和网络结构取决于所使用的LLM，研究中可能使用了多种不同的LLM进行对比。
🖼️ 关键图片
📊 实验亮点
研究发现，虽然LLM能够表达一定的文化细微差别，但在实际情境应用中存在困难。使用区域语言的提示可以提高LLM的文化敏感性和响应质量，但效果有限。该研究揭示了LLM在处理文化多样性方面的挑战，为未来研究提供了重要的参考。
🎯 应用场景
该研究成果可应用于开发更具文化敏感性和包容性的AI系统，例如智能客服、文化教育应用、跨文化交流工具等。通过提升LLM对不同文化的理解能力，可以减少文化误解和偏见，促进跨文化交流与合作，并为用户提供更准确、更相关的服务。
📄 摘要（原文）
Large Language Models (LLMs) have shown remarkable advancements but also raise concerns about cultural bias, often reflecting dominant narratives at the expense of under-represented subcultures. In this study, we evaluate the capacity of LLMs to recognize and accurately respond to the Little Traditions within Indian society, encompassing localized cultural practices and subcultures such as caste, kinship, marriage, and religion. Through a series of case studies, we assess whether LLMs can balance the interplay between dominant Great Traditions and localized Little Traditions. We explore various prompting strategies and further investigate whether using prompts in regional languages enhances the models cultural sensitivity and response quality. Our findings reveal that while LLMs demonstrate an ability to articulate cultural nuances, they often struggle to apply this understanding in practical, context-specific scenarios. To the best of our knowledge, this is the first study to analyze LLMs engagement with Indian subcultures, offering critical insights into the challenges of embedding cultural diversity in AI systems.