Women, Infamous, and Exotic Beings: A Comparative Study of Honorific Usages in Wikipedia and LLMs for Bengali and Hindi
作者: Sourabrata Mukherjee, Atharva Mehta, Sougata Saha, Akhil Arora, Monojit Choudhury
分类: cs.CL
发布日期: 2025-01-07 (更新: 2025-10-16)
备注: Accepted and published at EMNLP 2025 (Main)
🔗 代码/项目: GITHUB
💡 一句话要点
研究维基百科和LLM中对孟加拉语和印地语尊称使用的差异，揭示社会文化偏见。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 尊称使用 社会文化偏见 大型语言模型 孟加拉语 印地语 维基百科 自然语言处理
📋 核心要点
- 现有方法缺乏对南亚语言中尊称使用的细致分析，忽略了其蕴含的社会语用信息。
- 本研究通过大规模分析维基百科数据和探测LLM，揭示了尊称使用中的语言内部规律和跨语言差异。
- 实验表明LLM在尊称使用上与维基百科存在差异，反映了LLM在社会文化理解上的不足。
📝 摘要（中文）
本研究针对南亚语言中第三人称尊称的使用展开大规模分析，这些尊称编码了权力、年龄、性别、名望和社会距离等细微的社会语用线索。我们首次对10,000篇印地语和孟加拉语维基百科文章中尊称代词和动词的使用进行了大规模研究，并标注了与研究对象关键社会人口属性相关的信息，包括性别、年龄段、名望和文化渊源。分析揭示了语言内部的系统规律，但也发现了显著的跨语言差异：孟加拉语中尊称的使用比印地语更普遍，而非尊称在指代声名狼藉、年幼和具有异国文化色彩的实体时占主导地位。值得注意的是，在两种语言中，尤其是在印地语中，男性比女性更频繁地使用尊称。为了检验大型语言模型（LLM）是否内化了类似的社会语用规范，我们使用受控生成和翻译任务，对1,000个文化平衡实体进行了六个LLM的探测。我们发现LLM与维基百科的使用情况存在差异，在跨任务、语言和社会人口属性的尊称选择中表现出不同的偏好。这些差异突显了LLM在社会文化一致性方面的差距，并为研究LLM如何获取、适应或扭曲社会语言规范开辟了新的方向。我们的代码和数据可在https://github.com/souro/honorific-wiki-llm公开获取。
🔬 方法详解
问题定义：论文旨在研究维基百科和大型语言模型（LLM）在处理孟加拉语和印地语时，对于第三人称尊称的使用是否存在偏差，以及这些偏差是否反映了社会文化偏见。现有方法缺乏对这种偏差的系统性分析，无法有效评估LLM在社会文化理解方面的能力。
核心思路：论文的核心思路是通过对比维基百科中真实语料的尊称使用情况与LLM生成或翻译文本中的尊称使用情况，来发现LLM在尊称选择上存在的偏差。这种对比能够揭示LLM是否内化了与性别、年龄、名望等社会属性相关的语用规范。
技术框架：整体框架包括以下几个主要阶段：1) 数据收集与标注：从维基百科收集孟加拉语和印地语文章，并标注文章中人物的社会人口属性（性别、年龄、名望、文化渊源）。2) 尊称使用分析：分析维基百科语料中尊称代词和动词的使用频率，并与人物的社会人口属性建立关联。3) LLM探测：设计受控生成和翻译任务，输入包含不同社会人口属性人物信息的文本，观察LLM在生成或翻译过程中对尊称的选择。4) 偏差评估：对比LLM的尊称选择与维基百科语料的统计规律，评估LLM在尊称使用上存在的偏差。
关键创新：本研究的关键创新在于：1) 首次对南亚语言（孟加拉语和印地语）的尊称使用进行了大规模的定量分析。2) 将维基百科作为真实语料来源，为研究LLM的社会文化理解能力提供了客观的基准。3) 设计了受控的生成和翻译任务，能够有效地探测LLM在尊称选择上的偏好。
关键设计：在数据标注方面，论文仔细考虑了人物的性别、年龄段、名望和文化渊源等关键社会人口属性，并确保标注的准确性和一致性。在LLM探测方面，论文设计了多种类型的任务，包括受控生成和翻译，以全面评估LLM在不同场景下的尊称选择行为。此外，论文还采用了统计分析方法，量化了LLM在尊称使用上与维基百科语料之间的差异。
📊 实验亮点
研究发现，在维基百科中，男性比女性更频繁地使用尊称，尤其是在印地语中。LLM在尊称使用上与维基百科存在显著差异，在不同任务、语言和社会人口属性上表现出不同的偏好。例如，LLM在翻译任务中对某些社会群体的尊称使用频率明显高于维基百科。
🎯 应用场景
该研究成果可应用于提升LLM在处理南亚语言时的社会文化敏感性，减少潜在的偏见和歧视。通过纠正LLM在尊称使用上的偏差，可以提高其在对话系统、机器翻译等应用中的用户体验和公平性。此外，该研究也为评估和改进其他语言模型在社会文化理解方面的能力提供了借鉴。
📄 摘要（原文）
The obligatory use of third-person honorifics is a distinctive feature of several South Asian languages, encoding nuanced socio-pragmatic cues such as power, age, gender, fame, and social distance. In this work, (i) We present the first large-scale study of third-person honorific pronoun and verb usage across 10,000 Hindi and Bengali Wikipedia articles with annotations linked to key socio-demographic attributes of the subjects, including gender, age group, fame, and cultural origin. (ii) Our analysis uncovers systematic intra-language regularities but notable cross-linguistic differences: honorifics are more prevalent in Bengali than in Hindi, while non-honorifics dominate while referring to infamous, juvenile, and culturally exotic entities. Notably, in both languages, and more prominently in Hindi, men are more frequently addressed with honorifics than women. (iii) To examine whether large language models (LLMs) internalize similar socio-pragmatic norms, we probe six LLMs using controlled generation and translation tasks over 1,000 culturally balanced entities. We find that LLMs diverge from Wikipedia usage, exhibiting alternative preferences in honorific selection across tasks, languages, and socio-demographic attributes. These discrepancies highlight gaps in the socio-cultural alignment of LLMs and open new directions for studying how LLMs acquire, adapt, or distort social-linguistic norms. Our code and data are publicly available at https://github.com/souro/honorific-wiki-llm