When English Rewrites Local Knowledge: Global Narrative Dominance in Large Language Models
作者: Md Arid Hasan, Ruwad Naswan, Farhan Samir, Sharifa Sultana, Syed Ishtiaque Ahmed
分类: cs.CL
发布日期: 2026-05-28
备注: Submitted to ARR
💡 一句话要点
揭示大语言模型中英语叙事主导地位:以孟加拉语文化知识为例
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 文化偏见 跨语言理解 孟加拉语 全球叙事主导 知识图谱 文化知识 低资源语言
📋 核心要点
- 现有大语言模型在跨语言知识应用中存在“全球叙事主导”问题,忽略本地文化语境。
- 论文核心在于构建包含孟加拉语文化实例的CulturalNB数据集,并分析LLM在不同语言下的表现差异。
- 实验表明,英语提问会增加全球替代和机构偏见,降低本地视角覆盖,揭示LLM的文化偏见。
📝 摘要(中文)
大型语言模型(LLMs)被广泛用作跨语言知识接口。然而,具有文化背景的问题通常反映的是全球主导叙事,而非本地语境。本文研究了这种失效模式,称之为孟加拉语(一种低资源文化语境)中的“全球叙事主导地位”。我们引入了 exttt{CulturalNB},一个包含717个手动策划的孟加拉文化实例的数据集,其中包含平行的孟加拉语-英语问答对以及支持性证据、元数据和社会文化注释。通过仅问题和基于证据的提示,我们使用人类和两个独立的LLM评判器,在跨语言一致性、语言锚定、全球替代、机构偏见和认知视角覆盖等指标上评估了九个最先进的LLM。结果表明,用英语提出的问题系统性地增加了全球替代和机构框架,同时减少了本地视角覆盖。本地证据提高了事实一致性和视角覆盖,但并未消除语言引起的认知转变。这些发现表明,LLM中的文化失效不仅是知识缺失错误,也是基础和叙事优先级排序的失败。
🔬 方法详解
问题定义:现有的大型语言模型在处理跨语言文化知识时,倾向于采用全球通用的叙事方式,而忽略了特定本地文化的独特语境和视角。这种“全球叙事主导”现象导致模型在回答问题时,会不自觉地用更为主流或更易于获取的全球知识来替代本地知识,从而产生文化上的偏差。现有方法未能有效解决这种由于语言差异而导致的认知框架转变问题。
核心思路:论文的核心思路是通过构建一个包含平行双语(孟加拉语-英语)问答对的数据集,并结合社会文化注释,来系统性地评估大型语言模型在处理本地文化知识时的表现。通过对比模型在不同语言下的回答,以及引入本地证据后的效果,来揭示语言对模型认知框架的影响,并量化“全球叙事主导”的程度。
技术框架:论文的技术框架主要包括以下几个部分:1) 构建CulturalNB数据集,包含孟加拉文化实例、双语问答对、支持证据、元数据和社会文化注释;2) 设计实验方案,包括仅问题提示和基于证据的提示两种方式;3) 选择九个最先进的LLM进行评估;4) 使用人工和LLM评判器,从跨语言一致性、语言锚定、全球替代、机构偏见和认知视角覆盖等多个维度进行评估;5) 分析实验结果,揭示语言对模型认知框架的影响。
关键创新:论文的关键创新在于:1) 提出了“全球叙事主导”这一概念,并将其作为评估LLM文化敏感性的一个重要指标;2) 构建了CulturalNB数据集,为研究LLM的跨语言文化理解能力提供了新的资源;3) 系统性地评估了LLM在处理本地文化知识时的表现,揭示了语言对模型认知框架的显著影响;4) 提出了基于本地证据的提示方法,以提高模型的事实一致性和视角覆盖。
关键设计:CulturalNB数据集的关键设计包括:1) 包含717个手动策划的孟加拉文化实例,覆盖广泛的文化主题;2) 提供平行的孟加拉语-英语问答对,便于进行跨语言比较;3) 提供支持性证据,帮助模型更好地理解问题;4) 提供元数据和社会文化注释,为深入分析模型行为提供依据。实验中,采用了仅问题提示和基于证据的提示两种方式,以评估本地证据对模型性能的影响。评估指标包括跨语言一致性、语言锚定、全球替代、机构偏见和认知视角覆盖等。
🖼️ 关键图片
📊 实验亮点
实验结果表明,使用英语提问会显著增加LLM的全球替代和机构框架,同时减少本地视角覆盖。引入本地证据可以提高事实一致性和视角覆盖,但无法完全消除语言引起的认知转变。例如,在评估机构偏见时,英语提问会导致模型更倾向于引用全球性机构,而忽略本地机构。
🎯 应用场景
该研究成果可应用于提升多语言大语言模型在处理特定文化背景知识时的准确性和公正性,减少文化偏见和误解。有助于开发更贴近本地用户需求、尊重多元文化价值的人工智能系统。未来可应用于智能客服、文化遗产保护、跨文化交流等领域,促进全球范围内的文化理解和合作。
📄 摘要(原文)
Large language models (LLMs) are widely used as cross-lingual knowledge interfaces. However, culturally grounded questions often reflect globally dominant narratives rather than local contexts. We study this failure mode as \textit{global narrative dominance} in Bangla, a low-resource cultural context. We introduce \texttt{CulturalNB}, a dataset of 717 manually curated Bengali cultural instances with parallel Bangla--English question--answer pairs and supporting evidence, metadata, and sociocultural annotations. Using question-only and evidence-based prompting, we evaluate nine state-of-the-art LLMs with human and two independent LLM judges across metrics for cross-lingual consistency, language anchoring, global substitution, institutional bias, and epistemic perspective coverage. Results show that questions asked in English systematically increase global substitution and institutional framing while reducing local perspective coverage. Local evidence improves factual consistency and perspective coverage, but does not eliminate language-induced epistemic shifts. These findings suggest that cultural failures in LLMs are not only missing-knowledge errors but also failures of grounding and narrative prioritization.