The Masked Advantage: Uncovering Local-Language Access to Cultural Knowledge in LLMs
作者: Yang Zhang, Xiao Fei, Amr Mohamed, Sarah Almeida Carneiro, Mersin Konomi, Mingmeng Geng, Ahmed Asaad, Guokan Shang, Michalis Vazirgiannis
分类: cs.CL, cs.AI
发布日期: 2026-06-05
💡 一句话要点
提出新框架以揭示大语言模型中文化知识获取的语言优势
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 文化知识 语言能力 知识获取 多语言处理 项目反应理论 文化适应性 跨文化交流
📋 核心要点
- 现有方法在评估文化知识获取时，往往依赖于模板化问题，未能真实反映文化知识的自然呈现。
- 本文提出一个控制框架，通过真实文化问题的收集，分析文化无关与文化特定问题在不同语言中的表现。
- 研究表明，尽管英语在文化无关问题上表现更好，但当地语言在知识获取上具有优势，尤其在特定模型中更为明显。
📝 摘要（中文）
大型语言模型在跨语言回答文化相关问题时越来越普遍，但尚不清楚通过英语还是当地语言获取地方文化知识更为有效。现有评估方法存在两个主要局限性：许多依赖于平行模板的问题，未能真实反映文化知识的自然呈现；原始准确率混淆了语言能力与知识获取。本文通过建立一个基于真实文化问题的控制框架，探讨了文化无关与文化特定问题在英语与当地语言中的表现。研究发现，尽管在文化无关问题上英语表现更佳，但在考虑语言能力差距后，当地语言在几乎所有设置中显示出知识获取的优势。这一优势在原始准确率中常被掩盖，但在前沿、区域对齐或语言适应模型中更为明显。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在文化知识获取中的语言选择问题，现有方法未能有效区分语言能力与知识获取的关系。
核心思路：通过建立一个基于真实文化问题的控制框架，分析文化无关与文化特定问题在英语与当地语言中的表现，从而揭示语言能力与知识获取的差异。
技术框架：研究采用1PL项目反应理论模型，跨越13个地区和约80个模型，分析不同语言下的知识获取能力，分离语言能力与地方知识获取。
关键创新：本研究的创新在于通过真实文化问题的收集与分析，揭示了当地语言在知识获取上的优势，挑战了传统的语言能力与知识获取的关联假设。
关键设计：研究设计了文化无关与文化特定问题的分类，并通过共享的1PL模型进行能力估计，确保了评估的准确性与可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在文化无关问题上，英语模型表现出一致的优势，表明其语言能力更强。然而，在考虑语言能力差距后，当地语言在几乎所有设置中都显示出知识获取的积极优势，尤其是在前沿或语言适应模型中，这一优势更加明显。
🎯 应用场景
该研究的潜在应用领域包括跨文化交流、教育技术和多语言信息检索等。通过揭示不同语言在文化知识获取中的优势，能够帮助开发更有效的多语言学习工具和文化适应性强的人工智能系统，促进全球文化理解与交流。
📄 摘要（原文）
Large language models are increasingly used to answer culturally grounded questions across languages, yet it remains unclear whether local cultural knowledge is better accessed through English or the local language. Existing evaluations face two key limitations: many rely on parallel template-based questions that may not reflect how cultural knowledge naturally appears, and raw accuracy conflates general language proficiency with language-conditioned knowledge access. We address these issues with a controlled framework built on real-world cultural questions collected from regional benchmarks and local sources. By crossing question type (culture-agnostic vs. culture-specific) with query language (English vs. local language), and estimating ability with a shared 1PL item response theory model, we separate proficiency from localized knowledge access. Across 13 locales and roughly 80 models, we find a consistent English advantage on culture-agnostic questions, indicating stronger English proficiency. However, after accounting for this proficiency gap, local languages show a positive knowledge-access advantage in nearly all locale-model settings. This advantage is often masked in raw accuracy but becomes more visible for frontier, regionally aligned, or language-adapted models. Our results suggest that weaker local-language performance does not necessarily imply weaker cultural knowledge; rather, local cultural knowledge may be more accessible through the local language but hidden by limited language proficiency.