BertaQA: How Much Do Language Models Know About Local Culture?

📄 arXiv: 2406.07302v2 📥 PDF

作者: Julen Etxaniz, Gorka Azkune, Aitor Soroa, Oier Lopez de Lacalle, Mikel Artetxe

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-06-11 (更新: 2024-11-18)

备注: NEURIPS Datasets & Benchmarks 2024

🔗 代码/项目: GITHUB

💡 一句话要点

BertaQA：评估语言模型对本地文化知识的掌握程度，揭示跨语言知识迁移现象。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 本地文化知识 语言模型评估 跨语言知识迁移 低资源语言 问答数据集

📋 核心要点

  1. 现有语言模型评估主要集中于全球或英语文化，忽略了对本地文化知识的考察。
  2. 提出BertaQA数据集，包含巴斯克语和英语平行语料，用于评估模型对本地文化知识的掌握程度。
  3. 实验表明，模型在本地文化知识方面表现不佳，但通过巴斯克语预训练可以显著提升性能。

📝 摘要（中文）

大型语言模型(LLMs)展现了广泛的世界知识，但大多数评估仅限于全球或以英语为中心的主题。这引发了一个问题，即这些模型在与网络上不太突出的其他文化相关的主题上的表现如何。为了解决这一差距，我们引入了BertaQA，这是一个英语和巴斯克语的平行多项选择题数据集。该数据集包含一个本地子集，其中包含与巴斯克文化相关的问题，以及一个包含更广泛兴趣问题的全球子集。我们发现，最先进的LLMs在本地文化知识方面表现不佳，即使它们在全球主题上表现出色。然而，我们表明，即使在用英语查询时，在巴斯克语中持续的预训练也能显著提高模型在巴斯克文化方面的性能。据我们所知，这是从低资源语言到高资源语言的知识转移的第一个可靠证据。我们的分析揭示了语言和知识之间复杂的相互作用，并表明一些先前的发现如果在本地主题上重新评估，则不能完全成立。我们的数据集和评估代码在开放许可下可在https://github.com/juletx/BertaQA获得。

🔬 方法详解

问题定义：现有的大型语言模型在通用知识问答任务上表现出色，但对于特定地域或文化的知识掌握程度不足。现有评估方法主要集中于全球或英语文化，缺乏对本地文化知识的针对性评估，导致模型在处理本地化问题时表现不佳。

核心思路：为了更准确地评估语言模型对本地文化知识的理解能力，论文构建了一个包含本地文化知识的问答数据集BertaQA。通过对比模型在本地和全球知识问答上的表现，分析模型在不同文化背景下的知识掌握情况。同时，研究了通过在低资源语言上进行预训练，是否能够提升模型在本地文化知识方面的表现，并实现跨语言的知识迁移。

技术框架：BertaQA数据集包含英语和巴斯克语两种语言，分为本地子集（巴斯克文化相关）和全球子集（通用知识）。研究人员使用该数据集评估了现有大型语言模型在本地和全球知识问答上的表现。此外，他们还进行了持续预训练实验，即在巴斯克语语料上对模型进行进一步预训练，然后评估其在BertaQA数据集上的表现。评估指标主要为多项选择题的准确率。

关键创新：该研究的主要创新点在于：1) 构建了一个包含本地文化知识的平行问答数据集BertaQA，用于评估语言模型对本地知识的掌握程度。2) 首次提供了可靠的证据，证明了从低资源语言到高资源语言的知识转移是可行的。3) 揭示了语言和知识之间复杂的相互作用，表明一些先前的发现如果在本地主题上重新评估，则可能不成立。

关键设计：BertaQA数据集的设计考虑了本地文化知识的独特性，问题涵盖了巴斯克地区的历史、地理、文化、人物等方面。数据集的平行语料设计使得可以评估模型在不同语言下的知识掌握情况。持续预训练实验中，研究人员选择了巴斯克语作为低资源语言，并使用标准的语言模型预训练方法，例如Masked Language Modeling (MLM)。评估指标为多项选择题的准确率，用于衡量模型回答问题的正确率。

📊 实验亮点

实验结果表明，现有大型语言模型在BertaQA本地子集上的表现明显低于全球子集，表明其对本地文化知识的掌握程度不足。然而，通过在巴斯克语上进行持续预训练，模型在BertaQA本地子集上的表现得到了显著提升，即使是用英语提问也能观察到性能提升，验证了跨语言知识迁移的可行性。

🎯 应用场景

该研究成果可应用于提升语言模型在特定地域或文化背景下的知识问答能力，例如构建更智能的本地化客服机器人、文化旅游助手等。同时，该研究也为低资源语言的知识迁移提供了新的思路，有助于促进多语言自然语言处理的发展，并提升语言模型在不同文化背景下的公平性和适用性。

📄 摘要（原文）

Large Language Models (LLMs) exhibit extensive knowledge about the world, but most evaluations have been limited to global or anglocentric subjects. This raises the question of how well these models perform on topics relevant to other cultures, whose presence on the web is not that prominent. To address this gap, we introduce BertaQA, a multiple-choice trivia dataset that is parallel in English and Basque. The dataset consists of a local subset with questions pertinent to the Basque culture, and a global subset with questions of broader interest. We find that state-of-the-art LLMs struggle with local cultural knowledge, even as they excel on global topics. However, we show that continued pre-training in Basque significantly improves the models' performance on Basque culture, even when queried in English. To our knowledge, this is the first solid evidence of knowledge transfer from a low-resource to a high-resource language. Our analysis sheds light on the complex interplay between language and knowledge, and reveals that some prior findings do not fully hold when reassessed on local topics. Our dataset and evaluation code are available under open licenses at https://github.com/juletx/BertaQA.