Uncovering inequalities in new knowledge learning by large language models across different languages

📄 arXiv: 2503.04064v1 📥 PDF

作者: Chenglong Wang, Haoyu Tang, Xiyuan Yang, Yueqi Xie, Jina Suh, Sunayana Sitaram, Junming Huang, Yu Xie, Zhaoya Gong, Xing Xie, Fangzhao Wu

分类: cs.CL, cs.AI, cs.CY

发布日期: 2025-03-06

💡 一句话要点

揭示大语言模型跨语言新知识学习中的不平等现象，关注低资源语言的劣势。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语言不平等 低资源语言 知识学习 上下文学习

📋 核心要点

  1. 现有研究主要关注LLM静态知识的语言差异，忽略了LLM动态学习新知识过程中的不平等。
  2. 该研究从有效性、可迁移性、优先级和鲁棒性四个维度，分析了LLM在不同语言中学习新知识的不平等现象。
  3. 实验结果表明，在上下文学习和微调两种设置下，低资源语言在LLM新知识学习中始终处于劣势。

📝 摘要（中文）

随着大型语言模型（LLM）逐渐成为全球日常生活中解决问题的关键工具，理解语言不平等变得越来越重要。现有的研究主要集中在静态分析，评估LLM在不同语言中现有知识和能力的差异。然而，LLM在不断发展，获取新知识以生成最新的、特定领域的响应。因此，调查这种动态过程中的语言不平等也至关重要。在本文中，我们探讨了LLM在不同语言中新知识学习方面的不平等，涉及有效性、可迁移性、优先级和鲁棒性四个关键维度。通过在使用专有模型和开源模型的两种设置（上下文学习和微调）下进行的大量实验，我们证明了低资源语言在所有四个维度上始终面临劣势。通过揭示这些差异，我们旨在提高人们对LLM新知识学习中语言不平等的认识，从而促进更具包容性和公平性的未来LLM的发展。

🔬 方法详解

问题定义：该论文旨在解决大型语言模型（LLM）在学习新知识时，不同语言之间存在的不平等问题。现有研究主要关注LLM已有的知识和能力在不同语言间的差异，而忽略了LLM动态学习新知识过程中的语言不平等现象。这种不平等可能导致低资源语言在获取最新信息和利用LLM解决问题时处于劣势。

核心思路：论文的核心思路是从四个关键维度（有效性、可迁移性、优先级和鲁棒性）来量化和分析LLM在不同语言中学习新知识的不平等现象。通过设计实验来评估LLM在不同语言环境下学习新知识的能力，并比较高资源语言和低资源语言之间的差异。这种多维度分析有助于全面了解语言不平等在LLM新知识学习中的表现。

技术框架：该研究的技术框架主要包括以下几个部分：1) 数据收集：收集不同语言的新知识数据，用于评估LLM的学习能力。2) 实验设置：设计两种实验设置，包括上下文学习（in-context learning）和微调（fine-tuning），以模拟LLM学习新知识的两种常见方式。3) 模型选择：选择具有代表性的LLM，包括专有模型和开源模型，以保证研究的广泛适用性。4) 评估指标：针对四个维度（有效性、可迁移性、优先级和鲁棒性）设计相应的评估指标，用于量化LLM在不同语言中的学习效果。

关键创新：该论文的关键创新在于：1) 关注LLM动态学习新知识过程中的语言不平等现象，弥补了现有研究的不足。2) 从有效性、可迁移性、优先级和鲁棒性四个维度全面分析了语言不平等在LLM新知识学习中的表现。3) 通过大量的实验验证了低资源语言在LLM新知识学习中面临的劣势，为未来研究提供了重要的参考。

关键设计：在实验设计方面，论文采用了两种常见的LLM学习方式：上下文学习和微调。上下文学习通过在输入中提供少量示例来引导LLM学习新知识，而微调则通过在特定数据集上训练LLM来使其适应新任务。在评估指标方面，论文针对每个维度都设计了相应的指标。例如，有效性可以通过LLM生成答案的准确率来衡量，可迁移性可以通过LLM在不同语言之间迁移知识的能力来衡量，优先级可以通过LLM学习不同语言知识的顺序来衡量，鲁棒性可以通过LLM在噪声数据下的学习能力来衡量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在上下文学习和微调两种设置下，低资源语言在有效性、可迁移性、优先级和鲁棒性四个维度上均表现出明显的劣势。例如，低资源语言的知识学习准确率显著低于高资源语言，且知识迁移效果也较差。这些结果有力地证明了LLM在新知识学习中存在显著的语言不平等现象。

🎯 应用场景

该研究成果可应用于提升多语言LLM的公平性和包容性，尤其是在低资源语言场景下。例如，可以指导开发更有效的低资源语言LLM训练方法，或设计更公平的知识迁移策略。此外，该研究也为评估和改进现有LLM的语言公平性提供了参考框架，促进LLM技术在全球范围内的平等应用。

📄 摘要（原文）

As large language models (LLMs) gradually become integral tools for problem solving in daily life worldwide, understanding linguistic inequality is becoming increasingly important. Existing research has primarily focused on static analyses that assess the disparities in the existing knowledge and capabilities of LLMs across languages. However, LLMs are continuously evolving, acquiring new knowledge to generate up-to-date, domain-specific responses. Investigating linguistic inequalities within this dynamic process is, therefore, also essential. In this paper, we explore inequalities in new knowledge learning by LLMs across different languages and four key dimensions: effectiveness, transferability, prioritization, and robustness. Through extensive experiments under two settings (in-context learning and fine-tuning) using both proprietary and open-source models, we demonstrate that low-resource languages consistently face disadvantages across all four dimensions. By shedding light on these disparities, we aim to raise awareness of linguistic inequalities in LLMs' new knowledge learning, fostering the development of more inclusive and equitable future LLMs.