ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

📄 arXiv: 2510.16928v2 📥 PDF

作者: Emily Chang, Niyati Bafna

分类: cs.CL

发布日期: 2025-10-19 (更新: 2025-11-26)

💡 一句话要点

ChiKhaPo：大规模多语言基准，评估大语言模型的词汇理解与生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多语言 词汇理解 词汇生成 基准测试 低资源语言 语言评估

📋 核心要点

  1. 现有LLM基准测试主要集中在高资源语言，忽略了模型在低资源语言中的词汇理解和生成能力。
  2. ChiKhaPo基准包含8个子任务，覆盖2700多种语言，旨在全面评估LLM的词汇理解和生成能力。
  3. 实验表明，即使是最先进的LLM在ChiKhaPo基准上表现不佳，揭示了模型在多语言词汇处理方面的不足。

📝 摘要（中文）

现有的大语言模型（LLMs）基准主要集中在高资源或中等资源语言上，并且通常评估推理和生成等高阶任务的性能。然而，大量证据表明，LLMs在世界上3800多种书面语言中的绝大多数语言中缺乏基本的语言能力。我们推出了ChiKhaPo，它由8个不同难度的子任务组成，旨在评估生成模型的词汇理解和生成能力。ChiKhaPo利用现有的词典、单语数据和双语文本，为2700多种语言提供覆盖，在语言覆盖范围方面超过了任何现有的基准。我们进一步表明，6个SOTA模型在我们的基准测试中表现不佳，并讨论了影响性能分数的因素，包括语系、语言资源丰富程度、任务以及理解与生成方向。我们希望通过ChiKhaPo能够实现并鼓励LLMs的大规模多语言基准测试。

🔬 方法详解

问题定义：现有的大语言模型评测基准主要集中在高资源语言上，缺乏对低资源语言的词汇理解和生成能力的有效评估。这导致我们无法准确了解LLM在处理全球多种语言时的真实能力。现有方法的痛点在于语言覆盖范围有限，并且侧重于高阶任务，忽略了基本的词汇能力。

核心思路：ChiKhaPo的核心思路是构建一个大规模、多语言的词汇理解和生成基准，覆盖尽可能多的语言，特别是那些资源匮乏的语言。通过设计不同难度的子任务，全面评估LLM在词汇层面的能力，从而揭示模型在多语言环境下的局限性。

技术框架：ChiKhaPo基准包含8个子任务，这些子任务利用现有的词典、单语数据和双语文本。这些子任务涵盖了词汇的理解和生成两个方面，并且难度各异，可以更全面地评估LLM的词汇能力。整体流程包括数据收集、任务设计、模型评估和结果分析。

关键创新：ChiKhaPo最重要的创新在于其大规模的语言覆盖范围，超过了任何现有的基准。它针对词汇理解和生成能力设计了专门的子任务，能够更精确地评估LLM在多语言环境下的词汇能力。此外，该基准还考虑了语言家族、语言资源丰富程度等因素，从而可以更深入地分析影响模型性能的因素。

关键设计：ChiKhaPo的子任务设计考虑了不同的词汇任务，例如词义消歧、词汇翻译、词汇补全等。每个子任务都包含不同难度的样本，以评估模型在不同能力水平下的表现。具体的技术细节包括数据预处理方法、评估指标的选择以及模型训练和推理的配置。具体的参数设置和网络结构取决于被评估的LLM。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，即使是最先进的LLM在ChiKhaPo基准上表现不佳，尤其是在低资源语言上。例如，在某些子任务上，模型的准确率远低于预期，甚至接近随机猜测的水平。研究还发现，语言家族和语言资源丰富程度对模型性能有显著影响。这些结果揭示了LLM在多语言词汇处理方面的局限性，并为未来的研究方向提供了重要的启示。

🎯 应用场景

ChiKhaPo基准的潜在应用领域包括：改进机器翻译系统，使其能够更好地处理低资源语言；开发更有效的跨语言信息检索系统；提升多语言对话系统的性能；以及促进对语言模型在不同语言中的泛化能力的理解。该研究的实际价值在于推动LLM在多语言环境下的发展，并最终实现更公平、更普惠的语言技术。

📄 摘要（原文）

Existing benchmarks for large language models (LLMs) are largely restricted to high- or mid-resource languages, and often evaluate performance on higher-order tasks in reasoning and generation. However, plenty of evidence points to the fact that LLMs lack basic linguistic competence in the vast majority of the world's 3800+ written languages. We introduce ChiKhaPo, consisting of 8 subtasks of varying difficulty designed to evaluate the lexical comprehension and generation abilities of generative models. ChiKhaPo draws on existing lexicons, monolingual data, and bitext, and provides coverage for 2700+ languages for 2 subtasks, surpassing any existing benchmark in terms of language coverage. We further show that 6 SOTA models struggle on our benchmark, and discuss the factors contributing to performance scores, including language family, language resourcedness, task, and comprehension versus generation directions. With ChiKhaPo, we hope to enable and encourage the massively multilingual benchmarking of LLMs.